GLOSSARY

rotary

回転の。回転で位置情報を表す

1本の論文題名に登場

定義

ベクトルを回転させる操作で情報を埋め込む方式を指す語。RoPE（Rotary Position Embedding）では、埋め込みを位置に比例した角度だけ回転させ、注意計算の内積が相対位置だけの関数になるようにする。位置ベクトルを足す加算型と違い、ノルムを変えずに位置を持たせられる。

RoPE＝回転位置埋め込み