用語集 › roformer
GLOSSARY
roformer
回転位置埋め込み(RoPE)を提案したモデルの名前
1本の論文題名に登場
定義
RoFormer。Transformer の位置情報の与え方として Rotary Position Embedding（RoPE）を提案したモデル。埋め込みベクトルを位置に応じた角度だけ回転させることで、注意の内積が2トークン間の相対距離のみに依存するようにする。RoPE は現在の大規模言語モデルで広く採用されている。
論文題名での読み方
固有名。RoPEの元論文