GLOSSARY

yarn

扱える文脈長を伸ばす位置符号の拡張手法名

1本の論文題名に登場

定義

RoPE（回転位置埋め込み）を使うモデルの扱える文脈長を、少量の追加学習で伸ばす手法。周波数帯ごとに補間の強さを変え注意の温度も調整することで、単純な線形補間より劣化を抑えて長文脈化できる。名前は Yet another RoPE extensioN の頭字語で、JavaScript のパッケージ管理ツールとは無関係。

論文題名での読み方

固有名。長文脈化の手法