positional

定義

トークンの並び順に関する情報を指す語。自己注意そのものは入力の順序を区別しないため、位置符号化（positional encoding）を加えて初めて語順を扱える。絶対位置を足す方式のほか、回転で相対位置を表す RoPE のような相対位置方式が現在の主流で、文脈長の拡張はここの設計に直結する。

論文題名での読み方

positional encoding

この語が出てくる解説

• 長文脈LLMの技術 — RoPE補間からリング注意までExtending Context Window of Large Language Models via Positional Interpolation