window

定義

一度に見渡せる範囲のこと。context window はモデルが同時に扱えるトークン数の上限を指し、sliding window attention は各トークンが近傍の一定範囲だけを見る設計を指す。窓が広いほど扱える情報は増えるが、計算量とメモリ、そして中盤の情報を見落とす傾向が課題になる。

論文題名での読み方

context window＝文脈長

この語が出てくる解説

• 長文脈LLMの技術 — RoPE補間からリング注意までExtending Context Window of Large Language Models via Positional Interpolation