attention

定義

系列の各位置が他の位置をどれだけ参照するかを重みとして計算し、その重み付き和で表現を作る仕組み。離れた位置同士を1手で結べることが長文脈処理の鍵で、Transformer の中核部品になっている。日常語の「注意」の比喩だが、実体は内積とソフトマックスによる重み付き平均。

論文題名での読み方

Transformerの中核部品

この語が出てくる解説

• 論文解説: SAS — 疎注意の「どのブロックを読むか」を言語モデル損失で端から端まで学習するSAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking
• 論文解説: Random Attention — KVキャッシュの追い出しは「ランダムで十分」だったRandom Attention: Rethinking KV Cache Eviction for Efficient Reasoning
• 論文解説: Language Models Can Control Their Own Attention — モデルに「どこを見るか」を宣言させるLanguage Models Can Control Their Own Attention

教科書で学ぶ

• Attentionとトランスフォーマ
• どこを見るかを入力が決める ── 注意機構