attention

定義

系列の各位置が他の位置をどれだけ参照するかを重みとして計算し、その重み付き和で表現を作る仕組み。離れた位置同士を1手で結べることが長文脈処理の鍵で、Transformer の中核部品になっている。日常語の「注意」の比喩だが、実体は内積とソフトマックスによる重み付き平均。

論文題名での読み方

Transformerの中核部品

この語が出てくる解説

• 論文解説: Random Attention — KVキャッシュの追い出しは「ランダムで十分」だったRandom Attention: Rethinking KV Cache Eviction for Efficient Reasoning
• 論文解説: Language Models Can Control Their Own Attention — モデルに「どこを見るか」を宣言させるLanguage Models Can Control Their Own Attention
• 動画理解を1から — フレームの束から時間の理解へIs Space-Time Attention All You Need for Video Understanding? (TimeSformer)

教科書で学ぶ

• Attentionとトランスフォーマ