論文解説: Language Models Can Control Their Own Attention — モデルに「どこを見るか」を宣言させる
長文脈のデコードでは、モデルは毎ステップKVキャッシュを丸ごと読み直している。Declarative Attention は、モデル自身に思考の中で「次はどこを見る」と宣言させ、推論エンジンがその宣言からアテンションマスクを作る。既製モデルにゼロショットで適用して注意トークンを52.0%/31.1%削減した論文を解説する。
Language Models Can Control Their Own Attention
一次資料 — この記事の根拠
論文の発表 2026-09-02→この解説の公開 2026-09-05同月
Language Models Can Control Their Own AttentionNamgyu Ho, Huzama Ahmad, Woosung Koh ほか · 2026-09-02 · v1arXiv:2609.02737論文ページ·PDF原文の要旨（Abstract）を読む
Language models spend most of their attention on a small fraction of context, yet they read the entire KV cache to find the few tokens that matter. If the user asks about a previous detail in a 1M-token conversation, global attention layers must scan the full context to generate each token of the reply. A prominent approach mitigates this cost by pre-selecting relevant tokens via lightweight proxy scores, but this extrinsic scoring still incurs O(N) per step. We take an intrinsic approach motivated by the simple question: wouldn't the model already know which parts of the context are relevant? To this end, we introduce Declarative Attention (DA), a protocol that elicits the model to declare where it needs to attend within its chain-of-thought, partitioning generation into three modes: <global> (full context), <focus> (a specific region), and <local> (recent output only). The inference engine parses these declarations like tool calls and skips most of the KV cache read. Under zero-shot evaluation across 15 long-context tasks, DA on off-the-shelf models (Gemma-4-31B, Qwen-3.6-27B) significantly reduces total attended tokens during decoding (52.0%, 31.1%) with modest accuracy drops (1.27pp, 2.75pp) that shrink with model scale. DA unlocks a new axis of sparse attention, with further potential under training-based methods that future work can explore.
100万トークンの資料を、一言ごとに全部めくり直す司書
机に1万ページの資料が積まれているとします。読者が「この会社は設立から何年で上場したの?」と尋ねる。司書は1ページ目から最後までめくって「8」と言い、次の「年」という一言のために、また1ページ目から全部めくり直す。
長い文脈を読む言語モデルがデコード（1トークンずつの生成）でやっているのは、ほぼこれです。今回読む論文の原題は "Language Models Can Control Their Own Attention"（arXiv:2609.02737、KAIST AI と Google DeepMind、2026年9月2日公開）。
論文の主張を要約します。言語モデルは注意（attention）の大半を文脈のごく一部に集中させているのに、その「効く数トークン」を見つけるためだけにKVキャッシュ全体を読んでいる。有力な緩和策は軽量な代理スコアで関連トークンを事前選別するものだが、その外在的なスコア付け自体が1ステップあたり かかる。ならば内在的にいこう——モデルはもう、どこが関連するか知っているのではないか。そこで著者らは Declarative Attention（DA、宣言的アテンション） を導入する。モデルに思考の連鎖（chain-of-thought）の中で「どこに注意する必要があるか」を宣言させるプロトコルで、生成を <global>（全文脈）、<focus>（特定の領域）、<local>（直近の自分の出力のみ）の3モードに分ける。推論エンジンはこの宣言をツール呼び出しのようにパースし、KVキャッシュ読み出しの大半をスキップする。15個の長文脈タスクでのゼロショット評価では、既製モデル（Gemma-4-31B、Qwen-3.6-27B）のデコード時の総注意トークン数をそれぞれ52.0%、31.1%削減し、精度低下は1.27pp、2.75ppにとどまった。この差はモデル規模が大きくなるほど縮む。
なぜ「全部読む」ことになるのか
長文脈ではKV（Key-Value）キャッシュへのメモリアクセス遅延が生成時間を支配します。論文の例では Qwen-3.5-397B-A17B の100万トークン文脈で1シーケンスあたり約15GBのKVを毎ステップ読み込む必要があり、モデルの17Bのアクティブパラメータを読むのに匹敵する帯域要求です。実測では注意スコアは文脈のごく一部に集中するのに、なぜ全部読むのか。本当の注意スコアは事前には分からないからです。スコアは注意行列を全部計算した後にしか手に入りません (§1)。KVキャッシュ自体はKVキャッシュを1から理解するで扱っています。
これまでの回避策と、その限界
先行研究は「注意が集まりそうなトークンを予測し、それ以外をマスクで外す」方向で戦ってきました。初期の静的ヒューリスティック（直近性や過去の注意量）はこれから来る質問が必要とするトークンを先読みできず、長文脈性能を落とします。より新しい手法は各ステップでKVキャッシュ全体を軽量にスキャンしてマスクを近似しますが、1ステップの計算量は依然として次の通りです (§1)。
式(1)は「どこを見るか決める作業の重さが、文脈トークン数 にそのまま比例する」という意味です。100万トークンなら、選別のためだけに毎ステップ100万トークン分を触る。ここが本論文の出発点です。
DAの3モード: モデルに宣言させる
言語モデルは隠れ状態に未来のトークンの情報を持っており、chain-of-thought はその潜在的な計算を読めるテキストとして表に出します。DAはこれを「何を考えるかの指示」から「どこに注意するかの指示」へ拡張します (§1)。
<global> は全ての文脈セグメントに注意する探索のモードで、次に集中すべきセグメントとその理由を短く述べる。<focus> はタグで名指しされたセグメントだけに注意する精読のモードで、必要な値を逐語的に抜き出す。<local> は文脈セグメントに一切注意しない自己完結した推論のモードで、すでに応答に取り出した値だけで最終回答を組み立てる。どのモードでも質問・指示・自分の応答は見えたままで、変わるのは「長い入力のうちどこが見えるか」だけです (§2)。
<global>
設立年と上場年が要る。会社沿革は Magic Chunk 2 にあるはずだ。
</global>
<focus magic_chunks="2"> "Acme Corp was founded in 2003 in San Jose." </focus>
<local> 2011 - 2003 = 8 years. </local>
<answer> 8 years </answer>
読める。ここが肝で、マスクを決めているトークンと人間が監査できるトークンが同一です。DAは補助スコアラーを必要とせず、学習なしで既製モデルの上で動きます（Figure 1）。
コメント
コメントにはログインが必要です