言語モデルは自分のアテンションを自分で制御できる

言語モデルはアテンションの大半をコンテキストのごく一部に費やしている。それにもかかわらず、その「効いている少数のトークン」を見つけるために、KVキャッシュ全体を読んでいる。100万トークンの会話の中で以前の細部について質問されれば、グローバルアテンション層は返答の1トークンを生成するたびに、コンテキスト全体を走査しなければならない。

冒頭は「事実（前半）＋ yet で不合理（後半）」の型。yet は but より硬く、直前の記述をそのまま認めたうえで静かに矛盾を突く。ここで問題を「精度」ではなく「無駄な読み出し」として立てているのが重要で、以降の評価軸（accuracy ではなく attended tokens）がこの1文で決まっている。2文目の If the user asks … は、抽象的なコストを読者の体感に落とす定番の具体化。must scan の must は義務ではなく「そうせざるを得ない」という構造的必然を指す。

有力なやり方の一つは、軽量な代理スコアで関連トークンを事前選択してこのコストを緩和するというものだ。しかし、この外在的なスコアリングは依然として1ステップあたり O(N) を要する。我々が取るのは内在的なアプローチであり、その動機は次の素朴な問いにある——モデルはすでに、コンテキストのどの部分が関連するのかを知っているのではないか？

extrinsic（外から付ける）と intrinsic（内から取り出す）の対で論文の立ち位置を1組の語に畳んでいる。ここが本論文の勘所で、既存研究を「間違っている」とは言わず「定数倍しか下がらない」と言う。still incurs O(N) の still は「改良してもなお残る」の意で、批判を計算量の一語に集約する定番の使い方。最後の wouldn’t … ? という修辞疑問はAbstractでは珍しく、それだけ発想が単純であることを強調する演出。

そのために我々は Declarative Attention（DA）を導入する。これは、思考連鎖の中でモデル自身にどこへアテンションを向ける必要があるかを宣言させるプロトコルであり、生成を3つのモードに分割する：<global>（コンテキスト全体）、<focus>（特定の領域）、<local>（直近の出力のみ）である。

elicit は「（すでにある能力を）引き出す」で、train や teach ではない点が本論文の主張そのもの。追加学習をしていないという事実が、動詞1語に埋め込まれている。declarative（宣言的）はプログラミング用語からの借用で、「どう計算するかではなく何が欲しいかを書く」という含み。protocol という語も方式・手法ではなく取り決めであり、モデル側とエンジン側の約束事だと言っている。

推論エンジンはこれらの宣言をツール呼び出しのように構文解析し、KVキャッシュ読み出しの大半を省く。

like tool calls という比喩が実装上の要になっている。ツール呼び出しは現在のモデルが後訓練で徹底的に慣らされている形式なので、新しい記法を覚えさせる必要がない——という主張が、この一言に圧縮されている。skips most of は控えめな言い方に見えるが、後の実験では52%という数字で裏づけられる。

15の長文タスクにわたるゼロショット評価において、DAは既製のモデル（Gemma-4-31B、Qwen-3.6-27B）でデコード時の総アテンション対象トークン数を大幅に削減し（52.0%、31.1%）、精度低下はわずか（1.27pp、2.75pp）にとどまる。しかもその低下幅はモデル規模とともに縮む。

off-the-shelf（既製の）は「重みに一切手を入れていない」の宣言で、zero-shot と重ねて二重に強調している。数値が (52.0%, 31.1%) のように括弧内へ2つ並ぶのは、直前に列挙した2モデルと順序対応させる書き方。pp は percentage point で、%（相対）との取り違えを防ぐために精度差では必ずこちらを使う。末尾の that shrink with model scale が、この論文の弱点（精度が下がる）を将来性に読み替える一句。

DAはスパースアテンションの新しい軸を切り開くものであり、学習に基づく手法のもとではさらなる可能性が残されている——それは今後の研究が探究しうる領域である。

a new axis（新しい軸）は「既存手法と競合するのではなく直交する」という主張。実際、後の8.3節では既存のスパースアテンションと併用できると述べる。future work can explore は、成果が不足していることを認めつつ、その不足を将来の伸びしろとして提示する書き方で、Abstractの締めに置かれる定型。

Transformerはデコードの各ステップで先行する全トークンに対してアテンションを計算し、そのため長文タスクでは計算コストが高くつく。とくに、長文の領域ではKey-Value（KV）キャッシュのメモリアクセス遅延がデコード時間を大きく支配する。

rendering them … は分詞構文で「その結果〜になる」。論文では because や so を避けてこの形で因果を繋ぐことが多い。2文目の Specifically は前文の一般論を一段だけ具体化する接続で、ここでは「計算コスト」を「メモリアクセス遅延」へ絞り込んでいる。dominates は「支配する＝全体の大半を占める」の意で、後のルーフライン分析（73%／86%）で数値化される伏線。

たとえば Qwen-3.5-397B-A17B では、100万トークンのコンテキストに対し、デコードのステップごとに1系列あたり約15GBのKVキャッシュを読み込まねばならない。これは、モデルの170億の活性パラメータを読み込むのに匹敵するメモリ帯域の要求である。

For instance で一気に具体的な数字へ降りるのは、読者に「重い」を体感させるための常套手段。ここで選ばれている比較対象（活性パラメータの読み込み量）が巧みで、機械学習の読者が最も体感を持っている量に換算している。セミコロン以下は名詞句だけで補足を足す形（a memory bandwidth requirement comparable to …）で、文を増やさずに解釈を添える書き方。

コンテキストへのアテンションを疎にするのは自然な解決策として浮かぶが、根本的な難題が残る——真のアテンションスコアは事前には分からない、ということだ。これらのスコアはアテンション行列を全て計算したあとでしか手に入らないため、どのトークンに注目すべきかを動的に特定するのは、コストが法外に高い。

a priori（事前に）はラテン語由来の学術語で、in advance より「原理的に先立って」というニュアンスが強い。この分野の論文で繰り返し現れる語なので覚えておくと速い。prohibitively expensive は「（実用を）禁じるほど高価」＝現実的でない、の定型表現。While A, B remains という譲歩構文で、素朴な解が塞がれていることを示すのが導入部の常套段取り。

対照的に、より最近の手法はアテンションがクエリ依存であることを認め、デコードの各ステップでKVキャッシュを軽く走査してマスクを近似する。これはコストの定数倍を下げはするものの、1ステップあたりの計算量は O(N) のままである。

acknowledge（認める）は「先行研究も分かってはいる」という礼儀を保ちつつ限界を言うための語。批判を人格ではなく計算量に向けるのが作法で、the complexity per step remains O(N) という一文がその批判の全体になっている。ここを押さえると、後の「DAは選択コストを完全に消す」という主張の意味が正確に取れる——DAはグローバル段階ではやはり O(N) を払うが、それは毎ステップの固定費ではない。

アテンションマスクを、隠れ活性から近似するのではなく、モデルが生成した推論トレースから直接導くことで、我々のアプローチは選択コストを完全に取り除く。O(N) のコンテキスト読み出しは、モデルが宣言したグローバル段階にのみ残り、毎ステップの固定的なオーバーヘッドとしては残らない。

By …ing, our approach … は貢献を一文で言い切るときの定型。対比の軸が directly from the generated text / via hidden activations と明示されており、この対比こそが本論文の新規性の全て。2文目は主張の範囲を自分から狭めており（remain only in …, not as …）、この「言い過ぎない訂正句」を貢献の直後に置くのが誠実な論文の書き方。真似する価値がある。