論文解説: BeaconKV — 「思考を読み返す瞬間」を先読みしてKVキャッシュを捨てる

推論モデルは長い思考の途中で、序盤に立てた方針をふと読み返す。その瞬間のクエリは埋め込み空間で少数の塊を作る——だから塊の代表（ビーコン）を数十本持っておけば、どのKVを残すべきか先読みできる。学習不要で最大5.8倍のメモリ削減・4.3倍超のスループットを実測した論文を、式とコードで読み解きます。

BeaconKV: Key-Value Cache Compression Guided by Beacon Queries for Efficient Large Reasoning Model Inference

「最近の質問」だけで未来を占うのは無理だった

原題は "BeaconKV: Key-Value Cache Compression Guided by Beacon Queries for Efficient Large Reasoning Model Inference"（Janghyeon Kim、Minsoo Kim、Kyuhong Shim、Jungwook Choi — 漢陽大学／成均館大学、arXiv:2609.04971、2026年9月4日）。

要旨を日本語にするとこうです。大規模推論モデル（LRM）は長い思考の連鎖（CoT）を書き出すことで高い問題解決力を得るが、その代償としてKVキャッシュが系列長に比例して肥大し、長い推論ではGPUメモリを超えてしまう。既存のKVキャッシュ圧縮は「最近のクエリ」を使って将来のトークン重要度を見積もるが、これは暗黙に「最近のクエリが将来のアテンションの良い代理になる」と仮定している。論文はこの仮定が長い推論では破れることを示す。ある復号ステップでは、序盤に立てた解法プランのような遠い過去の文脈を読み返す Thought Revisiting Tokens（TRT） が生成されるからだ。さらに、TRTに対応するクエリは埋め込み空間で少数の類似グループに固まることを発見し、各グループの代表である ビーコンクエリ を保持しておくだけで、クエリ履歴を丸ごと持たずに「どのKVが再訪されるか」を先読みできる学習不要の手法 BeaconKV を提案する。4つのオープンソースLRMと複数の推論ベンチマークで既存手法を概ね上回り、最大5.8倍のメモリ削減とフルキャッシュに近い精度、4.3倍超のスループット向上を達成した。

比喩: 長い会議で、冒頭の方針にふと立ち返る瞬間

3時間の会議を想像してください。議事録係のあなたは、机の上に置ける紙の枚数に限りがあるので、古いメモを定期的に捨てなければなりません。どれを捨てるかを決めるとき、普通は「ここ数分の議論で参照されたメモ」を残します。直近の話題が次の数分も続くだろう、という読みです。

ところが会議には、誰かが「そもそも冒頭で決めた方針って何でしたっけ」と言い出す瞬間があります。必要なのは3時間前のメモですが、直近数分の議論に出てこなかったので、あなたはとっくに捨てています。

推論モデルの思考にもこの「読み返し」が散発的に、予測しにくいタイミングで起きる——そして「直近のクエリで採点」はその瞬間を構造的に見落とす、というのが論文の指摘です（§3.1）。

前提: KVキャッシュはなぜ膨らむか

Transformerの復号は1トークンずつ進み、新しいトークンは過去の全トークンのKey・Valueを参照します。過去のK・Vは変わらないので保存して使い回す——これがKVキャッシュです（基礎はKVキャッシュを1から理解するを参照）。論文§2.1の式で書くと、ステップ $t{+}1$ の出力は

$$o^{\mathrm{attn}}_{t+1}=\mathrm{Softmax}\!\left(q_{t+1}\bigl[K\|k_{t+1}\bigr]^{\top}/\sqrt{d}+M\right)\bigl[V\|v_{t+1}\bigr]$$

つまり「新しい1本のクエリ $q_{t+1}$ を、保存済みの全Key $K$ に新しい $k_{t+1}$ を継ぎ足したものと照合し、その重みで全Valueを混ぜる」です。$M$ は未来を見ないための因果マスク、$d$ は次元数。毎ステップ $(k_{t+1}, v_{t+1})$ が末尾に追加されるので、キャッシュは生成長に比例して伸びます。

論文の数字では、Qwen3-4Bがバッチ16で32Kトークン生成するとKVキャッシュだけで77GBを超え、80GBのGPU1枚がほぼ埋まります（§1）。AIME24やLiveCodeBenchの平均出力は1万トークン超（付録A.2）なので、机上の話ではありません。

既存手法: 直近のクエリで採点して上位だけ残す

SnapKV・RPC・R-KVといった追い出し型の圧縮は、共通の枠組みを持ちます（§2.2）。キャッシュが上限に達したら、直近 $N_{\text{obs}}$ ステップ分のクエリ（観測クエリ集合 $Q_{\text{obs}}$）で各Keyへのアテンション重み

$$w_{\tau,j}=\frac{\exp\!\left(q_{\tau}^{\top}k_{j}/\sqrt{d}\right)}{\sum_{l}\exp\!\left(q_{\tau}^{\top}k_{l}/\sqrt{d}\right)}$$

を計算し（「ステップ $\tau$ のクエリが、$j$ 番目のKeyをどれだけ見ているか」の割合）、観測窓の中で最大または平均を取ったものを重要度 $s_j$ とし、上位 $B_{\text{KV}}$ 件だけを残します（手法の全体像はKVキャッシュ圧縮を参照）。押さえるべきは1点、採点者が「直近のクエリ」しかいないことです。

発見: Thought Revisiting Tokens

論文§3.1は、R1-Distill-Qwen-7BにAIME24の問題を解かせ、18層16番ヘッドのアテンションを可視化します。トークン1066〜1092の大半は直近（およそ900〜1092番）のKeyを見る「局所クエリ」ですが、1068番と1090番だけが約100〜450番という遠い位置へ注意を向け直します。中身を見ると（Figure 2・付録E）、そこには問題の制約条件と序盤に立てた解法プランがある。これが Thought Revisiting Tokens（TRT） で、そのクエリを論文は「大域クエリ」と呼びます。

定量化のため、各クエリの上位K件（K=150）の参照先までの平均距離を測ると、局所クエリは0付近に集中し、大域クエリは明確に分離した分布を持ちました（Figure 1(b)、付録Bでは平均距離200以下を局所と定義）。しかも大域クエリは特定の層やヘッドに閉じず、モデルのあちこちで散発的に現れます（Figure 3）。

既存手法にとって致命的なのはここです。TRTは散発的で予測不能なので、直近32本のクエリに大域クエリがたまたま混じることはあっても、「次にどの遠いKVが読み返されるか」は体系的に見積もれない。結果、後で必要になるKVを早まって捨て、予算が厳しいほど精度が落ちます（§3.1）。

発見の核心: 大域クエリは塊を作る

もし大域クエリがてんでバラバラなら、打つ手はありません。ところが§3.2は救いを見つけます。RoPE（位置回転）を掛ける前のクエリ同士でコサイン類似度を取ると（位置の影響を除いて幾何だけを見るため）、1068番と1090番は周囲の局所クエリとは似ていないのに、互いには強く似ている。PCAで2次元に落とすと（Figure 4(b)）、大域クエリは散らばらず、少数のクラスタに固まっていました。