論文解説: STEPQuant — Delta則の再帰状態は「いつ・どこの」量子化誤差が効くのか
線形注意の再帰状態は固定サイズでも、同時リクエストが増えると重みより大きなメモリを食う。素直に低ビット化すると誤差が更新のたびに積み上がる。誤差が『いつまで残るか』と『どの行に乗るか』でビットとスケールを配るSTEPQuantを1から解説する。
要点
- STEPQuantは、Delta則の再帰状態を誤差の大きさと記憶の寿命に応じて精度を配って量子化する、学習後量子化の手法です。
- 誤差の効き方は、長く残る記憶の誤差が多くのデコードステップに残る時間軸と、キー行ごとに影響が違う空間軸の2つで決まります。
- 状態は固定サイズでもリクエストごとに1つ要り、SGLangの公式構成ではQwenのFP32状態プールが同時70リクエストでBF16の重みより大きくなります。
- 名目6bitでFP32状態とほぼ同じ精度で、SGLangの6bit版は再帰状態を5倍以上圧縮し、サービング全体のメモリを最大68.7%削減します。
STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization
一次資料 — この記事の根拠
論文の発表 2026-09-29→この解説の公開 2026-10-09同月
STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State QuantizationBingchen Yao, Haobo Xu, Haokun Lin ほか · 2026-09-29 · v1arXiv:2609.38169論文ページ·PDF原文の要旨（Abstract）を読む
Linear attention replaces growing KV caches with fixed-size recurrent states, yet these persistent states can become a substantial memory bottleneck under concurrent serving. Directly quantizing recurrent states to low precision often leads to severe accuracy degradation, as quantization errors propagate through successive state updates. We discover that the impact of these errors depends on two complementary dimensions: temporally, errors in long-lived memory can persist across many decoding steps; spatially, errors in different key rows affect model outputs differently, while state magnitudes vary substantially along both rows and columns. Motivated by these observations, we propose STEPQuant, a spatial-temporal post-training quantization framework for Delta-rule recurrent states. STEPQuant allocates precision according to error magnitude and memory lifetime, and jointly fits key-row and value-column scales based on state distributions and key-row impact on output error. Experiments on Qwen3.8-27B and Kimi-Linear-48B-A3B-Instruct across both long- and short-generation benchmarks show that STEPQuant closely matches FP32-state accuracy under a nominal 6-bit budget and outperforms uniform INT8 in its 4-bit configuration. Integrated into SGLang with optimized GPU kernels, 6-bit STEPQuant achieves over 5x recurrent-state compression and reduces total serving memory by up to 68.7%. Our code is available at https://github.com/Dreamer-Toby/STEPQuant.
固定サイズなのに、なぜメモリが足りないのか
この記事で読む論文の原題は "STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization"（Bingchen Yao ほか / arXiv:2609.38169, 2026-09-29）です。
要旨をまとめます。線形注意は、伸び続けるKVキャッシュの代わりに固定サイズの「再帰状態」を持ちます。しかし同時に多くのリクエストを捌くと、この状態がメモリのボトルネックになります。素直に低精度へ量子化すると、誤差が状態更新を通じて伝わり、精度が大きく落ちます。著者らは、誤差の効き方が2つの軸で決まることを見つけました。時間の軸では、長く残る記憶の誤差が多くのデコードステップにわたって残ります。空間の軸では、どのキー行に誤差が乗るかで出力への影響が変わり、値の大きさも行と列の両方向で大きくばらつきます。提案手法 STEPQuant は、誤差の大きさと記憶の寿命に応じて精度を配り、行と列のスケールを同時に当てはめる学習後量子化です。Qwen3.8-27B と Kimi-Linear-48B-A3B-Instruct で、名目6bitならFP32状態とほぼ同じ精度、4bit構成でも一様INT8を上回りました。SGLangに組み込んだ6bit版は再帰状態を5倍以上圧縮し、サービング全体のメモリを最大68.7%削減したと報告しています。
「固定サイズなら増えないのでは？」と思うかもしれません。答えは、状態はリクエストごとに1つ要る、です。SGLangの公式構成では、QwenのFP32状態プールが同時70リクエストでBF16の重みより大きくなります(§1, Fig. 1a)。前提は KVキャッシュを1から理解する が助けになります。
比喩: 毎晩清書し直すノート
再帰状態を1冊のノートだと考えてください。量子化とは、そのノートを毎晩、粗いマス目の用紙に清書し直すことです。翌朝はズレたノートに書き足し、夜にまた清書します。ズレの上にズレが重なります。さらに、すぐ消える走り書きのズレは翌日には消えますが、何か月も残す要点のズレは残り続けます。よく参照するページのズレほど答えを狂わせます。STEPQuant は「いつまで残るか」と「どこに乗るか」で清書の丁寧さを変える方法です。
仕組み: Delta則で状態を書き換える
対象は Gated DeltaNet（GDN）と Kimi Delta Attention（KDA）です(§2.1)。1ヘッドの状態 は の行列で、次の式で更新されます。
言い換えると「古い記憶を保持ゲート で薄め、キー で引いた答えと正しい値 との差分だけを書き込む」更新です。 は書き込みの強さ、 は読み出しの問い合わせ、 は出力です。GDNは がヘッドごとのスカラー、KDAはキー次元ごとに別の値です。
直感: 誤差は運ばれ続ける
量子化した状態で回したときの真の状態とのズレ は、次のように伝わります(§3.1, Proposition 1)。
言い換えると「今日のズレ ＝ 昨日のズレを少し縮めたもの ＋ 今日の清書で出た新しいズレ 」です。縮める力は、ゲートの減衰と、今のキー方向だけを削るDelta則の上書きです。後のキーと向きが揃わない誤差はゲート頼みなので、ゲートが1に近いヘッドでは長く生き残ります。
コメント
コメントにはログインが必要です