論文解説: Gated DeltaNet はなぜ4bit量子化に耐えるのか — ハイブリッド27BのNVFP4 W4A4

ハイブリッドLLMの再帰層(Gated DeltaNet)は4bit量子化に弱い、という通説を実測で否定した論文の解説。ゲートの対数パラメータ化とdelta則の上書きが、なぜ量子化ノイズを消してしまうのかを1から追う。

Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM

「再帰は量子化に弱い」という直感を疑う

この記事で読む論文の原題は "Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM"（Sergii Kozyrev, Davyd Maiboroda / arXiv:2609.04098, 2026-09-03）です。

要旨を日本語でまとめます。最近の大規模言語モデルは「ハイブリッド」— 大半の層をsoftmax注意ではなく、固定サイズの状態で文脈を要約する線形注意（Gated DeltaNet、以下GDN）に置き換えた構成 — になりつつあります。Qwen3.8-27B は64層のうち48層がGDN、16層だけが通常の注意です。ところがこのモデルの4bit量子化版はどれも、GDNブロック、とりわけ減衰ゲートと書き込み強度ゲートの射影だけは8bitや16bitのまま残していました。「再帰は誤差が溜まるから」という理由です。論文はこの直感を検証するため、496本の線形層すべてを NVFP4 の W4A4（重みも活性値も4bit）にした Minima を作り、4K/32Kのperplexity、MMLU-Pro、GSM8K、AIME'25、GPQA-Diamond、LiveCodeBench、64KまでのRULER検索で評価します。結果はBF16とシード誤差の範囲で一致（5タスク平均 $-0.52$）、かつ比較対象の中で最小（17.5 GiB）でprefillが最速（+14〜19%）。しかも32Kのperplexity差は文脈が進むほど縮む。論文はその理由を4段構えの機構分析で説明します。

比喩: 伝言ゲームか、上書きされるホワイトボードか

再帰が量子化に弱いと考えるとき、頭にあるのは伝言ゲームです。1人が少しずつ聞き間違えれば、100人後には原型を留めない。ならば状態 $S_t$ を毎ステップ更新する層に4bitの丸め誤差を混ぜれば、3万トークン後には壊れているはずだ、と。

論文が示すのは、GDNの状態はむしろ共用のホワイトボードに近いという事実です。新しいトークンが来るたび、そのトークンの「キー」に対応する欄が消されて書き直される。古い書き込みは薄れるのではなく消される。だから誤差も同じ速さで消えていきます。

前提1: 4bitに丸めるとは何をすることか

NVFP4 は値を E2M1（符号1・指数2・仮数1の計4bit）で持ち、16要素ごとに1つの E4M3 スケール（ブロック最大値÷6）と、テンソル全体で1つのFP32スケールを添える形式です。W4A4 とは重みと活性値の両方をこの粒度で量子化することで、行列積が4bitのテンソルコアで直接走ります（§2）。

ここで効く性質が2つあります。ひとつ、ブロックの最大値がそのブロックのスケールを決めるので、外れ値が壊すのは自分と隣の15要素だけです。ふたつ、ブロック内では $\max/\mathrm{RMS}\le\sqrt{16}=4$ なので、1つの値だけが突出した状態には上限があります。粗い目盛りに丸めると何が起きるかは、画像圧縮で体感するのが早いです。

前提2: Gated DeltaNet は何を計算しているか

GDN層は残差ストリームを4つの線形写像に通します。in_proj_qkv（因果畳み込みとSiLUを経て $q_t,k_t,v_t$ に分かれる）、出力ゲート in_proj_z、そしてヘッドごとにスカラーを出す2本のゲート射影 in_proj_a と in_proj_b です。ゲートは対数空間でパラメータ化されます（§2）。

読み下すと、$a_t$ が射影の出力（生の数値）、それを softplus と指数に通した $\alpha_t$ がどれだけ覚えておくか（1に近いほど忘れない）、$b_t$ をシグモイド $\sigma$ に通した $\beta_t$ がどれだけ強く書き込むかです。量子化ノイズが乗るのは $\alpha$ そのものではなく、その手前の $a_t$ — これが後で効きます。

状態 $S_t$（ヘッドごとに $K\times V=128\times128$ の行列）は、$\ell_2$ 正規化されたキーとクエリの上で次のように更新されます。

括弧の中身 $v_t-S_{t-1}^{\top}k_t$ が肝です。これは「いまの状態がキー $k_t$ に対して答える内容」と「本当に書きたい値 $v_t$」の差です。つまりGDNは $v_t$ を足し込むのではなく、キー $k_t$ の方向にあった内容を $v_t$ で置き換える。これがdelta則（差分則）と呼ばれる理由です。

量子化の候補になるのはGDN層あたり5本の重み行列で、コミュニティの通例は $a$ と $b$ を完全に守り、残りを8bitに留めるというものでした。対して Minima は496本 — GDN 240、注意 64、MLP 192 — を量子化し、BF16のまま残すのは embedding・lm_head・GDNの conv1d・各種norm・$A_{\log}$/dt_bias だけ。校正は128サンプル×32Kトークンの凍結セット、配信はNVFP4をネイティブ対応するRTX PRO 6000 1枚でテキスト専用（§3）です。

主結果: 全部4bitにしても壊れない

比較は同一条件（vLLM 0.27.1、TP=1、RTX PRO 6000 1枚、FP8 KVキャッシュ、同一ハーネス）で4本（§4）。BF16、Minima、そして公開版のUnsloth Dynamic v3 と RadixArk（どちらもGDNと注意はFP8 W8A8、$a$/$b$ はBF16、NVFP4はMLPのみ）。読み取れることは3つあり、論文の議論が本当に始まるのは3つ目からです。