2026-09-29·★ 会員·論文·9分で読めます

論文解説: Disaggregated Quantization — LLMの「読む」と「書く」で量子化を分ける

LLM推論のprefill（プロンプト処理）とdecode（生成）で量子化の形式・重み・置き場所を分ける「分離型量子化」を、前提知識ゼロから解説。1-bit GGUFの精度を2倍以上にしたprefillerと、SSDから重みを流すODPの仕組みと限界まで。

要点

論文「Disaggregated Quantization」は、prefillとdecodeの2段階で演算形式・重み・保存場所を特化させる分離型量子化(DQ)を提案する。
prefillでは低精度の演算そのものが速さにつながり、decodeでは重みが小さいことがメモリ転送の削減につながる。
decodeでだけ活性化の量子化をやめると、コストを増やさずに精度が上がる。
Qwen3.8-27B GGUFでは、decode側を変えずに1ビット版の精度がMMLU-Proで32.5ポイント、MMMU-Proで35.3ポイント上がった。
増えた重みはSSDから流し込み(ODP)、llama.cppでは8KプロンプトのTTFTが1.78倍速くなった。

#quantization #inference #nvfp4 #llama-cpp #vllm #prefill #decode

対象textタスクinference

Disaggregated Quantization: Specializing LLM Prefill and Decode

一次資料 — この記事の根拠

論文の発表 2026-09-22→この解説の公開 2026-09-29同月

Disaggregated Quantization: Specializing LLM Prefill and DecodeAndrei Panferov, Maximilian Kleinegger, Sweta Priyadarshi ほか · 2026-09-22 · v1arXiv:2609.26333論文ページ·PDF

原文の要旨（Abstract）を読む

Prefill and decode reward different approaches to quantization: low-precision arithmetic accelerates prompt processing, while compact weights reduce memory traffic during generation. We propose "disaggregated quantization" (DQ), which specializes computation formats, weights and storage placement to both of these phases. On Qwen 3 and Gemma 3, removing activation quantization specifically on decode improves accuracy on decode-heavy tasks without increasing inference cost. Training separate compute-native prefill weights accelerates prompt processing relative to weight-only inference while matching or exceeding its accuracy at 2-3-bit decode on both decode-heavy and prefill-heavy tasks. With released Qwen3.8-27B GGUF decoders, training an NVFP4 prefiller improves 1-bit accuracy by 32.5 points on MMLU-Pro and 35.3 on MMMU-Pro without modifying the decode checkpoint. To accommodate the additional checkpoint on a single device, offloaded disaggregated prefill (ODP) streams its weights from SSD, amortizing loading over prompt length. On the same 27B model, ODP delivers a 1.78x time-to-first-token speedup over the weight-only baseline at 8K prompt length in llama.cpp. We evaluate accuracy under disaggregated serving in vLLM and further validate shared-weight format disaggregation through post-training quantization on models up to 2.8T parameters.

この論文は何を言っているのか

今回読むのは "Disaggregated Quantization: Specializing LLM Prefill and Decode"（Panferov ほか、NVIDIA・ISTA、2026年9月22日公開）です。

アブストラクトの要約です。LLM推論には、プロンプトを読み込むprefillと、答えを1トークンずつ生成するdecodeの2段階があります。prefillでは低精度の演算そのものが速さにつながり、decodeでは重みが小さいことがメモリ転送の削減につながります。著者らはこの違いに合わせて、演算形式・重み・保存場所を段階ごとに特化させる「分離型量子化（DQ）」を提案しました。decodeでだけ活性化の量子化をやめると、コストを増やさずに精度が上がります。prefill専用の重みを別に学習すると、重みだけ量子化する方式よりprefillが速くなり、2〜3ビットで精度も同等以上になります。公開済みのQwen3.8-27B GGUFでは、decode側を変えずに1ビット版の精度がMMLU-Proで32.5ポイント、MMMU-Proで35.3ポイント上がりました。増えた重みはSSDから流し込み（ODP）、llama.cppでは8KプロンプトのTTFTが1.78倍速くなりました。

量子化が初めての方は量子化を1から、prefillが作るKVキャッシュについては KVキャッシュ入門が前提になります。

比喩: 下読み係と清書係

分厚い資料を読んで短い答申を書く仕事を考えます。下読み係は資料を一気に読んで付箋（KVキャッシュ）にまとめます。大量のページを一度に処理するので、手の速さ（計算）が勝負です。清書係は付箋を見ながら1文字ずつ書き、1文字ごとに分厚い辞書（重み）を棚から出し直します。こちらは辞書の持ち運び（メモリ転送）が律速です。従来の量子化は2人に同じ道具を持たせていました。この論文は、2人の道具を分けようと提案しています。

直感: なぜ2段階は性質が違うのか

論文 §1.1 によると、 $H\times H$ の重みに $T$ トークン分の入力を掛けるとき、メモリから運ぶ量はおよそ $H^2+TH$ 、計算量はおよそ $TH^2$ です。計算量を転送量で割ると次のようになります（1本の式にまとめたのは筆者です）。

I(T) \approx \frac{T H^{2}}{H^{2} + T H} = \frac{T H}{H + T}

(1)

要するに、一度にまとめて処理するトークンが多いほど、メモリから運んだ重み1つでこなせる計算が増える、という式です。この値は「重みを1回運んだら何回使い回せるか」を表します。decodeでは $T=1$ なので $I\approx 1$ となり、転送が律速です。だから重みを圧縮すれば速くなります。 $T$ が数千になるprefillでは計算が律速になるので、NVFP4のようにハードウェアが直接計算できる形式が必要です。2〜3ビットの圧縮形式をprefillで使うには、重みをNVFP4に変換し直し、活性化まで量子化しなければなりません。1つの形式では両方を同時には満たせないのです。

FIG 1量子化の段数を減らすと、ある所で急に崩れる。LLMの1〜2ビット重みでも同じことが起き、この論文はそれをprefill側で取り戻す

論文解説: Disaggregated Quantization — LLMの「読む」と「書く」で量子化を分ける

要点

この論文は何を言っているのか

比喩: 下読み係と清書係

直感: なぜ2段階は性質が違うのか

ここから先は会員限定です

参考文献

コメント