quantization

定義

重みや活性値を少ないビット幅で表し、モデルを軽く速くする技術。FP16を8ビットや4ビットに落とすとメモリと帯域を大きく削れる一方、精度劣化をどう抑えるかが技術の中心になる。層や重みを削る pruning、別モデルへ移す蒸留とは違い、構造は変えず数値表現だけを粗くする。

論文題名での読み方

省メモリ化の技法

この語が出てくる解説

• 論文解説: STEPQuant — Delta則の再帰状態は「いつ・どこの」量子化誤差が効くのかSTEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization
• 論文解説: Disaggregated Quantization — LLMの「読む」と「書く」で量子化を分けるDisaggregated Quantization: Specializing LLM Prefill and Decode
• KVキャッシュ圧縮 — 量子化・追い出し・共有で長文推論を軽くするKIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache