用語集 › quantization
GLOSSARY
quantization
量子化。数値を粗くしてモデルを軽量化
3本の論文題名に登場
定義
重みや活性値を少ないビット幅で表し、モデルを軽く速くする技術。FP16を8ビットや4ビットに落とすとメモリと帯域を大きく削れる一方、精度劣化をどう抑えるかが技術の中心になる。層や重みを削る pruning、別モデルへ移す蒸留とは違い、構造は変えず数値表現だけを粗くする。
論文題名での読み方
省メモリ化の技法
この語が出てくる解説
- 論文解説: Gated DeltaNet はなぜ4bit量子化に耐えるのか — ハイブリッド27BのNVFP4 W4A4Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM