#qat

1 記事

01 ·推論・高速化·無料·10分で読めます LLM量子化を1から解説 — なぜ精度を落としても動くのか 16ビットの重みを4ビットに切り詰めても、モデルは文章を書き続けます。なぜ壊れないのか。スケールとゼロ点という2つの数から始め、重みは落とせるのに活性化が落としにくい理由（外れ値）、PTQとQATの分かれ道、INT8/INT4で実際に起きること、そして「perplexityだけ見て通す」という最も多い評価事故まで。