学生版 社会人版
JA EN

#int8

2 記事

01 ·推論・高速化·★ 会員·10分で読めます LLM量子化を1から解説 — なぜ精度を落としても動くのか 16ビットの重みを4ビットに切り詰めても、モデルは文章を書き続けます。なぜ壊れないのか。スケールとゼロ点という2つの数から始め、重みは落とせるのに活性化が落としにくい理由（外れ値）、PTQとQATの分かれ道、INT8/INT4で実際に起きること、そして「perplexityだけ見て通す」という最も多い評価事故まで。 02 ·アクセラレータ·無料·11分で読めます 数の表し方 — FP32からFP8・INT4まで 符号・指数・仮数という3つの区画を1から見て、指数部が「範囲」を、仮数部が「精度」を決めることを押さえます。そこからbfloat16が生まれた理由、FP8にE4M3とE5M2の2種類がある理由、INT8/INT4の等間隔量子化で何が失われるのかへ。最後に、学習と推論でどの型を選び、精度劣化をどう検知するかまで。