数の表し方と量子化

教科書 › 第I部半導体の理論

CHAPTER 14

★ 会員2分

コンピュータの中で小数を扱う標準的な方法が浮動小数点だ。符号・指数部・仮数部に分けて表現する。指数部が広ければ扱える範囲が広く、仮数部が長ければ精度が高い。

AIでよく使われる数値形式

形式	ビット数	性格
FP32	32	従来の標準。学習の基準になる精度
FP16	16	半精度。範囲が狭く、学習中に値が振り切れることがある
BF16	16	FP32と同じ指数部の幅を持ち、仮数部を削った形式。範囲が広く学習で扱いやすい。現在の学習の主流
FP8	8	近年のハードが対応し始めた。学習にも使われ出している
INT8	8	整数。エッジ推論の事実上の標準
INT4 など	4以下	大規模言語モデルの推論で実用化。精度劣化との勝負になる

全26章と全ラボが読み放題。月額¥490、いつでも解約できます。