用語集 › low-precision
GLOSSARY
low-precision
低精度の。少ないビット数で数値を表す
1本の論文題名に登場
定義
数値を少ないビット数で表して計算すること。FP16・BF16・FP8・INT8 などが該当し、メモリと帯域を削り専用演算器を使えるため速くなる。表現範囲と刻みが粗くなるため、スケーリング係数と外れ値の扱いが精度維持の要になる。量子化はこの表現へ写す操作そのもの。
論文題名での読み方
FP8/INT8など
GLOSSARY
低精度の。少ないビット数で数値を表す
1本の論文題名に登場
数値を少ないビット数で表して計算すること。FP16・BF16・FP8・INT8 などが該当し、メモリと帯域を削り専用演算器を使えるため速くなる。表現範囲と刻みが粗くなるため、スケーリング係数と外れ値の扱いが精度維持の要になる。量子化はこの表現へ写す操作そのもの。
FP8/INT8など