GLOSSARY

gptq

GPTQ。LLMを精度を保って低ビット量子化する手法

1本の論文題名に登場

定義

学習済みの大規模言語モデルを、再学習なしで3〜4ビット程度へ量子化する後処理手法。層ごとに、二次の情報を使って量子化による出力誤差を打ち消しながら重みを順に丸めていくため、単純な丸めより精度の劣化が小さい。学習中に量子化を織り込む量子化認識学習と違い、完成した重みにだけ適用する。

固有名。量子化手法