sparsegpt

SparseGPT。巨大LLMを一度で枝刈りする手法

1本の論文題名に登場

定義

巨大な言語モデルを、再学習なしの一度の処理で枝刈りして疎にする手法。層ごとに重みを落としながら残った重みを補正して誤差を埋める解法で、数百億〜千億規模でも現実的な時間で処理できる点が要点。量子化手法 GPTQ と解法の系譜を共有し、疎化と量子化を組み合わせて使うこともできる。

固有名。枝刈り手法