distilled

蒸留された。大モデルの知識を小へ移した

2本の論文題名に登場

定義

大きなモデルが持つ知識を、より小さなモデルへ移し終えた状態。正解ラベルだけでなく教師モデルの出力分布(軟らかいラベル)や中間表現を学習目標に使うことで、同じ小型モデルを素データで学習させるより良い結果になることが多い。数値精度を落とす量子化や重みを削る枝刈りとは違い、教師モデルの信号を使って学び直す点が本質。

論文題名での読み方

知識蒸留の結果