用語集 › fitnets
GLOSSARY
fitnets
FitNets。中間層のヒントで細く深い網を蒸留
1本の論文題名に登場
定義
教師モデルの中間層の出力をヒントとして与え、幅の狭い深い生徒モデルを蒸留する古典的な手法。最終出力だけを真似させる従来の蒸留と違い、途中の表現も合わせに行くことで、そのままでは学習が通らない細く深い構造でも訓練できるようにした。中間表現を使う蒸留の出発点として引かれる。
論文題名での読み方
固有名。蒸留の古典
GLOSSARY
FitNets。中間層のヒントで細く深い網を蒸留
1本の論文題名に登場
教師モデルの中間層の出力をヒントとして与え、幅の狭い深い生徒モデルを蒸留する古典的な手法。最終出力だけを真似させる従来の蒸留と違い、途中の表現も合わせに行くことで、そのままでは学習が通らない細く深い構造でも訓練できるようにした。中間表現を使う蒸留の出発点として引かれる。
固有名。蒸留の古典