GLOSSARY

hints

ヒント。教師モデルの中間出力という手がかり

1本の論文題名に登場

定義

蒸留で教師モデルから生徒へ渡す、最終出力以外の手がかりを指す。多くは中間層の特徴表現で、生徒の対応する層をそれに近づける補助的な損失を置く。正解ラベルや出力分布より情報量が多い一方、どの層を対応させるか、次元の違いをどう埋めるかという設計が必要になる。

蒸留で渡す中間情報