born-again

生まれ変わった。同じ構造へ蒸留し直すこと

1本の論文題名に登場

定義

教師と同じ構造・同じ大きさの生徒を蒸留し直す自己蒸留の呼び名。圧縮を目的とする通常の蒸留と違い、サイズを変えないまま学び直させると元の教師を上回ることがある、という観察が中心にある。教師の出力分布が正解ラベルより滑らかで学びやすい信号になるためと説明される。

自己蒸留の呼び名