distill

定義

大きな教師モデルの振る舞いを、小さな生徒モデルに移す蒸留の動詞形。正解ラベルだけでなく教師が出す確率分布や中間表現に合わせて学習させるため、同じ規模を素朴に学習させるより性能が出やすい。枝刈りや量子化が元のモデルを削るのに対し、蒸留は別の小さなモデルを新たに育てる点で違う。

論文題名での読み方

軽量化の動詞形

この語が出てくる解説

• 論文解説: On-Policy Distillationは本当に蒸留しているのか — ノイズまみれの教師から自己改善へDoes On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement