distillation

定義

大きな教師モデルの振る舞いを、小さな生徒モデルに学習させて移す手法（知識蒸留）。正解ラベルだけでなく教師の出力分布や中間表現を信号に使うため、同サイズを一から学習させるより性能が出やすい。既存の重みを縮める量子化や枝刈りと違い、別のモデルを学習し直す点が特徴。

論文題名での読み方

知識蒸留=軽量化の手法

この語が出てくる解説

• 論文解説: Beyond Teacher Assignment — 複数の専門家を1つのモデルに蒸留するとき「誰が教えるか」だけでは足りない理由Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation
• 論文解説: When EOS Tokens Disagree — オンポリシー蒸留で生徒が「止まれなくなる」原因は終了トークンの食い違いだったWhen EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation
• 論文解説: Negative Self-Distillation — 「ダメな自分」から離れて推論を学ぶNegative Self-Distillation: Learning to Reason by Avoiding Flaws