distillation

定義

大きな教師モデルの振る舞いを、小さな生徒モデルに学習させて移す手法（知識蒸留）。正解ラベルだけでなく教師の出力分布や中間表現を信号に使うため、同サイズを一から学習させるより性能が出やすい。既存の重みを縮める量子化や枝刈りと違い、別のモデルを学習し直す点が特徴。

論文題名での読み方

知識蒸留=軽量化の手法

この語が出てくる解説

• 論文解説: 訓練データが1問でも、オンポリシー蒸留は数百ステップ伸び続けるRethinking On-Policy Distillation of Large Language Models II: One Training Example
• 論文解説: SecOPD — トークン1個ずつ採点して、適応的プロンプトインジェクションを1桁下げるSecOPD: Mitigating Adaptive Prompt Injections by On-Policy Distillation
• 論文解説: On-Policy Distillationは本当に蒸留しているのか — ノイズまみれの教師から自己改善へDoes On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement