self-distillation

定義

外部の大きな教師を使わず、モデル自身の過去の状態や自分の出力を教師信号にして学習し直す手法。生成した出力を選別して自分の学習データにすることで、追加の人手ラベルなしに性能を上げられる場合がある。教師が別の大きなモデルである通常の蒸留とは、教師の出所が違う。

論文題名での読み方

教師を外に置かない蒸留

この語が出てくる解説

• 論文解説: DART-SD — ツール呼び出しエージェントの「ダイヤ型の解空間」を壊さずに学習するDART-SD: Diamond-topology Aware Retrieval and Tuning for Self-Distillation of Multi-Turn Tool-Calling Agents
• 論文解説: On-Policy Self-Distillation in Diffusion Models — 報酬を「途中の的」に翻訳するOn-Policy Self-Distillation in Diffusion Models
• オンポリシー蒸留 — 生徒自身の出力で教わるOn-Policy Self-Distillation without Any Supervision