#self-distillation

4 記事

01 ·推論・高速化·★ 会員·論文·12分で読めます 論文解説: Negative Self-Distillation — 「ダメな自分」から離れて推論を学ぶ Negative Self-Distillation: Learning to Reason by Avoiding Flaws 模範解答を真似させる自己蒸留(OPSD)は、推論モデルの『迷って見直す力』を奪うことがある。NSDはモデル自身に『雑な解き手』を演じさせ、その悪い先生から離れる方向にだけ学習する。正解ラベル不要の新しい後学習を1から解説。 02 ·推論・高速化·★ 会員·論文·17分で読めます 論文解説: DART-SD — ツール呼び出しエージェントの「ダイヤ型の解空間」を壊さずに学習する DART-SD: Diamond-topology Aware Retrieval and Tuning for Self-Distillation of Multi-Turn Tool-Calling Agents 順不同のサブゴールを含む多ターンのツール呼び出しでは、正解の集合が『ダイヤ格子』状に広がる。軌跡まるごとの模倣がなぜそれを潰すのか、状態グラフで『最初に転んだ地点』を特定してそこから先だけを直す学習で何が変わるのかを、前提知識ゼロから解説する。 03 ·蒸留と圧縮·無料·論文·12分で読めます 蒸留レシピ図鑑 — logit・feature・attention・self をどう使い分けるか Distilling the Knowledge in a Neural Network 蒸留のレシピは「教師のどこを学生に合わせるか」で決まります。出力(logit)・中間層(FitNet)・注意行列・自己蒸留の4種を、1枚の表と4本の式で並べ、教師がAPI越しなのか同族アーキなのかといった条件から選び方を決める地図にします。 04 ·推論・高速化·無料·論文·14分で読めます 論文解説: AgentOPSD — 「どのターンが勝敗を分けたか」をベイズ信念の再帰更新で見つけるエージェントRL AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning 長いマルチターン対話の最後に成功/失敗しか教えてくれない環境で、「効いた一手」をどう見つけるか。自己蒸留のギャップをベイズ証拠と読み替え、log-odds空間で信念を再帰更新するAgentOPSDを論文本文から解説。ALFWorld 89.1%の結果、アブレーション、限界まで。