#unlikelihood

1 記事

01 ·推論・高速化·★ 会員·論文·12分で読めます 論文解説: Negative Self-Distillation — 「ダメな自分」から離れて推論を学ぶ Negative Self-Distillation: Learning to Reason by Avoiding Flaws 模範解答を真似させる自己蒸留(OPSD)は、推論モデルの『迷って見直す力』を奪うことがある。NSDはモデル自身に『雑な解き手』を演じさせ、その悪い先生から離れる方向にだけ学習する。正解ラベル不要の新しい後学習を1から解説。