2026-09-25·★ 会員·論文·12分で読めます

論文解説: Negative Self-Distillation — 「ダメな自分」から離れて推論を学ぶ

模範解答を真似させる自己蒸留(OPSD)は、推論モデルの『迷って見直す力』を奪うことがある。NSDはモデル自身に『雑な解き手』を演じさせ、その悪い先生から離れる方向にだけ学習する。正解ラベル不要の新しい後学習を1から解説。

要点

NSDは、正解を真似る代わりに欠陥のある推論から遠ざかるよう学習する手法である。
NSDはモデル自身に「雑な解き手として振る舞え」などの問題ごとのネガティブ条件を作らせ、その負の先生の分布から生徒を引き離す。
OPSDは正解を見た先生の自信過剰で一直線な推論を真似させるため、不確かさの表明や自己修正が抑えられる。
欠陥のある推論トークンと普通の言葉のトークンが混ざるため、NSDは推論に効くトークンだけを動的ゲートで選び出す。
NSDは正解や外部の監督を使わず、OPSDや他のラベル不要な強化学習系手法を一貫して上回ったと主張されている。

#distillation #self-distillation #reasoning #unlikelihood #llm #post-training

対象textタスクinference

Negative Self-Distillation: Learning to Reason by Avoiding Flaws

一次資料 — この記事の根拠

論文の発表 2026-09-10→この解説の公開 2026-09-25同月

Negative Self-Distillation: Learning to Reason by Avoiding FlawsRongcan Pei, Zhepei Wei, Shuyao Xu ほか · 2026-09-10 · v1arXiv:2609.11699論文ページ·PDF

原文の要旨（Abstract）を読む

On-Policy Self-Distillation (OPSD) has emerged as a popular paradigm for large language model (LLM) self-improvement, allowing models to act as their own teachers by leveraging privileged information such as ground-truth solutions. However, recent findings indicate that OPSD can severely degrade the performance of LLMs on complex reasoning tasks: By forcing the student to imitate an artificially confident reasoning trace conditioned on privileged information, OPSD inadvertently suppresses expressions of uncertainty and penalizes the exploratory, self-corrective behaviors required to solve challenging problems. To address this, we introduce Negative Self-Distillation (NSD), a new framework that optimizes LLMs by diverging from flawed reasoning rather than imitating privileged solutions. Instead of relying on ground-truth answers or external supervision, NSD uses the model itself to generate a question-specific negative condition (eg, acting as a ``careless reasoner'') and pushes the student's distribution away from this self-generated negative teacher. Naively applying unlearning objectives to achieve this divergence is problematic, as flawed reasoning tokens are confounded with basic linguistic tokens; indiscriminately penalizing both risks catastrophically degrading the model's foundational language capabilities. We resolve this by designing a dynamic gating mechanism that automatically identifies and isolates reasoning-critical tokens, ensuring gradient updates target only behavioral flaws while preserving the model's linguistic priors. Empirically, NSD consistently outperforms OPSD and other label-free, self-bootstrapping reinforcement learning (RL) baselines.

この論文は何を言っているか

今回読むのは "Negative Self-Distillation: Learning to Reason by Avoiding Flaws"（Pei, Wei, Xu, Zhu, Chen, Meng／arXiv:2609.11699, 2026-09-10）です。略称は NSD。

アブストラクトの要旨はこうです。大規模言語モデル(LLM)が自分自身を先生にして賢くなる「On-Policy Self-Distillation(OPSD)」は、模範解答のような特権情報を使えるので広く使われてきた。しかし最近、OPSD は難しい推論問題で性能を大きく落としうることが分かってきた。正解を知っている先生の「不自然に自信満々な解き方」を真似させるため、不確かさの表明や、試行錯誤して自分で直す振る舞いが抑え込まれてしまうからだ。そこで NSD は、正解を真似る代わりに欠陥のある推論から遠ざかるように学習する。正解や外部の監督は使わず、モデル自身に問題ごとの「ネガティブ条件」（例:「雑な解き手として振る舞え」）を作らせ、その条件を与えた自分＝負の先生の分布から、生徒の分布を引き離す。ただし単純に「忘れさせる」損失を掛けると、欠陥のある推論トークンと普通の言葉のトークンが混ざっているため、言語能力そのものが壊れかねない。NSD は推論に効くトークンだけを自動で選び出す動的ゲートでこれを解決し、OPSD や他のラベル不要な強化学習系手法を一貫して上回った、という主張です。

比喩: 模範解答を写すか、悪い見本を避けるか

数学の家庭教師を想像してください。

OPSD 型の先生は、答えを知った状態で解説します。迷いが一切ない一直線の解き方です。生徒がそれを丸写しすると、「あれ、待てよ」と立ち止まる癖が消えていきます。本番で答えを知らないときに、立ち止まれない生徒が出来上がります。
NSD 型の先生は逆に、「雑に解くとこうなる」という悪い見本を見せ、「これと同じ方向には行くな」とだけ教えます。正しい道は教えませんが、落とし穴の方角が分かれば、残りは自分の力で探せます。

ポイントは、この悪い見本を生徒本人が演じることです。外部の先生も、正解データも要りません。

背景: なぜ「正解を真似る」と弱くなるのか

論文の §1 の整理を追います。推論能力を伸ばす定番は、答えが検証できる問題で報酬を与える強化学習(RLVR)です。ただし、1問あたり複数回の解答生成が要って重く、全部正解・全部不正解のグループでは学習信号が消え、さらに報酬が解答全体に一律で掛かるので「どの一語が良かったか」が分かりません。

そこで生徒自身が生成した解答の各トークンに、先生が細かく点を付けるオンポリシー蒸留が出てきました（詳しくはオンポリシー蒸留の記事）。外部の強い先生を用意する手間を省いたのが OPSD で、同じモデルに正解を見せて先生役をさせます。

ところが正解を見た先生は、自信過剰で一直線な推論を出しがちです。生徒をその分布に近づけると、探索的な高エントロピーの出力、不確かさの表明、自己修正が抑えられる——これが論文の問題意識です（§1）。

下の図で温度を下げると、分布が一つの候補に尖り、他の選択肢がほぼゼロになります。「Wait」のような見直しの言葉が、この「その他」側に押しつぶされていくイメージです。

FIG 1温度を下げると分布が一点に尖る。正解を知る先生の「自信満々な分布」を真似ると、見直しの言葉のような少数派の候補が消えていく

仕組み1: 自分で「悪い先生」を作る

NSD の出発点は、正解ラベルのない問題集 $\mathcal{D}_{\text{raw}}=\{x_i\}$ です（ $x_i$ は問題文）。既定の「オンライン」戦略では、各問題について次を行います（§2.1）。

y_{\text{init}}\sim\pi_{\theta}(\cdot\mid x),\qquad n\sim\pi_{\theta}(\cdot\mid x,y_{\text{init}})

(1)

言い換えると「まず生徒 $\pi_\theta$ に問題 $x$ を解かせて答案 $y_{\text{init}}$ を得る。次に、その問題と答案を見せたうえで、同じ生徒に『この問題でありがちな雑な解き方をさせる指示文』 $n$ を書かせる」です。 $\sim$ は「モデルからサンプルする」という意味です。

論文解説: Negative Self-Distillation — 「ダメな自分」から離れて推論を学ぶ

要点

この論文は何を言っているか

比喩: 模範解答を写すか、悪い見本を避けるか

背景: なぜ「正解を真似る」と弱くなるのか

仕組み1: 自分で「悪い先生」を作る

ここから先は会員限定です

参考文献

コメント