2026-09-03·★ 会員·論文·15分で読めます

論文解説: On-Policy Distillationは本当に蒸留しているのか — ノイズまみれの教師から自己改善へ

教師モデルの採点は3〜5割が誤っているのに、生徒はなぜか同じだけ伸びる。On-Policy Distillationの改善が「教師の真似」ではなく「低確率トークンの抑制」から来ていることを突き止め、教師を捨てた手法OPSAに至った論文を、前提知識ゼロから解説する。

#on-policy-distillation #reinforcement-learning #llm #entropy #post-training

対象textタスクinference

Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement

一次資料 — この記事の根拠

論文の発表 2026-08-31→この解説の公開 2026-09-03同月

Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-ImprovementYi Ding, Ruqi Zhang · 2026-08-31 · v1arXiv:2608.31046論文ページ·PDF

原文の要旨（Abstract）を読む

On-policy distillation (OPD) offers dense token-level supervision as an alternative to the sparse outcome-level advantages of reinforcement learning with verifiable rewards (RLVR). However, the teacher scores student-generated trajectories that are inherently off-policy for it, so the reliability of its supervision, and hence the source of the student's improvement, remains unclear. We quantitatively analyze teacher supervision during OPD training and find substantial noise whose prevalence increases with teacher scale. Surprisingly, the student policy is insensitive to such noise, converging to comparable performance regardless of whether noisy supervision is retained or removed. Does OPD distill at all? By analyzing what drives its gains, we find that learning concentrates on low log-probability tokens, and using a single fixed negative advantage matches the performance of teacher-provided ones. This suggests that OPD works largely by suppressing low log-probability tokens, which requires no teacher. These findings motivate On-Policy Self-Adaptation (OPSA), a supervision-free method using entropy-adaptive negative advantages. It assigns stronger learning signals to high-entropy positions, suppressing tail tokens, and evenly redistributing probability mass among head tokens. Compared with the base \texttt{Qwen3-1.7B}, OPSA improves Avg@32 by 35.41 points on AIME24, corresponding to a 263\% relative gain, and more than doubles Pass@32 across all three benchmarks. It also outperforms OPD by 16.77 points in Avg@32 on AIME24. Extensive experiments and analyses across model families and tasks further demonstrate its effectiveness and generalizability.

「教師から学んでいる」は本当か

この記事で扱う論文の原題は "Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement" です（Yi Ding, Ruqi Zhang / Purdue University / arXiv:2608.31046 / 2026-08-31）。

要旨をひとことでまとめると、こうなります。On-Policy Distillation（以下OPD）は、強化学習が結果だけを見て粗い報酬を返すのに対し、トークン1つひとつに濃い教師信号を与えられる手法として注目されてきました。ところがこの教師は、自分では決して書かないような文章（生徒が書いた文章）を採点させられています。論文はその採点の信頼性を定量的に測り、ノイズが大量にあること、しかもノイズは教師が大きいほど増えることを示します。さらに驚くべきことに、生徒の性能はそのノイズを残しても除いても変わりませんでした。では改善はどこから来ていたのか——著者らは「生徒自身が低い確率で出したトークンを抑え込む」ことが本体であり、そこに教師は要らないと結論づけ、教師なし手法 OPSA（On-Policy Self-Adaptation） を提案します。

比喩: 添削されているのは誰の答案か

家庭教師が生徒の答案を添削する場面を思い浮かべてください。ここでの教師は「自分ならこう書く」という模範解答を持っています。ところがOPDで採点されるのは、教師の模範解答ではなく、生徒が自分で書いた答案です。教師は自分なら選ばない言い回しを大量に目にすることになり、「自分の書き方と違う＝減点」という採点をしがちになります。

この「教師にとっては場違いな答案を採点させる」構造が、論文の言う off-policy な採点です。生徒の書き方が教師と離れているほど、採点は当てにならなくなります。

仕組み: OPDは何を最小化しているのか

OPDは、生徒 $\pi_s$ が実際に生成した文の上で、生徒と教師の逆KLダイバージェンスを小さくします（§2.1）。K1推定量を使った定式化は次の形です。

\mathcal{L}_{\text{OPD}}=-\mathbb{E}\left[\frac{1}{|y|}\sum_{i=1}^{|y|}A_{i}\log\pi_{s}(y_{i}\mid x;y_{<i})\right]

(1)

$y$ は生徒が生成した文、 $y_i$ は $i$ 番目のトークン、 $x$ は問題文です。 $A_i$ は「そのトークンを教師がどれくらい好むか」を表すアドバンテージで、教師が好めば正、嫌えば負になります。式全体は「教師が好んだトークンの確率を上げ、嫌ったトークンの確率を下げる」という意味しか持っていません。

なお実運用上のハードルとして、この計算には教師のロジットに直接触れる必要があり、生徒と教師で語彙が共通していなければなりません（§1）。APIしか叩けない教師モデルは最初から使えない、ということです。KL自体の意味はKLダイバージェンスを1から理解するで扱っています。

測ってみると、教師は3割まちがえている

論文はまず、この $A_i$ がどれくらい当てになるのかを測ります（§2.2）。全トークンの「正解」は誰にも分からないので、著者らは \boxed{} で囲われた最終解答のトークンだけに絞りました。ここなら答え合わせができるからです。そして、教師のアドバンテージの符号が正誤と食い違ったとき——不正解なのに正のアドバンテージ、正解なのに負のアドバンテージ——をノイズと定義します。

実験設定は、生徒が Qwen3-1.7B（思考モード無効）、教師が Qwen3-4B / 30B-A3B / 235B-A22B-Instruct。DAPO-17k の500問について、生徒の正答・誤答を1本ずつサンプルして調べています。

結果は次の通りでした（§2.2）。

4B教師: 正解軌跡の 20.4% が負のアドバンテージを受け、不正解軌跡の 40.8% が正のアドバンテージを受ける。全体のノイズ率 30.6%
30B-A3B教師: 34.7%
235B-A22B教師: 50.6%

教師を大きくするほどノイズが増える、という直感に反する結果です。強い教師ほど生徒の書き方から離れているため、採点がより off-policy になる、という説明が付きます。

驚き: 生徒はノイズを気にしない

普通なら「ではノイズを取り除こう」となります。論文はそれを実際にやりました（§2.3）。軌跡をノイズ有無で分割し、①全部で学習、②ノイズを含む軌跡だけで学習、③ノイズを含まない軌跡だけで学習、の3条件を比べます。

結果、3条件とも同程度のステップ数で同程度の精度に収束しました。ノイズだらけの軌跡だけで訓練しても、標準的なOPDと同じ速さで伸びるのです。ここから論文は「教師の監督がこれほどノイジーなら、生徒の改善は教師の真似から来ているのではないかもしれない」という核心の問いに進みます。

FIG 1温度を下げると分布が尖り、裾（低確率トークン）が消える。この記事の後半で出てくるOPSAは、この「尖らせ方」を位置ごとに変えている

では改善はどこから来たのか

論文は改善の源を2方向から切り分けます。どのトークンが効いているか（§3.1）と、どんな信号が効いているか（§3.2）です。

まず勾配の形を見ると、学習が進まなくなる場面が2つあります。1つは $|A_t|$ が小さいとき。もう1つは、そのトークンの確率がすでに高いときです（§3.1）。そこでアドバンテージの分布を実測すると、29.2% のトークンがちょうどゼロ、51.7% が $10^{-4}$ 未満という偏りでした。そしてこの「ほぼゼロ」のトークンは、生徒が高い対数確率（logp）で出したトークンとほぼ一致します。

決定的なのが次の対照実験です。生徒の高logpトークンだけを選んで学習させると、AIME24の性能は目立って上がりません。しかも、アドバンテージを $[-1,1]$ の乱数に差し替えても結果は実質変わらないのです（§3.1）。高logpトークンは、何を与えても学習信号として機能していない、ということになります。