論文解説: On-Policy Reverse Distillation — 弱い教師を「目標」でなく「方向」として使う

弱い教師モデルが事後学習で獲得した「方策の変化」を、生徒の最適化目標にはせず、生徒自身の方策勾配を増幅する向きとしてだけ使う手法 OPRD を、前提知識ゼロから解説する。

Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation

弱い先生から、強い生徒は伸びられるのか

この記事で読む論文の原題は "Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation"（Youngrok Park ほか、arXiv:2609.08798、2026年9月8日公開、38ページ）です。

アブストラクトの主張をまとめます。弱い監督者から強いモデルが学び、監督者を追い越せるか——これが weak-to-strong generalization（弱→強の汎化）の問いです。モデルの世代交代や、複数ドメインの能力を1つに束ねる場面では、最前線規模の事後学習をゼロからやり直すコストが高すぎるため、この問いは実務的に重要になります。ところが従来の蒸留は、弱い教師を最適化の目標そのものとして扱うので、教師の能力上限を生徒に押し付けかねません。論文が提案する On-Policy Reverse Distillation (OPRD) は、生徒自身が生成した文の上で「教師が参照方策からどれだけずれたか」を測り、生徒の検証器由来の方策勾配のうちその向きに沿った成分だけを増幅します。検証器が支持する更新だけを再スケールするので、方策最適化の停留点を保ったまま教師を超える学習を加速できる、というのが中心的な主張です。世代交代型の転移でも複数教師の統合でも、既存のRL・蒸留手法より少ない更新回数で高い性能に達したと報告されています。

比喩: 答えではなく、伸び代の向きだけ借りる

将棋の指導対局を思い浮かべてください。あなたはアマ高段者で、指導してくれるのは「昨年よりずいぶん強くなった中級者」だとします。

先生の現在の指し手そのものを丸暗記すれば、あなたの棋力は中級者で頭打ちになります。これが従来の蒸留です。一方、「先生がこの1年でどこをどう変えたか」——序盤の無理攻めをやめた、終盤で駒得より速度を取るようになった——という変化の向きだけを抜き出せば、それはあなたにも通じる学びかもしれず、しかもあなたの上限を決めません。

OPRD がやるのは後者です。ただし「その向きを目標にする」のでもありません。あなたが自分の勝敗から得た改善方向のうち、先生の変化と同じ向きを向いている分だけを強めて踏み込む。この「目標にはしないが、加速には使う」という一線が設計の核心です。

前提: 検証器で学ぶ RLVR と、その教師版 OPD

近年の推論モデルの事後学習は RLVR（Reinforcement Learning with Verifiable Rewards） が中心です（§2.1）。解答が合っているか、コードがテストを通るか——プログラムで検証できる報酬だけで方策を最適化します。生徒方策 $\pi_\theta$ が応答をサンプリングし、各位置 $t$ で前文脈 $s_t=(x, y_{<t})$ を訪れるとき、トークンごとの方策勾配は式(2.1)で次のように書かれます。

$A_t$ は「そのトークンがどれだけ良かったか」を表すアドバンテージ、$\mathbf{z}_t$ は次トークンのロジット（softmax に入れる前の生の数値の並び）です。つまり式(1)は、「このトークンが良かったなら、そのロジットを上げる向き」を語彙サイズのベクトルとして書いたものです。

一方 On-Policy Distillation (OPD) は、生徒が実際に生成した文の各位置で教師に「次は何を出すか」を尋ね、その分布に生徒を合わせます。学習時と推論時で見る前文脈がずれる問題を解けるので定番になりましたが、この目的関数の最適解は教師の方策そのものです（式2.3）。弱い教師の最終方策には、事後学習で得た改善に加えて、参照方策から受け継いだ癖と、容量の制約から来る振る舞いが混ざっている。OPD はその3つをまとめて生徒に移してしまいます。強化学習を足しても、教師マッチングが別の目的関数として残る限り報酬最大化と競合しうる、というのが論文の問題意識です（§1）。

仕組み: 変化の「向き」だけを取り出す

OPRD は教師の最終方策ではなく、事後学習で生じた変化を使います（§2.2）。$\pi_T$ を RL 学習済みの凍結教師、$\pi_T^{\rm ref}$ をその事後学習前の参照方策とし、生徒が訪れた前文脈 $s_t$ での両者の次トークンロジットの差を取り、平均中心化（全成分から平均を引く操作 $\mathcal{C}$）したものを教師の政策シフト $\bm{\Delta}_t$ と定義します。ロジットは全体を定数ずらしても softmax 後の分布が変わらないので、この共通オフセットを除くわけです。

そして肝心なのは、OPRD が $\bm{\Delta}_t$ の大きさを捨て、単位方向だけを使うことです。

式(2)は「教師がどれだけ強く変わったか」ではなく「どちら向きに変わったか」だけを残す、という意味です。理由は明快で、このシフトは弱い教師の方策クラスの中で学習されたものなので、強い生徒にとって検証器報酬を改善する保証がないから（§2.2）。実装ではさらに生徒方策での top-10 打ち切りを使い、生徒が実際に確率を割いている語彙領域に補正を集中させています。