論文解説: 訓練データが1問でも、オンポリシー蒸留は数百ステップ伸び続ける
訓練クエリを1問に絞ってもオンポリシー蒸留は数百ステップ改善し続け、フルデータの伸びの大半を回収する。論文はその理由を「状態カバレッジ」と「吸収率」の2つで説明し、OPDはデータ過多・アルゴリズム不足だと結論づける。
Rethinking On-Policy Distillation of Large Language Models II: One Training Example
一次資料 — この記事の根拠
論文の発表 2026-09-03→この解説の公開 2026-09-07同月
Rethinking On-Policy Distillation of Large Language Models II: One Training ExampleZixuan Fu, Bingxiang He, Yuxin Zuo ほか · 2026-09-03 · v1arXiv:2609.04172論文ページ·PDF原文の要旨（Abstract）を読む
On-policy distillation (OPD) combines student-generated rollouts with dense token-level supervision from a teacher. Existing work has mainly studied its algorithmic behavior, leaving the role of training data unclear. We examine this role at the data-minimal limit by training on a single query. One-shot OPD keeps improving for hundreds of steps and recovers most of full-data OPD's gain across task domains and model families. We explain this result through the states visited during training and the rate at which the student aligns with the teacher. We measure \emph{state coverage}, the fraction of the states full-data OPD visits that a query set's rollouts reach. A single query already reaches \(71.5\%\), most of it within the first 100 steps. Adding semantically distinct queries raises coverage and validation accuracy together, until 16 queries reach \(98.9\%\) and match full-data training. Yet alignment slows at a similar pace whether OPD trains on one query or the whole dataset, and even a fixed set of states takes hundreds of steps to absorb. OPD is therefore data-overfed but algorithm-starved. Its rollouts quickly expose broad supervision, while the student absorbs that supervision increasingly slowly. The state-coverage result extends to multi-teacher OPD, where 16 semantically diverse queries per domain match full-data MOPD. As a further stress test, content-light templates and off-domain WildChat queries also approach the real-query baseline. Task content and induced state coverage can therefore come apart. We hope these findings direct future work toward the step efficiency of OPD, and prompt a re-examination of the data and the mechanisms behind its recent successes in frontier post-training.
訓練データを1問まで削ると、何が見えるか
原題は "Rethinking On-Policy Distillation of Large Language Models II: One Training Example"（arXiv:2609.04172、2026年9月3日公開、cs.AI / cs.CL、29ページ・図20点）。著者は Zixuan Fu、Bingxiang He ら、清華大学を中心とした共同研究です。
論文の主張を先に要約します。オンポリシー蒸留（on-policy distillation, 以下 OPD）は、生徒モデル自身が生成した応答の上に、教師モデルからのトークン単位の密な教師信号を重ねる手法です。これまでの研究はもっぱらアルゴリズム側の挙動を調べており、訓練データが果たす役割はほとんど分かっていませんでした。そこで著者らは、データを極限まで削ってたった1問のクエリだけで訓練するという実験を行います。すると1問しかないのに数百ステップにわたって性能が伸び続け、フルデータで訓練したOPDの伸びの大半を、タスク領域とモデルファミリーをまたいで回収してしまう。論文はこの結果を、訓練中に訪れる「状態」と、生徒が教師に近づいていく「速さ」の2つで説明します。1問でもフルデータOPDが訪れる状態の 71.5% に届き、意味的に異なるクエリを16問まで増やすと 98.9% に達してフルデータ訓練と並ぶ。一方で、生徒が教師の教えを吸収する速度は1問でも全データでも同じように鈍っていく。したがって OPD は「データを与えられすぎ、アルゴリズムが足りていない」（data-overfed but algorithm-starved）というのが結論です。
これは実務上、けっこう不穏な話です。ポストトレーニングのデータ収集にかけているコストの根拠が揺らぐからです。順番に見ていきます。
まず、オンポリシー蒸留とは何をしているのか
比喩から入ります。ふつうの知識蒸留は、教師が書いた模範解答のノートを生徒に写させるようなものです。生徒は自分では間違えないので、自分が実際に踏む落とし穴を教わることができません。
OPD はこれをひっくり返します。生徒に自分で解かせて、その答案の一文字ごとに教師が「自分ならここで何をどのくらいの確率で書くか」を書き込んでいく。生徒が実際に立った局面だけに、しかも全単語分の分布として、添削が入るわけです。論文はこの2点を「局所的（local）」かつ「密（dense）」と呼んでいます（§2.2）。
用語をひとつ。ここでいう「状態（state）」とは、入力 と、そこまでに生成した応答の先頭部分をつないだ文脈のことです。トークンを1つ生成するたびに新しい状態が1つできます。
OPD の目的関数は、生徒が訪れた状態の上でのトークンごとのKLダイバージェンスです（§2.2）。
要するに「生徒 が自分で書いた文の各位置 で、生徒の次単語予測の分布を、教師 の分布にできるだけ重ねろ」という意味です。 は平均、 は応答の長さ、KLダイバージェンスは2つの確率分布のずれの大きさを表します。
実装では、実際に生成したトークン1個ぶんの差で近似します（式2）。
つまり「教師がそのトークンをどれだけ自信を持って選ぶか」から「生徒がどれだけ選ぶか」を引いた差です。プラスなら生徒はそのトークンをもっと出すべきだった、マイナスなら出しすぎだった、ということになります。論文はもう1つ、生徒の上位 個のトークンについて同じ差を取って重み付けする推定量（式3）も使い、数学タスクでは を採用しています（§3.1）。
1問だけで、どこまで伸びたのか
実験設定は§3.1にあります。数学は DeepSeek-R1-Distill-Qwen-1.5B を生徒、JustRL-1.5B を教師とし、訓練セットは DAPO-Math-17K。評価は MATH-500 / AMC 2023 / AIME 2025 で1問あたり16サンプルの avg@16 です。1問だけの訓練クエリは、訓練前の生徒の正答率（8ロールアウト中の正解数）で易 8/8・中 4/8・難 0/8 の3問を選んでいます。
結果（§3.2）。3ベンチマークの平均で、1問だけのOPDはステップ300で 68.5、フルデータOPDが 69.8。これは教師と生徒の初期差の 69%、フルデータOPDが得た伸びの 87% に相当します。ステップ300以降も両者は約3ポイントの帯に収まり続け、ステップ1000では1問が 68.4、フルデータが 72.1 で、フルデータの伸びの 72% を回収しています。
ファミリーをまたいでも起きます（§3.2、MATH-500 と AMC 2023 の平均）。R1-Distill-1.5B が 77.1→85.5、Llama-3.2-3B-Instruct が 28.2→40.2、OLMo-3-7B-Instruct-DPO が 70.8→82.4。領域をまたいでも、コード生成で教師との差の 73%、指示追従で 66%、エージェント的なツール利用で 64% を回収します。
しかも、生徒が1度も解けない難問でも効きます。難クエリは300ステップを通じて一度も正解に至らないのに、ベンチマークの伸びは易・中と同程度でした（§3.2、付録A.1）。応答長の上限を絞っても、サンプリング温度を下げても、伸びは残ります。
正解できない問題で学べる、という点が報酬が検証可能なRL（RLVR）との決定的な違いです。あとで戻ります。
ここまでが現象の記述です。以降は、論文がこの現象をどう説明したか——データ側の「状態カバレッジ」とアルゴリズム側の「吸収率」——を追います。
コメント
コメントにはログインが必要です