論文解説: When EOS Tokens Disagree — オンポリシー蒸留で生徒が「止まれなくなる」原因は終了トークンの食い違いだった
オンポリシー蒸留(OPD)で生徒の応答が生成上限まで伸び続ける「長さの膨張」。その大きな原因が、生徒と教師で「終わり」を表す特殊トークンが食い違うことだと示した論文(arXiv:2609.20511)を、本文だけを根拠に1から解説する。
要点
- オンポリシー蒸留(OPD)では、生徒が自分で答案を書き、先生がそのトークンごとに採点する。
- 論文は、事前学習済みの生徒と教師の「終了トークンの食い違い」を、応答が長くなる重要な原因と特定した。
- Qwen3のbaseが宣言するEOSは<|endoftext|>だけだが、ポストトレーニング済みQwen3は<|im_end|>も持つ。
- 同じ機能のEOSを共通の意味的な停止行動として扱うと、3系列すべてで膨張が大きく緩和される。
- K2-Horizonの分析では、終了を揃えても残る別種の後期の膨張も見つかった。
When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation
一次資料 — この記事の根拠
論文の発表 2026-09-17→この解説の公開 2026-09-25同月
When EOS Tokens Disagree: Understanding Length Inflation in On-Policy DistillationYuxiao Yang, Tianrun Yu, Shangzhe Li ほか · 2026-09-17 · v1arXiv:2609.20511論文ページ·PDF原文の要旨（Abstract）を読む
We study length inflation in on-policy distillation (OPD), where student responses can become excessively long and even exhaust the generation budget. We identify \emph{termination-token mismatch} between base students and post-trained teachers as an important source of this behavior. Across Qwen3, Llama, and Gemma, the two models can place their stopping probability on different EOS tokens, even when their declared stopping sets are identical. This mismatch can suppress the student's preferred termination action without reliably transferring the teacher-preferred alternative. We show that aligning the decoding stopping set alone is insufficient, while treating functionally equivalent EOS tokens as a shared semantic stopping action substantially mitigates mismatch-induced length inflation across all three model families. To further understand how termination behavior evolves over training, we study OPD across different K2-Horizon training stages. This stage-wise analysis shows that termination preferences can shift substantially during training, while also revealing a distinct length inflation late in the OPD run that persists beyond termination alignment. Together, these results identify termination mismatch as an important, but not exhaustive, source of OPD length dynamics. We release an implementation incorporating the proposed termination-handling corrections.
正解を書いたのに、黙れない生徒
数学の問題を解かせたら、1,094トークン目で正解を書いた。ところがそこで止まらず、同じ答えを繰り返して生成上限まで7,098トークンを書き続けた——応答の86.6%が無駄な続きです。これは今回の論文の付録に載っている、学習中の実際の出力です（Appendix F.1）。
今回解説するのは "When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation"（arXiv:2609.20511, 2026-09-17公開）です。
アブストラクトの主張をまとめます。オンポリシー蒸留（OPD）では生徒の応答が過剰に長くなり、生成上限を使い切ることさえある。著者らはその重要な原因として、事前学習済みの生徒（base）とポストトレーニング済みの教師のあいだの「終了トークンの食い違い」を特定した。Qwen3・Llama・Gemmaのいずれでも、両モデルは「止まる確率」を別々のEOSトークンに置くことがあり、それは宣言上の停止トークン集合が同じ場合にも起きる。この食い違いは生徒の止まり方を押さえ込む一方、教師の止まり方は確実には伝えない。デコード時の停止集合を揃えるだけでは不十分で、同じ機能のEOSを「共通の意味的な停止行動」として扱うと3系列すべてで膨張が大きく緩和される。ただしK2-Horizonの段階別分析では、終了を揃えても残る別種の後期の膨張も見つかった——終了の食い違いは重要だが、長さの問題の全部ではない、という結論です。
前提: オンポリシー蒸留とは何か
家庭教師にたとえます。通常の蒸留は「先生の模範解答を写させる」方式です。オンポリシー蒸留（OPD）は「生徒が自分で答案を書き、先生がその1文字ずつに赤ペンを入れる」方式で、生徒は自分が本番で書きそうな答案の上で直されます（§1）。
赤ペンを式にしたのが論文§2の定義です。生徒モデルを 、教師を 、問題文と書きかけの答案を合わせた「途中の文脈」を 、生徒がそこで書いたトークンを とします。
言い換えると「生徒が書いたその1トークンを、先生がどれだけ書きそうか」から「生徒自身がどれだけ書きそうだったか」を引いた値です。プラスならそのトークンを増やす方向、マイナスなら減らす方向に生徒を更新します。
大事なのは、先生が採点するのは生徒が実際に書いたトークンだけだという点です。論文はこれを sampled-token OPD と呼び、実験はすべてこの形式です（§2）。生徒が書かないトークンには赤ペンが届きません。
直感: 「終わり」の言い方が2通りある
LLMは「ここで応答を終える」ことも1つのトークン（EOS）として出力します。問題は、同じ「終わり」を表すトークンが複数あることです。論文のTable 1によると、Qwen3のbaseが宣言するEOSは <|endoftext|> だけですが、ポストトレーニング済みQwen3は会話終了の <|im_end|> も持ちます。Llama 3.2も同様です。Gemma 3はPT版とIT版が同じ <eos> と <end_of_turn> を宣言しています（§2）。
次のトークンの確率分布を、合計1の棒グラフとして思い浮かべてください。「止まりたい」という気持ちは、EOSの棒が複数あればそれらに分かれて載ります。
コメント
コメントにはログインが必要です