論文解説: Beyond Teacher Assignment — 複数の専門家を1つのモデルに蒸留するとき「誰が教えるか」だけでは足りない理由
数学・コード・指示追従の専門家モデルを1つの生徒に蒸留するMOPDでは、指示追従の教師の声が大きすぎて数学がほとんど移らない。DN-MOPDは教師ごとのフィードバックのばらつきを測って音量をそろえる、1行で足せる改良です。
要点
- MOPDは、各プロンプトの分野の専門家が生徒の答えを1トークンずつ採点し、複数の専門家を1つの生徒に統合する手法である。
- 著者らはQwen3.5の3サイズで、MOPDの生徒が最良の単一教師で学んだ生徒を上回れないことを見つけた。
- 8Kトークンの評価上限では、MOPDの生徒は数学専門家の伸びの14〜32%しか残らなかった。
- 原因はフィードバックの不均衡で、4Bの初期生徒ではIFの損失が合算勾配の94%を占めていた。
- DN-MOPDは振り分けをそのままに、各分野のフィードバックを実測したばらつきで拡大縮小する。
Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation
一次資料 — この記事の根拠
論文の発表 2026-09-28→この解説の公開 2026-10-01同月
Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy DistillationXin Li, Hao Jiang, Xin Gao ほか · 2026-09-28 · v1arXiv:2609.35347論文ページ·PDF原文の要旨（Abstract）を読む
Reinforcement learning can turn one language model into several specialists, each excellent at a single skill such as mathematics, coding or following instructions, but users need one model with all of these skills. Multi-teacher on-policy distillation (MOPD) merges them by letting the specialists teach one student: the student answers each prompt, and the specialist for that prompt's domain gives feedback on every token. This routing decides which specialist teaches, but not how strongly its feedback moves the shared student. In Qwen3.5 models at three sizes, we find that MOPD's student does not beat one taught by the best single specialist and gains little of the mathematics specialist's advantage. The feedback is unbalanced: instruction-following feedback is several times more spread out than mathematics feedback and dominates the student's updates. We propose Domain-Normalized MOPD (DN-MOPD), which keeps the routing and rescales each domain's feedback by its measured spread. On six public benchmarks, DN-MOPD improves the average score over MOPD at every size, across three random seeds and under two answer-length limits, and recovers most of the lost mathematics gain. Controls with fixed domain weights show that the gain comes mainly from turning down instruction-following feedback rather than turning up mathematics alone, and that fixed weights close to those DN-MOPD measures perform comparably. Combining specialists therefore requires deciding not only which one teaches, but also how strongly its feedback counts.
この論文は何を言っているか
今回読むのは "Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation"（arXiv:2609.35347, 2026年9月）です。
要旨を日本語でまとめます。強化学習（RL）を使うと、1つの言語モデルから数学・コード・指示追従（IF）などに特化した「専門家」を複数作れる。しかし利用者が欲しいのは、全部できる1つのモデルです。複数教師オンポリシー蒸留（MOPD）は、生徒が各プロンプトに自分で答え、そのプロンプトの分野の専門家が全トークンにフィードバックを返すことで専門家たちを統合する。この「振り分け」はどの専門家が教えるかは決めるが、そのフィードバックが共有の生徒をどれだけ強く動かすかは決めない。著者らは3サイズのQwen3.5で、MOPDの生徒が最良の単一教師で学んだ生徒を上回れず、数学専門家の強みもほとんど受け継げないことを見つけた。原因はフィードバックの不均衡で、指示追従のフィードバックは数学より何倍もばらつきが大きく、生徒の更新を支配していた。提案手法DN-MOPDは振り分けはそのままに、各分野のフィードバックを実測したばらつきで拡大縮小する。6つの公開ベンチマークで、全サイズ・3シードでMOPDより平均スコアが上がり、失われていた数学の伸びの大半を取り戻した。
比喩: 声の大きさがそろっていない3人の家庭教師
1人の生徒に、数学・プログラミング・作文の家庭教師が付いている場面を想像してください。問題ごとに担当の先生が答案を添削します。ここまでは公平に見えます。
ところが作文の先生は、1文字ごとに「ここは最高！」「ここは最悪！」と大声で叫ぶ人でした。数学の先生はぼそぼそと小声で直す人でした。生徒の頭の容量は1つしかないので、毎日大声のほうに引っ張られ、数学の添削はほとんど耳に入りません。
問題は「誰が添削するか」ではなく「添削の音量」だった――というのがこの論文の主張です。
前提: オンポリシー蒸留とMOPD
知識蒸留は大きな教師モデルの振る舞いを生徒に写す技術です。そのうちオンポリシー蒸留（OPD）は、教師の模範解答を写すのではなく、生徒が自分で書いた答えを教師が1トークンずつ採点します。
MOPDはこれを複数教師に広げたものです。各プロンプトに「数学」「コード」「IF」の分野ラベルが付いていて、ラベルの専門家が採点役になります（論文ではこれを Label と呼びます）。論文によれば、MOPDは最近の複数のフロンティアモデルの事後学習で採用されています（§1）。
何が起きていたのか
著者らはQwen3.5の9B・4B・2Bそれぞれで、同じ初期モデルから数学・コード・IFの専門家を独立にRLで育て、MOPDで統合しました（§3）。結果は芳しくありません。
- どのサイズでも、MOPDの生徒は「一番良い単一教師で学んだ生徒」を上回らなかった
- 8Kトークンの評価上限では数学専門家の伸びの14〜32%しか残らず、16Kでは初期モデルからの伸びがなかった（§1）
原因を調べると、教師と生徒の対数確率の差（後で出てくる ）のばらつきが分野ごとに大きく違っていました。最初の学習バッチで、IFの値は全体をまとめた値の2.3〜4.4倍ばらつき、数学は約半分でした（§1, §2）。4Bの初期生徒では、等しい重みのもとでIFの損失が合算勾配の94%を占めていたと報告されています（§1）。
1つのパラメータを複数の信号が取り合うとき、1つが強すぎると他が押し流される――これは学習率を上げすぎた勾配降下で谷を飛び越えてしまう現象と同じ種類の問題です。下の図で、一歩の大きさが大きすぎると何が起きるかを体感してください。
コメント
コメントにはログインが必要です