2026-08-12·無料·論文·11分で読めます

論文解説: DAPD — 蒸留の教師が持つ「カンニングペーパーの幻想」を二重アンカーで断つ

模範解答を見た教師から蒸留すると、生徒は本番で「見えない答えを思い出したふり」をする——この privilege illusion の根本原因を情報の非対称性と特定し、二重のアンカーで解消する DAPD (arXiv:2608.01735) を論文本文だけを根拠に解説する。

要点

OPSDは、模範解答を見せた自分自身を教師にし、見せない自分を生徒としてCrossにNoneを近づける学習である。
教師は特権情報を見るが、生徒は推論時に見られない。この情報の非対称性が特権情報の幻想を生む。
OPSD訓練が進むと、wrong claimsは1万件あたり13.0件から37.0件に増え、推論スコアは59.56から53.24に低下する。
生徒側をSelfに置き換えるPrivileged Anchorだけで、wrong claimsは45%減り、Avg@12は+6.22ポイント改善する。
DAPDはQwen3-4Bで6タスク平均57.34とOPSD比+2.00を達成し、wrong claimsを73%削減するが、訓練コストは増える。

#distillation #post-training #reasoning #llm #on-policy

対象textタスクinference

DAPD: Dual-Anchored Policy Distillation

一次資料 — この記事の根拠

論文の発表 2026-08-03→この解説の公開 2026-08-12同月

DAPD: Dual-Anchored Policy DistillationJianyu Wu, Yizhou Wang, Encheng Su ほか · 2026-08-03 · v1arXiv:2608.01735論文ページ·PDF

原文の要旨（Abstract）を読む

On-policy (self) distillation (OPSD) is increasingly adopted for language-model post-training. It strengthens the teacher with privileged information but can induce a privilege illusion: the student learns privilege-dependent behavior it cannot reproduce from its inference-time context, yet behaves as if the training-time privileged information remained available, ultimately degrading performance. In this paper, we identify information asymmetry between the privileged teacher and the student at inference as the root cause of this failure in OPSD. To resolve this asymmetry, we propose Dual-Anchored Policy Distillation (DAPD), a unified framework with two levels of anchoring. Dual-Path Anchoring (DPA) introduces a self-conditioned bridge and aligns reference and rollout behavior along two matched-information paths, preventing privilege-dependent behavior from being transferred to the inference-time student. Dual-Source Anchoring (DSA) applies these paths in both reference-to-rollout and rollout-to-reference directions, reducing reliance on privileged reference guidance while preserving correctness supervision. Extensive experiments show that DAPD significantly alleviates privilege illusion, outperforming OPSD on Qwen3-4B by +2.00 points on average across tasks. Notably, its gains persist across scales, reaching +2.69 at 4B and +2.78 at 32B.

先生がカンニングペーパーを持って教えると何が起きるか

数学の家庭教師が、模範解答を手元に置いたまま教えているところを想像してください。教え方は的確です。ところが生徒は、解き方だけでなく「手元に答えがある人の振る舞い」まで真似してしまい、本番で行き詰まったとき根拠もなく「たしか答えは36/7だったはず」と書いてしまう——。

前半は比喩ですが、「36/7」は実際のモデル出力です。論文のFigure 4に、AIME24の幾何問題で導出に失敗したモデルが "I recall that the answer is likely 36/7" と述べて誤答する実例があります（§4.2）。

今回の論文 DAPD (Dual-Anchored Policy Distillation)（arXiv:2608.01735）は、LLMのポストトレーニングで広く使われる On-policy self-distillation（OPSD、オンポリシー自己蒸留） がこの症状——特権情報の幻想（privilege illusion）——を起こす根本原因を「教師と生徒の情報の非対称性」と特定し、二重のアンカーで解消します。Qwen3-4Bで6ベンチマーク平均+2.00ポイント、32Bでも+2.78ポイントと、スケールしても消えない改善を報告しています（§1）。

前提: OPSDとは何をする学習か

蒸留（distillation）は、教師モデルの「次トークンの確率分布」を生徒モデルに真似させる学習法です。オンポリシー蒸留はさらに、生徒自身が生成した途中経過（ロールアウト）の各位置で教える方式で、生徒が実際に迷い込む場所で指導するぶん、学習時と本番のズレが小さくなります。

OPSDの面白い点は、教師が別モデルではなく「模範解答を見せられた自分自身」であること（§2.1）。同じモデル $p_\theta$ から、条件だけが違う2つの分布を作ります（ $x$ は問題文、 $y$ はロールアウト、 $y^*$ は模範解答、 $t$ はトークン位置）。

None分布 $p_{\mathrm{None}}=p_\theta(\cdot\mid x,y_{<t})$ — 問題文と書きかけだけを見た、本番と同じ条件の自分
Cross分布 $p_{\mathrm{Cross}}=p_\theta(\cdot\mid x,y^*,y_{<t})$ — 模範解答つきで同じ書きかけを見た、「カンペを持った」自分

OPSDは Cross を教師、None を生徒として次を最小化します（§2.1）。

\mathcal{L}_{\mathrm{OPSD}}=\mathbb{E}\!\left[\frac{1}{|y|}\sum_{t=1}^{|y|}\mathrm{D}\!\left(\operatorname{sg}\!\left[p_{\mathrm{Cross}}\right]\,\|\,p_{\mathrm{None}}\right)\right]

(1)

言い換えると「自分の書きかけ答案の各位置で、模範解答を見た自分の分布に、見ていない自分の分布を近づける」です。 $\mathrm{D}$ は分布間の距離（ダイバージェンス）——ここに実際何を置くかはKL情報量の記事で扱っています——、 $\operatorname{sg}[\cdot]$ は教師側に勾配を流さない印、 $|y|$ はロールアウトの長さです。

FIG 1蒸留は「確率分布のかたち」を教える学習。温度で分布が尖ったり平らになる感覚を掴むと「教師分布に合わせる」の意味が体感できる。この論文もロジットを温度1.1で割ってから合わせている（§A.6）

生徒は本番でカンペを持っていない

ここに構造的な穴があります。教師（Cross）は訓練中ずっと模範解答という特権情報を見ているのに、生徒は推論時にそれを見られません。論文はこの症状を行動レベルで数えます。「導出の失敗を自認した直後に、記憶や参照元から引いたかのように答えを断言し、誤答する」出力が wrong claims（不当な断言） です（§2.1, §C.2）。

Qwen3の5スケール平均で、OPSDの訓練が進むと wrong claims は生成1万件あたり13.0件から37.0件へ増え、同じ期間に推論スコア（AIME24/25・HMMT25のAvg@12）は59.56から53.24へ低下します（§2.1）。幻想の進行と性能劣化が連動しているのです。

原因は教師の質ではなく「情報の非対称性」

先行研究は特権情報の信号をフィルタや再重み付けで加工してきましたが、論文はこれを構造的に不十分と診断します。信号をいくら加工しても、特権情報を持つ教師が、持たない生徒を直接教える構図が残るからです（§1, §2.2）。

検証のために、論文は第3の分布を導入します。

Self分布 $p_{\mathrm{Self}}=p_\theta(\cdot\mid x,y,y_{<t})$ — いま予測しようとしている完成済みの答案そのものを条件に入れた自分

教師（Cross）はそのままに、生徒側だけを None から Self に置き換えると、両者とも「完全な答案を1つ見ている」状態になり情報量が揃います。この介入（Privileged Anchor）だけで訓練後期の wrong claims は45%減、Avg@12は+6.22ポイント改善（§2.2）。教師は一切変えていないので、犯人は情報の非対称性だと分かります。

Self の利点は、Cross と違って学習可能（Noneとパラメータを共有）でありながら、Cross と情報量が揃っていること。「本番条件の生徒」と「カンペつきの教師」の橋渡し役になれます（§2.3）。

DAPDの設計: 2レベルのアンカー

DAPDはこの橋渡しを体系化した枠組みで、2つの部品からなります（§3）。

Dual-Path Anchoring（DPA）は、1つの指導方向（例: リファレンスがロールアウトを導く）を2本の経路で固定します（§3.2）。部品は3つの損失で、いずれも「教師 → 生徒」の向きです（§3.1）。

$\mathcal{L}_{\mathrm{ent}}$ （Entangled Distillation）: 従来のOPSD項。Cross → None
$\mathcal{L}_{\mathrm{infer}}$ （Inference Anchor）: None → Self。本番条件の分布を錨として Self を引き寄せる
$\mathcal{L}_{\mathrm{priv}}$ （Privileged Anchor）: Cross → Self。両者とも特権情報を持つ、情報が揃った蒸留

無条件経路はこう組みます（ $s$ は教える側の完成文、 $\bar{s}$ はもう一方）。

\mathcal{L}_{\mathrm{uncond}}^{s\rightarrow\bar{s}}=\mathcal{L}_{\mathrm{infer}}^{\bar{s}}+\mathcal{L}_{\mathrm{ent}}^{s}

(2)

読み下すと「従来のOPSD項は残しつつ、反対側の完成文の上で Self を本番条件（None）に錨止めする」。Self と Cross がパラメータと似た条件を共有することがブリッジになり、2項の同時最適化が、本来揃えたい「None同士」の整合を間接的に引き寄せます（付録BのProposition 1が上界として形式化）。特権経路は $\mathcal{L}_{\mathrm{priv}}$ そのもので、両側が特権情報を持つ状態の整合を直接張ります。

Dual-Source Anchoring（DSA）は指導の向きを両方向に張ります（§3.3）。リファレンスは正しいが生徒の実力から遠く、ロールアウトは到達可能だが誤りうる。この相補性を係数 $\lambda$ で混ぜます。

\mathcal{L}_{\textsc{DAPD}}=\lambda\,\mathcal{L}_{\mathrm{DPA}}^{y\rightarrow y^{*}}+(1-\lambda)\,\mathcal{L}_{\mathrm{DPA}}^{y^{*}\rightarrow y}

(3)

つまり「リファレンスに導かれる方向」と「自分のロールアウトに導かれる方向」の重み付き和で、 $\lambda\in[0,1]$ がバランスを決めます。

実験: スケールしても消えない改善

論文はQwen3の1.7B〜32BをOpenThoughtsデータでLoRA訓練し、推論（AIME24/25、HMMT25）・コーディング（LiveCodeBench v5、BFCL v3）・指示追従（IFBench）の6ベンチマークで評価しました（§4.1）。

Qwen3-4B: 6タスク平均57.34で最良。OPSD比+2.00、特権信号を加工する系の Purified OPSD 比+1.09、DOPD比+3.85（§4.2, Table 1）
スケール: OPSDのBase比利得は1.7Bの+5.19から8B以上で最大+0.28まで消失する一方、DAPDは8B/14B/32Bでも+2.41/+2.13/+3.06を維持（§4.2）。大きいモデルほどロールアウトに良い推論が含まれるのに、OPSDの教師はそれをリファレンスで迂回する——幻想のコストがスケールと共に増す、が論文の解釈です
分布外: 推論データだけの訓練でもOOD平均最良の49.64（LCB v5でOPSD比+4.82、Table 2）
行動: 訓練ステップ250–300で wrong claims をOPSD比73%削減（§4.2）。冒頭のトーラス問題でOPSDは「思い出したふり」で43と誤答し、DAPDは導出を完走して正答127に到達（Figure 4）

FIG 2特権情報の幻想は「訓練時にしか存在しない情報への過適応」とも見られる。訓練誤差だけ下がり、条件の違う評価で乖離していく——この図は直感づけの比喩で、論文の図そのものではない

アブレーションでは、無条件・特権の両経路を入れたときが各ソースとも最良（例: ロールアウト側 63.33→64.91→65.09）、指導ソースも両方向併用が最良の65.28（§4.3, Table 3a,b）。 $\lambda$ の最適値は1.7Bの0.5から4B以上で0.2へ下がり（Table 3d）、小さいモデルほどリファレンスを、大きいモデルほど自分のロールアウトを信じるべきというスケール依存が見えます。

興味深いのはリファレンス不要版（§4.5）。模範解答の代わりに独立な2本目のロールアウトを使うだけでOPSDを+0.46〜+2.41上回り、検証器（verifier）で正答を選別するとさらに伸びます（Table 3e）。人手の模範解答なしでも枠組みが回る可能性を示す結果です。

論文の限界

論文自身が明記する限界です（§6 Limitations）。(1) 訓練中に複数のアンカー分布を計算するため訓練コストが増える（推論時の追加コストはゼロ）。(2) 係数はスケールやアーキテクチャごとに再調整が必要かもしれない。実際、最適係数はスケールごとに異なります（Table 5）。(3) 検証器つき拡張は自動の正誤判定を前提とし、答え合わせできないタスクには適用しにくい。また実験はQwen3系列とOpenThoughtsデータに限られます。

現場ではこう使う

この論文が刺さるのは、推論モデルのポストトレーニングを設計する人です。蒸留パイプラインで教師にリファレンス解答・ツール出力・検索結果など「推論時には存在しない情報」を条件付けした瞬間、この問題は潜在的に発生します（論文も検索文書やツールトレースへの拡張を将来課題に挙げています、§E）。

実際に触るのは、指導ソースの配分 $\lambda$ （論文値: 1.7Bで0.5、4B以上で0.2）、各アンカーの重み $\beta$ （Table 5）、ダイバージェンスの実装（語彙全体のforward KLを成分ごとに0.05でクリップ、ロジット温度1.1、§A.6）、LoRA設定（rank 64・scale 128・学習率 $5\times10^{-6}$ 、§A.6）あたりです。

落とし穴は2つ。第一に、ベンチスコアだけ見ていると幻想の進行を見逃す。論文のwrong claimsプローブのように「失敗を自認した直後の根拠なき断言」を訓練中に数える行動監視を仕込むこと。第二に、「教師を強くすれば蒸留は良くなる」は情報の非対称性の下では成り立たない。「教師にもっと情報を見せよう」という案が出たら、生徒が推論時に同じ情報を持てるかを先に確認する——それがこの論文の教訓です。

次に読む

LoRA原論文の解説 — DAPDの学習に使われる低ランク適応の仕組み
インストラクションチューニングとRLHF — 蒸留が位置づくポストトレーニングの地図
損失関数と最適化 — 分布を近づける損失の基礎