2026-08-13·無料·論文·18分で読めます

論文解説: 正解も強い教師もなしで伸びる — u-OPSD が使う「自分の多数決」

模範解答も強い教師モデルも使わず、モデル自身が出した8本の答案の多数決を『特権的な文脈』に仕立てて自己蒸留する u-OPSD（arXiv:2608.06296）を、論文本文だけを根拠に1から解説する。

要点

オンポリシー自己蒸留（OPSD）は、教師だけが模範解答を見る自己蒸留で、教師を賢くする情報は外から来ます。
u-OPSDは模範解答の代わりに、同じ問題を8回解いた答案の多数決を教師の文脈に置き、問題文しか使いません。
蒸留は多数派から外れた不一致答案の上だけにかけ、自己一貫性スコアがしきい値τに届いた問題だけを使います。
教師に最終答えだけを見せると10.3〜15.8%落ち、ベースモデルの43.57を下回ります。
非思考モードの5ベンチマーク平均で、Qwen3-8Bは43.57から54.31になり、OPSDの52.04を上回りました。

#distillation #post-training #reasoning #llm #self-consistency

対象textタスクinference

On-Policy Self-Distillation without Any Supervision

一次資料 — この記事の根拠

論文の発表 2026-08-06→この解説の公開 2026-08-13同月

On-Policy Self-Distillation without Any SupervisionYijiang Li, Bingyang Wang, Yijun Liang ほか · 2026-08-06 · v2arXiv:2608.06296論文ページ·PDF

原文の要旨（Abstract）を読む

On-policy (Self-)Distillation (OPD / OPSD) has shown strong potential for post-training large language models (LLMs). However, existing methods still rely heavily on external supervision, including ground-truth signals, environmental feedback, or guidance from larger models, and therefore fall short of genuine "self"-distillation. In this study, we show that on-policy self-distillation can be achieved using only a model's own generations via internal consistency. We propose unsupervised on-policy self-distillation (U-OPSD). U-OPSD first samples multiple rollouts and constructs a pseudo solution by majority vote under a self-consistency threshold. It then conditions the model's distribution on the pseudo-solution and distills itself on the disagreeing completions, allowing the model to correct itself precisely where it is confidently wrong. Across diverse benchmarks, base models, and training settings, U-OPSD consistently improves over the base models and matches or surpasses supervised methods with ground truth (GT) such as OPSD and GRPO. On five mathematical reasoning benchmarks, i.e., AIME24, AIME25, HMMT25, MATH500, and AMC23, U-OPSD improves over the base model by 8.5% and 10.7% on Qwen3 non-thinking mode at 4B and 8B scales, and outperforms OPSD by 3.2% and 2.3% on average, respectively. In thinking mode, U-OPSD stays on par with OPSD, ahead by 0.9% at 4B and level at 8B and surpassing GRPO by 0.7% and 1.1%, respectively. Code is available at [https://github.com/williamium3000/u-opsd](https://github.com/williamium3000/u-opsd).

模範解答を取り上げられた自習室

同じ生徒が2人いる自習室を想像してください。片方（教師役）だけが模範解答を手元に持ち、それを見ながら問題を解きます。もう片方（生徒役）は問題文しか見えません。教師役が「次にこの一手を書く確率はこれくらい」と考えている中身を、そのまま生徒役に写し取らせる——これが オンポリシー自己蒸留（OPSD） です。教師と生徒は同じ重みなので「自己」蒸留と呼ばれますが、教師を賢くしているのは模範解答という外から来た情報です。

論文はここに疑問を投げます。「オンポリシー自己蒸留の教師に、本当に正解の解答が必要なのか。モデルは自分で特権的な文脈を作り、真の意味での自己蒸留ができないのか」（§1）。答えが u-OPSD です。模範解答の代わりに、モデル自身が同じ問題を8回解いた答案の多数決を置きます。使うのは問題文だけで、正解ラベルも環境フィードバックも、自分より強い教師モデルも使いません。

まず地図: それぞれが「外」に何を頼っていたか

手法	学習信号	外から必要なもの
GRPO	答えの正誤（0/1）をグループ内で正規化したスカラー。1本の答案の全トークンが同じ値を共有する	正解 $a^\star$
OPD（オンポリシー蒸留）	教師モデルの次トークン分布。生徒が実際に通った位置で密に効く	自分より強い教師モデル
OPSD（オンポリシー自己蒸留）	自分自身が模範解答 $y^\star$ を見ている状態の次トークン分布	模範解答 $y^\star$
u-OPSD（本論文）	自分自身が「自分の多数決答案」を見ている状態の次トークン分布	なし（問題文のみ）

GRPO の弱点は信号が疎いことです。数千トークンの答案に届く情報が「合ってた／外れた」の1ビットしかありません。OPD と OPSD はここを密にし、1トークンごとに「本当はこの分布であるべきだった」を教えられるようにしました。ただし論文が指摘するとおり、OPSD が自己蒸留なのはパラメータを共有するという意味だけで、教師を強くする情報は外から来ます（§1）。これがラベルのない問題へのスケールを縛っていました。

核心: 1本は当てにならない、8本の一致は信号になる

論文の観察はシンプルです。「個々のロールアウトは信頼できないかもしれないが、独立にサンプリングされた複数のロールアウト間の一致は、内因的な信頼度の信号を与える」（§1）。間違え方は散らばるからです。正しい筋道は1つに収束しやすい一方、間違いは滑った場所ごとに答えがバラけます。だから8本中6本が同じ答えに集まれば、それは単独の1本より当てになります。

おまけがもう1つあります。多数派から外れた答案が、そのまま「直すべき場所」の一覧になることです。蒸留をかけるのはこの不一致答案の上だけ。論文の表現では「モデルが自信を持って間違えているまさにその場所で、自分自身を修正できる」（Abstract）。

FIG 1u-OPSDが比べているのは、この棒グラフ（語彙のうえの次トークン分布）そのもの。温度を上げると分布が平らになり、8本の答案の行き先がばらけて多数決が割れる。論文の学習時サンプリングは温度1.1（§4.1）

3ステップ: サンプル → 投票 → 蒸留

Algorithm 1 は1問あたりの処理を3段で書いています（§3.2）。

(1) サンプル。 問題 $x$ ごとに、勾配を切ったコピー $\bar\pi$ から $G$ 本のロールアウトを学習時の温度で引き、各答案から \boxed{...} の中身を取り出して正規化・正準化し、最終答え $a^{(g)}$ とします。取り出せなかったもの（多くは打ち切り）は invalid 扱いです。

(2) 投票。 valid な答えのうち最多のものを疑似解答 $\tilde a(x)$ とし、同数なら一様ランダムで割ります。これでロールアウトが賛成側 $\mathcal{Y}^+_x$ と反対側 $\mathcal{Y}^-_x$ に分かれます。invalid はどちらにも入りません。途中で切れた答案は「正しい信念の証拠でも、誤った信念の証拠でもない」からです。投票の自信は自己一貫性スコアで測ります。

c(x)=\frac{1}{G}\sum_{g=1}^{G}\mathbb{1}\!\left[a^{(g)}=\tilde a(x)\right]

(1)

$c(x)$ は自己一貫性スコア、 $G$ はロールアウト数、 $a^{(g)}$ は $g$ 本目の答案がたどり着いた答え、 $\tilde a(x)$ は投票で勝った答え、 $\mathbb{1}[\cdot]$ は中身が成り立てば1、でなければ0を返す関数です。つまり式(1)がやっているのは「8本のうち勝った答えと同じものを出したのは何本か数え、8で割る」だけ。挙手の結果を割合で書いたものにすぎません。細かいですが重要な設計が1つあり、分母が valid な本数ではなく $G$ （振った本数の全部）です。打ち切りの多い問題はそれだけで $c(x)$ が下がり、自動的に足切りされます（§3.2）。

(3) 蒸留。 $c(x)$ がしきい値 $\tau$ に届いた問題だけを使います。賛成側から1本 $y^+$ を選んで模範解答 $y^\star$ の代役に据え、反対側から選んだ部分集合 $\mathcal{B}^-_x \subseteq \mathcal{Y}^-_x$ を蒸留の対象にします。

\mathcal{L}_{\text{u-OPSD}}(\theta)=\mathbb{E}_{x\sim\mathcal{U}}\ \mathbb{E}_{\{y^{(g)}\}\sim\bar\pi(\cdot\mid x)}\left[\mathbb{1}\!\left[\mathcal{Y}^-_x\neq\emptyset\right]\frac{1}{|\mathcal{Y}^-_x|}\sum_{y^-\in\mathcal{Y}^-_x}\frac{1}{|y^-|}\sum_{n=1}^{|y^-|} D_\beta\!\Big(\bar\pi(\cdot\mid x, y^+, y^-_{<n})\ \big\|\ \pi_\theta(\cdot\mid x, y^-_{<n})\Big)\right]

(2)

長いですが、読み下すと1文です。「多数派から外れた答案を1本ずつ取り、その先頭から $n$ トークン目までを両者に見せる。ただし教師 $\bar\pi$ にだけ多数決答案 $y^+$ も一緒に見せる。この条件で両者が出す次トークンの分布を $D_\beta$ という距離で近づけ、全トークン・全不一致答案で平均する」。 $\mathcal{U}$ はラベルなし問題の集合、 $y^-_{<n}$ は不一致答案のプレフィックス、 $|y^-|$ はその答案のトークン数、 $\theta$ は学習されるパラメータ、 $\bar\pi$ は勾配を切った同じモデルです。記号を外して言い換えると、式(2)は「モデルが道を踏み外していく一手ごとに、そのとき考えていたことと、多数決の答えを知っていたら考えていたはずのことを見比べ、その差を詰めろ」と言っているだけです。頭に2つ並ぶ期待値は「これを全問題ぶん、そして1問あたり引いた答案ぶん平均する」という意味しかなく、途中の2つの分数も「不一致答案は1本を1票、その中のトークンも1個を1票として数える」——長い答案が短い答案より重くならないようにする——という以上の意味はありません。飛ばされるのは2種類—— $c(x) < \tau$ で投票が信用できない問題と、 $\mathcal{Y}^-_x$ が空で直すものがない問題です。

擬似コードにすると、1プロンプトぶんの手続きはこれだけです。

ys = [sample(pi_frozen, x) for _ in range(G)]      # (1) G本引く
ans = [extract_boxed(y) for y in ys]               #     Noneならinvalid
a_hat = plurality([a for a in ans if a is not None])
c = sum(a == a_hat for a in ans) / G               # (2) 分母はG（validの数ではない）
if c < tau: return                                 #     投票を信用しない
pos = [y for y, a in zip(ys, ans) if a == a_hat]
neg = [y for y, a in zip(ys, ans) if a not in (a_hat, None)]
if not neg: return                                 #     直すものがない
y_plus = max(pos, key=len)                         # (3) 教師に見せる参照
loss = mean(fwd_kl(teacher(x, y_plus, y[:n]), student(x, y[:n]))
            for y in neg for n in range(len(y)))

ここで、よくある「多数決で疑似ラベルを作って自己学習する」手法との違いがはっきりします。論文いわく「選ばれた応答を教師強制のプレフィックスの下で単に模倣するのではない。代わりに、解答で条件づけられた次トークン分布を、モデル自身の不一致軌跡に沿って転送する」（§3.2）。写経させるのではなく、多数決答案を知っている自分が間違えつつある道の途中で何を考えるかを写させる、ということです。

「最終答えだけ」を見せた教師は、ベースより弱い

設計思想が一番よく出るアブレーションを先に置きます（§4.3, Figure 5）。教師に見せる参照を \boxed{} の最終答えだけに削ると 10.3〜15.8% 落ち、ラベルのみの3設定はすべてベースモデルの 43.57 を下回りました。論文の結論は「効果的な蒸留には、教師が最終答えだけでなく、より長い完全な推論トレースに条件づけられている必要がある」。転送しているのは「答え」ではなく「答えに至る過程を知っている状態の思考の形」だ、ということです。

なお、答案を「最長／最短／ランダム」のどれで選ぶかの違いは小さく、9通りのうち7つが最良から 2.1% 以内。最良は「最長の賛成答案を教師に見せ、最長の不一致答案を蒸留する」で 59.00 でした。

実験は何を測ったのか

Qwen3-4B と 8B を非思考・思考の両モードで、加えて Qwen3-4B-Instruct-2507 と Qwen3-30B-A3B-Instruct-2507。同じチェックポイントが教師と生徒を兼ねます。学習データは OpenThoughts の 30k サブセットで、u-OPSD は問題文だけを使い、解答フィールドには一切触れません。比較対象は同じプロンプトで学習した教師あり3種（SFT・GRPO・OPSD、いずれも正解を使う）と、ラベル不要の自己報酬RL 3種（TTRL・RENT・Intuitor）。評価は AIME24・AIME25・HMMT25 を avg@12、MATH500・AMC23 を avg@4、vLLM・温度1.0・最大生成長38k（§4.1）。

学習側は OPSD のレシピをほぼ踏襲します。前向きKL（ $\beta=0$ ）を全語彙でトークンごとの点別クリッピング付き、教師は初期方策に固定、LoRA rank 64（ $\alpha=128$ ）、学習率 $5\times10^{-6}$ 、温度1.1・top- $p$ 0.95・top- $k$ 20、150ステップで25ごとにチェックポイント。u-OPSD 固有は $G=8$ 、 $\tau=0.5$ 、最大生成長の 1,024 → 4,096 への引き上げです。

結果: ラベルなしが、ラベルありを上回る

非思考モード（Table 1） が最も差の出た条件です。5ベンチマーク平均で、Qwen3-4B は Base 40.96 → u-OPSD 49.49（SFT 42.73 / GRPO 45.86 / OPSD 46.29 をすべて上回る）、Qwen3-8B は 43.57 → 54.31（OPSD 52.04）。論文はこれを「ベース比で 8.5% と 10.7%、OPSD 比で 3.2% と 2.3%」と表記しますが、表の生の数字どおり、これは平均正解率の差（ポイント）です。

対照的に、同じロールアウト予算のラベル不要RL（TTRL・RENT・Intuitor）はベース比で最大 1.5% しか伸びていません。論文の解釈は「合意を方策最適化のスカラー報酬に落とすより、トークン単位の蒸留の特権的な教師文脈として使うほうが有利である」（§4.2）。同じ多数決でも、1ビットに潰すか語彙全体の分布として渡すかで結果が変わる、という主張です。

思考モード（Table 2） では差が縮み、4B は 74.85 → 77.05、8B は 76.09 → 77.99。OPSD（76.20 / 77.97）とほぼ同着で、GRPO は上回ります。論文の説明は「合意ベースの自己蒸留は、ベースが有益な合意を作れるだけ信頼できて、なお改善の余地が大きいときに最も効く。思考モードの強いモデルにはその余地が少ない」。Instruct モデル（Table 3） では 30B-A3B が 75.77 → 77.46、4B-Instruct が 67.00 → 68.78。前者は、モデル固有のチューニングなしに同じレシピが大幅に大きい MoE へ移った例として挙げられています。

どのつまみが効くのか

論文自身が「既定値は最良ではない」と書いている点も含めて並べます（すべて §4.3、Qwen3-8B 非思考モード）。

しきい値 $\tau$ : 順位は単調で、緩いほど良い。 $\tau{=}0.3$ が 58.59、既定の 0.5 が 57.10、0.9 は 44.40 まで落ち、幅は 14.2%。
ロールアウト数 $G$ : 効果は実在するがすぐ飽和。 $G{=}4$ （56.99）と $G{=}8$ （57.10）はほぼ区別できず、 $G{=}12$ が既定比 +4.7%、 $G{=}16$ でその半分を返します。既定8は OPSD と生成コストを揃えるためで、論文は「生成が制約でないなら $G{=}12$ のほうが良い動作点」と明言しています。
教師の更新: 既定は初期方策に固定（LoRA ではアダプタを切った素の重み）。EMA で生徒を追わせるほうが伸び、減衰0.995が最良チェックポイントで +2.4%、150ステップ時点で +4.1%。
ダイバージェンスの計算範囲（Table 4）: 生徒が引いたトークンだけで評価する方式は 43.45 とベース並みで戦えません。全語彙は 57.10、そして top-100 の 59.01 が最良。top- $k$ 打ち切りは精度を落とさず計算コストを下げます。
距離の種類（Table 5）: 前向きKLが 57.10、対称なJSDは 43.34 で未学習と同水準、逆KLは収束しませんでした。

FIG 2学習率を上げていくと球は谷を越えて戻ってこなくなる——最適化が「壊れる」ときの感覚。論文の逆KLも同じく戻れない壊れ方をした（§4.3）。ただしここで動かしているのは学習率で、論文の発散の直接の原因ではない

逆KLの壊れ方は具体的に記録されています。生成長は25ステップ時点で平均2.7k文字、50で12k、75で76k、125以降は上限の99k。\boxed{} をパースできる割合は 99% から 33% へ落ちました。答案を覗くと、推論が破綻したのではなく終端しなくなっていたそうです（語句や LaTeX のコマンド対、括弧の入れ子がトークン上限まで繰り返される）。

疑似ラベルはどれくらい当たっているのか

64問の学習プロンプトを本番と同じ設定（ $G{=}8$ 、4,096トークン、 $\tau{=}0.5$ ）で調べた結果です（§4.3）。ロールアウトの 96.3% が \boxed{} をパースでき、プロンプトの 94.0% がしきい値を越えて疑似ラベルを得て、そのうち 86.7% がデータ由来の正解と一致しました。valid なロールアウトのうち投票と食い違うものは 10%未満で、蒸留がかかる集合は小さく一点に集中しています。13.3% は間違った疑似ラベルで学習していることになりますが、それでも非思考モードでは正解ラベル付きの OPSD を上回った——ここが一番おもしろい部分です。

論文が確かめていないこと

§5 に正直な限界が並んでいます。誇張せずにそのまま挙げます。

範囲: モデル1系統（Qwen3、4Bと8B、両推論モード）と、最終答えが自動照合できる競技数学1ドメインのみ。投票機構は抽出可能で正準化できる答えを要求するので、自由記述へ広げるには完全一致投票をより柔らかい合意に置き換える必要があります。
効果はレジーム依存: OPSD 超えは Table 1 で 3.2% / 2.3% だが、Table 2 では 0.9% / 0.02%。著者らは「合意は非思考レジームでは正解解答の強力な代替、思考レジームでは同等」と受け取るべきで、一様な改善と見なすなと明記しています。
ベースモデルの実力に縛られる: 多数決はベースが最も頻繁に出す答えを再生産するだけなので、その正解率が上限です。ドメイン内で 13.3% の誤ラベルは測ったものの、投票を意図的に汚したときの学習ダイナミクスは未測定。投票マージンで低品質な合意を検出・減量する仕組みが次の一手だとしています。
分散と再現: 各チェックポイントを5ベンチマーク×12サンプルで評価して分散を抑えたが、全設定でのシード違いのエラーバーは未実施（改訂で追加予定）。

私の読みを1つ足すと、表の数値は「25ステップごとのチェックポイントのうち最良」で、u-OPSD と OPSD の双方に同じ規則が適用されています（§4.1）。比較としては対称ですが、実務ではどれが最良かをベンチマークなしで選ぶ必要があり、そこは論文の範囲外です。

現場ではこう使う

誰が、いつ。 ポストトレーニング担当が「社内ドメインの問題文は大量にあるが、模範解答も検証器もない。上位モデルを教師に使うのもライセンス的に無理」という状況に当たったとき。要求されるのは問題文と、答えを機械的に取り出せる出力形式だけです。逆に正解が潤沢にあるなら OPSD をそのまま使えばよく、この手法の出番はラベルが高価・不安定・入手不能な場合です（§1）。

適用前に測る2つの数。 ①ベースモデルのドメイン内正答率、②同じ問題を8本引いたときの自己一貫性率。論文の効き方（非思考で大きく、思考モードで小さい）は「投票できるだけ賢く、伸び代が残るだけ間違える」というレンジに依存します。弱すぎて投票が壊れる／強すぎて余地がない、の両端ではコストに見合いません。

最初に触るつまみ。 ①max_completion_length を 1,024 → 4,096（答案が \boxed{} に到達しないと invalid になり、 $c(x)$ の分母は $G$ なので信頼度が勝手に下がる。ここを詰めずに $\tau$ をいじるのは順序が逆）。② $\tau$ は既定0.5より 0.3。③ $G$ は生成が制約でなければ 12（生成コストは $G$ に線形で、ここが支配項）。④top- $k$ は全語彙ではなく 100。⑤教師の更新は固定より EMA 減衰0.995。

知らないと事故になる落とし穴。

教師に最終答えだけ渡すのは最悪手で、ベースモデルより弱くなります（10.3〜15.8%減）。渡すのは推論トレース丸ごと。
目的関数を触らない。逆KLでは学習が終端しなくなりパース率が 99%→33%、JSD も未学習と同水準。前向きKL＋点別クリッピングから動かさないのが安全です。
実効バッチが思ったより小さい。不一致ロールアウトは valid の10%未満なので、8本引いても勾配が立つのは一部だけ。「生成は重いのに学習サンプルは少ない」コスト構造を先に見積もること。
多数決が自信満々に間違っている問題では、誤りを補強する方向に働きます。汚染下の挙動は未測定なので（§5）、本番投入なら投票マージンの低い問題を落とすガードを自前で足す前提で設計してください。

設計レビューで問われる形の問い。 「正解ラベルがないのに、なぜ多数決を報酬にする TTRL 系より効くのか」。筋道は、同じ合意情報をスカラー1個に潰すか、語彙上の分布として全トークンに配るかの違いです。論文の数値では前者がベース比で最大1.5%、後者が8.5〜10.7%（§4.2）。

もっと読む

DAPD — 蒸留の教師が持つ「カンニングペーパーの幻想」 — 同じ OPSD の弱点を、正解を持つ側の情報非対称性から攻めた論文
AgentOPSD — エージェント強化学習のための再帰的自己蒸留 — オンポリシー自己蒸留をエージェント設定へ広げる系統
インストラクションチューニングとRLHF — GRPO や蒸留が位置づくポストトレーニング全体の地図