論文解説: 正解も強い教師もなしで伸びる — u-OPSD が使う「自分の多数決」

模範解答も強い教師モデルも使わず、モデル自身が出した8本の答案の多数決を『特権的な文脈』に仕立てて自己蒸留する u-OPSD（arXiv:2608.06296）を、論文本文だけを根拠に1から解説する。

On-Policy Self-Distillation without Any Supervision

模範解答を取り上げられた自習室

同じ生徒が2人いる自習室を想像してください。片方（教師役）だけが模範解答を手元に持ち、それを見ながら問題を解きます。もう片方（生徒役）は問題文しか見えません。教師役が「次にこの一手を書く確率はこれくらい」と考えている中身を、そのまま生徒役に写し取らせる——これが オンポリシー自己蒸留（OPSD） です。教師と生徒は同じ重みなので「自己」蒸留と呼ばれますが、教師を賢くしているのは模範解答という外から来た情報です。

論文はここに疑問を投げます。「オンポリシー自己蒸留の教師に、本当に正解の解答が必要なのか。モデルは自分で特権的な文脈を作り、真の意味での自己蒸留ができないのか」（§1）。答えが u-OPSD です。模範解答の代わりに、モデル自身が同じ問題を8回解いた答案の多数決を置きます。使うのは問題文だけで、正解ラベルも環境フィードバックも、自分より強い教師モデルも使いません。

まず地図: それぞれが「外」に何を頼っていたか

GRPO の弱点は信号が疎いことです。数千トークンの答案に届く情報が「合ってた／外れた」の1ビットしかありません。OPD と OPSD はここを密にし、1トークンごとに「本当はこの分布であるべきだった」を教えられるようにしました。ただし論文が指摘するとおり、OPSD が自己蒸留なのはパラメータを共有するという意味だけで、教師を強くする情報は外から来ます（§1）。これがラベルのない問題へのスケールを縛っていました。

核心: 1本は当てにならない、8本の一致は信号になる

論文の観察はシンプルです。「個々のロールアウトは信頼できないかもしれないが、独立にサンプリングされた複数のロールアウト間の一致は、内因的な信頼度の信号を与える」（§1）。間違え方は散らばるからです。正しい筋道は1つに収束しやすい一方、間違いは滑った場所ごとに答えがバラけます。だから8本中6本が同じ答えに集まれば、それは単独の1本より当てになります。

おまけがもう1つあります。多数派から外れた答案が、そのまま「直すべき場所」の一覧になることです。蒸留をかけるのはこの不一致答案の上だけ。論文の表現では「モデルが自信を持って間違えているまさにその場所で、自分自身を修正できる」（Abstract）。

3ステップ: サンプル → 投票 → 蒸留

Algorithm 1 は1問あたりの処理を3段で書いています（§3.2）。

(1) サンプル。 問題 $x$ ごとに、勾配を切ったコピー $\bar\pi$ から $G$ 本のロールアウトを学習時の温度で引き、各答案から \boxed{...} の中身を取り出して正規化・正準化し、最終答え $a^{(g)}$ とします。取り出せなかったもの（多くは打ち切り）は invalid 扱いです。

(2) 投票。 valid な答えのうち最多のものを疑似解答 $\tilde a(x)$ とし、同数なら一様ランダムで割ります。これでロールアウトが賛成側 $\mathcal{Y}^+_x$ と反対側 $\mathcal{Y}^-_x$ に分かれます。invalid はどちらにも入りません。途中で切れた答案は「正しい信念の証拠でも、誤った信念の証拠でもない」からです。投票の自信は自己一貫性スコアで測ります。

$c(x)$ は自己一貫性スコア、$G$ はロールアウト数、$a^{(g)}$ は $g$ 本目の答案がたどり着いた答え、$\tilde a(x)$ は投票で勝った答え、$\mathbb{1}[\cdot]$ は中身が成り立てば1、でなければ0を返す関数です。つまり式(1)がやっているのは「8本のうち勝った答えと同じものを出したのは何本か数え、8で割る」だけ。挙手の結果を割合で書いたものにすぎません。細かいですが重要な設計が1つあり、分母が valid な本数ではなく $G$（振った本数の全部）です。打ち切りの多い問題はそれだけで $c(x)$ が下がり、自動的に足切りされます（§3.2）。

(3) 蒸留。 $c(x)$ がしきい値 $\tau$ に届いた問題だけを使います。賛成側から1本 $y^+$ を選んで模範解答 $y^\star$ の代役に据え、反対側から選んだ部分集合 $\mathcal{B}^-_x \subseteq \mathcal{Y}^-_x$ を蒸留の対象にします。

長いですが、読み下すと1文です。「多数派から外れた答案を1本ずつ取り、その先頭から $n$ トークン目までを両者に見せる。ただし教師 $\bar\pi$ にだけ多数決答案 $y^+$ も一緒に見せる。この条件で両者が出す次トークンの分布を $D_\beta$ という距離で近づけ、全トークン・全不一致答案で平均する」。$\mathcal{U}$ はラベルなし問題の集合、$y^-_{<n}$ は不一致答案のプレフィックス、$|y^-|$ はその答案のトークン数、$\theta$ は学習されるパラメータ、$\bar\pi$ は勾配を切った同じモデルです。記号を外して言い換えると、式(2)は「モデルが道を踏み外していく一手ごとに、そのとき考えていたことと、多数決の答えを知っていたら考えていたはずのことを見比べ、その差を詰めろ」と言っているだけです。頭に2つ並ぶ期待値は「これを全問題ぶん、そして1問あたり引いた答案ぶん平均する」という意味しかなく、途中の2つの分数も「不一致答案は1本を1票、その中のトークンも1個を1票として数える」——長い答案が短い答案より重くならないようにする——という以上の意味はありません。飛ばされるのは2種類——$c(x) < \tau$ で投票が信用できない問題と、$\mathcal{Y}^-_x$ が空で直すものがない問題です。