論文解説 TTPO: 正解ラベルなしで、テストの最中にモデルを鍛える
多数決で作った疑似ラベルは競技数学では約85%外れる。それでも学習が成立するのはなぜか。賛成した出力は蒸留し、反対した出力はRLで罰するという「非対称」な設計を、前提知識ゼロから解説する。
TTPO: Test-Time Policy Optimization
一次資料 — この記事の根拠
論文の発表 2026-08-27→この解説の公開 2026-08-31同月
TTPO: Test-Time Policy OptimizationAozhe Wang, Zhengxi Lu, Jianze Wang ほか · 2026-08-27 · v1arXiv:2608.27448論文ページ·PDF原文の要旨（Abstract）を読む
Recent prominent post-training methods, such as Reinforcement Learning (RL) and On-Policy Self-Distillation (OPSD), have driven rapid progress in mathematical reasoning for large language models, yet their reliance on ground-truth labels precludes test-time training (TTT). Replacing ground truth with majority-vote pseudo-labels is a natural alternative, yet it is fragile: an incorrect vote corrupts the teacher and misleads every token. We observe that this failure mode is asymmetric: rollouts that disagree with the pseudo-label are typically wrong regardless of whether the vote itself is correct. Building on this observation, we propose Test-Time Policy Optimization (TTPO), an asymmetric objective that distills agreeing rollouts via OPSD and penalizes disagreeing rollouts with Grouped RL. Token-level selection further refines both branches: distillation down-weights already-converged positions, while RL penalizes only confident errors. Both updates remain well-grounded even under frequent pseudo-label errors, and majority-vote routing yields tighter self-supervision as the model improves. Without any labels, TTPO matches label-supervised OPSD on five competition-level benchmarks, raises Qwen3-1.7B from 38.0% to 45.2% in TTT, yields +25.2% to +36.4% without thinking, and shows strong cross-task generalization.
試験中に、答え合わせをせずに賢くなる
模擬試験の最中を想像してください。時間はまだ残っているのに、採点表は配られません。それでも受験生にできることはあります。同じ問題を何通りかの筋道で解き直し、いちばん多く出てきた答えを「たぶんこれだろう」と見なして、自分の解き方を点検するのです。
この「正解を教わらないまま、目の前の問題そのもので自分を鍛える」やり方を、機械学習ではテスト時学習（Test-Time Training, TTT）と呼びます。訓練データと本番データは別物、という普通の前提を捨てて、本番の問題集を訓練データとして使ってしまうのが特徴です。
TTPO（Test-Time Policy Optimization）は、この設定を大規模言語モデルの数学推論に持ち込んだ論文です。主張は単純で、正解ラベルを一切使わないのに、正解ラベルを使う手法と同等かそれ以上に届いたという点にあります（§1）。
前提: いま主流の後訓練は、どちらも正解を要求する
ひとつは検証可能な報酬による強化学習（RLVR）です。解かせて、最終的な答えが正解と一致すれば報酬1、外れれば0を与える。ただし報酬は1本の解答につき1つのスカラーで、それを全トークンに一律にばら撒くため、途中のどの一手が良かったのかは分かりません。論文はこれを「粗い」と表現します（§1）。
もうひとつがオンポリシー自己蒸留（OPSD）です。発想が変わっていて、同じモデルにあらかじめ答えを教えたものを「先生」に仕立てる。答えを知っている先生は、生徒（答えを知らない同じモデル）が書いた文章を1トークンずつ読み直し、「自分ならここはこう書く」という確率分布を出します。報酬が解答ごとに1つだったのに対し、トークンごとに教師信号が立つので、はるかに密です（§2.2）。
問題は、どちらも正解を必要とすることです。RLVRは照合に、OPSDは先生への特権情報として使う。答えが最後まで来ないTTTでは、そのまま持ち込めません（§1）。
多数決を先生にすると、何が壊れるか
正解がないならモデル自身に作らせる、が自然な発想です。1問につき複数の解答をサンプリングし、いちばん多く出た答えを疑似ラベルとする——多数決です。TTRL はこれを報酬として使い、ラベルなしで推論性能を上げました（§2.1）。
では疑似ラベルを OPSD の正解の代わりに差し込めばよいか。ここで論文は鋭い一文を置きます。汚染された報酬は1本の解答につき1回だけ誤導するが、汚染された先生は全トークンを誤導する（§1）。密な教師信号は、正しければ強力ですが、間違えたときの被害も同じだけ密になるのです。
なお「先生の確率分布」は、尖っていれば自信あり、平らなら迷っている状態です。この尖り具合は後で TTPO の核心になるので、手で動かして体に入れておいてください。
論文の観察: 誤りは非対称である
論文は実測値を突きつけます。Qwen3-1.7B を AIME 2026 でテスト時学習させると、疑似ラベルは約85%のプロンプトで誤っている（§3.2、Figure 1a）。8割以上外れる先生から学べるはずがない、と普通は考えます。
ところが同じ計測から、もう1つの事実が出てきます。疑似ラベルが誤っているときでも、多数決に反対した解答の約79%は、疑似ラベルでも正解でもない答えを出している（§3.2）。
ここが急所です。「反対した解答を罰する」という操作は、疑似ラベルの中身をまったく使っていません。使うのは「多数派クラスタに入っていない」という事実だけ。だから疑似ラベルが当たっていようが外れていようが、その罰はたいてい正しい。一方「疑似ラベルへ向けて蒸留する」操作は中身を使うので、誤りがそのまま教師分布に流れ込みます。
罰は疑似ラベルに依存せず、蒸留は依存する。 この非対称こそが TTPO の設計原理です。論文はこれを、ノイズの多いラベルからの学習で知られる negative learning（「これは犬ではない」と言うほうが「これは猫だ」と言うより壊れにくい）と同じ構造だと位置づけています（§1）。
言い換えると、多数決という1つの信号を、信頼できる使い方と信頼できない使い方に分解しているわけです。従来手法はこの信号を全解答に一様に適用していたので、誤りの被害半径が解答の本数だけ広がっていました。TTPO は「誤りが入り込む余地のある枝」を賛成派だけに閉じ込め、しかもその枝では誤りが無害化される構造になっている——ここまでが設計の全体像です。以降で、実際の損失関数とトークン単位の取捨選択を順に見ていきます。
仕組み: 賛成派は蒸留、反対派はRL
問題 に対して 本の解答をサンプリングし、最終回答 を取り出す。数式的に同値なものをまとめ、最大クラスタの答えを疑似ラベル とする（§3.1）。そのうえで解答を2つに割ります。
は多数決に賛成した解答、 は反対した解答の集合です。
この式が言っているのは要するに、 本の解答を「多数決の答えと同じものを出したか、違うものを出したか」という一点だけで2つの山に仕分ける、ということです。解答の中身も、どこで筋を外したかも、この仕分けには入ってきません。
コメント
コメントにはログインが必要です