論文解説: Annotations as Rollouts — 正解データを「9本目の答案」として強化学習に混ぜる

動画MLLMの強化学習では、モデルが引いた答案の中に正解がほとんど現れず学習信号が痩せる。OraRLは注釈データ自体を答案の1本として束に加え、そのとき壊れる『advantageの反転』を分解して直した手法。

Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs

模範解答を配らない採点者

予備校の採点者を想像してください。生徒（モデル）に同じ問題を8回解かせ、8枚の答案に点数をつけて返す。ところが採点者は模範解答を手元に持っているのに、それを絶対に見せません。生徒は「この8枚のうちどれがマシか」だけを手がかりに勉強することになります。

四択なら8枚のどこかに正解が混じるので、これでも回ります。しかし答えが「動画の12.4秒から18.9秒」だったら、8枚とも外れるほうが普通です。正解に近い答案が1枚もない束からは、どちらへ伸ばせばいいかがほとんど読み取れません。

この論文（arXiv:2608.20492）は、ここで一行の発想の転換をします。採点者が握っている正解を、9枚目の答案として束にそのまま入れてしまえばいい。著者らはこれを annotation-as-rollout と呼び、周辺を整えた学習法を OraRL と名付けました。

まずGRPOを1から

ここでの強化学習は、指示チューニングとRLHFで扱う PPO 系の系譜にある GRPO（Group Relative Policy Optimization）です。手順は3段階（§3.1）。

1. 1つの入力（動画＋指示）に対し、モデルに $n$ 通りの出力をサンプリングさせる。この1本1本が rollout
2. 各 rollout を正解データと突き合わせて報酬 $r_i$ をつける（例: 予測した区間と正解区間の重なり具合）
3. 「グループの平均より上か下か」で各 rollout の良し悪しを決める

3番目が GRPO の肝で、価値関数（critic）を別に学習せずに済みます。

$A_i$ は advantage（優位性）で、その rollout を「もっと出やすくする」か「出にくくする」かを決める係数です。$\mu_{\mathrm{grp}}$ はグループ内の報酬の平均、$\sigma_{\mathrm{grp}}$ はそのばらつき、$\epsilon$ はゼロ割り防止の小さな定数。要するに 「同じ問題を8回解いた中で、平均より良かった答案だけ褒める」。$A_i$ が正なら褒める側、負なら抑える側です。

動画では「正のアンカー」が出てこない

ここで動画特有の事情が効きます。統一的な動画知覚（動画理解の全体像）が扱うのは、時刻区間・矩形・セグメンテーションマスク・追跡軌跡といった連続値で構造を持つ答えです。四択と違い、サンプリングで偶然ぴったり当たることはまずありません。

論文の言い方では、既存手法において注釈は rolloutを採点する参照でしかなく、多くのグループが信頼できる正のアンカーを持たないまま更新されます（§1）。実測でも、時間グラウンディングでは報酬が疎なせいで 17.5%のグループに正の rollout が1本も残りません（§4.10）。

「Chain-of-Thought を長く書かせれば当たるのでは」という発想は、この論文では否定されます。CoTありのGRPOは時間グラウンディング3データセットの平均が 58.5、CoTなしが 58.7 とほぼ同じで、1ステップの学習時間だけが 93.9秒 → 135.6秒（+44.4%） に伸びました。しかもRLの前段階で、CoTを入れると素のバックボーンの平均が 3.9ポイント下がっています（§4.7）。長く考えさせても、当たらないものは当たりません。

注釈を9本目のrolloutにする

OraRL の中核は拍子抜けするほど単純です（§3.2）。注釈 $y$ をモデルの応答フォーマットへ書き換える変換 $T_{\mathrm{task}}$ を用意し、oracle rollout として束に足すだけ。

$$o_{\mathrm{gt}}=T_{\mathrm{task}}(y),\quad \mathcal{O}_{\mathrm{aug}}=\mathcal{O}_{\mathrm{op}}\cup\{o_{\mathrm{gt}}\},\quad |\mathcal{O}_{\mathrm{aug}}|=n+1$$

$o_{\mathrm{gt}}$ が「正解を答案の形式で書いたもの」、$\mathcal{O}_{\mathrm{op}}$ がモデル自身の $n$ 本、$\mathcal{O}_{\mathrm{aug}}$ が合わせた $n+1$ 本です。つまり置き換えではなく追加。既存の8本を残すので、探索を犠牲にせず正のアンカーだけが増えます。中身は選択肢・時刻区間・矩形・矩形の軌跡などタスクで変わりますが、更新則は1本で共通です（§3.3）。教師モデルの出力を真似る知識蒸留と違い、oracleは元から付いている注釈なので教師モデルが要りません（§2）。