2026-08-27·無料·論文·15分で読めます

論文解説: Annotations as Rollouts — 正解データを「9本目の答案」として強化学習に混ぜる

動画MLLMの強化学習では、モデルが引いた答案の中に正解がほとんど現れず学習信号が痩せる。OraRLは注釈データ自体を答案の1本として束に加え、そのとき壊れる『advantageの反転』を分解して直した手法。

要点

GRPOは同じ入力にn通りの出力(rollout)を作り、グループ平均より良いものだけを褒めて学習する。
動画の時刻区間や矩形などの連続値の答えは偶然当たらず、時間グラウンディングでは17.5%のグループに正のrolloutが1本も残らない。
OraRLは注釈を oracle rollout としてグループに追加し、n本が n+1 本になる(annotation-as-rollout)。
正解を混ぜて正規化すると平均が上がり、GRPOで正だったrolloutが負になる advantage inversion が起き、平均は60.3から55.4に落ちる。
OraRLは基準線を元のn本だけで決め、符号バランス枝刈りで9本を4本に減らし、1.48倍速くなる。

#reinforcement-learning #grpo #video-mllm #post-training #rlhf

対象imageタスクgeneration

Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs

一次資料 — この記事の根拠

論文の発表 2026-08-20→この解説の公開 2026-08-27同月

Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMsYunheng Li, Guohong Mu, Hao Li ほか · 2026-08-20 · v1arXiv:2608.20492論文ページ·PDF

原文の要旨（Abstract）を読む

Multimodal large language models (MLLMs) have become a prevailing paradigm for unified video perception. However, post-training on large multi-task datasets remains challenging, as existing reinforcement learning methods sample on-policy groups with few high-quality rollouts even with costly chain-of-thought (CoT) generation. In this paper, we study the sample efficiency and scalability of RL post-training for video MLLMs and introduce OraRL. We identify an overlooked role for annotations: Beyond scoring rollouts, each can enter its on-policy group as an oracle rollout, a direct positive optimization target. Direct oracle integration, however, is nontrivial: a high-reward oracle raises the group baseline and inverts otherwise positive policy advantages, a failure we term advantage inversion. At the core of OraRL is a decoupled advantage estimator: policy rollouts determine an oracle-free baseline, while the oracle-policy gap modulates both a directional gain and a separate detached oracle advantage. Sign-balanced pruning improves efficiency: by retaining only the oracle and the strongest rollouts of each sign, OraRL requires just 2.2x the step time of SFT, less than half the 4.9x required by GRPO with CoT. OraRL scales with model size and data, surpassing its backbone from 0.8B to 9B and GRPO up to 100k prompts. Without chain-of-thought, Video-ORA-9B decodes in 130 ms instead of 4,780 ms. Compared with the respective prior best models, it raises temporal mIoU from 62.5 to 66.0, tracking AO from 73.0 to 78.2, segmentation from 64.3 to 70.4, and the three-benchmark spatial-intelligence macro average from 51.0 to 56.1; on VSI-Bench, it scores 73.1 against 55.0 for GPT-5 and 55.1 for Gemini-3-Pro.

模範解答を配らない採点者

予備校の採点者を想像してください。生徒（モデル）に同じ問題を8回解かせ、8枚の答案に点数をつけて返す。ところが採点者は模範解答を手元に持っているのに、それを絶対に見せません。生徒は「この8枚のうちどれがマシか」だけを手がかりに勉強することになります。

四択なら8枚のどこかに正解が混じるので、これでも回ります。しかし答えが「動画の12.4秒から18.9秒」だったら、8枚とも外れるほうが普通です。正解に近い答案が1枚もない束からは、どちらへ伸ばせばいいかがほとんど読み取れません。

この論文（arXiv:2608.20492）は、ここで一行の発想の転換をします。採点者が握っている正解を、9枚目の答案として束にそのまま入れてしまえばいい。著者らはこれを annotation-as-rollout と呼び、周辺を整えた学習法を OraRL と名付けました。

まずGRPOを1から

ここでの強化学習は、指示チューニングとRLHFで扱う PPO 系の系譜にある GRPO（Group Relative Policy Optimization）です。手順は3段階（§3.1）。

1つの入力（動画＋指示）に対し、モデルに $n$ 通りの出力をサンプリングさせる。この1本1本が rollout
各 rollout を正解データと突き合わせて報酬 $r_i$ をつける（例: 予測した区間と正解区間の重なり具合）
「グループの平均より上か下か」で各 rollout の良し悪しを決める

3番目が GRPO の肝で、価値関数（critic）を別に学習せずに済みます。

A_{i}^{\mathrm{GRPO}}=\frac{r_{i}-\mu_{\mathrm{grp}}}{\sigma_{\mathrm{grp}}+\epsilon},\qquad \mu_{\mathrm{grp}}=\frac{1}{n}\sum_{j=1}^{n}r_{j}

(1)

$A_i$ は advantage（優位性）で、その rollout を「もっと出やすくする」か「出にくくする」かを決める係数です。 $\mu_{\mathrm{grp}}$ はグループ内の報酬の平均、 $\sigma_{\mathrm{grp}}$ はそのばらつき、 $\epsilon$ はゼロ割り防止の小さな定数。要するに 「同じ問題を8回解いた中で、平均より良かった答案だけ褒める」。 $A_i$ が正なら褒める側、負なら抑える側です。

FIG 1rolloutは毎回この分布からサイコロを振って引く。論文の設定は温度1.0・top-p 0.85（表17）。温度を下げると分布が尖り、8本が似た答えに寄る＝グループ内の報酬のばらつきが縮み、比較から得られる情報も減る

動画では「正のアンカー」が出てこない

ここで動画特有の事情が効きます。統一的な動画知覚（動画理解の全体像）が扱うのは、時刻区間・矩形・セグメンテーションマスク・追跡軌跡といった連続値で構造を持つ答えです。四択と違い、サンプリングで偶然ぴったり当たることはまずありません。

論文の言い方では、既存手法において注釈は rolloutを採点する参照でしかなく、多くのグループが信頼できる正のアンカーを持たないまま更新されます（§1）。実測でも、時間グラウンディングでは報酬が疎なせいで 17.5%のグループに正の rollout が1本も残りません（§4.10）。

「Chain-of-Thought を長く書かせれば当たるのでは」という発想は、この論文では否定されます。CoTありのGRPOは時間グラウンディング3データセットの平均が 58.5、CoTなしが 58.7 とほぼ同じで、1ステップの学習時間だけが 93.9秒 → 135.6秒（+44.4%） に伸びました。しかもRLの前段階で、CoTを入れると素のバックボーンの平均が 3.9ポイント下がっています（§4.7）。長く考えさせても、当たらないものは当たりません。

注釈を9本目のrolloutにする

OraRL の中核は拍子抜けするほど単純です（§3.2）。注釈 $y$ をモデルの応答フォーマットへ書き換える変換 $T_{\mathrm{task}}$ を用意し、oracle rollout として束に足すだけ。

$o_{\mathrm{gt}}=T_{\mathrm{task}}(y),\quad \mathcal{O}_{\mathrm{aug}}=\mathcal{O}_{\mathrm{op}}\cup\{o_{\mathrm{gt}}\},\quad |\mathcal{O}_{\mathrm{aug}}|=n+1$

$o_{\mathrm{gt}}$ が「正解を答案の形式で書いたもの」、 $\mathcal{O}_{\mathrm{op}}$ がモデル自身の $n$ 本、 $\mathcal{O}_{\mathrm{aug}}$ が合わせた $n+1$ 本です。つまり置き換えではなく追加。既存の8本を残すので、探索を犠牲にせず正のアンカーだけが増えます。中身は選択肢・時刻区間・矩形・矩形の軌跡などタスクで変わりますが、更新則は1本で共通です（§3.3）。教師モデルの出力を真似る知識蒸留と違い、oracleは元から付いている注釈なので教師モデルが要りません（§2）。

素直に混ぜると壊れる: advantage inversion

ところが9本をまとめて正規化すると、GRPOより性能が落ちます。3タスク共通プロトコルで、GRPOの平均60.3が素朴な正解注入では 55.4。追跡タスクは11.9ポイントの下落です（§4.9）。原因は算数レベルで説明できます。

\mu_{\mathrm{aug}}=\frac{n\mu_{\mathrm{op}}+r_{\mathrm{gt}}}{n+1}=\mu_{\mathrm{op}}+\frac{r_{\mathrm{gt}}-\mu_{\mathrm{op}}}{n+1}

(2)

$\mu_{\mathrm{op}}$ がモデル自身の8本だけの平均、 $r_{\mathrm{gt}}$ が正解の報酬。つまり正解が高得点なら平均が押し上げられ、その幅が $(r_{\mathrm{gt}}-\mu_{\mathrm{op}})/(n+1)$ です。報酬がこの帯に入った rollout は、GRPOなら褒められていたのに、正解を混ぜた途端に抑えられる側へ回ります — 著者らの言う advantage inversion（優位性の反転） です。帯の幅は実力差に比例するのでモデルが下手なほど被害が大きく、さらに正解が標準偏差も押し上げるため、生き残ったadvantageの絶対値まで縮みます。

全92,024 rollout（11,503グループ）の集計（§4.10）:

指標	素朴な正解混入	＋報酬シェーピング	OraRL（枝刈り後）
反転率（GRPOで正だったrollout中）	22.4%	11.9%	0.3%
追跡タスクの反転率	38.7%	21.7%	0.2%
正のrolloutが全滅したグループ	8.3%	—	—

FIG 2advantageは「どちらへ、どれだけ動くか」を決める係数。符号が逆になれば、良かった答案を谷から押し出す向きに更新してしまう。論文のRL学習率は2e-6・定数スケジュール（表17）で、SFTの1e-5より一桁小さい

OraRLの直し方: 基準線から外し、差は別ルートで戻す

解は「正解を基準線から外すが、最適化の対象としては残す」です（§3.2）。

1. 基準線はモデルの8本だけで決める。 $A_{i}^{(0)}=r_{i}-\mu_{\mathrm{op}}$ とし、分散での割り算もしない。これで「平均より上なのに負」は定義上ありえなくなります。

2. 差の情報は、ばらつきの変化として拾い直す。

g_{q}=\operatorname{clip}\!\left[\left(\frac{\sigma_{\mathrm{aug}}}{\sigma_{\mathrm{op}}+\epsilon}\right)^{1/4},\,1,\,4\right]

(3)

$\sigma_{\mathrm{op}}$ が8本のばらつき、 $\sigma_{\mathrm{aug}}$ が正解を足した9本のばらつき。つまり $g_q$ は「モデルはまだ正解から遠い」の度合いです。1/4乗で効きを鈍らせ、1〜4でクリップして暴走を止める。これを平均より上のrolloutにだけ掛け、掛けたあとに平均を引き直して合計をゼロに戻します。

3. 正解自身には、別枠で控えめなadvantageを与える。

$w_{q}=\left[\operatorname{clip}\!\left(\frac{r_{\mathrm{gt}}-\mu_{\mathrm{op}}}{r_{\mathrm{gt}}+\epsilon},0,1\right)\right]^{2},\qquad A_{\mathrm{gt}}=\min\!\left(2w_{q},\;\operatorname{clip}\!\left(1.2\,A^{+}_{\max},\,0.05,\,1\right)\right)$

言い換えれば、 $w_q$ は「正解にまだどれだけ伸びしろがあるか」を0〜1で表す重みで、モデルの平均が正解に追いつくとゼロになって自然に消えます（2乗は減衰を早めるため）。 $A^{+}_{\max}$ はモデル側で最良のadvantageで、その1.2倍が上限なので正解がグループを支配することはありません。正のrolloutが1本もないときだけ0.05の細い糸が残ります。

# OraRLのadvantage（要点だけ、numpy擬似コード）
mu_op = r_op.mean()                                    # 正解を含めない平均
A0    = r_op - mu_op                                   # 分散正規化しない
g     = np.clip((np.append(r_op, r_gt).std() / (r_op.std() + eps))**0.25, 1, 4)
U     = np.where(A0 > 0, g * A0, A0)                   # 上位だけ増幅
A_op  = U - U.mean()                                   # 合計をゼロに戻す
w     = np.clip((r_gt - mu_op) / (r_gt + eps), 0, 1)**2
A_gt  = min(2*w, np.clip(1.2*max(0, A_op.max()), 0.05, 1))

半分捨てても学べる: 符号バランス枝刈り

9本すべてで逆伝播すると重いので、 $K=\lfloor n(1-\kappa)\rfloor$ 本だけ勾配を流します。 $n=8,\ \kappa=0.5$ なら 9本 → 4本、内訳は正解1本＋正のrollout 1本＋負のrollout 2本（§4.1）。肝は符号のバランスで、CPPOのように絶対値だけで選ぶと片方の符号しか残らず、全員を同じ向きに押しかねません。符号バランスを外すと平均が0.6ポイント落ちます。

選び方が偏る以上、選んだ後の平均とスケールも歪みます。そこで平均をゼロに戻し、枝刈り前のRMSに合わせる倍率（0.25〜1でクリップ）を掛け直すモーメント補正を入れる。補正なしだと枝刈りの損は1.1ポイント、補正すると0.4ポイントに収まり、1.48倍速くなります（§4.11）。

結果はどこまで出たか

CoTを使わず答えだけを生成させた条件での主要数値（§4.2）:

タスク	比較対象	Video-ORA-9B
時間グラウンディング mIoU（3ベンチ平均）	62.5（従来最良）	66.0
追跡 GOT-10k AO	73.0（OneThinker-8B）	78.2
VSI-Bench 平均	GPT-5 55.0 / Gemini-3-Pro 55.1	73.1
MeViS J&F	52.7（OneThinker-8B）	61.3
Video QA マクロ平均	61.9（Qwen3.5-9Bバックボーン）	66.8

同じSFT初期値・同じデータ・同じ予算で学習法を並べると（§4.8）、継続SFT 58.7、GRPO 60.3、Dr. GRPO 60.7、CPPO 60.5、GDPO 60.4 とオンポリシー系は0.4ポイント以内の団子なのに、OraRLだけ 62.7 に抜けます。advantage推定を作り変えたからではなくoracleを足したから勝った、という主張と整合する形です。0.8B〜9Bのどのサイズでもバックボーンを8ポイント以上上回り、6.4k→100kの増量ではGRPOとの差がむしろ開きます（§4.3, §4.4）。推論側は応答が中央値13.5トークン（バックボーンの推論は808.5トークン）で、P90レイテンシが 62.67秒 → 25.15秒 とテールが縮みます（§4.12）。

限界と、まだ検証されていないこと

論文自身が挙げる限界（§5）は率直です。注釈が有効な1本の答案としてシリアライズでき、スカラー報酬で採点できることが大前提で、曖昧・部分的・ノイズ混じりの注釈や、学習されたoracleでの挙動は評価されていません。空間知能でもMMSI-BenchとMindCube-Tinyの平均47.7は、Grok-4の50.7やGPT-5の49.1を下回ります（§4.2）。

最も示唆的なのは再注釈ベンチReVSIです（Appendix F）。VSI-Benchから移すとVideo-ORAは14.9ポイント落ち、バックボーンの6.3ポイントより大きく崩れました。内訳では相対方向の問題で前向き91.5%に対し後ろ向き8.3%。バックボーン比で前向きは77.4%→85.8%に上がった一方、後ろ向きは18.4%→9.1%に下がっています。学習データのテンプレートが前向き専用だったためで、oracleが正しくても、注釈の分布にない状況は伸びないという annotation-as-rollout の素直な帰結です。

つまり効くのは「正解が構造化データで、報酬をそこから機械的に計算できる」領域です。要約や対話のように正解が一意に決まらないタスクでは、oracleを1本の答案に落とす前提そのものが成り立ちません。

現場ではこう使う

誰がいつ。 すでにSFT済みの動画・画像VLMがあり、時刻区間・矩形・マスク・軌跡のように正解が構造化された形でデータセットに入っているタスクの精度を上げたい、ポストトレーニング担当者。

触る設定。 実装は veRL ＋ rollout生成に vLLM ＋ FSDP。効くノブは n（rollout数=8）、κ（枝刈り比=0.5）、temperature=1.0 / top_p=0.85、kl_coef=0、PPOクリップ0.2、学習率2e-6の定数スケジュール、応答長上限2048（表17）。動画は2fps・最大128フレーム、追跡だけ32フレーム均等（Appendix B）。

落とし穴。

正解を入れて、そのまま正規化しない。 これが advantage inversion です。ログ上は「全体の報酬は上がっているのに特定タスクだけ悪化」（追跡 −11.9ポイント）として出ます。既製の監視指標はないので、「GRPO換算で正だったrolloutのうち何%が負に転んだか」＝flip rateをグループ単位で自分で計測する。
枝刈りしたら平均とスケールを戻す。 省くと1.1ポイント落ちます。「速くしたのに精度が落ちた」の多くはここ。
書式検証で報酬の抜け道を先に塞ぐ。 <answer> はちょうど1つ、<think> の混入は不可、壊れた出力は報酬ゼロ。セグメンテーションには「正の点が1つもマスクに入らなければ0.1で頭打ち」「箱のIoUが0.1未満なら0.2で頭打ち」という上限が明示されています（Appendix C）。
RLデータは難易度で選別する。 論文はSFTチェックポイントで先に推論・採点し、スコア0.80以上の簡単な例を各サブセットの15%に制限しています（Appendix A）。簡単な例ばかりだと $w_q$ がゼロに張り付き、oracleからの信号が消えます。
学習と評価の動画重複を潰す。 論文は共有動画を検出して学習側から除いています。怠るとスコア表が無意味になります。

設計レビューで問われる問い。 「グループにお手本を1本混ぜると何が壊れるか」への答えは、 $\mu_{\mathrm{aug}}=\mu_{\mathrm{op}}+(r_{\mathrm{gt}}-\mu_{\mathrm{op}})/(n+1)$ を書いたうえで、幅 $(r_{\mathrm{gt}}-\mu_{\mathrm{op}})/(n+1)$ の帯に入ったrolloutの符号が反転すること、そしてその帯はモデルが下手なほど広がることまで言えれば十分です。