論文解説: RewardVerse — 採点表を先に作ってから動画を採点する報酬モデル（RGPO）
動画の報酬モデルは、点数が狭い範囲に固まったり言い回しでずれたりする（スカラードリフト）。RewardVerseは採点前に評価ルーブリックを生成し、項目ごとにトークン確率から連続スコアを読む。2段階のRGPOで、1観点30ペアだけで学習する。
要点
- RewardVerseは、評価クエリと採点器の間に動的ルーブリックを挟む動画の報酬モデルである。
- 既存の動画RMは明示的な評価基準なしに1つの数値へ写像するため、スカラードリフトが起きる。
- スカラードリフトは、スコア範囲の崩壊と文脈変化への高い分散という2つの症状で定義される。
- 学習法RGPOは2段階で、自己進化させたシードルーブリックで採点器を温めた後、生成器と採点器を同時に最適化する。
- 予備実験では、soft-logitsのままV2→V3で標準偏差が0.258→0.471(+82.6%)に広がったが、人間の評点からはずれていた。
RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling
一次資料 — この記事の根拠
論文の発表 2026-09-19→この解説の公開 2026-09-29同月
RewardVerse: Rubric-Guided Policy Optimization for Video Reward ModelingZhenchen Tang, Yang Li, Songlin Yang ほか · 2026-09-19 · v2arXiv:2609.22947論文ページ·PDF原文の要旨（Abstract）を読む
Reinforcement learning (RL) is vital for optimizing video generation models, with a robust reward model (RM) serving as the cornerstone. However, existing video reward models often produce unstable scalar scores because they directly map complex, subjective video quality into a single score without explicit evaluation criteria. This leads to scalar drift, where the scoring scale collapses or shifts across different prompts, making the reward unreliable for RL. Drawing inspiration from professional human annotation engineering, we address this problem with RewardVerse, a rubric-based video reward framework that introduces a dynamic rubric as an intermediate representation between the evaluation query and the scorer. Instead of unconstrained direct scoring, RewardVerse first generates explicit evaluation criteria and then performs rubric-guided scoring, providing a stable semantic anchor that mitigates scalar drift. To efficiently optimize this collaborative pipeline, we propose Rubric-Guided Policy Optimization (RGPO), a two-stage training algorithm. RGPO first warms up the scorer using self-evolving seed rubrics and then jointly optimizes the rubric generator to produce query-adaptive evaluation criteria while continuously aligning the scorer with human ratings. Extensive experiments on the 16-dimensional EvalVerse benchmark and external datasets demonstrate that RewardVerse mitigates scalar drift, achieves state-of-the-art performance on both pointwise and pairwise evaluation, and provides a robust and interpretable reward signal for RL in video generation.
この論文は何を言っているか
扱う論文は "RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling"（arXiv:2609.22947、2026年9月、v2）です。
abstractの要約です。動画生成モデルを強化学習（RL）で最適化するには、頑健な報酬モデル（RM）が土台になる。ところが既存の動画RMは、主観的で多面的な動画の質を、明示的な評価基準なしに1つの数値へ直接写像する。そのため点数の尺度がプロンプトごとに潰れたりずれたりするスカラードリフトが起き、RLの報酬として信用できない。著者らはプロの人手アノテーションに倣い、評価クエリと採点器の間に動的ルーブリック（その都度作る採点表）を挟むRewardVerseを提案する。先に評価基準を生成し、それに沿って採点することで、ドリフトを抑える錨にする。学習法RGPOは2段階で、自己進化させたシードルーブリックで採点器を温めたあと、クエリに合わせた基準を作る生成器と、人間の評点に合わせる採点器を同時に最適化する。16次元のEvalVerseと外部データで、pointwise評価とpairwise評価の両方で最高性能を示した、という主張です。
比喩: 採点表を持たない審査員
料理の審査員が「5点満点で何点？」とだけ聞かれると、無難に4点前後を付けがちです。全部の皿が3.8〜4.3点に収まれば、良し悪しはほぼ区別できません。聞き方や皿の順番を変えるだけでも点が揺れます。プロの審査員は先に「火の通り」「塩加減」のような採点表を作り、項目ごとに採点してから重みを掛けて合計します。RewardVerseは、この「採点表を書く係」と「採点する係」を1つのモデルに担わせ、両方をRLで鍛えます。
スカラードリフトと、2×2の予備実験（§3）
論文はスカラードリフトを2つの症状で定義します（§3.1）。1つはスコア範囲の崩壊で、点が高めの狭い帯に集まり、良い動画と悪い動画の差が消えてRLの勾配がほぼ平らになります。もう1つは文脈変化への高い分散で、指示の言い換えや入力順で同じ動画の点が変わります。
§3.2では、Qwen2.5-VL-7Bと人手ラベル付き240本を使い、「ルーブリックの有無」×「点の出し方」を比べています。点の出し方は、数字を文章として書かせるか、soft-logitsで読むかです。soft-logitsとは、答えの位置でトークン「1」〜「5」が出る確率を読み、その期待値を点数にする方法です。3と4で迷っていれば3.5付近の連続値になります。
結果として、ルーブリックを足すと点のばらつきが広がりました（soft-logitsのままV2→V3で標準偏差0.258→0.471、+82.6%）。ただし文章で数字を書かせると、ルーブリックがあってもペアの約3分の2が同点でした。ルーブリックとsoft-logitsを組み合わせたV3だけが分布を広げましたが、それでも人間の評点からはずれており、ここが学習を必要とする理由です。
下の図で「1」〜「5」の確率の尖り方を動かしてみてください。尖ると期待値は整数に張り付き、なだらかだと中間値が出ます。
仕組み: 採点表を作る係と採点する係（§4.1）
入力はクエリ です。 は評価観点（照明・一貫性など16次元のどれか）、 は動画生成に使ったプロンプトです。生成器はクエリだけからルーブリックを作ります。
コメント
コメントにはログインが必要です