論文解説: VGI-Bench — 動画生成モデルは「途中経過」まで正しく描けるのか

動画生成モデルを「視覚で考える機械」として測るベンチマーク VGI-Bench の設計と結果を、前提知識ゼロから解説。最強の Seedance 2.0 でも 51.0 にとどまり、デノイズ途中の自己修正はほぼ起きないという測定結果までを追う。

VGI-Bench: Probing Visual Intelligence in Video Generation Models

答案ではなく、途中式を採点する

数学のテストで、答えの数字だけ合っている答案と、途中式まで筋の通った答案があります。前者はまぐれかもしれない。だから採点者は途中式を見ます。

いま、動画生成モデルに同じことをやろうという流れがあります。動画生成モデルは、1枚の画像と文章を渡すと「その後どうなるか」を映像として描き出します。迷路の画像と「ゴールまで進め」という指示を渡して、正しい経路をたどる動画が返ってきたなら、そのモデルは迷路を解いたと言えるのではないか。論文はこの見方を、動画生成モデルを受動的なシミュレータから「映像で推論を表現する視覚的推論器」へ捉え直す動きだと整理しています (§1)。

問題は採点方法です。最後の1コマだけ正しく見えても、途中で物体が瞬間移動していたら解けたとは言えない。答案ではなく途中式を採点する仕組みが要る。VGI-Bench はそこを正面から設計したベンチマークです。

既存ベンチマークにあった3つの穴

論文は先行研究に3つの問題を指摘します (§1)。

入力の絵柄が学習分布からズレている。 多くのベンチマークは作りやすさを優先して線画や記号図を入力にしてきました。しかし動画生成モデルは実写に近い映像で学習されています。抽象的な入力では映像の崩壊や制約無視が増えますが、それは「推論できない」のではなく「見慣れない絵柄で戸惑っている」だけかもしれません。

映像として展開する必要がない。 既存の視覚QA的タスクの多くは入力画像を眺めるだけで答えが決まり、途中経過を展開して解く能力を測れていません。

難易度が野放し。 数秒の動画では原理的に不可能な長期タスクや、医学知識のような視覚外の専門知識を要するタスクが混ざると、失敗しても何も分かりません。全員が解けるベンチマークも全員が落ちるベンチマークも、順位をつける情報量はゼロです。診断に使うなら、問題をいまの能力の境界線上に置く必要があります。

1つ目の「分布のズレ」は、機械学習で最も基本的な落とし穴と同じ構図です。下の図で、訓練誤差とテスト誤差が離れていく様子を触ってみてください。ベンチマークの入力が学習分布の外にあるとき、私たちが見ているのはこの「離れた側」の数字です。

VGI-Bench の作り方

VGI-Bench は 27タスク・810インスタンスからなります (§3)。入出力形式は全タスク共通で、「文章プロンプト＋入力画像（1コマ目）→ 動画」という image-to-video の形です。

タスクは二層のタクソノミーで整理されます (§3.1)。第一層は互いに排他的な4領域——Visual Organization（属性や手がかりで並べる・選ぶ）、Physical Manipulation（動かす・置く・積む・道具を使う）、Structured Puzzles（明示ルールに従って状態を変換する）、Spatiotemporal Dynamics（状態の時間変化と順序）。第二層は排他的でない7つのスキルタグ（Spatial / Temporal / Planning / Attribute Grounding / Physics / Topology / Affordance）で、1タスクに複数付きます。領域で「どんな絵か」、スキルで「何ができないと解けないか」を別々に見る設計です。

各タスクは3段階の難易度で作られ、1段階あたり約10インスタンス。入力画像は Web や既存データセットから集めるか、画像生成モデルで作って意図どおりになるまで人手で直し、すべて 16:9 に統一します。プロンプトには対象物・許される操作・禁止される近道に加えて、背景やカメラの動きといったタスク非依存の制約も書き込み、余計な視覚変動が混ざらないようにします (§3.2)。

難易度の較正手順が面白い (§3.3)。各タスクの最易レベルのインスタンスを2つ抜き出して Sora2 / Veo3.1 / Kling3.0 などにかけ、「少なくとも1モデルが解け、少なくとも1モデルが失敗する」場合だけ採用します。論文自身はこれを可解性の保証ではなく健全性フィルタだと限定しています。

採点: 「どこまで進んだか」×「途中で反則しなかったか」

採点は2指標の掛け算です (§3.4)。Completeness（Comp.） はゴールへの到達度で、VLM が 2fps でサンプリングしたフレーム列を見て complete / partial / failed の3段階に写像します。Rubric Score（Rub.） は途中経過の妥当性で、タスクごとのチェックリストへの違反回数を数えます。まず 4fps で通し見して怪しい区間に印を付け、そこだけ 8fps で見直す適応サンプリングと、常に短い区間だけを見せる10フレームの注視窓が使われます。

チェック項目ごとの得点は、違反回数 $x$ に対する逆数減衰です。

$s_i$ は $i$ 番目の項目の得点、$x_i$ はその項目の違反回数。無違反なら1点、1回で0.5点、2回で0.33点。1回目の違反は重く、2回目以降の打撃は小さいという直感を式にしたもので、Rub. は全項目の平均です。最終スコアはこう合成します。

なぜ掛け算か。ほとんど動かない動画はルールを破りようがないので Rub. が高く出ますが、ゴールに近づかないので Comp. が低い。逆に目標状態にワープした動画は Comp. が高く Rub. が低い。掛け算なら、どちらか一方が低いだけで最終スコアが潰れます。

審判の信頼性も測られています (§4.3)。Gemini-3-Flash を使う本命構成は人手との一致で AUC 0.803 / ペアワイズ精度 73.2%。適応 fps を外すと 0.772、注視窓を外すと 0.753 に落ち、審判を差し替えると GPT-5-mini 0.690、Claude-Haiku-4.5 0.478 でした。実務上、73.2% は「人間と同じ判定をする審判」から遠く、数点差で優劣を断じるのは危ういという留保が要ります。

結果: 最強でも51.0

評価は各タスクのインスタンスの半分を固定シードで使います (§4.1)。総合スコア (§4.2) は Seedance 2.0 が 51.0 で最高、以下 MiniMax-H3 44.4、Kling3.0 44.0、Sora2 36.7、Veo3.1 32.0、Wan2.2 21.6、HunyuanVideo-1.5 19.1。商用がオープンソースを一貫して上回るものの、どのタスクも解決済みには程遠い、というのが結論です。

領域別では Structured Puzzles が最難関、スキル別では Topology と Temporal が最も弱い。ただし内訳は一枚岩ではなく、Structured Puzzles だけ見ると MiniMax-H3 の 50.6 が Seedance 2.0 の 44.6 を上回ります。総合1位が全領域で1位とは限りません。

Comp. と Rub. の両方が満点のときだけ成功と数える strict success rate も報告されています (Appendix B.2)。総合で Seedance 2.0 が 14.0%、HunyuanVideo-1.5 は 1.0%。同じ基準の人間参照値は 97.1% でした。

どう失敗するのか

代表的な失敗は3種類です (§5.1)。物理の崩壊——不自然な変形やめり込み。目標の圧力が強いとき、ゴールらしい見た目のために物理的因果が犠牲になります。ルール違反——映像は自然なのに禁止操作をしたり必須の中間ステップを飛ばしたりする。オブジェクト／状態の不整合——物が消える、変形する、前の状態に巻き戻る。動きは滑らかなのに時間方向の状態追跡が弱い形です。

入力条件も効きます (§5.2)。解法を明示的に書き下したオラクルプロンプトでも伸びは限定的でした。さらに同じタスク構造のまま線画版の入力にするとモデルの順位そのものが変わり、その傾向はオープンソースで顕著でした。

合成データの追加学習はどこまで効くか

100万サンプルの抽象絵柄データで微調整された VBVR モデル群と、素のベースモデルが比較されています (§5.3)。タスクを訓練分布との構造的な重なりで3群に分けると、Wan2.2-I2V は重なりのある群が 15.3 → 55.8（+40.5）と激変する一方、重なりのない群は 29.2 → 35.4（+6.2）どまり。Wan2.1-I2V に至っては重なりのない群が 25.6 → 22.0 と下がっています。スキル別でも Planning が 10.4 → 44.1 と伸びる一方、Temporal は 37.0 → 25.8 と後退しました。

ただしタスク単位では一様ではありません。untie_knot は成功率がほぼ変わらないのに rubric スコアが 0.02 から 0.34 へ上がりました。「解けるようにはならないが、暴れなくなった」わけです。

推論はいつ決まるのか

いちばん示唆的なのが最後の分析です (§5.4)。拡散モデルはノイズだらけの状態から少しずつノイズを取り除いて出力を作ります。拡散型言語モデルの研究では、この反復の後半で「間違った途中状態を自分で直す（self-correction）」振る舞いが議論されてきました。動画でも起きているのでしょうか。

論文は4つのオープンソースモデルから途中のデノイズ状態を復号し、連続チェックポイント間で解の状態がどう変わるかをラベル付けしました。誤→正（自己修正）はどこでも1%未満で後半では一度も起きず、誤→別の誤はその一桁上（4→10ステップで 23.1%、10→20ステップで 24.8%）。状態が読み取れるようになった後は動かず、安定は後半で 90.6% に達します。つまり後半のデノイズは早期の仮説を固定して磨いているだけで、それがすでにルールを破っていても直らない。「ステップを回せばそのうち正解に収束する」という期待は、この測定では支持されません。

直感を掴む比喩として、下の図で最適化の軌跡を動かしてみてください。経路は最初に入った谷を降りるだけで、別の谷へは移りません。

論文自身が挙げる限界

Limitations 節は4点を明示しています。全タスクが現在の動画長（およそ5〜10秒）に合わせて設計され、長期の組み立てや経路計画は対象外であること。image-to-video かつ 16:9 固定のみであること。プロンプトとルーブリックがすべて英語であること。そしてタスク集合は網羅的ではなく代表的であることを意図している、という点です。

現場ではこう使う

動画生成を製品に組み込む側がモデルを選ぶとき。 総合スコアをそのまま採用理由にするのは筋が悪く、見るべきは領域別・スキル別の内訳です。「手順どおりに組み立てる様子を描かせたい」なら Physical Manipulation と Planning、「盤面ルールに従わせたい」なら Structured Puzzles と Topology の列。総合1位の Seedance 2.0 が Structured Puzzles では MiniMax-H3 に負けるような逆転が実際に起きます。

自社データで評価を組むときの設計。 論文の採点構造はそのまま流用できます。ゴール到達度は3段階の粗い離散値で持ち、ルール違反はチェックリスト化して回数を数え $1/(x+1)$ のような単調減衰で1回目を重く見る。最終スコアは掛け算にして「動かない出力」と「ワープする出力」の両方を落とす。フレームサンプリングは 2fps（全体把握）と 4→8fps（違反検出）で役割を分け、判定窓は10フレーム程度に切ります。

事故になる落とし穴を3つ。 第一に、最終フレームだけで採点しないこと。手順を飛ばして目標状態を直接描いたモデルを高評価してしまいます。第二に、審判 VLM を安いモデルに差し替えたら人手一致度を測り直すこと。同じ手続きでも AUC が 0.803 から 0.478 まで落ちた例があり、0.5 付近はコイントスと変わりません。第三に、合成データ微調整の効果を総合スコア1本で判断しないこと。訓練分布と重なる領域では劇的に伸びる一方、重ならない領域では横ばいか劣化しえます。

この骨格は動画に限りません。エージェントの行動ログ評価や長文生成でも、そのまま使えます。

関連記事: 拡散モデルがノイズから映像を作る仕組みは拡散モデル入門、物理法則を軸に据えた世界モデルの例はPhiZero、自動評価そのものの落とし穴はLLMの評価で扱っています。