論文解説: VGI-Bench — 動画生成モデルは「途中経過」まで正しく描けるのか
動画生成モデルを「視覚で考える機械」として測るベンチマーク VGI-Bench の設計と結果を、前提知識ゼロから解説。最強の Seedance 2.0 でも 51.0 にとどまり、デノイズ途中の自己修正はほぼ起きないという測定結果までを追う。
VGI-Bench: Probing Visual Intelligence in Video Generation Models
一次資料 — この記事の根拠
論文の発表 2026-08-20→この解説の公開 2026-08-29同月
VGI-Bench: Probing Visual Intelligence in Video Generation ModelsXuan He, Cong Wei, Yuhao Cheng ほか · 2026-08-20 · v3arXiv:2608.19583論文ページ·PDF原文の要旨（Abstract）を読む
Recent studies suggest that video generation models can exhibit certain forms of zero-shot visual reasoning through generated frames. Yet reliable evaluation remains challenging: benchmarks should adopt inputs aligned with the visual priors of current video models, require valid evolving processes rather than only plausible final states, and calibrate task difficulty to remain challenging yet partly feasible. To this end, we introduce VGI-bench, containing 27 tasks and 810 instances, organized by a two-level taxonomy of task domains and skill tags for fine-grained evaluation of visual reasoning capabilities of video generation models. Our evaluations show that current generative systems can solve a subset of visually grounded reasoning tasks, but remain far from reliable, with even the strongest model, Seedance 2.0, achieving only 51.0% under our evaluation criteria. Our analysis further explore the output failure modes, input condition sensitivity, performance transfer boundary from synthetic fine-tuning, and internal denoising perspective revealing limited self-correction, where later steps mainly refine early hypotheses rather than correct reasoning errors. We hope VGI-bench will help stimulate the development of next-generation video generation models. Website: https://hexuan21.github.io/VGI-Bench/
答案ではなく、途中式を採点する
数学のテストで、答えの数字だけ合っている答案と、途中式まで筋の通った答案があります。前者はまぐれかもしれない。だから採点者は途中式を見ます。
いま、動画生成モデルに同じことをやろうという流れがあります。動画生成モデルは、1枚の画像と文章を渡すと「その後どうなるか」を映像として描き出します。迷路の画像と「ゴールまで進め」という指示を渡して、正しい経路をたどる動画が返ってきたなら、そのモデルは迷路を解いたと言えるのではないか。論文はこの見方を、動画生成モデルを受動的なシミュレータから「映像で推論を表現する視覚的推論器」へ捉え直す動きだと整理しています (§1)。
問題は採点方法です。最後の1コマだけ正しく見えても、途中で物体が瞬間移動していたら解けたとは言えない。答案ではなく途中式を採点する仕組みが要る。VGI-Bench はそこを正面から設計したベンチマークです。
既存ベンチマークにあった3つの穴
論文は先行研究に3つの問題を指摘します (§1)。
入力の絵柄が学習分布からズレている。 多くのベンチマークは作りやすさを優先して線画や記号図を入力にしてきました。しかし動画生成モデルは実写に近い映像で学習されています。抽象的な入力では映像の崩壊や制約無視が増えますが、それは「推論できない」のではなく「見慣れない絵柄で戸惑っている」だけかもしれません。
映像として展開する必要がない。 既存の視覚QA的タスクの多くは入力画像を眺めるだけで答えが決まり、途中経過を展開して解く能力を測れていません。
難易度が野放し。 数秒の動画では原理的に不可能な長期タスクや、医学知識のような視覚外の専門知識を要するタスクが混ざると、失敗しても何も分かりません。全員が解けるベンチマークも全員が落ちるベンチマークも、順位をつける情報量はゼロです。診断に使うなら、問題をいまの能力の境界線上に置く必要があります。
1つ目の「分布のズレ」は、機械学習で最も基本的な落とし穴と同じ構図です。下の図で、訓練誤差とテスト誤差が離れていく様子を触ってみてください。ベンチマークの入力が学習分布の外にあるとき、私たちが見ているのはこの「離れた側」の数字です。
VGI-Bench の作り方
VGI-Bench は 27タスク・810インスタンスからなります (§3)。入出力形式は全タスク共通で、「文章プロンプト＋入力画像（1コマ目）→ 動画」という image-to-video の形です。
タスクは二層のタクソノミーで整理されます (§3.1)。第一層は互いに排他的な4領域——Visual Organization（属性や手がかりで並べる・選ぶ）、Physical Manipulation（動かす・置く・積む・道具を使う）、Structured Puzzles（明示ルールに従って状態を変換する）、Spatiotemporal Dynamics（状態の時間変化と順序）。第二層は排他的でない7つのスキルタグ（Spatial / Temporal / Planning / Attribute Grounding / Physics / Topology / Affordance）で、1タスクに複数付きます。領域で「どんな絵か」、スキルで「何ができないと解けないか」を別々に見る設計です。
各タスクは3段階の難易度で作られ、1段階あたり約10インスタンス。入力画像は Web や既存データセットから集めるか、画像生成モデルで作って意図どおりになるまで人手で直し、すべて 16:9 に統一します。プロンプトには対象物・許される操作・禁止される近道に加えて、背景やカメラの動きといったタスク非依存の制約も書き込み、余計な視覚変動が混ざらないようにします (§3.2)。
難易度の較正手順が面白い (§3.3)。各タスクの最易レベルのインスタンスを2つ抜き出して Sora2 / Veo3.1 / Kling3.0 などにかけ、「少なくとも1モデルが解け、少なくとも1モデルが失敗する」場合だけ採用します。論文自身はこれを可解性の保証ではなく健全性フィルタだと限定しています。
コメント
コメントにはログインが必要です