論文解説: VBVR-Pro — 「絵で考える」AIを、訓練でき・採点でき・比較できるようにした実験場

画像や動画の生成そのものを「思考の場」として扱うネイティブ視覚推論。VBVR-Proは300個の手続き生成タスクと、VLM審判に頼らない決定論的な採点器を用意し、画像・動画・インターリーブ生成を同じ土俵で比較した。前提知識ゼロから読める解説。

VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning

頭の中で「絵を動かして」解く問題がある

紙とペンを渡されて「この積み木を180度回したらどう見える？」と聞かれたとき、あなたは言葉で考えていないはずです。頭の中で積み木を回し、途中の見え方を確かめ、答えの形にたどり着く。迷路を解くときも同じで、指でなぞるように経路を試し、行き止まりに当たったら戻る。言葉になる前の段階で、絵そのものを操作しているわけです。

いまのAIは、この種の問題も結局は言葉に翻訳して解こうとします。画像を見て「赤い箱が左上にあり、青い箱が右下にあり……」と文章化し、その文章の上で推論する。翻訳の途中で落ちる情報があっても、言語モデルはそれに気づけません。

これに対してネイティブ視覚推論（native visual reasoning） は、絵を入力でも出力でもなく「考えるための紙」として扱います。論文の言い方では、視覚的な状態（画像や動画）は理解されるべき入力でも描画されるべき出力でもなく、言語を超えた問題解決の第一級の基盤（first-class substrate） だ、というものです（Abstract）。動画生成モデルに「この迷路を解く動画を作れ」と指示すると、モデルはコマを進めながら状態を更新していく。その動画の生成過程こそが推論だ、という発想です。

進まなかった理由は「訓練データ・採点・比較」の3つ

面白い発想ですが、研究として前に進みませんでした。論文は詰まりを3つに整理しています（§1）。

1つ目、訓練できるタスクが無い。 既存のベンチマークは評価専用で、訓練データをほとんど持ちません。逆に大規模な合成データは記号的で単純な設定に寄っていて、そこで学んだ力が他へ移るのかが分かりません。

2つ目、まともに採点できない。 生成された動画が「正しく推論できている」かどうかを誰が判定するのか。現在の主流は強力なマルチモーダルLLMに審判をさせる VLM-as-a-judge ですが、視覚推論の正しさは「個数が合っているか」「壁を越えていないか」といった厳密な条件で決まります。ここが審判の苦手分野です。

3つ目、公平に比べられない。 画像生成・動画生成・画像と文章を交互に出すインターリーブ生成のどれが視覚推論に向くのか。これまで同じタスク・同じ採点基準で訓練して比べた例がほとんどありませんでした。

VBVR-Pro（arXiv:2608.26105、2026年8月26日公開、50人超の共同研究）は、この3つをまとめて塞ぐ閉ループの実験場として提案されています。

タスクを「プログラム」として書く

VBVR-Proは視覚推論を300個の手続き生成タスクの空間に変換しました（§2.2）。うち150個は先行研究VBVRからの再実装・改訂、150個は新規設計です。

ここでいうタスクとは、問題そのものではなく問題を作るプログラムです。各タスクはパラメータ化された生成器で、格子サイズ・物体数・配置・見た目・難易度といった構造化されたパラメータ空間から設定をサンプリングし、その設定に対応する問題インスタンスを作ります。同時にタスク固有のソルバーが正解を計算するので、人手のアノテーションなしに正解付きデータが無限に湧く構造になっています。

タスクは認知能力の5分類で整理されています（§2.1）。知覚（OCR・記号認識・数え上げ・並べ替え・比較）、空間性（相対位置・3次元構造・ナビゲーション）、変換（2次元の平行移動や回転などの操作）、抽象（パターン帰納・対称性や形の補完・新しく指定された規則下での推論）、知識（アイコンの慣習的意味・物理現象・常識・古典ゲームの規則や戦略・身近な道具の仕組み）の5つで、1つのタスクが複数のラベルを持つこともあります。

もうひとつ効いている設計がマルチモダリティです（§2.2）。同じ問題インスタンスが、動画としても、画像としても、テキスト注釈付きのインターリーブ形式としてもレンダリングされます。ただし動画からコマを抜くだけでは足りないので、画像側には3つの出力形式が用意されました。最終状態だけで答えが表せるタスク向けの Last-Frame、迷路のように解の要所だけ見せれば足りるタスク向けの Key-Frame（経路そのものを重ねて描く）、そして過程の妥当性や時間的な連続性を評価するタスク向けの Multi-Frame です。動画と画像は別々のコーパスではなく、同じ問題の別の描き方であり、だからこそ生成方式を公平に比べられます。

規模は、300タスクから約347万枚の画像と約130万本の動画。250タスクから1タスクあたり5,000インスタンスを取って125万件の訓練データを作り、別途RL用に5万件を用意しています。残る50タスクは訓練に一切使わない未知タスク（OOD） として取り置かれ、評価用のVBVR-Pro-Benchは訓練済み50タスク（ID）と未知50タスク（OOD）の計100タスクで構成されます（§2.3）。

新規150タスクは、旧タスクより明確に重くなっています。1タスクあたり50枚の問題フレームで測った連結した色領域の数の中央値は、新タスクが80に対して旧タスクは12。目隠しでの一対比較では、150組のうち113組で新タスクのほうが深い推論を要すると判定され、多段推論を要する割合は旧タスクの7%に対して新タスクは47%でした（§2.3）。

「ただ覚えただけ」ではないのか

手続き生成した合成データで訓練すれば、そのタイプの問題に強くなるのは当たり前です。問題は、そこで得た力が外の世界に移るか。論文は、この疑いを潰すために複数の診断を回しています（§1、§4.4）。

そのひとつが最近傍分析です。外部ベンチマークで正解できた事例について、初期画像を CLIP と DINOv2 の特徴で、指示文を BGE-base-en-v1.5 の埋め込みで表し、訓練データの中から最も似ているインスタンスを引いてきます。もし成功が丸暗記なら、そっくりな訓練例が見つかるはずです。

論文が報告したのは逆でした。引かれてきた訓練例は、クエリと視覚的にも意味的にも別物で、指示文が近いものはあっても見た目は大きく違う（§4.4）。つまりモデルはパターンの丸写しではなく、並べ替え・対応付け・物体操作といった再利用できる抽象的な視覚操作を学んでいる、という読み筋になります。

VLM審判が壊れる3つの壊れ方

ここからがVBVR-Proのもう一本の柱、検証可能な報酬スコアラー（verifiable reward scorers） です。論文はまずVLM審判を実測で解体します（§3.1）。

壊れ方1: 細かい知覚を外す。 加法混色のタスクで、生成されたボールの色相が間違っているのに、3つのVLM審判はいずれも0.80以上を付けました。提案スコアラーの評価は0.40です。

壊れ方2: 決定的な誤りを見落とす。 同心円のタスクで、保たれるべき円のサイズと色が変わっているのに、審判は0.78や0.93といった高得点を付けました。

壊れ方3: タスク自体を誤解する。 パターン補完のタスクで、正しい答えに提案スコアラーは0.94を付けたのに、VLM審判は0.24〜0.80しか付けませんでした。

つまり誤りは両方向に出ます。間違いを過大評価し、正解を過小評価する。加えてコストの問題があり、RLでは膨大なロールアウトを何ステップも採点するので、商用APIなら課金が、オープンソース審判ならGPU時間が訓練と食い合います。

そして最も厄介なのが再現しないことです。温度0でも、同じ動画を採点し直すと54.6%〜92.8%のケースでスコアが変わり、最大変化幅は0.221に達しました（表2）。提案スコアラーは変化率0.0%、最大変化0.000です。報酬として使うなら、この非決定性はそのままノイズになります。