論文解説: MiniMax-H3は物理世界を推論できるか — 全モダリティ生成モデルを「言われていないこと」で試す評価
テキスト・画像・音声・動画をまとめて受け取れる生成モデルMiniMax-H3に、答えをプロンプトに書かずに「入力を突き合わせないと分からない課題」を517問解かせた評価論文。全体の成功率は41.97%で、音で状況を見分ける課題は27.40%にとどまった。
要点
- MiniMax-H3は、テキスト・画像・動画・音声を1つの仕組みで扱う「全モダリティ生成モデル（Omni-Model）」である。
- 本研究は、どの入力も単独では事象の一部しか示さない課題を、4つの場面（MSR・ADR・VDR・AVIR）で作って評価した。
- 従来のベンチマークは「言われたものを生成できるか」を問い、本研究は「何を生成すべきかを自分で決められるか」を問う。
- 517件の評価でMiniMax-H3の全体成功率は41.97%、動画から行動を決める課題が最高の56.00%、音声で曖昧さを解く課題が最低の27.40%だった。
Can MiniMax-H3 Reason About the Physical World? An Evaluation of Omni-Modal Generative Model
一次資料 — この記事の根拠
論文の発表 2026-09-16→この解説の公開 2026-09-28同月
Can MiniMax-H3 Reason About the Physical World? An Evaluation of Omni-Modal Generative ModelHaoyu Zhao, Zihao Zhao, Tianyu Deng ほか · 2026-09-16 · v1arXiv:2609.18323論文ページ·PDF原文の要旨（Abstract）を読む
Recent Omni-Modal Generative Models (Omni-Models) have advanced content generation toward unified modeling of text, images, video, and audio. MiniMax-H3 exemplifies this transition by combining multimodal context understanding with joint audio-visual generation in a shared latent framework. Its unified architecture raises a fundamental question: Can multimodal alignment improve the model's world reasoning, and what new evaluation paradigms do omni-modal inputs enable? To investigate this question, this work introduces a comprehensive evaluation framework organized around four complementary dimensions of physical world reasoning. Unlike existing evaluation frameworks for video generation and world models, which are often constrained by limited input modalities and evaluation settings where prompts closely match the target video content, our evaluation is specifically designed to exploit the multimodal inputs of Omni-Model. We construct a diverse set of novel tasks that require models to integrate complementary information across modalities. Specifically, we consider four scenarios, including implicit prompts paired with multiple frames, audio-image, prefix-videos, and audio-video inputs. Every single modality provides only partial evidence about the underlying event, requiring the model to jointly reason over the complementary semantic cues to infer latent event states and future dynamics. Across 517 evaluation instances, MiniMax-H3 achieves an overall success rate of 41.97%. Video-based Decision Reasoning yields the highest success rate at 56.00%, while Audio-based Disambiguation Reasoning is the weakest, reaching only 27.40%. These results indicate that effective multimodal integration remains key to fully exploiting the benefits of diverse input modalities. The project is available at https://github.com/gulucaptain/MiniMax-H3-Reason.
「見ればわかる」を、本当にわかっているのか
テーブルの上に、ガラス・陶器・プラスチックのコップが3つ並んだ写真があります。そこに「ガシャン」という音だけを聞かせて、「このあと何が起きたかを動画にして」と頼んだとします。人間なら、割れる音からガラスのコップが落ちたのだと見当をつけます。写真だけでは3つのどれが落ちたのか分からず、音だけでは何がどこにあるのか分かりません。2つを突き合わせて初めて答えが決まる課題です。
今回取り上げる論文は、この種の問題を生成AIに解かせて、どこまでできるかを測ったものです。原題は "Can MiniMax-H3 Reason About the Physical World? An Evaluation of Omni-Modal Generative Model"（arXiv:2609.18323、2026年9月16日公開、National University of Singapore・Fudan University・Tencentの研究者による）です。
アブストラクトの要旨は次のとおりです。テキスト・画像・動画・音声を1つの仕組みで扱う「全モダリティ生成モデル（Omni-Model）」が登場し、MiniMax-H3はマルチモーダルな文脈理解と、音声と映像を同時に作る生成を、共有の潜在空間の中で組み合わせている。そこで著者らは「モダリティ間の対応づけは世界についての推論を良くするのか、そして全モダリティ入力はどんな新しい評価のやり方を可能にするのか」を問う。既存の動画生成・世界モデル評価は入力モダリティが限られ、プロンプトが出力内容をほぼそのまま書いていることが多い。本研究では、複数フレーム＋暗黙的なプロンプト、音声＋画像、途中までの動画、音声＋動画の4つの場面で、どの入力も単独では事象の一部しか示さない課題を作った。517件の評価でMiniMax-H3の全体成功率は41.97%、動画から行動を決める課題が最高の56.00%、音声で曖昧さを解く課題が最低の27.40%だった。著者らは、多様な入力を活かすにはモダリティの統合が引き続き鍵だと結論している。
比喩: 「指示書どおりに描く」と「状況から察して描く」
既存の評価と本論文の違いは、絵描きへの頼み方にたとえると分かりやすくなります。
従来のベンチマークは「赤いボールが坂を転がり、青い箱にぶつかる動画を作って」と、描くべきものを全部言葉で書きます。これで測れるのは指示どおりに描けるかです。論文の言い方を借りると、既存のベンチマークは「言われたものを生成できるか」を問い、本研究は「何を生成すべきかを自分で決められるか」を問います（§1）。
本論文は答えの核心をあえてプロンプトから抜き、その情報を画像・音声・動画に分散させて渡します。モデルは手がかりを見つけて対応づけ、事象を推定し、動画として描き切る必要があります。出来た動画が入力の証拠と矛盾しないかを見れば、抜かれた情報を復元できたかが外から分かります。論文は生成結果を推論の「行動としての読み出し」とみなしています（§1）。
4つの試験場
論文は課題を4種類に分けています（§3.2）。
- MSR（多視点の空間推論）: 同じ場面を別々の角度から撮った複数枚の画像が渡されます。1枚だけでは隠れて見えない位置関係を、視点の違いや遮蔽を考えながら組み立てる課題です。家庭や机上での物の操作場面が中心です。
- ADR（音による曖昧さの解消）: 1枚の画像だけでは複数の解釈が成り立つ場面に、区別のつく音声が添えられます。冒頭のコップの例は論文自身が挙げている例です。
- VDR（動画からの判断）: 途中までの動画を見て、その続きを生成します。行動は指示されません。論文の例では、ボールが道路に転がり出てきたら子どもが後を追ってくるかもしれないので、車は危険が見える前に止まるべきだ、というものです。
- AVIR（音と映像の統合）: 動画と音声を組み合わせ、続きを作ったり誤りを直したりします。音声は環境音のこともあれば、話し言葉による制約のこともあり、動画と時間的に揃っているとは限りません。
コメント
コメントにはログインが必要です