論文解説 H3-World — 言語理解を「世界の操作」に変える

33Bの動画生成モデルを、専用のアクション機構を足さずに「操作できる世界モデル」へ変える手法。行動を文に変換し、動画潜在の時間区間に結びつけ、注意のルーティングで混線を止める。動かすのは全パラメータの0.199%だけ。

H3-World: Turning Language Understanding into World Control

映画を作る機械と、ゲーム機の違い

動画生成モデルは「映画を作る機械」に似ています。文章を渡すと、そこそこ筋の通った映像が出てくる。けれど出来上がってしまえば、途中で「ここでもう少し左を向いて」と口を挟むことはできません。

ゲーム機は違います。キーを押した瞬間に、押した分だけ、押したタイミングで世界が反応する。この反応の仕方を学習したものが世界モデル（world model）です。この論文が挑むのは、すでに存在する巨大な「映画製造機」を、どうやって「ゲーム機」に変えるかという問題です。

扱う論文の原題は "H3-World: Turning Language Understanding into World Control"（arXiv:2609.01560、2026年9月1日公開。Danze Chen、Zeqing Wang、Ziyue Lin、Xingyi Yang、Yeying Jin。Tencent／シンガポール国立大学／香港理工大学）。

アブストラクトの主張を要約します。H3-World は 33B の動画生成モデル MiniMax-H3 を対話的な世界モデルへ変える効率的なフレームワークである。著者らの中心的な発見は、大規模動画生成モデルが強力になるにつれ、言語が制御のための自然なインターフェースとして立ち現れてきていることだ。MiniMax-H3 はすでに、自然言語の指示だけでキャラクターの挙動とカメラの動きをゼロショットで粗く制御できる。H3-World はこの粗い言語インターフェースを、専用のアクションモジュールを導入せずに、精密で時間的に接地された世界制御へ変える。各アクションをキャラクター指示とカメラ指示の構造化された組み合わせとして表現し、対応する動画潜在の時間区間に整列させる。さらに temporal attention routing で各指示を意図した時間区間に閉じ込め、アクション間の制御の漏れを減らす。8,000本のゲームプレイ映像、10,000ステップのLoRA最適化、学習可能パラメータ 0.199% だけで、生成品質を保ったまま制御を実現し、未知の状況にも汎化する。

「生成できる」と「操作できる」は別のこと

論文が最初に置く一文が的確です。生成は制御ではない（§1）。事前学習済み動画モデルは、それ自体としては対話的世界モデルに必要な精密なアクション・インターフェースを露出していません。

そこで既存研究は、新しい制御経路を外付けしてきました。離散的なアクション埋め込み、条件付けモジュール、カメラ幾何、あるいは backbone そのものの適応です（§1）。これらは時間的に整列したアクション–動画の軌跡から学習する必要があり、追加の教師信号と適応コストを要求します。計算量と記憶量が増えるうえ、広範な適応は事前学習で得た能力を壊しかねません。より根本的には、この枠組みは制御を「事前学習モデルの上に、あとから学ばせるもの」として扱っている、と論文は指摘します。

しかし大規模動画モデルは、その橋の一部をすでに内側に持っているのではないか。実際 MiniMax-H3 は、アクション条件付き学習を一切していない状態でも、テキストによる粗い動きの指示に「だいたい正しい」応答を、現実的な映像のダイナミクスとともに返します（§1, Figure 1）。言語はすでに、強力な text-to-video モデルにとって粗い制御インターフェースとして機能している — これが出発点です。

文字と映像が、同じ一本の列に並んでいる

H3-World の設計を理解する鍵は、MiniMax-H3 のアーキテクチャにあります。このモデルは text・image・audio・video のトークンを共有された一本の系列として扱い、単一ストリームの自己注意で処理します。テキスト専用のクロスアテンション層は持たず、未来の全区間を一括でデノイズします（§2.2, §3.1）。

つまり、条件（文）と生成対象（映像）が同じ土俵の上で内積を取り合っている。だとすれば制御の設計とは、新しい層を足すことではなく、この一本の列の中で「誰が誰を読んでよいか」を決めることになります。

アクションを「文」にする（§3.2）

外部からの操作は、まず離散的な制御状態として表現されます。1つの状態には記録されたキャラクター／カメラのキーが8つと、カメラ速度を表す2値フラグが1つ含まれます。速度フラグは学習時は推定されたカメラのヨー角速度（左右の首振り速度）から導かれ、推論時はユーザーが直接指定します（§3.2）。

ここで粒度合わせが要ります。H3 のネイティブな動画潜在は、1つが RGB フレームの短い区間に対応します。そこで区間内のキー状態を集約し、区間内のいずれかのフレームで押されていればアクティブとして1つの潜在レベル状態にまとめます。左右のように相反するキーは、プロンプトを組む前に相殺されます。

記号列のままでは「どんな視覚的変化が起きるべきか」の情報をほとんど持ちません。そこで論文は、制御空間の合成的な構造をあらわにするため、キャラクター制御とカメラ制御を分離します。$k$ 番目の潜在区間のアクションは、

この式が言っているのは要するに「$k$ 番目の一瞬の操作は、キャラの動き $u_k$ と カメラの動き $c_k$ のペアである」ということです。$\mathcal{U}$ はキャラクター制御コマンド、$\mathcal{C}$ はカメラ制御コマンドの集合で、それぞれ9個の節と16個の節からなります。各ペアは短い英文に写像されます。

つまりこの式は「$k$ 番目の操作を、キャラの節とカメラの節をつないだ一文にする」と言っているだけです。$\mathcal{T}$ は「コマンドを決まった言い回しの節に直す変換」、$\|$ は節の連結です。たとえば「後退＋左ストレイフ」と「ゆっくり右パン」の組は "the man walks backward and strafes left, camera pans right slowly." という一文になります。データセット全体でキャラ節とカメラ節は共通の文法構造に従います。これで外部操作が H3 が生まれつき理解するテキスト条件付け空間に置かれ、元のアクション空間の分解構造も保存されます。