論文解説: PhiZero — 映像を描く前に「物理の言葉」で考える世界モデル

ピクセルを直接予測する代わりに、動画から自己教師で学んだ離散的な「物理言語」で世界の変化を先に推論し、それから映像を描く PhiZero を論文本文から解説。トークナイザとリーズナーの二段構え、Physics-IQ Verified 首位の結果、ゼロショット動作転移、論文が認める限界まで。

PhiZero: A World Model Built Around Physical Language

動画AIは「見て」いるが「観察して」いない

テニスボールがアヒルのおもちゃにぶつかる動画の続きを、動画生成AIに描かせるとします。ボールは美しく飛び、照明も影も完璧。ところが、ぶつかられたアヒルが微動だにしない——こうした「絵は上手いのに物理が壊れている」失敗は、現在の動画生成モデルで頻繁に起こります。実際この論文の図4には、ベースラインのモデルがまさにこの失敗をする例が載っています。

原因について論文はこう診断します。主流の動画世界モデルはピクセル空間で直接未来の映像を予測するよう訓練されており、「世界がどう変化するか」という力学は高次元の視覚表現の中に暗黙のまま埋もれている、と（§1）。見た目の再現がうまくなっても、変化の法則を明示的に扱っていないので、物理的につじつまの合わない結末を出してしまうわけです。

今回解説する PhiZero（中国科学院自動化研究所、arXiv:2607.28624）は、この問題に「先に考えて、後で描く（reason-then-render）」という設計で挑みます。鍵になるのが、論文が 物理言語（physical language） と呼ぶ、世界の状態変化だけを圧縮した離散記号列です。

比喩: 実況アナウンサーの言葉で先に決める

人間は未来を予測するとき、頭の中でフルHDの映像を再生してはいません。「ボールが当たる→アヒルが倒れる→水面が揺れる」のように、出来事のレベルで先を読み、細部の見た目は後から補完します。論文もこの人間の能力——視覚経験から予測に使える構造を抽象化し、言語のような形式で明示的に推論する——を着想の源に挙げています（§1）。

ただし、日本語や英語のような自然言語は、物理世界の複雑な状態遷移を表すには粗すぎるというのが論文の指摘です。「コップが倒れる」という一文では、どの向きに、どんな速さで、水がどう広がるかまでは決まりません。そこで PhiZero は、自然言語より細かく、ピクセルより粗い中間の解像度を持つ専用の言葉を、ラベルなしのネット動画から自己教師あり学習でゼロから作ります。実況アナウンサーが試合を言葉に落とすように、動画の「変化」だけを記号列に落とす——これが物理言語です。

全体像: 推論と描画を分業する

PhiZero は2つの部品からなります（§3）。未来の動画を $\mathbf{V}$、現在の状態を表す最初のフレームを $I^{0}$、テキストで与える行動意図を $c$、物理言語の記号列を $\mathbf{z}$ とすると、未来予測は次のように分解されます。

縦棒 $\mid$ は「〜が与えられたとき」と読みます。左辺は「1枚の画像 $I^{0}$ と指示 $c$ が与えられたとき、この映像 $\mathbf{V}$ とこの記号列 $\mathbf{z}$ が揃って出てくる確率」で、右辺はそれを「記号列を思いつく確率」×「その記号列から映像を描く確率」の掛け算に分けたもの、という意味です。

つまり「いまの1枚の画像と指示から、まず世界がどう変わるかを記号列 $\mathbf{z}$ として推論し、その記号列と最初の1枚から映像を描く」という二段構えです（§3.1、式1）。変化の推論とピクセルの合成を分けることで、力学が明示的な推論対象になります。

物理言語を作る装置: トークナイザ

最初の難題は、この「言葉」をどう学ぶかです。担当するのが Physical Language Tokenizer（§3.2）。動画をまず時空間エンコーダで潜在状態の列に変換し、隣り合う状態のペアごとに、Q-Former という質問役のモジュールが「この1区間で何が変わったか」を32個の学習可能なクエリで吸い出します。全区間ではなく隣接ペア単位で変化を取るのは、1つの記号が背負う変化を小さく保つ局所的な帰納バイアスのためです。

取り出した変化の特徴は、FSQ（有限スカラー量子化）で離散記号に変換されます。各次元を決まった段数（論文では 8,5,5,5,5,5）に丸めるだけの単純な量子化で、組み合わせとして約25,000語の語彙が自動的に決まります（§4.1）。33フレーム（4秒）の動画は9個の潜在状態になり、隣接8ペア×32記号で、わずか256記号の物理言語列になります。

イメージをつかむには、JPEG圧縮を思い出すのが近道です。JPEGも「人間に見える情報だけ残して数値を粗く丸める」ことで画像を小さくします。下の図で、量子化がどれだけ情報を捨てても絵が成立するかを体感してみてください。PhiZero がやっているのは、これの「見た目」版ではなく「変化」版です。