2026-09-03·★ 会員·論文·18分で読めます

論文解説: Code as Worlds — 世界を「実行できるコード」として書き起こすエージェント

物理世界を「実行できるコード」で表現し、提案→実行→描画→検証のループで観測に合う世界仮説を探すCode-as-Worldを、論文本文から解説。EWRの3成分、エージェント的発見ループ、QuantiPhyでの結果、論文が認める限界まで。

#world-model #agents #physical-reasoning #vlm #simulation #code-generation

Code as Worlds: Agentic Discovery of Executable World Representations for Physical Reasoning

一次資料 — この記事の根拠

論文の発表 2026-08-27→この解説の公開 2026-09-03同月

Code as Worlds: Agentic Discovery of Executable World Representations for Physical ReasoningHanyang Wang, Yimo Cai, Weiliang Chen ほか · 2026-08-27 · v1arXiv:2608.27549論文ページ·PDF

原文の要旨（Abstract）を読む

Physical understanding and reasoning depend on forming compact and generalizable representations of the world. While modern vision-language models can recognize and explain diverse physical events, they often lack explicit representations of the underlying mechanisms-such as object states, physical parameters, and governing dynamics-needed for reliably reasoning how the world evolves and responds to interventions. In this work, we introduce Code-as-World, a paradigm that represents physical worlds through executable world representations. By expressing physical composition, dynamic evolution, and visual appearance as executable code, Code-as-World provides a compact, quantitatively grounded, and controllable abstraction of the physical world. To construct such representations from multimodal observations, such as natural-language descriptions or real-world videos, we develop an agentic discovery loop inspired by abductive reasoning, where an agent proposes, executes, renders, verifies, and iteratively refines executable world hypotheses. As a concrete application, we use verified executable worlds to provide scalable physical supervision for training vision-language models on quantitative physical reasoning. Experiments show that Code-as-World-VL achieves state-of-the-art performance on QuantiPhy and surpasses leading proprietary models, highlighting the potential of executable world representations as a scalable foundation for physical intelligence.

「何が起きたか」と「なぜ起きるか」は別の問題

この記事で扱う論文の原題は "Code as Worlds: Agentic Discovery of Executable World Representations for Physical Reasoning"（arXiv:2608.27549、2026年8月27日公開。MirroS・清華大学・北京大学・南洋理工大学のテクニカルレポート）です。

論文の主張を要約するとこうなります。物理の理解と推論は、世界についてのコンパクトで一般化する表現を作れるかにかかっている。いまの視覚言語モデル（VLM）は多様な物理現象を認識して説明できるが、その裏にある仕組み — 物体の状態、物理パラメータ、支配的なダイナミクス — を明示的に持たないので、「世界がこの先どう変化するか」「手を加えたらどう反応するか」を確かに推論できない。そこで論文は、物理世界を実行可能な世界表現として表す枠組み Code-as-World を提案する。物理的構成・時間発展・見た目をコードで書けば、世界を「短く・数値的に裏づけられ・操作できる」形に抽象化できる。自然言語の説明や実写動画からその表現を組み立てるために、提案し、実行し、描画し、検証し、直すエージェント的な発見ループを設計する。最後に、検証済みの実行可能世界を教師にしてVLMに量的な物理推論を学習させる。

論文が冒頭で立てる軸が分かりやすい。現象と機構の二分法（§1）です。現象は「何が起きたか」を述べ、機構は「なぜ起きるか」を説明して「条件が違ったら何が起きるか」を予測する。実況アナウンサーは前者の達人ですが、設計図を描けるとは限りません。

これまでの世界表現には、それぞれ穴がある

論文は§2で既存の3系統を並べます。

ピクセル（動画生成）。未来フレームの予測だけを最適化するなら、モデルは「画面の変化がカメラの動きか物体の動きか」「物体が隠れたのか消えたのか」を区別する必要がない。見た目にもっともらしい未来が、物理的に正しい未来とは限らない。

3D（再構成・逆グラフィックス）。幾何・視点・見た目の復元は強い制約ですが、再構成できることは解釈できることを意味しません。3D形状を得ても、支えを外したらなぜ落ちるのかは説明されない。

自然言語。「人がコップを持ち上げる」は実体・動作・関係を残す優れた抽象ですが、正確な幾何・軌跡・接触関係・物理パラメータを少数の離散トークンで書き切るのは難しい。言語は意味のインタフェースであって、完全な物理状態の表現ではない。

3つの強みは補い合っている、と論文は整理します。求められているのは、言語のように意味的で、再構成のように構造化され、生成モデルのように時間発展を扱える表現だ、と。

世界を「実行できるコード」で書く

そこで導入されるのが Code-as-World です。コードは実体・関係・物理パラメータ・イベントを「状態への操作」として明示的に持つ、構造化された合成可能な抽象である、というのが出発点（§3）。実行可能世界表現（Executable World Representation, EWR）は3成分からなります（§3.1）。

p=\left(\mathcal{C},\mathcal{E},\mathcal{A}\right)\in\mathcal{P}_{\mathrm{exec}}

(1)

平たく言えば、ひとつの世界 $p$ は「何があるか $\mathcal{C}$ 」「どう変わるか $\mathcal{E}$ 」「どう見えるか $\mathcal{A}$ 」の3枚組で書ける、ということです（ $\mathcal{P}_{\mathrm{exec}}$ は実行できる世界全体の集合）。

この式が言っているのは要するに、世界を1枚の絵や1本の動画として持つのではなく、中身・動き・見え方という3つの別々の書類に分けて持つ、ということです。3つが束ねられて初めて「実行できる世界」になり、 $\in\mathcal{P}_{\mathrm{exec}}$ は「その3枚組が、シミュレータが実際に走らせられる形になっている」という条件を表しています。

$\mathcal{C}$ : 物体、形状、メートル単位の寸法、質量・摩擦・重力。床や壁も、支持・接触・衝突に参加する静的な物理実体として書かれます。
$\mathcal{E}$ : 初期状態、時間変化、キーイベント、シミュレーション長。実行すると接触・衝突・速度変化・終了条件が生まれます。
$\mathcal{A}$ : カメラ、背景、材質、照明、フレームレート、解像度、描画設定。物理過程は変えず、見せ方だけを決める成分です。

この切り分けが効くのは、成分ごとに独立して検査・改変・実行できるからです。論文は§4.3.2で、ボウリング球の初速の向きだけを変えて別の軌跡を得たり、同じ衝突を俯瞰視点や車載視点から描き直したりする例を示しています。

FIG 1反復で谷を下る探索。初期位置しだいで別の谷に収まる — 発見ループが「局所的にもっともらしい世界」に落ち着く状況に相当する

発見はワンショットではなく、ループ

不完全な観測からこの表現を得るのは本質的に逆問題です。論文はここでアブダクション（仮説形成的推論）を持ち出します。ノイズまじりの観測から、証拠を最もよく説明し、かつ簡潔さの原則に沿う仮説を探す — 地動説からニュートンの法則まで、科学的発見はそうやって進んできた（§1、§4.2）。

だから世界表現は一発の予測ではなく、エージェント的な発見ループとして定式化されます。コードは実行できるので、各表現をテスト可能な世界仮説として扱える。1周は5段です（§4.2、Algorithm 1）。

Propose: 証拠 $\eta$ 、現在の仮説、前回のフィードバック $\Delta$ から EWR を提案・更新する
Instantiate: シミュレータが読めるパラメータ $\theta$ にコンパイルする
Execute: 実行して完全な状態軌跡 $\tau$ を得る（接触・衝突・イベント結果が明示的に残る）
Render: $\tau$ を予測観測へ描画する。動画入力なら深度・マスク・画像面軌跡へも射影する
Verify: 選ばれたキーフレームで予測と証拠を比べ、食い違いを $\Delta$ に集約する

$\Delta$ が次周で「どの成分を直すか」を局所的に指示します。ループは、現在のEWRが入力を十分よく、かつ簡潔に説明できたときに停止。予算を使い切っても説明できなければ仮説は棄却されます。

論文解説: Code as Worlds — 世界を「実行できるコード」として書き起こすエージェント

「何が起きたか」と「なぜ起きるか」は別の問題

これまでの世界表現には、それぞれ穴がある

世界を「実行できるコード」で書く

発見はワンショットではなく、ループ

ここから先は会員限定です

参考文献

コメント