2026-09-06·★ 会員·論文·15分で読めます

論文解説: Puffin-World — 「上はどっちか」を覚えている世界モデル

画像生成モデルに「重力の向き」を持たせると何が変わるのか。Puffin-World の Omni-Camera 表現と物理伝播を、前提知識ゼロから比喩・式・動く図で解説する。

#world-model #camera #3d-generation #diffusion #multimodal

Puffin-World: Scaling a Unified Multimodal Model with Native 3D World States

一次資料 — この記事の根拠

論文の発表 2026-09-03→この解説の公開 2026-09-06同月

Puffin-World: Scaling a Unified Multimodal Model with Native 3D World StatesKang Liao, Yihang Luo, Xiao-Ming Wu ほか · 2026-09-03 · v1arXiv:2609.04196論文ページ·PDF

原文の要旨（Abstract）を読む

We propose Puffin-World, a unified multimodal architecture that integrates physical understanding, spatial simulation, and 3D world generation and reconstruction without relying on external offline modules. To reliably construct and interact with 3D worlds, our framework jointly models three native world states: physics (gravity field and latitude), geometry (depth), and appearance (image), together with a unified Omni-Camera representation that supports diverse tasks and flexible motions. Beyond modeling these states, we introduce a strategy for propagating physical dynamics across future frames. By grounding absolute camera properties in the real world, Puffin-World enables physically consistent and visually stable world generation. We further couple appearance and geometry within a single generative process, jointly synthesizing each future view and reconstructing its underlying geometry. This unified paradigm enables interleaved closed-loop applications requiring synergy across multiple tasks, including mimic and self-calibrated world exploration. To scale Puffin-World to complex scenarios, we construct Puffin-16M, comprising 15 million vision-language-camera triplets and 1 million trajectories featuring various and challenging motions. To foster further research in this area, we released the code, models, and datasets.

この論文が主張していること

原題は "Puffin-World: Scaling a Unified Multimodal Model with Native 3D World States"（arXiv:2609.04196、2026年9月3日公開、cs.CV）。Nanyang Technological University の S-Lab を中心とするグループの論文です。

アブストラクトの主張はこうです。著者らは、物理の理解・空間シミュレーション・3D世界の生成と再構成を、外部のオフラインモジュールに頼らずひとつのアーキテクチャへ統合した Puffin-World を提案します。物理（重力場と緯度）・幾何（深度）・見た目（画像） という3つのネイティブな世界状態を同時にモデル化し、多様なタスクと柔軟なカメラ運動を共通に表せる Omni-Camera 表現を用いる。さらに物理状態を未来フレームへ伝播させ、カメラの絶対的な属性を実世界に接地させることで、物理的に整合し視覚的にも安定した世界生成ができると述べます。見た目と幾何は単一の生成過程で結合され、未来視点の合成とその幾何の復元が同時に行われます。規模の確保のために1500万の視覚–言語–カメラ三つ組と100万本の軌跡からなる Puffin-16M を構築し、コード・モデル・データセットを公開したとしています。

比喩: 「上はどっち」を忘れないカメラマン

腕はいいが平衡感覚だけがない撮影助手を想像してください。「右へ30度パンして」は正確にこなしますが、自分がいま水平に構えているのか15度傾いているのかを知りません。パンとチルトを繰り返すうちに水平線がじわじわ傾き、最後には地面が斜めの映像ができあがります。

いまの多視点生成モデルの多くはこの助手に似ています。視点間の差は扱えても、世界に対する絶対的な姿勢を持っていない。Puffin-World がやったのは、助手に水準器を持たせ、その読みをカット全体へ引き継がせることです。

直感: 接地とは重力と視線の角度を持つこと

絶対姿勢と言うと難しく聞こえますが、要は重力の向きを1本の3次元ベクトル $\mathbf{g}$ として持ち、カメラの視線との角度を測れるようにするだけです。視線が水平なら重力と直角、見下ろせば鋭く、見上げれば鈍い。この角度が画素ごとに分かれば「地平線より上か下か」「画面内の上方向はどちらか」が決まります。測る道具は内積です。同じ向きなら大きく、直角ならゼロ。ここだけ掴めば後の式は全部読めます。

FIG 1片方を「重力」、もう片方を「視線」だと思って回す。直角で内積が0＝ちょうど水平線を見ている状態にあたる

論文はこの角度を緯度（latitude）と呼びます。画素ごとの視線が水平面からどれだけ持ち上がっているかを表すからです。

何が足りなかったのか

論文は先行研究の弱点を3つ挙げます（§1、§2）。生成的世界モデルは各フレームを RGB として予測するだけでカメラ姿勢もシーン幾何も明示的に持たない。統一マルチモーダルモデルは理解と生成を1つに載せたが対象は 2D の意味内容にとどまる。そして3つめが、カメラ条件付き生成で常用される Plücker 埋め込みなどの相対カメラ表現 です。

相対表現は視点間の関係を素直に符号化でき SfM から手に入りますが、世界に対する錨がないため 同じ相対軌跡が異なる絶対姿勢に対応しうる。結果として長い軌跡・大回転・単一視点からの生成で姿勢がドリフトする、というのが指摘です。データ側も手持ち撮影が主流で、roll は概ね $[-5^\circ,5^\circ]$ 、pitch は $[-10^\circ,10^\circ]$ しか動いていません（§4.1.2）。回転を学ぶ材料自体が乏しかったわけです。

3つのネイティブ世界状態

Puffin-World は世界を3階層で表します（§3.1.1）。物理は重力場と緯度マップで、観測を実世界へ接地させる絶対的な手がかり。幾何はシーンの深度。見た目は RGB 画像です。「ネイティブ」とは、これらを外部の推定器に投げず、同じモデルの中で知覚し・伝播させ・生成するという意味です。

Omni-Camera 表現: 絶対と相対を9チャンネルに束ねる

中核が Omni-Camera 表現です（§3.1.2）。画素 $\mathbf{x}=(u,v)$ ごとに絶対カメラ場と相対レイ場をチャンネル方向へ連結します。

\mathbf{c}_{\mathbf{x}}=\mathrm{Concat}\left(\mathbf{a}_{\mathbf{x}},\mathbf{p}_{\mathbf{x}}\right)\in\mathbb{R}^{9},\quad \mathbf{a}_{\mathbf{x}}=\left(\mathbf{u}_{\mathbf{x}},\varphi_{\mathbf{x}}\right)\in\mathbb{R}^{3},\quad \mathbf{p}_{\mathbf{x}}\in\mathbb{R}^{6}

(1)

この式が言っているのは要するに、1画素あたり9個の数字を持たせる、ということだけです。前半3個が世界に対する絶対的な向き（画面内の上方向を指すベクトル $\mathbf{u}_{\mathbf{x}}$ と緯度角 $\varphi_{\mathbf{x}}$ ）、後半6個が他視点との相対関係（レイの出発点3個＋向き3個）。画像と同解像度の9チャンネル地図です。相対側のレイ方向 $\mathbf{d}_{\mathbf{x}}$ は内部・外部パラメータ $\mathbf{K},(\mathbf{R},\mathbf{t})$ から作れ（論文 Eq. 2）、絶対側は Perspective Field に倣って単位重力方向 $\mathbf{g}$ で定義されます。

\varphi_{\mathbf{x}}=\arcsin\left(\frac{(-\mathbf{d}_{\mathbf{x}})^{\top}\mathbf{g}}{\left\|\mathbf{d}_{\mathbf{x}}\right\|_{2}}\right)

(2)

さきほど動かした内積がそのまま出てきました。この式が言っているのは要するに、入射光の向きと重力の内積を arcsin に通すだけで、その画素の視線が水平面からどれだけ持ち上がっているかが角度で出る、ということです。上方向ベクトル $\mathbf{u}_{\mathbf{x}}$ のほうは、重力と逆向きに微小移動した3D点を投影したとき画像平面上でどちらへ動くか、として定義されます。