2026-08-27·★ 会員·論文·19分で読めます

論文解説: EchoWM — 音の鳴る「入れる世界」を、カメラの意図ひとつで動かす

参照画像と「どう動きたいか」を渡すと、720pの映像と環境音・音楽・セリフを同時に生成し続ける世界モデル EchoWM を論文本文から解説。一人称も三人称も『カメラの意図』という1つの入力に統一する設計、データセット全体で1つに揃えた並進スケール、長時間生成を支えるシンク＋FIFOキャッシュまでを追う。

#world-model #video-generation #audio-visual #camera-control #diffusion

対象image audioタスクgeneration

EchoWM: Open and Enterable Omnimodal World Models

一次資料 — この記事の根拠

論文の発表 2026-08-24→この解説の公開 2026-08-27同月

EchoWM: Open and Enterable Omnimodal World ModelsSongchun Zhang, Yaowei Li, Junhao Zhuang ほか · 2026-08-24 · v1arXiv:2608.23189論文ページ·PDF

原文の要旨（Abstract）を読む

We present EchoWM, an omnimodal world model for enterable generative media that responds to continuous navigation while jointly generating 720p video, environmental sound, music and speech. We organize interaction around camera intent: in first-person scenes, it specifies observer motion, while in third-person scenes, camera--character dynamics are learned from data without view-specific controllers. Discrete commands and continuous poses are mapped to a shared metric-scale relative 6-DoF trajectory, with dataset-level calibration preserving motion magnitude across heterogeneous data. To jointly learn audio-visual generation and trajectory control, we construct a complementary data engine and adopt progressive training followed by autoregressive post-training for long-horizon generation. Extensive evaluations show that \model achieves strong trajectory following and high visual quality on public world-model benchmarks, supporting both first- and third-person interaction across varied subjects, and maintaining synchronized environmental sound and speech over long-horizon generation.

一文でいうと

EchoWM（arXiv:2608.23189）は、参照となる観測とテキスト、そして「どう動きたいか」の連続入力を受け取り、720pの映像と環境音・音楽・発話を同時に生成し続ける世界モデルです（Abstract）。最大の特徴は、一人称の場面でも三人称の場面でも、ユーザーが触る入力をカメラの意図という一つの形式に統一したこと。HKUST・北京大・JD Joy Future Academy ほかの共同チームによる42ページの技術報告で、プロジェクトページとコードのリンクが記載されています。

映画館と、遊園地

比喩から入ります。いまの動画生成は映画館です。プロンプトという注文票を出して席に座り、出来上がったものを最後まで観る。世界モデルはこの関係をひっくり返し、ユーザーやエージェントの入力に反応して「次に起きること」を作ります（§1）。こちらは遊園地です。

ただし、と論文は続けます。既存の世界モデルの多くは無音の映像を吐き出すか、特定のゲーム・特定のコントローラに縛られた硬いアクション空間しか持たない（§1）。そのうえで「相互作用する世界では音は本質的だ」と主張します。足音や衝突音は物理的な手応えを返し、環境音は空間の広がりを伝え、発話は目に見える対象を社会的・物語的な文脈につなぐ（§1）。観るだけの映像なら音は演出ですが、中を歩く世界では音は情報だ、というわけです。

論文はTable 1で、代表的な生成動画モデル・世界モデルが公表している機能を並べています。高解像度映像・一人称と三人称の両対応・連続軌跡・離散キーボード・環境音・BGM・発話——この7項目すべてに印が付くのはEchoWMだけ、というのが著者らの整理です（Table 1）。たとえばGenie 3 は離散キーボード操作までで音は載らず、LTX-2.3 は音を3種類とも出せるが操作の窓口を持たない、という具合に、能力が分かれて存在している状況が読み取れます。

著者らはこれを「入れる全感覚世界（enterable omnimodal world）」と呼びます。範囲は最初から明確に区切られていて、ここでの相互作用は連続的な軌跡で表せる移動と視点の変化であって、対象の任意のふるまいを自由に操ることではありません（§1）。この線引きは後の限界の議論まで一貫しています。

難しさは「3つのズレ」

論文は、これを実現するために解くべき障害を3つ挙げ、それぞれに対応する設計を割り当てます（§1）。

1つめはアーキテクチャのズレ。集めてきた映像は出どころによって「1メートル」の意味も操作の意味論も違う。素朴に正規化すると移動量そのものが消えるか、操作の一貫性が壊れる。2つめはデータのズレ。実写は音が豊かだが動きが汚く、シミュレータは幾何が正確だが意味が単純で音がない。3つめは学習のズレ。「音と映像の質」と「操作への反応」は、それぞれ別の場所にきれいな教師信号があり、同時に押し込むと衝突する。

答えは順に、統一されたカメラ意図インタフェース、4系統のデータエンジン、4段階のカリキュラムです。

カメラの意図、という一つの窓口

中核のアイデアはこうです。ユーザーの操作を「対象ごとのアクション語彙」ではなく、観測者がどう動き、どう見たいか——カメラの意図として表す（§1, §4.2.1）。

一人称の場面では、その軌跡はそのまま観測者の自己運動になります。三人称の場面では、同じ軌跡が「カメラの動き」を指定し、対応するキャラクターの歩行やカメラの追従はデータから学ばれます（§4.2.1）。モデルには明示的なキャラクター軌跡もコントローラ状態もカメラリグのパラメータも与えられません。一人称用・三人称用に別々のコントローラを作らずに済ませる、というのがこの設計の狙いです。

表現そのものは単純です。フレーム $t$ のカメラ姿勢を $T_t$ として、

\Delta T_t = T_0^{-1} T_t

(1)

$T_0$ は最初の観測時のカメラ姿勢、 $T_t$ は $t$ フレーム目の姿勢、 $\Delta T_t$ は「最初の位置から見て、どれだけ動いてどれだけ向きを変えたか」です。世界のどこに原点を置いたかに依存しなくなる一方、移動の大きさと向きはそのまま残ります（§4.2.1）。

キーボードで遊びたい人もいます。時刻 $t$ のキー状態 $\mathbf{u}_t$ は、あらかじめ決めた1ステップあたりの移動量・回転量で6自由度の増分に変換され、積み上げられます。

$\boldsymbol{\xi}_t = M\mathbf{u}_t,\qquad T_t = T_{t-1}\operatorname{Exp}\!\left(\widehat{\boldsymbol{\xi}}_t\right)$

$M$ はキー入力を「前に何メートル、何度回る」に翻訳する固定の対応表、 $\operatorname{Exp}$ はその増分を姿勢の変化に変える演算です。連続的な姿勢列を直接渡す場合はこの変換を飛ばし、同じ相対表現に合流します（§4.2.1）。入口が何であれ、生成器が受け取るものは同じ、という構造になっています。

なぜ生のアクションラベルではなく軌跡なのか

論文は理由を3つ挙げます（§4.2.1）。第一にデータ量。フレームと揃ったアクションログが手に入るのは計器を仕込んだゲームとシミュレータだけですが、カメラ軌跡は品質フィルタを通せば桁違いに広い映像から復元できます。第二に逆写像の曖昧さ。観測された動きから「どのキーが押されたか」を復元するのは一般に一意に決まりません。特に三人称では、キャラクターの移動とカメラの追従が合わさって観測が決まるため、この曖昧さが強く出ます。第三に連続性。キーボードは離散で機種依存ですが、軌跡は上下移動もロールも、移動と回転の連動もそのまま保持します。

裏返しとして、扱えるのは移動と視点の変化に限られます。攻撃・ジャンプ・物体操作のような意味的な行動は、このインタフェースの対象外だと明記されています（§4.2.1）。

FIG 12本のベクトルを一緒に回しても内積は変わらない。EchoWMが姿勢を「相対」で表すのは、この不変性を注意計算の内側で使うため

目盛りを揃える: データセット全体で1つのスケール

相対姿勢にしても問題が残ります。出どころの違う映像は並進のスケールが揃っていません。同じ数値が同じ物理的な動きに対応してほしいのに、です（§4.2.2）。

素直な解はクリップごとの正規化ですが、論文はこれを退けます。理由は2つ。クリップ間の移動量の差そのものが消えてしまうこと、そして生成を継ぎ足すとき境界で人工的なスケール変化——つまり速度の飛び——が起きること。かといってコーパス中の最大変位を使えば、復元の外れ値に引きずられます。

そこで、全訓練軌跡から頑健な1つのスケールを推定します。