2026-08-27·無料·論文·19分で読めます

論文解説: EchoWM — 音の鳴る「入れる世界」を、カメラの意図ひとつで動かす

参照画像と「どう動きたいか」を渡すと、720pの映像と環境音・音楽・セリフを同時に生成し続ける世界モデル EchoWM を論文本文から解説。一人称も三人称も『カメラの意図』という1つの入力に統一する設計、データセット全体で1つに揃えた並進スケール、長時間生成を支えるシンク＋FIFOキャッシュまでを追う。

要点

EchoWMは、参照観測・テキスト・連続入力から720p映像と環境音・音楽・発話を同時に生成する世界モデルである。
一人称・三人称の入力をカメラの意図という一つの形式に統一し、相対姿勢 ΔT_t = T_0^{-1} T_t で表す。
並進スケールはクリップごとでなく、各クリップの最大並進の90パーセンタイルで全体に一つ決める。
UCPEで相対光線幾何を注意の内側に入れ、カメラ枝は映像トークンにだけ作用し、ゼロ初期化した射影で合流する。
扱えるのは移動と視点変化までで、長時間の姿勢ドリフトや永続3Dメモリの欠如が限界として明記されている。

#world-model #video-generation #audio-visual #camera-control #diffusion

対象image audioタスクgeneration

EchoWM: Open and Enterable Omnimodal World Models

一次資料 — この記事の根拠

論文の発表 2026-08-24→この解説の公開 2026-08-27同月

EchoWM: Open and Enterable Omnimodal World ModelsSongchun Zhang, Yaowei Li, Junhao Zhuang ほか · 2026-08-24 · v1arXiv:2608.23189論文ページ·PDF

原文の要旨（Abstract）を読む

We present EchoWM, an omnimodal world model for enterable generative media that responds to continuous navigation while jointly generating 720p video, environmental sound, music and speech. We organize interaction around camera intent: in first-person scenes, it specifies observer motion, while in third-person scenes, camera--character dynamics are learned from data without view-specific controllers. Discrete commands and continuous poses are mapped to a shared metric-scale relative 6-DoF trajectory, with dataset-level calibration preserving motion magnitude across heterogeneous data. To jointly learn audio-visual generation and trajectory control, we construct a complementary data engine and adopt progressive training followed by autoregressive post-training for long-horizon generation. Extensive evaluations show that \model achieves strong trajectory following and high visual quality on public world-model benchmarks, supporting both first- and third-person interaction across varied subjects, and maintaining synchronized environmental sound and speech over long-horizon generation.

一文でいうと

EchoWM（arXiv:2608.23189）は、参照となる観測とテキスト、そして「どう動きたいか」の連続入力を受け取り、720pの映像と環境音・音楽・発話を同時に生成し続ける世界モデルです（Abstract）。最大の特徴は、一人称の場面でも三人称の場面でも、ユーザーが触る入力をカメラの意図という一つの形式に統一したこと。HKUST・北京大・JD Joy Future Academy ほかの共同チームによる42ページの技術報告で、プロジェクトページとコードのリンクが記載されています。

映画館と、遊園地

比喩から入ります。いまの動画生成は映画館です。プロンプトという注文票を出して席に座り、出来上がったものを最後まで観る。世界モデルはこの関係をひっくり返し、ユーザーやエージェントの入力に反応して「次に起きること」を作ります（§1）。こちらは遊園地です。

ただし、と論文は続けます。既存の世界モデルの多くは無音の映像を吐き出すか、特定のゲーム・特定のコントローラに縛られた硬いアクション空間しか持たない（§1）。そのうえで「相互作用する世界では音は本質的だ」と主張します。足音や衝突音は物理的な手応えを返し、環境音は空間の広がりを伝え、発話は目に見える対象を社会的・物語的な文脈につなぐ（§1）。観るだけの映像なら音は演出ですが、中を歩く世界では音は情報だ、というわけです。

論文はTable 1で、代表的な生成動画モデル・世界モデルが公表している機能を並べています。高解像度映像・一人称と三人称の両対応・連続軌跡・離散キーボード・環境音・BGM・発話——この7項目すべてに印が付くのはEchoWMだけ、というのが著者らの整理です（Table 1）。たとえばGenie 3 は離散キーボード操作までで音は載らず、LTX-2.3 は音を3種類とも出せるが操作の窓口を持たない、という具合に、能力が分かれて存在している状況が読み取れます。

著者らはこれを「入れる全感覚世界（enterable omnimodal world）」と呼びます。範囲は最初から明確に区切られていて、ここでの相互作用は連続的な軌跡で表せる移動と視点の変化であって、対象の任意のふるまいを自由に操ることではありません（§1）。この線引きは後の限界の議論まで一貫しています。

難しさは「3つのズレ」

論文は、これを実現するために解くべき障害を3つ挙げ、それぞれに対応する設計を割り当てます（§1）。

1つめはアーキテクチャのズレ。集めてきた映像は出どころによって「1メートル」の意味も操作の意味論も違う。素朴に正規化すると移動量そのものが消えるか、操作の一貫性が壊れる。2つめはデータのズレ。実写は音が豊かだが動きが汚く、シミュレータは幾何が正確だが意味が単純で音がない。3つめは学習のズレ。「音と映像の質」と「操作への反応」は、それぞれ別の場所にきれいな教師信号があり、同時に押し込むと衝突する。

答えは順に、統一されたカメラ意図インタフェース、4系統のデータエンジン、4段階のカリキュラムです。

カメラの意図、という一つの窓口

中核のアイデアはこうです。ユーザーの操作を「対象ごとのアクション語彙」ではなく、観測者がどう動き、どう見たいか——カメラの意図として表す（§1, §4.2.1）。

一人称の場面では、その軌跡はそのまま観測者の自己運動になります。三人称の場面では、同じ軌跡が「カメラの動き」を指定し、対応するキャラクターの歩行やカメラの追従はデータから学ばれます（§4.2.1）。モデルには明示的なキャラクター軌跡もコントローラ状態もカメラリグのパラメータも与えられません。一人称用・三人称用に別々のコントローラを作らずに済ませる、というのがこの設計の狙いです。

表現そのものは単純です。フレーム $t$ のカメラ姿勢を $T_t$ として、

\Delta T_t = T_0^{-1} T_t

(1)

$T_0$ は最初の観測時のカメラ姿勢、 $T_t$ は $t$ フレーム目の姿勢、 $\Delta T_t$ は「最初の位置から見て、どれだけ動いてどれだけ向きを変えたか」です。世界のどこに原点を置いたかに依存しなくなる一方、移動の大きさと向きはそのまま残ります（§4.2.1）。

キーボードで遊びたい人もいます。時刻 $t$ のキー状態 $\mathbf{u}_t$ は、あらかじめ決めた1ステップあたりの移動量・回転量で6自由度の増分に変換され、積み上げられます。

$\boldsymbol{\xi}_t = M\mathbf{u}_t,\qquad T_t = T_{t-1}\operatorname{Exp}\!\left(\widehat{\boldsymbol{\xi}}_t\right)$

$M$ はキー入力を「前に何メートル、何度回る」に翻訳する固定の対応表、 $\operatorname{Exp}$ はその増分を姿勢の変化に変える演算です。連続的な姿勢列を直接渡す場合はこの変換を飛ばし、同じ相対表現に合流します（§4.2.1）。入口が何であれ、生成器が受け取るものは同じ、という構造になっています。

なぜ生のアクションラベルではなく軌跡なのか

論文は理由を3つ挙げます（§4.2.1）。第一にデータ量。フレームと揃ったアクションログが手に入るのは計器を仕込んだゲームとシミュレータだけですが、カメラ軌跡は品質フィルタを通せば桁違いに広い映像から復元できます。第二に逆写像の曖昧さ。観測された動きから「どのキーが押されたか」を復元するのは一般に一意に決まりません。特に三人称では、キャラクターの移動とカメラの追従が合わさって観測が決まるため、この曖昧さが強く出ます。第三に連続性。キーボードは離散で機種依存ですが、軌跡は上下移動もロールも、移動と回転の連動もそのまま保持します。

裏返しとして、扱えるのは移動と視点の変化に限られます。攻撃・ジャンプ・物体操作のような意味的な行動は、このインタフェースの対象外だと明記されています（§4.2.1）。

FIG 12本のベクトルを一緒に回しても内積は変わらない。EchoWMが姿勢を「相対」で表すのは、この不変性を注意計算の内側で使うため

目盛りを揃える: データセット全体で1つのスケール

相対姿勢にしても問題が残ります。出どころの違う映像は並進のスケールが揃っていません。同じ数値が同じ物理的な動きに対応してほしいのに、です（§4.2.2）。

素直な解はクリップごとの正規化ですが、論文はこれを退けます。理由は2つ。クリップ間の移動量の差そのものが消えてしまうこと、そして生成を継ぎ足すとき境界で人工的なスケール変化——つまり速度の飛び——が起きること。かといってコーパス中の最大変位を使えば、復元の外れ値に引きずられます。

そこで、全訓練軌跡から頑健な1つのスケールを推定します。

m_i=\max_k\left\|\Delta \mathbf{t}_{i,k}\right\|_2,\qquad s_{\mathrm{global}}=Q_{0.9}\!\left(\{m_i\}\right)

(2)

$m_i$ はクリップ $i$ の中で最大の並進の大きさ、 $Q_{0.9}$ は訓練セット全体での90パーセンタイルです。つまり「だいたいこのあたりが上限」という代表値を一つだけ決める。最大変位が $s_{\mathrm{global}}$ を超える軌跡は、切り詰めるのではなく捨てます（切り詰めると移動量そのものが変わってしまうため）。残った軌跡は $s_{\mathrm{global}}$ で割るだけで、回転には手を触れません（§4.2.2）。

この判断が効く理由はFigure 8に出ています。操作のきれいな部分集合はクリップごとの最大並進が最頻値4.5・中央値12.7と広く散らばるのに対し、発話を含む音声リッチな部分集合は最頻値0.5・中央値3.9と小さい動きに集中している（Figure 8）。ソースごとに別々に正規化していたら、この差が丸ごと消えていたわけです。

相対幾何を、注意の中に入れる

軌跡をどうやってモデルに食わせるか。よくあるやり方はPlücker座標で、各画素に対応する光線を(方向, モーメント)の組で表します。ただしモーメント項がカメラ中心 $\mathbf{o}_t$ を含むため、世界の原点をどこに置くかで値が変わる。おまけに密な光線特徴を作り、専用のカメラエンコーダでフレーム間の関係を学ばせる必要があります（§4.2.3）。

EchoWMはUCPEを使い、相対的な光線幾何を注意計算の内側に持ち込みます。鍵は単純な恒等式で、全体を剛体変換 $G$ で動かしても $(GT_i)^{-1}(GT_j)=T_i^{-1}T_j$ ——2つのカメラの相対関係は変わりません（§4.2.3）。だからクエリとキーの相互作用を相対変換 $\mathbf{G}_i\mathbf{G}_j^{-1}$ だけに依存させれば、座標系の取り方に振り回されなくなる。スケールの問題は前節の較正が別に引き受けているので、役割分担がきれいに分かれています。

実装は、既存の映像自己注意と並列に軽量なカメラ注意の枝を置く形です。ヘッド幅の半分のチャンネルに光線変換を、残りには時空間RoPEをそのまま使う。枝の出力はゼロ初期化した射影を通して本線へ合流します（§4.2.3）。ゼロ初期化なので学習開始時点では事前学習済みの映像経路がそのまま保たれ、枝はカメラ条件づけに必要な差分だけを学ぶことになります。位置情報を注意にどう入れるかという話そのものは位置エンコーディングを1から理解するが下地になります。

そしてもう一つ重要な設計判断があります。このカメラ枝は映像トークンにしか作用しません。音声トークンには軌跡が直接入らない（§4.2.3）。音は「操作→音」の専用コントローラで作るのではなく、映像と音のあいだの既存の相互注意を通じて間接的に影響を受けるだけ、という立場です。論文はこれを明示し、「別途教師づけされた操作→音の能力を主張するものではない」と釘を刺しています（§6）。

データエンジン: 「出した指示」と「実際に動いた分」を分けて残す

学習データは4系統です。自社収録のゲームプレイ、ネット上の人間プレイ動画、Unreal Engine（UE）のシミュレーション、そして一般のネット動画（§3.1）。自社収録ではReShadeベースのプラグインでHUDやUIを撮影前に消しており、後から切り抜いて画角を壊さずに済ませています。

一番おもしろいのは、アクションログとカメラ軌跡を別物として両方保存していることです。「前進」コマンドを出しても、壁に阻まれれば実際には動きません。アクション列は操作の意図を、カメラ軌跡は環境が実際に実現した動きを記録している（§3.1）。現行モデルが条件として使うのは後者だけですが、両方が残されています。

軌跡の復元は、ViPEを最適化の枠組みとし、長い系列で時間的に整合する幾何を出すVGGT-Omegaと、フレームごとのメトリック深度を与えるMoGe-2を組み合わせて行います（§3.3.1）。ネット動画のズームや手ブレ補正に対応するため、フレームごとの内部パラメータ最適化も加えています。処理は短いクリップではなく約1分の連続窓に対して行う。こうすると隣り合うクリップが別々の座標系で推定されるのを防げます（§3.2）。復元後は、再構成の信頼性、時間的な一貫性（ジッタや急な向きの変化）、動きの妥当性という3側面でふるいにかけます（§3.3.3）。

もう一つ、テキストからの動きの漏れを防ぐ工夫があります。アノテーションは scene / style / viewpoint / subject（持続的な性質）と narrative / speech / sound（時間変化する事象）に正規化されます。軌跡条件つきの学習では narrative を外す。残しておくと、モデルは軌跡ではなく文章から動きを読み取ってしまうからです（§3.4）。音のないUE素材の扱いも細かく、音声ストリームがないソースは「意味のある静寂」ではなく欠損として扱い、音の内容の正解としては使いません（§3.4）。

4段階のカリキュラム

学習は段階を分けます（§4.3）。段階1のAV-CPTは、音つき映像の豊かなミックスでバックボーン $\theta$ 全体を適応させる段階で、軌跡条件はまだ入れません。段階2のAction-SFTはバックボーンを凍結し、カメラ枝のQKVとゼロ初期化した出力射影だけを学習します。データは軌跡のきれいなミックス、テキストは静的フィールドのみ、音声の損失は切る。こうして「その後の動きを指定するのは軌跡だけ」という状況を作り出します。段階3のJoint-FTは、映像・音・軌跡のすべてが信頼できる小さめの高品質集合で、低い学習率で両方のパラメータ群を更新します。

考え方は論文自身の言葉が一番わかりやすい——「それぞれの能力を、その教師信号が最もきれいな場所で獲得させてから、2つの経路を一緒に馴らす」（§6）。

長く回し続けるための後段学習

拡散モデルは本来、系列全体を双方向に見ながら何ステップもノイズを取ります。対話的に使うには、因果的にチャンク単位で先へ進む形へ変え、なおかつ少ないステップで打ち切っても壊れないようにする必要があります（§4.4）。土台の考え方は拡散モデルを1から理解するにあります。

順序は、教師強制で因果化 → 短時間のSelf-Gradient Forcing（SGF）とDMDで数ステップ化 → 長時間SGF、です（§4.4）。SGFの肝は2回のフォワードで、1回目は勾配を追わずに実際の推論と同じ手順で自己生成のロールアウトを回して状態を記録し、2回目にその記録を微分可能に並列再現します（§4.4.2）。逐次サンプリングを丸ごと逆伝播することなく、自分が書いた履歴に対する監督を取り戻す仕組みです。因果マスクは映像自己注意・音声自己注意・音→映像・映像→音・UCPE注意の5箇所に適用されます。

長時間化で正面から効くのがキャッシュの上限です。素直な因果KVキャッシュはロールアウトの長さに比例して伸び続けます。EchoWMはモダリティごとに「シンク＋FIFO」を持ちます。

\mathcal{H}_i^m = \bigl(\widehat{x}_1^m,\ldots,\widehat{x}_{\min(S_m,\,i-1)}^m\bigr)\ \Vert\ \bigl(\widehat{x}_{\max(S_m+1,\,i-R_m)}^m,\ldots,\widehat{x}_{i-1}^m\bigr)

(3)

前半が「常に残す先頭の $S_m$ チャンク（シンク）」、後半が「直近の $R_m$ チャンク」で、 $\Vert$ は順序を保った連結です。合わせて $S_m+R_m$ 個で頭打ちになり、どれだけ長く回しても各層が直接参照する履歴は増えません（§4.4.3）。キャッシュそのものの仕組みはKVキャッシュを1から理解するが詳しいです。

論文が付け加えるのは、層を重ねると実効的な射程はこの窓より長くなるという指摘です。上の層に残っているFIFOの表現は、下の層でそれより前の文脈を取り込んだ結果なので、勾配は層をまたいで窓の外へ届きうる（§4.4.3）。

FIG 2素朴な因果KVキャッシュは生成長に比例して伸びる。シンク＋FIFOはS+Rで頭打ちになり、1層あたりの参照先が定数で収まる

実験: 何が、どれだけ良いのか

WBench Navigation（158ケース）では、EchoWMが平均81.7で首位、Consistencyが89.8（Table 3）。4ステップの因果版であるEchoWM-Flashは平均81.0で、Interactionは87.9と本家の87.2をわずかに上回ります（§5.1）。同じ表にはGenie 3（73.9）、LTX-2.3（74.2）、Kling 3.0（79.0）などが並びます。

SANA-WM-Benchの短時間評価（241フレーム）では、VBench OverallがSimple 83.91／Hard 83.96でいずれも最高。ただし回転誤差ではSANA-WMのほうが小さく（Simple 0.489°対0.523°、Hard 1.248°対1.697°）、Hardでは並進誤差でも負けています（Table 4）。961フレームの長時間評価になると、回転誤差は0.523°から3.223°へ、Hardでは12.05°まで増える。論文自身が「蓄積する姿勢のドリフトが依然として主な課題」と書いています（§5.2）。この長時間設定ではVBench OverallでもLingBot-Worldがわずかに上です（Simple 81.82対81.36）。

因果モデル同士の比較（Table 6）では、EchoWM-FlashがSimple 80.13／Hard 81.06でVBench最高、軌跡精度と再訪一貫性も評価対象の因果手法中で最良でした。 $\Delta$ IQ（最初と最後の10秒窓の画質差）は一部のベースラインのほうが小さいものの、論文は「絶対的な画質が低ければ落差も小さく出る」と注意を促しています（Figure 14）。

人手評価は自作の200ケースからなるWMBで行われ、総合の好みでLingBot-World-v2に46.50%、HappyOysterに63.13%（Table 7）。弱点も正直に書かれていて、HappyOysterとの比較では意味的な追従が13.63%対29.44%で負けています。シーン別に見ると、ロボット環境の意味追従は8.67%、屋外自然は2.50%——総合では勝っている場面でも、局所的にはっきり負けている軸がある（§5.3）。

汎化の話も面白い。訓練ミックスには2D/2.5Dゲームのデータもロボットのデータも含まれていないにもかかわらず、それらの領域でも視点の変化と主要構造が破綻しない、と定性的に報告されています（§5.4）。

限界（論文が自分で挙げているもの）

§7が正直です。第一に、扱えるのは6自由度の軌跡で表せる移動と視点変化までで、ジャンプ・攻撃・物体操作・ロボットコマンドは明示的に表現していない。ゲームエンジンのようなルール、衝突状態、決定的な遷移も実装していません。第二に、明示的な永続3Dメモリがないため、継ぎ足しを繰り返すと幾何・被写体の同一性・世界の状態・音がドリフトしうる。第三に、操作の範囲はグローバルフィルタが残した軌跡の範囲に限られ、もっと大きな並進・速い動き・変わった回転への汎化は確認されていない。第四に、ネット動画やゲーム映像から復元した姿勢はフィルタ後も不完全で、その誤差がシーンの内容やモーションブラーと相関している可能性がある。

実務上の読み替えをするなら、3つめは「デモが綺麗でも、自分の用途の速度域で同じ品質が出るとは限らない」という意味です。まず自分の運用レンジの軌跡で当ててみる、という順番になります。

現場ではこう使う

誰が、いつ触るか。ゲームや映像のプリプロで、実際に作り込む前に「その場に立ったらどう見え、どう聞こえるか」を当たるテクニカルアーティスト。ロボットや運転のシミュレーションで、実収録が難しい状況の映像を音つきで用意したい担当者。そして動画生成基盤を運用していて、あとからカメラ制御を足す設計を選ぶ研究エンジニアです。3番目の人にとっては、この論文は「Plücker＋専用エンコーダ」と「注意の中に相対幾何」のどちらを選ぶかという設計判断の材料になります。

実際に触るパラメータ。データセット共通の並進スケール $s_{\mathrm{global}}$ （これを変えると入力数値の物理的な意味が全部変わる）、キー入力→6自由度の対応表 $M$ の「1ステップあたりの移動量・回転量」、シンク数 $S_m$ と直近保持数 $R_m$ 、数ステップサンプラのステップ数、多ターン継続で持ち越す末尾窓の幅。前処理側なら ViPE / VGGT-Omega / MoGe-2（姿勢復元）と、構造化アノテーションのフィールド名（scene / style / viewpoint / subject / narrative / speech / sound）が触るものになります。

知らないと事故になる落とし穴を、論文から6つ拾っておきます。

クリップごとに軌跡を正規化すると、継ぎ足しの境界で速度が飛ぶ。全体で1つのスケールを持つ（§4.2.2）。
動きを描写したテキスト（narrative）を条件に残すと、モデルは軌跡を無視して文章から動きを読む。ベンチの見た目は良いのに操作が効かない、という最悪の失敗をする（§3.4）。
アクションログをそのまま教師にすると、「前進を押したが壁で止まった」ケースで嘘を教えることになる。実現された軌跡を使う（§3.1）。
音のないソースの無音を「静寂」として学習させない。欠損として扱う（§3.4）。
WBenchは軌跡スケールを適応させて採点するため、絶対的な移動量の誤差が隠れる。速度の再現性は別に測る（§5.5.1）。
$\Delta$ IQが小さい＝長時間でも劣化しない、ではない。元の画質が低ければ落差も自然に小さくなる（§5.2）。

問われたときの答えの筋。「なぜPlückerではなくUCPEなのか」——Plückerのモーメント項はカメラ中心を含むので世界原点の取り方に依存し、密な光線特徴と専用エンコーダも要る。相対変換 $\mathbf{G}_i\mathbf{G}_j^{-1}$ だけに依存させれば座標系に不変で、注意の中で完結する。「長時間生成でKVキャッシュが伸び続ける問題は」——シンク＋FIFOで各層が直接参照する履歴を $S+R$ に固定し、層を重ねることで実効射程を稼ぐ。どちらも、この論文を読んだかどうかがはっきり出る問いです。

まとめ

EchoWMの主張を一行にすると、「操作の窓口を対象ごとに作らず、観測の意図ひとつに畳む」です。そのために、姿勢を相対で表し、スケールをデータセット全体で1つに揃え、相対幾何を注意の内側に入れ、能力ごとに教師信号のきれいな場所で学ばせる。音は専用コントローラを付けずに、生成される世界の一部として残す。

数字を見る限り、短時間の視覚品質と対話的なベンチマークでは強く、長時間の姿勢ドリフトと一部シーンの意味追従には明確な弱点が残っています。論文もそこを隠していません。「観られるだけの生成物から、継続的に入り込んで影響を与えられる世界へ」——この §8 の方向づけの、現時点での到達点として読むのが正確でしょう。