2026-09-01·★ 会員·論文·17分で読めます

論文解説: GameWAM — ゲームの「次の景色」と「次の操作」を同時に生成する

映像予測と操作生成を1つのモデルに担わせる World–Action Model の論文を1から解説。16手読んで8手だけ実行する block-cycle 制御と、乱数の低周波成分がカメラを勝手に回す LASI という失敗モードまで。

#world-model #game-ai #flow-matching #diffusion-transformer #agent

GameWAM: A World Action Model for Video Games

一次資料 — この記事の根拠

論文の発表 2026-08-25→この解説の公開 2026-09-01同月

GameWAM: A World Action Model for Video GamesYuncheng Guo, Zhanqiu Zhang, Yiwen Guo ほか · 2026-08-25 · v1arXiv:2608.26200論文ページ·PDF

原文の要旨（Abstract）を読む

Modern video games combine first-person perception, rapid visual changes, persistent world state, and heterogeneous native controls. Existing game agents map visual and task context directly to actions but lack explicit world dynamics modeling, whereas interactive game world models predict visual futures from supplied actions but do not serve as task policies. World-Action Models (WAMs) unify these objectives, but remain largely unexplored under the dynamics and open-ended interaction of video games. We introduce GameWAM, to our knowledge the first WAM for native closed-loop gameplay and GUI control. GameWAM jointly generates future visual observations and executable keyboard-mouse trajectories through parallel visual and action generative processes with block-causal conditioning and flow matching. To support joint world-action learning, we construct synchronized gameplay and GUI trajectories. To handle heterogeneous native control, GameWAM predicts a gameplay/GUI mode at each action step and generates actions with mode-specific prediction distributions and continuous-action normalization. For long-horizon interaction, block-cycle control predicts beyond the committed horizon, executes only a short action prefix, and replans from new observations, while fine-grained within-cycle context and hierarchical cross-cycle history preserve temporal continuity. Experiments demonstrate competitive task success with fewer executed native actions than the compared agents. We further uncover Low-Frequency Action Source Imprinting (LASI), in which low-frequency components of the sampled action source systematically steer coarse generated camera motion under fixed conditioning, revealing a source-sensitivity failure mode in generative control. Project page is available at https://yunncheng.github.io/GameWAM/.

ゲームを遊ぶAIには、2つの流派があった

現代のゲームは、一人称視点で画面が高速に変わり、世界の状態が持続し、キーボードとマウスという雑多な入力を同時に受け付けます。ここに機械学習を持ち込む試みは、長いあいだ2つに分かれていました（§1）。

ひとつはゲームエージェント。画面と指示から「次に押すキー」を出しますが、自分の操作で世界がどう変わるかを明示的にはモデル化しません。もうひとつはインタラクティブなゲーム世界モデル。与えられた操作列に対して「この先の映像」を生成しますが、目的に向かう操作を自分で選ぶことはできません。

片方は結果を考えずに行動を選び、もう片方は行動を渡されないと結果を描けない。ならば同じモデルに両方やらせればいい、というのが論文の出発点です。

比喩: 同じ紙に「次の一手」と「その後の景色」を描く

棋士は指し手だけを覚えているわけではなく、「この手を指したら盤面がこうなる」という像とセットで手を選びます。像が甘ければ、手の良し悪しも甘くなります。

World–Action Model（WAM）はこれを機械にやらせる枠組みです。未来の映像と実行可能な操作列を同時に生成し、映像予測の側から「世界はこう動く」という教師信号を制御側へ流し込みます。論文によれば、WAM は卓上や屋内のロボット操作で成果が出はじめた段階で、一人称視点・高速な視界変化・持続する世界状態という条件下での挙動はよく分かっていませんでした（§1）。

直感: GameWAM は何を1つにしたのか

GameWAM は、著者らの知る限りネイティブなキーボード・マウス操作でゲームプレイとGUI操作の両方を閉ループで行う最初のWAMです（§1）。「ネイティブ」とは、前進 攻撃 のような抽象化された行動ではなく、実際に叩くキーとマウス移動量そのものを出力するという意味です。Minecraft では22次元（先頭2つがカメラのピッチ・ヨーの連続値、残り20個がキーやマウスのオン／オフ）、ViZDoom では9次元が使われます（§B.2）。

記事の後半では、この論文が偶然見つけた奇妙な失敗モードを扱います。そのために、ひとつだけ準備をしておきます。

準備運動: 「低周波」は動きの大まかな向き

信号を低周波と高周波に分ける操作はJPEGでおなじみです。低周波は「大きな形」、高周波は「細かい模様」を担当します。論文は同じ分解を時間方向に適用し、8ステップぶんのカメラ操作列に直交DCTをかけてモード0〜2を低周波帯、3〜7を高周波帯と呼びます（§5.5）。時間方向の低周波とは、要するに「その短い区間でカメラがどちらへ大きく振れたか」です。

FIG 1Q値を下げると高周波の係数から先に落ち、絵の「大まかな形」だけが残る。GameWAMはこれと同じ低周波／高周波の分け方を時間方向に使い、操作列の低周波＝カメラの大まかな振れ方として扱う(§5.5)

仕組み①: フローマッチングで映像と操作を同時に生成する

GameWAM は Video DiT と Action DiT という2本の Diffusion Transformer を並列に走らせ、ジョイント・フローマッチングで学習します（§4.1）。フローマッチングは、正解データとガウスノイズを直線でつなぎ、その線の進む向きを当てさせる方法です。モダリティ $m \in \{v, a\}$ （ $v$ =映像、 $a$ =行動）について、

X_{\sigma_m}^{m}=(1-\sigma_m)X_0^{m}+\sigma_m\epsilon^{m},\qquad U^{m}=\epsilon^{m}-X_0^{m}

(1)

$X_0^m$ は正解、 $\epsilon^m$ はガウスノイズ、 $\sigma_m \in [0,1]$ はノイズの強さ、 $U^m$ は「正解からノイズへ向かう向き」です。

この式が言っているのは要するに、正解データとノイズを一直線で結び、その線上の一点にモデルを立たせて「この線はどっちを向いているか」を答えさせている、ということです。 $\sigma$ が1に近ければほとんどノイズの地点に、0に近ければほとんど正解の地点に立たされます。生成とは、その向きを逆にたどって線を歩いて戻ることにほかなりません。推論時は $X_1^m \sim \mathcal{N}(0,I)$ から $\sigma=1 \to 0$ へ積分すれば生成物が出ます。閉ループ評価では1次積分・10ステップです（§C.5）。基礎はフローマッチング入門にあります。

仕組み②: 2つの流れを「混ぜない」ほうが強かった

素直に考えれば、映像と行動は互いを見ながら生成したほうが良さそうです。論文はそうしません。既定は Fast-WAM 流のモダリティ分離マスクで、両者は同じ「実現済みの綺麗な文脈」を共有しますが、同時にノイズを載せられた未来の変数どうしは互いを見ない（§4.1 式5）。

ただし切り離しは表面的です。綺麗な文脈を層ごとのK/V状態に変換するのは Video DiT 側で、それを行動側も使うため、映像側の勾配が「行動生成が参照する世界の表現」を作り替えます（§A.4）。キャッシュの考え方はKVキャッシュの仕組みと同じです。

効果は数字に出ています。分離マスクは MCU Mini の平均 ASR が 50.7、全タスクで 46.6。結合モデルは 46.3 と 39.6。さらにオンライン実行周波数は 12.51 Hz 対 8.12 Hz で約 1.54 倍（§D.2 表6）。結合モデルは行動の損失こそ速く下がるのに映像側の学習が遅れ、未来映像がぼやけると報告されています。論文はこれを「非対称な最適化干渉」の仮説とし、機構的な結論ではないと明言しています。

仕組み③: 16手を予測して8手だけ実行する

映像トークンは高価なので、観測は2アクションに1枚しかサンプリングしません（§C.2）。密にすれば速い動きを捉えられますが、固定予算では見渡せる時間が短くなる。この綱引きへの答えが block-cycle 制御です。1回の計画で $P$ 手を予測し、先頭の $E$ 手だけ実行して、新しい観測から重なり $P-E$ 手を再計画します（§4.2）。実設定は $P=16$ 、 $E=8$ 。

a_j = jE,\qquad Y_j = A[a_j+1 : a_j+P]

(2)

$a_j$ が $j$ 番目の意思決定時刻、 $Y_j$ がそこから $P$ 手ぶんの教師信号です。