論文解説: ZimaBlue — 12万時間の一人称動画でロボットを汎化させる
行動ラベルのない一人称動画12万時間をロボット制御に変換する World Action Model の論文を1から解説。3段階カリキュラム・100次元の統一行動表現・Slow-Fast の非同期二系統で、実機ゼロショット36.1%→77.8%、制御周期33msに至るまで。
ZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-training
一次資料 — この記事の根拠
論文の発表 2026-08-31→この解説の公開 2026-09-03同月
ZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-trainingXionghao Wu, Yijun Yang, Shiyang Zhou ほか · 2026-08-31 · v1arXiv:2609.00188論文ページ·PDF原文の要旨（Abstract）を読む
Robotic manipulation faces a fundamental scaling challenge: robust generalization demands broad physical experience, yet action-labeled robot trajectories are expensive to collect and inherently limited in diversity. Egocentric videos offer a far more scalable source of embodied experience, capturing object interactions, contact dynamics, tool use, and long-horizon behaviors across diverse environments. The central challenge is how to convert this abundant but action-free experience into effective robot control. We introduce ZimaBlue, a scalable framework for learning generalizable World Action Models (WAMs) from large-scale video. ZimaBlue follows a three-stage training curriculum: it first performs causal embodied video pre-training on large-scale human and robot egocentric videos, then grounds the learned visual dynamics in heterogeneous robot trajectories through video-action mid-training with a unified action representation, and finally specializes the model to a target robot for deployment. To make generative WAMs practical for real-time control, ZimaBluefurther adopts an asynchronous Slow-Fast dual-system architecture, where a high-capacity Slow world model provides generalizable spatiotemporal representations and a lightweight Fast branch enables 30 Hz action prediction on NVIDIA RTX 4090. On real-robot zero-shot evaluations, scaling from target-robot data alone to over 120,000 hours of embodied video improves success from 36.1% to 77.8%. ZimaBlue further delivers strong performance across multiple benchmarks, with particularly pronounced gains on unseen tasks.
ロボットは「見た経験」を使えていなかった
原題は "ZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-training"（Joy Future Academy、arXiv:2609.00188v1、2026年8月31日）です。
論文の主張を要約します。ロボット操作の汎化には広い身体経験が要るのに、行動ラベル付きのロボット軌跡は収集が高く多様性にも限りがある。一方で一人称視点の動画は、物体との相互作用・接触の力学・道具の使用・長い手順を多様な環境ごと記録した、はるかにスケールしやすい経験源です。問題は、この豊富だが行動ラベルのない経験をどう制御へ変換するか。ZimaBlue は (1) 人間とロボットの一人称動画による因果的な動画事前学習、(2) 統一行動表現を用いた異種ロボット軌跡での動画‐行動中間学習、(3) 配備先ロボットへの特化、という3段階でこれに答えます。さらに生成型モデルを実時間制御に耐えさせるため、高容量の Slow 世界モデルと軽量な Fast 分岐からなる非同期の二系統を採り、NVIDIA RTX 4090 上で 30 Hz の行動予測を実現。実機ゼロショットでは、配備先データのみから12万時間超の身体化動画まで規模を広げると成功率が 36.1% から 77.8% へ改善したと報告されています。
売っているのは新しいネットワーク構造ではなく、「どのデータを、どの順で、何のために食わせるか」という配合表です。
なぜ行動ラベル付きデータだけでは頭打ちになるのか
VLA（Vision-Language-Action）モデルは事前学習済みの視覚言語モデルを運動制御へ延長したもので、強い意味的事前知識を受け継ぎます。しかしその汎化は方策学習に使った行動ラベル付きデータの範囲に縛られる。指示の意味は分かっているのに、実行に必要な空間的・力学的知識が足りない状態が起きます（§1）。
本質的な行き詰まりはここです。反応的な方策は、制御を学ぶためだけでなく知覚と物理の知識を仕入れるためにもラベル付きデータに依存している。本来それは、はるかに大きな動画コーパスから学べるはずのものです（§1）。
供給側も厳しい。実機デモはテレオペを使っても高く、シミュレーションは sim-to-real の隔たりと材質・接触の多様性不足を残す。対して一人称の人間動画は潤沢で、アフォーダンス・道具の使用・接触イベント・失敗からの復帰・長手順の構造を含む——ただし行動ラベルがない（§1）。
World Action Model: 「次の景色」と「次の行動」を一緒に予測する
WAM は、世界がどう変化するかとその世界の中でどう振る舞うべきかを同時に予測します（§1）。この共同目的関数のおかげで、掴み損ねた握りも滑る物体も遮蔽も、単なる見た目のばらつきではなく「モデルが説明すべき因果構造」の一部になります。結果として制御は、ラベル付き軌跡の記憶ではなく「どんな視覚的変化が到達可能か」の理解に寄ります（§1）。
そして分業が成立します。まず行動ラベルのない動画から因果的な視覚力学を学び、その後に少量のラベル付きデータでロボットの状態と行動に揃える。動画をスケール軸に使えるのは、この分離があるからです（§1）。
ただし汎用の動画生成器を流用するだけでは足りない、とも論文は釘を刺します。汎用モデルは「もっともらしい再構成」に最適化されていて介入の帰結に接地していない、クリップ全体に注意を張る設計は逐次観測しか使えない制御器と噛み合わない、Web動画のアニメーションや編集された転換は接触主体の操作に必要な事前知識を薄める（§1）。だから WAM は汎用動画生成の後付けではなく、身体化動画で事前学習して特化させるべきだというのが出発点です。
三段のデータピラミッド
学習は、事前学習済みのテキスト→動画拡散Transformer（Wan2.2-TI2V-5B）を段階的に身体化していきます（§4）。
- Stage I（動画事前学習）: 行動注釈なしの大規模な異種動画で、視覚的生成事前知識を因果的な身体化ダイナミクスへ適応させる。本研究では12万時間超まで拡大（§1, §4.2）。
- Stage II（動画‐行動中間学習）: 観測・自己受容感覚・言語指示・行動が同期したロボット軌跡を導入。ここでの行動予測は最終目的ではなく、Slow 世界モデルを制御関連のダイナミクスへ接地させ、視覚表現に運動情報を残させる補助信号です（§4.1）。
- Stage III（事後学習）: 配備先の身体・制御インターフェース・タスク分布へ特化し、閉ループ制御のため軽量な Fast 分岐を導入（§4.4）。
効率のため、前2段階では Slow 分岐だけを最適化します。事後学習の入口までに Slow 表現は行動教師で接地済みなので、視覚ダイナミクスから実行可能な行動への写像は簡単になっており、Fast はそこで初めて導入されます（§4.1）。
統一行動表現: 100次元のスロットに全ロボットを流し込む
障害は制御インターフェースが噛み合わないことです。ZimaBlue は単腕から双腕・胴体・台車・多指ハンドまでを100次元の意味的な状態‐行動空間へ写像し、どの座標も身体をまたいで一貫した物理的意味を保ちます。手先姿勢は9次元（3次元並進＋連続な6次元回転）を占め、各身体は自分のインターフェースが定義するスロットだけを有効化する。DROID なら有効座標は17個です（§3.1）。
絶対座標は場面をまたぐと揃わないため、手先の行動は各行動チャンク先頭フレームの状態を基準にした相対量で表します（§3.1）。
コメント
コメントにはログインが必要です