2026-09-11·★ 会員·論文·11分で読めます

GE-Act 2.0 論文解説：未来を1発で描くロボット基盤モデルを、ゼロから事前学習する

GE-Act 2.0 とは、動画生成器の流用ではなく、操作データの上でゼロから事前学習した世界行動モデル。1回の順伝播で未来を描き切る視覚プランナと、行動と噛み合う未来だけを選ぶKASOを、100タスクのゼロショット評価で検証した論文を1から解説する。

要点

世界行動モデル（WAM）は、次の景色を予測し、その予測を手がかりに関節の指令を作る。
GE-Act 2.0 は生成側・行動側の部品をすべて操作データ上でゼロから初期化し、CoAE、SVP、IDM を KASO で繋ぐ。
追加学習なしの評価で、共同学習データを300時間から30,000時間へ増やすと G1-OP の成功率は17.1%→44.1%に上がった。
CoAE は縦横を $64\times$ 縮め、 $256\times384$ の1フレームを24トークンにまで落とす。
CoAE の行動誤差は 0.01673 で、最良の DINOv3（0.01273）にトークン数16分の1で迫り、DC-AE（0.02573）より良い。

#world-model #robotics #manipulation #flow-matching #pretraining

対象imageタスクgeneration

GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation

一次資料 — この記事の根拠

論文の発表 2026-09-04→この解説の公開 2026-09-11同月

GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic ManipulationAgiBot Research Team, Renhang Liu, Wenzhi Zhao ほか · 2026-09-04 · v1arXiv:2609.05588論文ページ·PDF

原文の要旨（Abstract）を読む

World-action models (WAM) predict future states to guide robot actions, enabling learning from both action-free video and action-labeled interaction. Most inherit pretrained video generators, leaving WAM pretraining and scaling underexplored. We introduce Genie Envisioner Act 2.0 (GE-Act 2.0), a world-action model whose trainable generative and action components are all initialized from scratch on manipulation data. It combines a control-oriented autoencoder (CoAE), a single-step visual planner (SVP), and an inverse dynamics model (IDM). CoAE retains action- and instruction-relevant information under aggressive compression, while SVP produces a complete future state in one differentiable pass, so visual planning and inverse dynamics can be pretrained separately on complementary data. The components are then jointly trained with knowledge-aligned selective optimization (KASO), which reduces mismatched supervision by selecting only predicted futures judged behaviorally compatible with the recorded action. We evaluate pretrained checkpoints directly, without per-task fine-tuning, on 100 tasks across 20 manipulation skill groups with held-out scenes, backgrounds, lighting, and object instances. Scaling co-training data from 300 to 30,000 hours raises success from 17.1% to 44.1% on G1-OP and from 13.4% to 31.1% on G2-90D; despite comprising less than 2% of the co-training data, G2-90D improves by 17.7 points, suggesting cross-embodiment transfer. Gains span 19/20 and 18/20 skill groups, and skill-specific coverage strongly correlates with zero-shot out-of-distribution (OOD) success (Pearson r=0.80; Spearman rho=0.85). Under the same protocol, the model grounds object, color, shape, and position references in at least 90% of trials and follows explicit instructions even when they conflict with an already-committed behavior or a conventional scene association.

手を出す前に、頭の中で一度動かす

コップを取るとき、人は手を伸ばす前に「こう近づいて、ここを掴む」という短い映像を頭の中で走らせている。ロボットにも同じことをさせよう、というのが世界行動モデル（World-Action Model, WAM）の発想だ。まず次に景色がどう変わるかを予測し、その予測を手がかりに関節の指令を作る。

この記事で扱う論文の原題は "GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation"（arXiv:2609.05588、AgiBot Research Team）。要旨はこうだ。世界行動モデルは未来の状態を予測して行動を導くので、行動ラベルのない動画からも、行動ラベル付きの操作記録からも学べる。だが既存研究のほとんどは学習済みの動画生成器を流用しており、世界行動モデル自体の事前学習とスケーリングは未開拓だった。GE-Act 2.0 は学習対象となる生成側・行動側の部品をすべて操作データ上でゼロから初期化する。制御向けオートエンコーダ（CoAE）、単一ステップ視覚プランナ（SVP）、逆動力学モデル（IDM）を組み、最後に KASO（知識整合な選択的最適化）で繋ぐ。タスクごとの追加学習をせずに事前学習済みチェックポイントを直接評価したところ、共同学習データを300時間から30,000時間へ増やすと成功率が G1-OP で17.1%→44.1%、G2-90D で13.4%→31.1% に上がった、というものである。

論文が立てた設計上の問いは3つだ(§1)。表現——未来予測を軽くしつつ行動を復元できる潜在空間をどう作るか。生成——行動ラベルのない動画と指示ラベルのない試行ログを、それぞれどう活かすか。整合——生成した未来と記録された行動を、どう噛み合わせるか。

部品1: 復元ではなく「制御」のための圧縮器

動画生成が使うオートエンコーダは、ふつうきれいに復元できることを目的に学習される。だが世界行動モデルに必要なのは、圧縮した後でもロボットが何をしたかを読み取れることだ。CoAE はここを作り直す。一般的な動画オートエンコーダが縦横を $8\times$ ないし $16\times$ 縮めるところ、CoAE は $64\times$ 縮め、 $256\times384$ の1フレームを $4\times6$ グリッド、つまり24トークンにまで落とす(§3.2.1)。学習は画素・知覚(LPIPS)・敵対的損失による復元に、3つの凍結した視覚エンコーダ（Qwen3.5 が使う SigLIP 2、V-JEPA 2.1、DINOv3）への整合を足す。

\mathcal{L}_{\mathrm{align}}=\sum_{k=1}^{3}\lambda_{k}\bigl(1-\cos(g_{k}(z),G_{k}(o))\bigr)

(1)

平たく言えば「圧縮表現 $z$ を小さな変換 $g_k$ に通したものが、教師 $G_k$ が同じ画像から出す特徴と同じ向きを指すように引っ張る」。 $\cos$ は向きの近さ、 $\lambda_k$ は教師ごとの重みだ。3人の教師は、言語と結びついた意味・時空間構造・密な視覚特徴という別々の得意分野を持ち寄る。

FIG 1圧縮を強めると絵は崩れる。だが「行動を読み取れるか」は見た目の綺麗さとは別の指標だ、というのがCoAEの主張

対照実験がこれを裏づける(§3.2.2)。凍結した各表現に同じ逆動力学プローブを載せて行動の平均絶対誤差を測ると、CoAE は 0.01673。最良の DINOv3（0.01273）には及ばないが、トークン数は16分の1で済む。同じ $64\times$ 圧縮の DC-AE は 0.02573 と 54% 悪い。

部品2: 未来を1回の順伝播で描き切る

IDM は「今の映像」と「少し先の映像」から、その間に実行された行動を当てる。指示文も成功ラベルも要らないので、失敗した試行や運用中のロールアウトからも学べる。ところが単独で事前学習した IDM を視覚プランナに繋ぐと困る。ふつうの動画生成器は $K$ 回のノイズ除去を踏まないと未来が完成せず、行動の損失を逆伝播させるには $K$ ステップ分の計算グラフを保持して微分しなければならないからだ(§3.3.1)。先行手法はこのコストを避けて生成器の途中の状態から行動を読み、その結果、行動側の部品が生成器に貼り付いてしまっていた。

GE-Act 2.0 論文解説：未来を1発で描くロボット基盤モデルを、ゼロから事前学習する

要点

手を出す前に、頭の中で一度動かす

部品1: 復元ではなく「制御」のための圧縮器

部品2: 未来を1回の順伝播で描き切る

ここから先は会員限定です

参考文献

このあとに出た解説

コメント