2026-08-27·無料·論文·13分で読めます

論文解説: GigaBrain-0.7 — 3万7千時間の身体経験と「3つのシステム」で動くロボット基盤モデル

ロボット基盤モデルを「理解」「予測・評価」「行動」の3システムに分け、37,256.98時間の身体データで一段階事前学習する設計を、論文本文だけを根拠に1から解説する。未来画像と進捗値で方策を条件付ける仕組み、勾配を絞って流すSoft KI、実機での成功率まで。

要点

VLAは観測から反応的に行動を出すだけで、予測と評価の仕組みをほとんど持たないという問題意識から、GigaBrain-0.7は理解・予測評価・行動の3システムを置く。
3システムは別々の目的関数で訓練され、System 2は次にやる事の文、System 3は未来画像1枚と進捗の0/1だけを渡す。
クリーニング後の身体軌跡データは合計37,256.98時間で、実機ロボットが20,535.65時間(55.12%)を占める。
Soft KIはAction Expert内で勾配を全量流し、VLMに入る手前で係数α_KIを掛けて減衰させる。
System 3は事前学習後に凍結され、サブゴール0.50・進捗0.15の確率で独立に落とされるため、使えなくても方策は動く。

#vla #robotics #world-model #embodied-ai #paper

対象imageタスクgeneration

GigaBrain-0.7: Scaling Embodied Foundation Models to Emergent Capabilities with a Three-System Architecture

一次資料 — この記事の根拠

論文の発表 2026-08-16→この解説の公開 2026-08-27同月

GigaBrain-0.7: Scaling Embodied Foundation Models to Emergent Capabilities with a Three-System ArchitectureGigaBrain Team, Angen Ye, Axiang Sun ほか · 2026-08-16 · v1arXiv:2608.15875論文ページ·PDF

原文の要旨（Abstract）を読む

Vision-language-action (VLA) models have become a dominant paradigm for generalist embodied agents, demonstrating strong complex and long-horizon task completion in structured settings. Yet it remains an open question whether current VLA systems can benefit from more effective architectural design, scale to substantially larger and more heterogeneous data regimes, and achieve broader generalization across tasks and embodiments. To this end, we present GigaBrain-0.7, an embodied foundation model with substantially improved generalization across diverse robot embodiments. Specifically, GigaBrain-0.7 unifies understanding, prediction, and action through a three-system architecture, scales pretraining to over 37,000 hours of heterogeneous embodied data, and introduces one-stage alignment training that jointly optimizes vision-language understanding and multi-embodiment action generation. Compared with the preceding GigaBrain-0 series and prior state-of-the-art models including $π_{0.5}$, GigaBrain-0.7 achieves substantial improvements in foundation zero-shot capabilities, language-conditioned instruction following, and post-training task success rates. In particular, on our in-house Maker H01 platform and mainstream robot embodiments, GigaBrain-0.7 demonstrates strong task adaptability and completion ability across both home and industrial scenarios. All training code and pretrained model weights will be released.

シャツを畳めないロボットの話

「そこのシャツを畳んで」。人間なら数秒で始められるこの依頼が、ロボットには桁違いに難しい。理由は3つあります。シャツは掴むたびに形が変わるので、覚えた軌道をなぞるだけでは通用しない。途中の見た目が何度も似た状態に戻るので、「いま何回目のどの段階なのか」が1枚の画像からは分からない。そしてうまくいっていないときに、それを自分で気づいて立て直す必要がある。

いま主流の解き方は VLA（Vision-Language-Action）、画像と言語を理解する大規模モデルに行動を出させる方式です（TurboVLAの解説）。論文の問題意識はその先にあります。現在のVLAは観測から反応的に行動を出すところに留まり、これから何が起きるかを予測する仕組みも、いま自分がうまくやれているかを評価する仕組みも、ほとんど持っていない（§1）。GigaBrain-0.7 は、この穴を役割の違う3つのシステムで埋めようとした論文です。

比喩: 厨房の3人組

この設計は、忙しい厨房を3人で回す様子に置き換えると掴みやすくなります。

献立係（System 2）: 目の前に何があるかを見て、「次はこの赤い帽子を取る」に分解する
味見役（System 3）: 「数秒後はこうなるはずだ」と先読みし、「完成に近づいているか」を採点する
手を動かす人（System 1）: その指示と先読み・採点を受け取り、実際に関節を動かす

論文の言葉では順に理解と計画、予測と評価、行動と制御。中身は System 2 が PaliGemma2（3B）のVLM、System 1 が同じ PaliGemma2（3B）に Action Expert（0.5B）を足したもの、System 3 は GigaWorld-1 を土台にした5Bのワールド・バリュー・モデルです（§4）。

肝は、3人が別々の目的関数で訓練され、決まった形式でしか情報をやり取りしない点。System 2 が渡すのは「次にやるべきこと」の文、System 3 が渡すのは「未来の画像1枚」と「進捗が上向きかの0/1」だけです。曖昧な内部表現を丸ごと流さないので、どこが効いてどこが壊れているかを切り分けられます。

「土台を大きくすれば強くなる」ではない

では System 1 の土台にどのVLMを置くべきか。論文は PaliGemma2（全体3.5B）、Qwen3.5（5B）、Gemma 4（8.5B）を実機タスクで比べています（§6.2, Tab. 4）。結果は素直ではありません。Gemma 4 は机の片付けと果物掴みで最良の成功率を出す一方、シャツ畳みは 0%。非ゼロ（30%）を残したのは PaliGemma2 だけで、論文はこれを根拠に PaliGemma2 を採用しました。

ただし論文自身が注記するとおり、この比較はサイズと画像解像度が同時に違うため統制されたスケーリング実験ではありません（Tab. 4 注）。それでも、この論文が投資先に選んだのがバックボーンの巨大化ではなく、データと役割分担の側だったことは読み取れます。

FIG 1容量（次数）を上げると訓練誤差は下がり続けるが、未知データでの誤差はある点から悪化する。「土台を大きくすれば汎化する」わけではない、という直感を手で確かめられる

データ: 37,256.98時間をひとつの型に揃える

クリーニング後の身体軌跡データは合計 37,256.98時間。実機ロボット 20,535.65時間（55.12%）、UMI（手持ち治具による人間のデモ）8,251.83時間（22.15%）、EGO（一人称視点の人間映像）2,862.36時間（7.68%）、シミュレーション 1,453.92時間（3.90%）、ワールドモデル生成 4,153.22時間（11.15%）。実機だけで 16機種・1,810,101エピソード・2,077,837,071フレーム、これに 271,976,674件の画像テキスト／VQAサンプルが並走します（§3.1）。

異種データは混ぜるだけでは干渉するので、揃える工程が細かく決まっています。フォーマットは LeRobot v3.0、次元順は「左腕→右腕→頭→腰→脚または台車」に固定、回転は連続6D表現、言語指示は GLM-5.1 で正規化（§3.2）。クリーニングは q01/q99の外れ値除去（分位点正規化を使うため、極端値が正常な行動信号を狭い範囲に潰す）、長い静止区間の除去、URDFを揃えた姿勢定義の統一、そして学習損失が異常なサンプルを元動画まで遡って除外するの4段構えです。

System 1 の中身と、勾配を「絞って」流す仕組み

System 1 は、視覚言語（VL）の流れと Action Expert（AE）の流れを層ごとに並走させる Mixture-of-Transformers です（§4.2）。VL側は事前学習済みVLMの自己回帰インターフェースを保つため因果的自己注意のまま、AE側は両方の流れを連結したものへ双方向に注意を向けます。

\mathbf{O}^{\mathrm{AE}}_{l}=\mathrm{Attn}_{l}\!\left(\mathbf{H}^{\mathrm{AE}}_{l};\;\bigl[\mathbf{H}^{\mathrm{VL}}_{l},\,\mathbf{H}^{\mathrm{AE}}_{l}\bigr]\right)

(1)

$\mathbf{H}^{\mathrm{VL}}_{l}$ は第 $l$ 層の視覚言語側、 $\mathbf{H}^{\mathrm{AE}}_{l}$ は行動側の中間表現、 $[\cdot,\cdot]$ は並べてつなぐこと。つまり「行動係は言語係のノートを毎層のぞけるが、逆はできない」という非対称な設計です。行動自体はフローマッチングで生成し、その損失と次トークン予測の損失を同じ事前学習の中で同時に最適化します（§5.1）。段階を分けないのが本論文の「一段階アライメント学習」です。

難しいのは、事前学習済みの言語能力を壊さずに身体制御を覚えさせること。行動の勾配を素通しにすると言語理解が痩せ、遮断するとVLMの視覚表現が身体向けに育ちません。Soft KI はその中間で、勾配を Action Expert 内では全量流しつつ、VLMに入る手前で係数 $\alpha_{\mathrm{KI}}$ を掛けて減衰させます（§5.1）。

\nabla_{\theta_{\mathrm{VL}}}\mathcal{L}_{\mathrm{VLA}}=\nabla_{\theta_{\mathrm{VL}}}\mathcal{L}_{\mathrm{NTP}}+\alpha_{\mathrm{KI}}\nabla_{\theta_{\mathrm{VL}}}\mathcal{L}_{\mathrm{FM}}

(2)

$\mathcal{L}_{\mathrm{NTP}}$ は次トークン予測の損失、 $\mathcal{L}_{\mathrm{FM}}$ は連続行動の損失、 $\theta_{\mathrm{VL}}$ はVLM側のパラメータ。要は「言語側の学習信号は100%、行動側は蛇口を絞って流す」。 $\alpha_{\mathrm{KI}}=0$ が完全遮断、 $1$ が素通しです。

つまりこの式は「VLMのパラメータをどちらへ動かすかは、言語の学習信号に、薄めた行動の学習信号を足して決める」と言っています。左辺が実際にVLMへ届く更新、右辺の2項がその内訳、 $\alpha_{\mathrm{KI}}$ は行動側の声の大きさを決めるつまみ、ということ。

FIG 2勾配をどれだけ強く反映させるかで挙動は変わり、強すぎれば谷を飛び越えて壊れる。行動側の勾配をVLMへ素通しにしない動機は、この感覚に近い（本図は一般的な勾配降下の挙動で、論文の測定結果ではない）

System 1 はさらに短期の視覚記憶を持ちます。視覚エンコーダの Temporal-Spatial Block が直近フレームを時間方向に集約してから空間を処理し、過去フレームのトークンは捨てて現在フレームの表現だけ残す（§4.2）。履歴を足してもバックボーンに入るトークン数が増えない、という設計です。

System 3: 未来を1枚の画像にし、進捗を0か1に潰す

System 3 が渡すのは2つだけです（§4.1）。ひとつはサブゴール画像 $g_t$ — 観測・自己受容感覚・サブタスク文を条件に短い未来動画を生成し、その最後のフレームを取り出したもの。もうひとつは進捗の評価で、完了までどれだけ進んだかを表すスカラー $V_t$ を推定し、差分の符号で二値に潰します（§5.3）。

A_{t}=\mathbb{1}\!\left[V_{t+\delta_{t}}-V_{t}>0\right]\;\in\;\{0,\,1\}

(3)

$\mathbb{1}[\cdot]$ は括弧の中が真なら1、偽なら0を返す関数、 $\delta_t$ は行動チャンク内の2時点の間隔。「この区間で作業は前に進んだか、足踏み・後退したか」だけを取り出しています。つまり、 $V$ は「完成にどこまで近づいたか」の点数で、 $A_t$ は少し先の時点でその点数が増えていれば1、増えていなければ0を返すスイッチ、ということ。点数の大きさそのものは方策に渡らず、上がったか下がったかの1ビットだけが渡ります。学習時は実際の値を、推論時は常に「前進」側を条件として与えます。

System 3 は事前学習後に凍結され、事後学習では毎サンプル $g_t$ と $V_t$ を作るだけで勾配を受け取りません（§5.2）。2条件は独立に確率 0.50 と 0.15 で落とされるため（§5.3）、方策は「両方あり／画像だけ／値だけ／両方なし」の4状態を経験し、System 3 が使えなくても動きます（PhiZeroの解説も参照）。

# 事後学習1ステップの骨格（論文 §5.3 の記述に沿った擬似コード）
g   = world_model.subgoal_image(obs, state, subtask)  # 未来動画の最終フレーム
A   = 1 if world_model.value(t + dt) - world_model.value(t) > 0 else 0  # 式(3)
if rand() < 0.50: g = None     # サブゴール画像を落とす
if rand() < 0.15: A = None     # 進捗条件を落とす
ctx  = (obs_hist, lang, proprio, robot_id, g, A)
loss = flow_matching_loss(action_expert(ctx, a_tau, tau), a, eps)  # System 3 は凍結

実験が示したこと

データ量（§6.3）。事前学習データを増やすと検証損失は一貫して下がります。ただし実機性能の伸び方はタスクで違い、果物操作がなだらかなのに対し乱雑な服畳みはデータ量への依存が急峻でした。3,000時間のロボットデータに UMI・EGO を等量ずつ足すとどちらも単独で改善し、3つ揃えたときが最も強い。この差が事後学習後も残ることから、人間データは一時的な底上げではなく事前学習の質そのものを変えている、と論文は述べます。

結合強度（Tab. 5）。層ごとに並走する Dual Stream は3タスクすべてで最良（机50%／果物88%／シャツ30%）ですが推論0.221秒／ステップ。最終層クロスアテンションは0.073秒と速い代わりに 20%／40%／0%。速さと能力が正面からトレードオフしています。

System 3 の寄与（§6.5.2）。服畳みでは4構成すべて成功率100%に飽和しますが、平均スコアは Base 68.3% → 81.7%／85.0%／88.3%（+SubImage／+Value／両方）、完了時間は107秒→83／79／75秒。差が大きいのはギフト包装で、Baseは1度も完了できない（0%）のに対し 20%／60%／80%。二値の成否では見えない「途中経過の質」に効く、という主張です。

比較と強化学習（Tab. 6, 7, 9, 12）。事後学習後の言語追従6タスク平均は AgileX PiPER で 91.5%（ $\pi_{0.5}$ 88.8%）、Maker H01 で 84.2%（同 75.2%）。複雑操作の平均は PiPER 84.9%（同 76.6%）、H01 74.1%（同 45.2%）。RoboTwin 2.0 ではドメインランダム化あり（Hard）で 67.9%（同 46.0%）と、クリーン環境で負けている（66.8% 対 70.7%）のに Hard で逆転します。実機4タスクを SFT → オフラインRL → オンラインRL と進めると平均成功率は 30.0% → 57.5% → 100% でした。

論文が示していないこと

OODでの劣化は明示されている。両プラットフォームとも分布外設定で性能が落ち、物体・シーン・タスク構成が同時に変わるほど難しい（§6.6.1）。定量表ではなく代表例の提示です。
バックボーン比較は統制実験ではない。サイズと解像度が同時に違い、Gemma 4 の机片付けは可動域を限定した設定での評価（Tab. 4 注）。
MiMo-Embodied の最終スコア 0.5704 は保留付き。MiMoデータを学習混合に入れた後の値で、論文自身が held-out ではなく継続事前学習の診断値と位置づけています。比較表の 0.4621 が混入前の値です（§6.8.1）。
試行数は多くない。評価は1構成あたり概ね10〜20試行（§6.1）。「全タスク100%」もこの試行数の中の話で、オンラインRLの人間介入プロトコルと定式化は今後のレポート送りと明記されています（§5.4）。接触の多いタスクは飽和からほど遠い（PiPER の米の掃き集めは 40%）とも論文は述べています。

現場ではこう使う

事後学習する側。触るのは行動チャンク長、条件ドロップアウト率（論文値はサブゴール0.50・進捗0.15）、推論時に進捗条件を「前進」に固定するか。System 3 は凍結なので学習対象は System 1 と 2 だけで、ここを取り違えるとワールドモデルに無駄な勾配を流して壊します。もう一つの制約が制御周期で、Dual Stream の 0.221 秒／ステップは高周波の制御ループに素で載る数字ではありません。速度を取るなら最終層クロスアテンション（0.073秒）ですが、シャツ畳み 0% という結果が付いて回ります。

データ基盤を作る側。事故はほぼ正規化と座標系で起きます。q01/q99 の外れ値を1本残すだけで正規化レンジが伸び、正常な行動が狭い帯に潰れて学習が不安定になる。エンドエフェクタの基準点定義が機種ごとにずれたまま混ぜると、同じ「掴む」が別の数値に化ける。次元順と妥当性マスクを決めずに機種を足すと、欠損次元とゼロ値の状態が区別できなくなるのも典型です。

数字を読む側。成功率だけ見ると System 3 の寄与は服畳みで完全に消えます（全構成100%）。平均スコアと完了時間を併記して初めて差が出る、というのがこの論文の教訓です。逆に、10〜20試行の成功率で 40% と 55% の差を有意扱いしない慎重さも要ります。ベンチマークも Easy と Hard を分けて見る（この論文は Easy で負けて Hard で勝つ）、リーダーボードは日付付きで引用する、といった作法が効きます。