論文解説: Zetta ζ — 方策を凍結したまま、ロボットが実行中に自分を直す「閉ループ・ハーネス」

エピソードが終わってから反省する既存の身体エージェントに対し、Zettaは「コードで書かれた監視役」を行動と同じ頻度で回し、失敗の兆候が出た瞬間に介入する。方策の重みを一切触らずに成功率を押し上げた設計を、論文本文に沿って1から解説する。

Zetta $ζ$: An Efficient Closed-Loop Embodied Harness for Self-Evolving Physical Intelligence

転んでから見返すビデオ

自転車で転んだとします。あとで映像を見返し「重心が右に寄りすぎていた」と反省する。反省そのものは正しい。けれど、その気づきは転んだあとにしか手に入りません。走っている最中の体は、何も教えてもらえないまま同じ癖で右に寄っていきます。

いまのロボットAIエージェントは、おおむねこれをやっています。この論文（Zetta）は、その一点を突いています。

まず用語を1つだけ。カメラ画像と「コップをコンロに置いて」という指示文を受け取り、アームの動きを出力するモデルを VLA（Vision-Language-Action、視覚言語行動）モデルと呼びます。π0.5 や GR00T がその代表です。論文は冒頭で、身体知能（physical intelligence）の研究が2つの道を進んでいると整理します（§1）。1つはVLAや世界行動モデルそのものを大規模データで鍛える道。もう1つは、大規模言語モデルをエージェントとして使い、方策・コード・道具・制御プリミティブを束ねる道です。

前者はデータが高価で、学習時の分布から外れると脆い。だから後者への期待が集まるのですが、論文の指摘は辛辣です。既存の身体エージェント基盤（ハーネス）は、実質的に開ループのままだ（§1）。いったん実行が始まると、エージェントは変化していくロボットと環境の状態に判断を条件づけ続けることをせず、あらかじめ決めた技能や軌道をなぞり、エピソードが完了してから振り返るだけだ、というわけです。

なぜ「毎ステップ考える」ができないのか

素朴な解決策は「じゃあ毎ステップ大きなモデルに聞けばいい」でしょう。それができないのが、この問題の芯です。

論文によれば、物理タスクの判断は現在のロボットと環境の状態に結びついている必要があり、その変化はしばしばミリ秒級の遅延予算の中で起きます（§1）。今日の大きなエージェントモデルは、実世界のシステムでその頻度の判断を出せません。だから既存手法は反省をエピソード単位・軌道単位で行う。しかしそれは「終わった失敗を診断できても、進行中の物理実行を統治できない」（§1）。

論文は事後反省の弱点を3つ挙げます（§1）。代替行動をその場で試して反省の正しさを検証できない。軌道全体にわたる功績の割り当て（credit assignment）が難しい。回顧的な分析は、失敗した瞬間の正確な状態にアクセスできないことが多い。結果として、まとめられた経験は再利用しにくく、学習をあまり支えないと述べています。

中心アイデア: 監視役を「コード」で書く

Zettaの答えは、判断の頻度と権限を分離することです。安価なコードを行動と同じ頻度で回して証拠を作り、高価なエージェントモデルには裁定だけをさせる。

そのために、方策の重みは凍結したまま（$\nabla\theta=0$、§2.1.1）、その周りにあるハーネスだけを進化の対象にします。

$C$ はランタイム批評器（critic）、つまり高頻度で軌道を走査する監視関数の集合。$R$ は復旧プレイブック、失敗の因果メカニズムごとに対応づけられた手順のライブラリ。$\mathcal{T}$ は異種道具箱で、プランナや把持検出器などの実行可能なツール群です（§2.1.2）。論文が強調するのは、$\mathcal{T}$ が既定ツールのパラメータ調整にとどまらず、進化の過程で生成・実体化・選択・改良される点です。

批評器の出力はこう定義されます。

$\tau_{0:t}$ はここまでの軌道、$e_{t}$ は監査可能な失敗の証拠（衝突、進捗の停滞など）、$\hat{\sigma}_{t}$ は提案する実行モードです。ここが設計の要で、批評器は提案しかしません。実際のモードを決めるのは指揮役のエージェントです。

$\sigma_{t}=0$ ならVLA/世界行動モデルがそのまま操縦し、$\sigma_{t}>0$なら専用ツールに切り替わります。$\mathcal{K}$ はタスク知識文脈で、あらかじめ定義したマイルストーン・成功条件・環境制約を含みます。論文はこれを証拠駆動の意思決定と呼びます。批評器は高頻度で動くが、介入が許されるのは証拠 $e_{t}$ が $\mathcal{A}_{orch}$ に検証・受理されたときだけです（§2.1.3）。

3つの時間スケールのループ

Zettaはこれを3つのループに分けます（§1）。

1. 批評器統治の行動ループ: 学習済みの批評器を行動頻度で実行し、必要なら対応する復旧技能を呼ぶ。ここが「閉ループ実行」を作る。
2. ロールアウト束の候補最適化ループ: 各イテレーションの失敗をクラスタリングして診断し、批評器と復旧の候補を提案する。技能とコードには勾配が無いため、SkillOptとEmbodiSkillに倣ってコード空間で有界かつ安定な更新を行うSGD風の最適化過程を構成した、と述べています。
3. 検証ゲート付きの技能更新ループ: 成功率を改善し、かつロールアウト横断で汎化する候補だけを技能メモリに追加する。

1番目が閉ループ実行を、2番目と3番目が自己進化を担う、という役割分担です。

直し方を間違えると、直したところ「だけ」良くなる

論文が挙げる3つの課題のうち、実務的に一番効くのは2つ目です（§2.2）。物理的失敗の根本原因を突き止めるのは難しく、場当たり的なデバッグは過学習する修理に流れます。低レベルの制御パラメータをいじって特定の失敗事例だけ成功させる。目の前の不具合は消えますが、そうした改変はVLAの意味的汎化に不可欠な行動分布を壊し、未見のシードで深刻に性能が落ちる。

これは機械学習の過学習とまったく同じ構図です。手元の点にぴったり合わせにいくほど、見ていない点で外す。

Zettaの答えは上から下への階層的因果診断です。診断エージェント $\mathcal{A}_{diag}$ は層を優先順に走査します。評価層 → 批評器層 → 状態表現層 → 計画/制御層 → 復旧層 → パラメータ層（§2.2, §2.4.2）。原則は明快で、「上位の論理で失敗が解決するなら、低レベルのパラメータには決して触らない」。パッチは最小の有効層に当てられ、基盤モデルの完全性が保たれます。

失敗をどこで切るか: m* と EOD

診断の前に、失敗を切る場所を決める必要があります。論文は2つの座標を導入します。

1つは最初に欠けたマイルストーン（First Missing Milestone）。

$M=\langle m_{1},\dots,m_{goal}\rangle$ は順序付きの意味的マイルストーン列、$\mu_{t}$ は時刻 $t$ で達成済みの状態です。噛み砕けば「順番に並んだ小目標のうち、最後まで一度も観測されなかった最初のもの」。これが失敗の粗いクラスタリング基準になり、同時に診断の探索範囲を $m^{*}-1$ から $m^{*}$ への遷移区間に絞ります（§2.3）。

もう1つは最早の観測可能な逸脱（Earliest Observable Divergence）。

$I_{succ}$ は成功軌道をマイルストーンごとに集約した索引で、論文はこれを成功の公称分布と呼びます（§2.3）。つまり $t_{EOD}$ は「成功しているときの状態から、初めて $\epsilon$ 以上ずれた瞬間」です。この時刻と、$m^{*}$・ロボットと物体の相対姿勢・使用中のツールIDを手がかりに失敗シードをクラスタに分け、各クラスタの中心に最も近い1つ（medoid）だけを深掘りの対象にします（§2.4.1）。全部を診断せず代表を診る、という計算量の削り方です。