論文解説: MaP-WAM — ロボットの「記憶」を計画に変え、履歴が伸びても実行器の重さを一定に保つ

過去を覚えていないと解けないロボット作業で、長い映像履歴を毎回実行器に食わせるのをやめ、「次に何をするか」の計画に圧縮して渡す MaP-WAM を解説。進捗を行動と同時に予測して区切りを自分で判断し、RMBench 83.3%・実機78.0%を報告した設計を、論文本文に沿って1から読む。

Memory as Plans: World-Action Modeling with Memory-Grounded Planning

「さっき見たもの」を覚えていないロボット

料理中に「塩はもう入れたっけ？」と迷った経験はないでしょうか。鍋の中を今見ても、塩が入っているかどうかは分かりません。答えは過去の自分の行動の中にしかない。ロボットも同じ壁に当たります。

主流のロボット方策（画像と指示文から腕の動きを出すモデル）の多くは、「今の画像を見れば次の行動は決まる」というマルコフ的な仮定に立っています。ところが「ボタンの色を覚え、カバーで隠された後にその色を探す」作業では、必要な情報はもう画面にありません。

今回の論文は "Memory as Plans: World-Action Modeling with Memory-Grounded Planning"（arXiv:2609.11561, 2026年9月10日公開, Sizhe Zhao ほか, ハルビン工業大学など）です。

論文の要旨をまとめるとこうなります。現実の操作タスクの多くは非マルコフ的で、現在の観測を超えた長期記憶が要る。既存の記憶機構は言語要約や伸び続ける映像窓（またはその組み合わせ）に頼っており、細かな視覚的証拠を失うか、履歴の長さと実行効率のトレードオフに陥る。提案手法 MaP-WAM は、記憶に依存する行動生成を「記憶に基づく計画」と「計画に従う実行」に分け、長い履歴は計画時の証拠としてだけ使う。記憶は「完了した区間ごとの指示文＋まばらな画像」として持ち、そこから「次の区間の言語計画＋視覚的な手本」という小さな計画を作る。実行側の World-Action-Progress（WAP）モデルは、行動と進捗を同時に予測し、計画と観測の照合で進捗を補正しながら区間の切り替えを自分で決める。実行器の文脈長は固定で、KVキャッシュも効く。RMBench で成功率83.3%（SOTA）、実機タスクで78.0%を達成し、履歴が伸びても実行器の推論時間はほぼ一定だった、と報告しています。

比喩: 旅行のしおりと、全行程のビデオ

従来のやり方を比喩にすると、次の2つです。

• 言語メモ型: 「駅に着いた」「昼食を食べた」と日記だけを付ける。軽いが、「どのホームだったか」のような細部は落ちる。
• 全録画型: 旅の最初から全部の動画を持ち歩き、一歩ごとに見返す。細部は残るが、旅が長くなるほど見返しに時間がかかり、いずれメモリが溢れる。

MaP-WAM は第3の道です。過去の動画は「次の行き先を決めるとき」だけ見返し、歩く間は「しおり1ページ」だけを見る。ページには「次は○○へ」という文と「道中はこう見えるはず」という数枚の写真があり、9割5分こなしたと感じたら次のページを作ってもらう。これが「記憶を計画として使う（Memory as Plans）」です。

仕組み1: 問題を2つに割る

論文はまず、記憶に依存する方策を次のように書きます（§3.1）。

平たく言うと「これまでの全画像 $\mathbf{f}_{\le t}$、今の関節状態 $\mathbf{s}_t$、指示文 $l$ から、次の $h$ ステップ分の行動のかたまり（action chunk）$\mathbf{a}_{t+1:t+h}$ を出す」という意味です。問題は $\mathbf{f}_{\le t}$ が時間とともに際限なく伸びることです。

MaP-WAM はこれを、区間 $k$ の計画 $\mathbf{C}_k$ を作る計画器と、計画・今の画像・今の状態だけから行動を出す実行器 $\pi_{\mathcal{E}}(\mathbf{a}_{t+1:t+h}\mid \mathbf{C}_k, \mathbf{f}_t, \mathbf{s}_t, l)$ に分けます。論文が強調するのは、実行器の入力が履歴の長さに依存しない点です（§3.1）。履歴が長くなっても、実行器が読む量は変わりません。

下の図で、伸び続ける文脈（線形以上に増える曲線）と一定の文脈（O(1)）の差を体感してください。MaP-WAM の実行器が狙うのは、一番下の平らな線です。