論文解説: EnvACE — 環境まで自分で演じる「world rehearsal」がエージェントRLの環境不足を解く

ツール実行環境を一切呼ばずに、LLM自身が「行動役」と「環境役」を交互に演じて強化学習する EnvACE を論文本文から解説。役割別GRPO、テスト時の脳内リハーサル、4ベンチマークでの結果と限界まで。

EnvACE: Internalizing Environment Dynamics via World Rehearsal for Agentic Reinforcement Learning

素振りだけで上達する、は可能か

将棋の棋士は、盤に駒を並べなくても頭の中で対局できます。「この手を指せば、相手はこう返すはず」という応手の予測が頭に入っているからです。強い棋士は「指し手の選び方」だけでなく、「盤面が自分の手にどう反応するか」まで内面化している、と言い換えられます。

LLMエージェント——外部ツールを呼び出しながらタスクをこなすAI——の訓練に、この発想をそのまま持ち込んだのが今回の論文 EnvACE です。従来のエージェント訓練は、実際に動くAPIやデータベースを相手に何度も対話して学ぶのが基本でした。EnvACEは、環境の応答までモデル自身に演じさせる「world rehearsal（世界リハーサル）」によって、訓練中に外部環境を一度も呼ばずにツール使用を学習します。そして4つのエージェント系ベンチマークで、環境を作り込む従来手法を総合評価で上回った、というのが論文の主な主張です（Abstract）。

何が問題なのか: 「練習相手」が高くつく

ツールを使うエージェントを強化学習（RL）で鍛えるには、行動のたびに「環境からの応答」が要ります。tool call を投げたら結果が返り、それを見て次の手を打つ。この繰り返しで軌跡（trajectory）ができ、最後にタスク成功の報酬が与えられます。問題は、その応答を誰が返すのかです。

論文は既存の選択肢を2系統に整理しています（§1）。

1. 実行可能な環境を用意する: 本物または合成したAPI・DB。応答は正確だが、構築と検証のコストが高く、環境が複雑になるほど正しさの検証自体が難しくなる。
2. LLMシミュレータに応答させる: 安くて柔軟だが、応答が不正確・非一貫になりがちで、結局は実環境による接地（grounding）が必要になる。

どちらの道も「外部の応答供給者」への依存から抜けられず、環境をモデル化する能力はエージェント本体の外側に置かれたまま——これが論文の問題意識です。優れたエージェントは、タスクを解くだけでなく「環境が自分の行動にどう応答するか」も自らモデル化すべきだ、と論文は主張します（§1）。

発想の転換: 一人二役で軌跡を紡ぐ

EnvACEの答えはシンプルで、1つのポリシー（同じLLM）に2つの役を演じさせることです（§4.1）。

• Act（行動役）: 対話履歴を見て tool call を生成する
• Rehearse（リハーサル役）: いま自分が出した tool call に対し、「環境ならこう返すだろう」という応答を生成する

リハーサルで生成した応答を履歴に追記し、次の行動はその自作の応答を前提に決める。行動→応答→行動→…と、軌跡全体をモデルが独りで紡いでいきます。もはや外部との対話ではなく「ポリシー自身が展開する過程」です。役はプロンプト上の役割指定で切り替わりますが、パラメータは共有。訓練を重ねるうちに「この操作をすると環境はこう返す」という対応関係がパラメータに刻まれ、ポリシーそのものがエージェント用の世界モデルになる——これが表題の「内面化（internalize）」の意味です。

両役とも中身はLLMのトークン生成なので、出力の散らばりはサンプリング温度で制御します。実際、論文では実験の目的に応じて役割ごとに温度を使い分けています（行動空間を広く探索したい実験では両役とも温度1.0、再現性を重視する役は0.01など。§5.1）。

仕組みを式で追う

論文はツール対話タスクを有限ホライズンのPOMDP（部分観測マルコフ決定過程）として定式化します（§3）。各ステップ $t$ で、ポリシー $\pi_\theta$ は履歴 $h_t$ から行動を選び、通常なら環境が観測を返します。EnvACEはこの「観測を返す側」もポリシーに割り当てます（§4.1）。まず行動役が動きます。