2026-08-12·無料·論文·11分で読めます

論文解説: EnvACE — 環境まで自分で演じる「world rehearsal」がエージェントRLの環境不足を解く

ツール実行環境を一切呼ばずに、LLM自身が「行動役」と「環境役」を交互に演じて強化学習する EnvACE を論文本文から解説。役割別GRPO、テスト時の脳内リハーサル、4ベンチマークでの結果と限界まで。

要点

EnvACEは、環境の応答までモデル自身に演じさせる「world rehearsal」で、訓練中に外部環境を一度も呼ばずにツール使用を学習する。
1つのポリシーが、tool callを出すActと、環境の応答を生成するRehearseの2役を、パラメータ共有で演じる。
GRPOのアドバンテージは役割ごとに別のベースラインで測り、更新するパラメータ $\theta$ は両役共通である。
Qwen3-8Bでの総合Overallは32.91%で、EnvScaler-8B比+0.99、AWM-14B比+0.37だった。
検証は8B規模までで、評価はツール対話タスク中心であり、テスト時リハーサルは $N=3$ で $N=2$ より性能が下がった。

#agents #reinforcement-learning #world-model #tool-use #grpo

対象textタスクagents

EnvACE: Internalizing Environment Dynamics via World Rehearsal for Agentic Reinforcement Learning

一次資料 — この記事の根拠

論文の発表 2026-08-06→この解説の公開 2026-08-12同月

EnvACE: Internalizing Environment Dynamics via World Rehearsal for Agentic Reinforcement LearningZishan Xu, Zhiyuan Yao, Yuxin Chen ほか · 2026-08-06 · v1arXiv:2608.06197論文ページ·PDF

原文の要旨（Abstract）を読む

Training large language model agents for long-horizon tool use typically relies on interactions with real or synthesized executable environments, whose construction and verification are costly, or on external simulators that are difficult to ground. We introduce EnvACE, an agentic reinforcement learning method that replaces external environment interaction during training with world rehearsal. The policy alternates between acting and rehearsal: it first generates a tool call, then plays the role of the environment to produce the response induced by that action, and conditions subsequent decisions on the rehearsed response. Both roles are jointly optimized end-to-end using task-success rewards. Through world rehearsal, the policy internalizes the relationship between actions and their environment responses in its parameters, yielding an agent world model that directly supports decision making. Across BFCL-v4, tau^2-Bench, VitaBench, and FinMCP-Bench, EnvACE achieves strong and transferable performance, outperforming environment-scaling baselines in the overall evaluation. Controlled studies further show that world rehearsal consistently improves policy learning across model scales. At test time, the internalized world model enables private rehearsal before committed execution, yielding further gains under a moderate rehearsal budget without additional external interaction. Our findings establish world rehearsal as a new path toward scaling LLM agent training beyond the constraints of external environments. Our code is publicly available at https://github.com/Within-yao/EnvACE.

素振りだけで上達する、は可能か

将棋の棋士は、盤に駒を並べなくても頭の中で対局できます。「この手を指せば、相手はこう返すはず」という応手の予測が頭に入っているからです。強い棋士は「指し手の選び方」だけでなく、「盤面が自分の手にどう反応するか」まで内面化している、と言い換えられます。

LLMエージェント——外部ツールを呼び出しながらタスクをこなすAI——の訓練に、この発想をそのまま持ち込んだのが今回の論文 EnvACE です。従来のエージェント訓練は、実際に動くAPIやデータベースを相手に何度も対話して学ぶのが基本でした。EnvACEは、環境の応答までモデル自身に演じさせる「world rehearsal（世界リハーサル）」によって、訓練中に外部環境を一度も呼ばずにツール使用を学習します。そして4つのエージェント系ベンチマークで、環境を作り込む従来手法を総合評価で上回った、というのが論文の主な主張です（Abstract）。

何が問題なのか: 「練習相手」が高くつく

ツールを使うエージェントを強化学習（RL）で鍛えるには、行動のたびに「環境からの応答」が要ります。tool call を投げたら結果が返り、それを見て次の手を打つ。この繰り返しで軌跡（trajectory）ができ、最後にタスク成功の報酬が与えられます。問題は、その応答を誰が返すのかです。

論文は既存の選択肢を2系統に整理しています（§1）。

実行可能な環境を用意する: 本物または合成したAPI・DB。応答は正確だが、構築と検証のコストが高く、環境が複雑になるほど正しさの検証自体が難しくなる。
LLMシミュレータに応答させる: 安くて柔軟だが、応答が不正確・非一貫になりがちで、結局は実環境による接地（grounding）が必要になる。

どちらの道も「外部の応答供給者」への依存から抜けられず、環境をモデル化する能力はエージェント本体の外側に置かれたまま——これが論文の問題意識です。優れたエージェントは、タスクを解くだけでなく「環境が自分の行動にどう応答するか」も自らモデル化すべきだ、と論文は主張します（§1）。

発想の転換: 一人二役で軌跡を紡ぐ

EnvACEの答えはシンプルで、1つのポリシー（同じLLM）に2つの役を演じさせることです（§4.1）。

Act（行動役）: 対話履歴を見て tool call を生成する
Rehearse（リハーサル役）: いま自分が出した tool call に対し、「環境ならこう返すだろう」という応答を生成する

リハーサルで生成した応答を履歴に追記し、次の行動はその自作の応答を前提に決める。行動→応答→行動→…と、軌跡全体をモデルが独りで紡いでいきます。もはや外部との対話ではなく「ポリシー自身が展開する過程」です。役はプロンプト上の役割指定で切り替わりますが、パラメータは共有。訓練を重ねるうちに「この操作をすると環境はこう返す」という対応関係がパラメータに刻まれ、ポリシーそのものがエージェント用の世界モデルになる——これが表題の「内面化（internalize）」の意味です。

両役とも中身はLLMのトークン生成なので、出力の散らばりはサンプリング温度で制御します。実際、論文では実験の目的に応じて役割ごとに温度を使い分けています（行動空間を広く探索したい実験では両役とも温度1.0、再現性を重視する役は0.01など。§5.1）。

FIG 1温度が高いほど出力分布は平らになり、リハーサルされる「環境の応答」も多様になる。低くすれば決定的になり再現性が上がる

仕組みを式で追う

論文はツール対話タスクを有限ホライズンのPOMDP（部分観測マルコフ決定過程）として定式化します（§3）。各ステップ $t$ で、ポリシー $\pi_\theta$ は履歴 $h_t$ から行動を選び、通常なら環境が観測を返します。EnvACEはこの「観測を返す側」もポリシーに割り当てます（§4.1）。まず行動役が動きます。

a_t \sim \pi_\theta(\cdot \mid h_t, \textsf{Act})

(1)

$a_t$ はステップ $t$ の行動（tool call や最終回答）、 $h_t$ はそれまでの対話履歴、 $\textsf{Act}$ は「行動役として振る舞え」という役割指定です。つまり「これまでに起きたことを全部見て、行動役の顔で次の一手を出す」と言っているだけの式です。 $\sim$ は「確率的に選ぶ」の意味なので、同じ履歴からでもロールアウトごとに違う手が出ます。続いてリハーサル役が応答を作ります。

\hat{o}_t \sim \pi_\theta(\cdot \mid h_t, a_t, \textsf{Rehearse})

(2)

$\hat{o}_t$ は「環境が返すであろう応答」の予測（ハット記号は本物の観測 $o_t$ ではなく自作品であることを表します）。同じモデルが、今度は環境役として「この tool call への返事」を書きます。要するに「いまの履歴と自分が打った手を見て、返ってくるはずの返事を自分で書く」ということ。外部には何も送られず、質問した本人が答えも書いています。最後に履歴を更新します。

h_{t+1} = h_t \oplus (a_t, \hat{o}_t)

(3)

$\oplus$ は履歴への追記です。つまり「次のステップの履歴＝これまでの履歴＋（自分の手, 自作の返事）」と言っているだけの式です。自分の行動と自作の応答をセットで履歴に足し、次の行動はそれを読んで決める。この act→rehearse の交互反復が終端まで続き、外部環境ゼロで1本の軌跡が完成します。

学習: 役割別ベースラインのGRPO

軌跡ができたら、どう学習するか。EnvACEは同じ指示 $x$ から $K$ 本の軌跡をサンプリングし、各軌跡にタスク成否の報酬 $R_i$ を1つ与えます（検証可能な評価器か、チェックリスト式のLLM判定。§4.2）。同じ軌跡の中の出力はすべてこの報酬を受け継ぎますが、アドバンテージ（その出力がどれだけ「平均より良かったか」）は役割ごとに別の基準で測るのが工夫です。

\mu_{x,r} = \frac{1}{|\mathcal{G}_{x,r}|} \sum_{y_{j,n} \in \mathcal{G}_{x,r}} R_j, \qquad A_{i,m} = R_i - \mu_{x, r_{i,m}}

(4)

$\mathcal{G}_{x,r}$ は $K$ 本の軌跡から役割 $r$ （ActまたはRehearse）で生成された出力を集めた集合、 $\mu_{x,r}$ はその役割の平均報酬、 $A_{i,m}$ が出力 $y_{i,m}$ のアドバンテージです。前半はつまり「 $K$ 本の軌跡の中で、その役割が出した出力の報酬を平均する」、後半は「各出力の点数＝自分の軌跡の報酬 − その役割の平均」ということ。言い換えると「行動役の出力は行動役同士の平均と、環境役の出力は環境役同士の平均と比べる」。役割によって報酬への効き方が違うため基準を分けつつ、更新されるパラメータ $\theta$ は両役共通——ここでリハーサルから得た環境知識が行動側にも流れ込みます。最適化はGRPOのクリップ付き目的関数です（式8, §4.2）。

テスト時は「脳内リハ→本番一発」

訓練で世界モデルを内面化したポリシーは、推論時にも使い道があります（§4.3）。新しいタスクを受けたら、まず外部環境に触れずに $N$ 回の私的リハーサル（act→rehearse で軌跡を想像し、自己評価と修正案を付ける）を行います。モードは2つ。

並列: $N$ 回を独立に想像する
逐次: 前の想像軌跡と反省を見ながら次を想像し、同じ失敗を避ける

全リハーサルを短い「リハーサル記憶 $m_x$ 」に要約し、それを参照しながら本番の実行は外部環境で1回だけ行います。リハーサルは私的なもので、外部環境の状態は一切変えません。

どこまで効いたのか

主実験はQwen3-8BをベースにCM2データセットで470ステップ訓練し（verl使用、H20 GPU 16枚。§5.1）、BFCL-v4・ $\tau^2$ -Bench・VitaBench・FinMCP-Bench の4ベンチマークで評価しています。

総合: 3ベンチマーク平均のOverallで32.91%となり、完全な結果が揃う環境スケーリング系の全ベースラインを上回った（EnvScaler-8B比+0.99、AWM-14B比+0.37。§5.2）。 $\tau^2$ -Bench平均36.7%、VitaBench平均16.0%（7〜8B帯で最高）、FinMCP-BenchではTF1が46.78%で最高。
リハーサル自体の効果: 同条件の標準GRPOと比べ、 $\tau^2$ -Bench平均が31.2%→36.7%（+5.5）（§5.3）。
パラメータ共有の効果: 行動役と環境役を別モデルにした変種（Per-role Policy）は35.5%で、共有版の36.7%が上回る（+1.2）。「同じパラメータに書き込むから内面化が起きる」という仮説を支持する結果です（§5.3）。
モデル規模: 同じレシピを1.7Bと8Bに適用すると、8Bの方が改善幅が大きい（ $\tau^2$ 平均15.3%→36.7%。§5.4）。
テスト時スケーリング: リハーサル予算 $N=2$ の並列モードでOverallが36.7%→40.9%（+4.2）。一方、訓練していないベースモデルにリハーサルさせても効果は僅かで、逐次モードでは非TTSを下回った（34.9%）。つまり利得は「推論計算を足したこと」ではなく「訓練で内面化した環境知識」から来ている、というのが論文の解釈です（§5.5）。

付録Aの事例も示唆的です。EnvACEは実行前のリハーサルで「このtool callはパラメータ不備で失敗する」と予測して事前修正したり、許可されていない書き込み操作を察知して読み取り専用のクエリに差し替えたりします。ベースライン勢は実際に失敗してから回復に追加ステップを費やしていました。

限界と読み方の注意

論文自身が認める限界は2つ（§7）。計算資源の制約で8B規模までしか検証していないこと、評価がツール対話タスク中心であることです。また本文中でも、テスト時リハーサルは $N=3$ で $N=2$ より性能が下がっており、想像軌跡で入力が長くなり実効コンテキスト範囲に迫ることが一因と推測されています（§5.5）。リハーサル回数は多いほど良いわけではありません。

論文の外側から一点補足すると（実務上の解釈です）、リハーサル応答はあくまでモデルの想像であり、本物の環境の正しさ保証はありません。訓練データ（EnvACEの場合はCM2由来のタスク）に含まれない環境の癖まで当てられるわけではない点は、応用時に意識すべきです。

現場ではこう使う

この論文が最も刺さるのは、エージェントのRL訓練基盤を作るMLエンジニアです。実行可能環境の合成・保守（EnvScalerやScaleEnvの路線）は環境ごとの作り込みが要りますが、world rehearsal はロールアウト時の環境呼び出しを丸ごと省けるため、訓練パイプラインが「モデルと報酬関数だけ」に近づきます。実装は論文と同じくverlのようなRLフレームワーク上で、GRPOのアドバンテージ計算に役割ラベルを付けてベースラインを分ける改造が中心になります。触るパラメータは、プロンプトあたりのロールアウト数（論文は4）、KL係数（ $10^{-4}$ ）、役割別のサンプリング温度、そして推論側ではリハーサル予算 $N$ とそのモード（並列/逐次）です。

エージェント製品の推論チューニング担当にも、テスト時リハーサルは「実APIを叩く前の事前検証」としてそのまま応用が利きます。特に予約変更・決済のような書き込み系ツールの前に一度リハーサルを挟む価値は、付録Aの事例が示す通りです。

落とし穴を3つ。第一に、リハーサル中のtool callを絶対に実APIへ流さない分離設計が必須です（リハーサルは私的、実行は1回、という論文の構図をそのまま守る）。第二に、 $N$ を増やすほど良くはならない——論文では $N=3$ で低下しており、コンテキスト長との兼ね合いで予算を決める必要があります。第三に、リハーサルさせるモデルは訓練済みであることが条件で、素のモデルに想像させても改善しない（逐次では悪化する）ことが示されています。「TTSを足せば何でも上がる」わけではありません。

次に読む

LLMエージェント入門 — tool call と観測のループという、本稿の前提になる基本構造
指示チューニングとRLHF — 報酬からLLMを更新する枠組みの土台
RAGの基礎 — 外部知識との付き合い方をエージェントと対比して掴む