論文解説: Agentic ESOpt — 逆伝播をやめて「モデルを揺らす」だけで、長丁場のLLMエージェントを鍛える

勾配を一切計算せず、パラメータにノイズを足した分身をG体走らせて良かった方向へ寄せるだけ——推論と同じGPUメモリ(8.41GB)で27Bの全パラメータを更新し、15手必要な数独でGRPOに12.50ポイント差をつけたNUSらの論文を、1から解説する。

Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Requirements

霧の中で山を登る方法は、2つある

山頂を目指しているが、あたりは濃霧で何も見えない。方法は2つあります。

1つは、足元の傾きを精密に測ること。「北東にわずかに上っている」と分かれば、その方向へ進めばいい。これが勾配法であり、ニューラルネットの学習でいう誤差逆伝播です。正確ですが、傾きを測る装置は重く、大きなモデルほど持ち歩けなくなります。

もう1つは、適当な方向へ何歩か歩いてみて、標高を測って戻ること。それを何人かの仲間で一斉にやり、「北東へ行った人が一番高かった」なら、みんなでそちらへ少し寄る。傾きは一度も測っていないのに、集団としては上へ進みます。これが進化戦略（Evolution Strategies, ES）です。

この論文（NUS・南方科技大学・Oxford、2026年8月）が主張しているのは、長丁場のLLMエージェントを鍛えるという場面に限れば、後者のほうが単に安いだけでなく、実際に強いということです。ESは従来「勾配法より少し弱いが安い代替」と見なされてきましたが、著者らは「地平線（horizon）が伸びるほど立場が逆転する」と論じ、それを数独・ツール使用・Web操作・ヒューリスティクス設計の4種類で確かめています。

何が困っているのか — 何十手も動いて、最後に○×が1つ来るだけ

まず舞台設定です。LLMエージェントは、環境を観測して行動を出す、を繰り返します（§2）。

$$a_{t}\sim\pi_{\theta}(a_{t}\mid \bm{o}_{\leq t},c_{t})$$

要するに「これまで見たものと、外から渡された指示を材料に、次の一手を確率的に選ぶ」という式です。$\theta$ はモデルのパラメータ、$\bm{o}_{\leq t}$ はここまでの観測履歴、$c_t$ はプロンプトやスキル文書のような外部から渡す指示です。1エピソードは軌跡 $\bm{\tau}=(o_1,a_1,\ldots,o_H,a_H)$ になり、$H$（ホライズン）が終了までのやりとり回数です。

問題は報酬の出方です。論文が扱う課題の多くはまばらな報酬（sparse reward）で、途中の $r_t$ はすべて0、最後に「できた／できなかった」の1ビットだけが返ります（§2）。ブラウザを30回操作して、最後に成功判定が1つ来る、という世界です。エージェントの基本的な形についてはLLMエージェントの基礎も参照してください。

ここで従来のやり方、つまりRLHF系の強化学習をエージェントに持ち込むと、論文の言う2つの壁にぶつかります（§1）。

壁1: メモリ。 GRPOやPPOは、ロールアウトを保持し、活性値とオプティマイザ状態を抱え、軌跡を通して逆伝播します。モデルが大きくなるほど全パラメータの学習は非現実的になります。実際この論文の実験では、27Bモデルの全パラメータAgentic RLは4枚のH100 80GBでは回りませんでした（§5.2）。GPU側の事情はGPUメモリ階層の話とつながります。

壁2: クレジット割り当て。 最後の○×を、途中の何十個もの行動のどれのおかげ／せいなのかに割り振らなければなりません。GRPOはグループ相対アドバンテージ

$$\widehat{A}_{i}=\frac{R_{i}-\operatorname{mean}_{j}(R_{j})}{\operatorname{std}_{j}(R_{j})+\varepsilon}$$

を軌跡全体に同じ値として配ります。要するに「同じ問題を$G$回解かせて、平均より良かった軌跡を丸ごと褒める」という設計です。ただし論文は「単一ターンでは代表的でも、多ターンをカバーできない」という先行研究の指摘を引いています（§2）。PPOは批評家（critic）にターンごとのアドバンテージを推定させますが、論文はこれも決定打ではないと言います。批評家を温めるための期間が要るうえ、まばらな終端報酬では初期のアドバンテージが当てにならず、たとえ批評家が育っても方策勾配は $H$ 個の行動スコア項を足し合わせるので、分散がホライズン長に依存したままだからです（§2）。

発想の転換 — 「行動」ではなく「モデルそのもの」を揺らす

Agentic ESOptのやることは、拍子抜けするほど単純です（§3）。

1. 今のパラメータ $\theta$ のまわりに、ランダムな摂動 $\bm{\epsilon}_i$ を $G$ 本サンプルする
2. 摂動を加えた $G$ 体の「分身エージェント」を環境で実際に走らせ、スカラーの報酬 $R_i$ だけ受け取る
3. 報酬が高かった分身の方向へパラメータを寄せる

勾配は一度も計算しません。環境が微分可能である必要も、軌跡を保持しておく必要もありません。

なぜこれで上へ行けるのか。鍵は内積です。ランダムな方向 $\bm{\epsilon}_i$ が「本当に良くなる方向」とどれだけ揃っているかで、その分身の報酬が上下します。揃っている方向ほど高い報酬を得て、その報酬を重みにして $\bm{\epsilon}_i$ を足し込むので、ランダムな矢印の重み付き和が、結果的に良い方向を指すわけです。

これを式にしたのが以下です。まずESが実際に最適化している目的関数は、素の目的 $J(\theta;c)=\mathbb{E}_{\bm{\tau}}[R(\bm{\tau})]$ ではなく、ガウス雑音でぼかした版です。

$\sigma$ は摂動の大きさ（半径）、$\bm{\epsilon}$ は全パラメータと同じ次元 $d$ の標準正規乱数です。つまり式(1)は「$\theta$ のまわり一帯の平均的な良さ」を表しています。1点の性能ではなく、近所の平均を上げにいくのがESです。

この目的の勾配は、驚くことに報酬とノイズの積の期待値だけで書けます（§3、導出は付録C.1）。

言い換えると、「揺らした方向 × その結果の点数」を平均するだけで、勾配の代わりになる量が手に入ります。モデルの中身を微分する操作はどこにもありません。

実装では、$G$ 本の報酬を母集団内でz標準化（$\hat R_i=(R_i-\mu_R)/(s_R+\varepsilon)$）してから足します。論文の実装は正準形の $1/\sigma$ 係数を明示的には持たず、$\alpha$ が実効的な更新スケールとして働きます（§3）。

要するに「良かった分身の方向へ $\alpha$ の歩幅で寄せ、悪かった分身の方向からは離れる」だけです。z標準化のおかげで $\hat R_i$ には負の値も出るので、下位の分身は自動的に「逆方向へ」効きます。

そして、この論文で最も実務的に効いているのがメモリの話です。摂動は乱数の種（seed）だけを保存しておき、必要になったら同じ種から同じ $\bm{\epsilon}_i$ を再生成する。適用も復元もその場での加算・減算（in-place）で済ませる。したがって、学習時に必要なGPUメモリは推論時とまったく同じになります（§3）。活性値もオプティマイザ状態も参照モデルも要りません。数独実験のQwen3.5-4Bで、GRPOが58.88GBを要求するのに対しAgentic ESOptは8.41GB——推論と同額で、85.7%少ない（§4、表1）。