論文解説: EnvHarness — 練習場を作り直さず、外から「治具」をかぶせてエージェントを鍛える

LLMエージェントの学習環境は手作りで静的、エージェントの弱点にも上達にも追随しない。EnvHarnessは環境の中身を書き換えずに外から挙動を作り替えるプラグイン層で、元の検証器はそのまま保つ。その設計と自動化役EnvRiggerを、前提知識ゼロから解く。

EnvHarness: Awakening Static Worlds for Agent Learning

打ち込み台は反撃してこない

LLMエージェントは「環境」の中で手を動かして学びます。ブラウザを操作する、シェルを叩く、APIを呼ぶ。そのたびに環境が反応を返し、最後に「できた／できなかった」を判定する。この判定役を検証器（verifier）と呼びます。エージェント学習の話に出てくる「環境」とは、要するに手が届く世界と、その採点係のセットです。

問題は、その環境がたいてい人間の手作りで、いちど作ったら固まっていることです。論文はこれを「静的（static）」と呼び、二つの症状を挙げます。ひとつはエージェントの弱点に対して盲目であること。もうひとつはエージェントが上達すると、置いていかれることです（要旨）。

剣道の打ち込み台を思い浮かべてください。台は初心者にはちょうどよく、同じ場所で同じように打たせてくれます。しかし台は、あなたが右からの返しだけ苦手だと知らないし、あなたが上手くなっても難しくはなりません。ある時点から、台に向かう時間は「上達」ではなく「確認」に変わります。

環境をゼロから作り直す路線が、割に合わない理由

「なら環境を自動生成すればいい」という発想はすでにあります。論文は、既存の環境生成手法に三つの難点があると指摘します（要旨）。

1. ドメイン専用のパイプラインが要る。ウェブ操作用に組んだ生成器は、コード修正のタスクにはそのまま使えません。
2. 検証器が高価か、当てにならない。生成した課題には正解判定を付けないと学習信号になりませんが、それをLLMに任せると信頼できず、人が書けば高くつきます。
3. 結局また静的。生成が終わった瞬間から、その環境はまた固まった世界です。症状の再発です。

つまり作り直す路線は、工学的な負担が重いわりに、静的であるという元の病気が治っていない。ここが論文の出発点です。

発想の転換: 世界を作り直さず、外から治具をかませる

EnvHarness（Environment Harness）はこの前提を外します。環境を作り直すのではなく、既存の静的な環境を包む、プログラム可能なプラグイン部品の層を置く。中の論理には一切触れずに、外側から振る舞いだけを作り替えます（要旨）。

ソフトウェアでいうテストハーネス、工作でいう治具（じぐ）が近い比喩です。旋盤そのものを改造しなくても、治具をかませれば別の角度で削れる。EnvHarnessも、環境という機械の外側に挟む器具にあたります。

この構えから二つの性質が出ます。ひとつは汎用性で、標準的なインターフェース越しに動くため、四つのドメインにまたがって同じ仕組みが使えます（要旨）。標準インターフェースとは、環境の中身が何であれ外からは同じ形の窓口——状態を返す、行動を受け取る、終わりを告げる——で触れるという約束です。窓口の形が合っていれば、中身がブラウザでもシェルでも同じ部品が挿さります。

もうひとつが効いていて、作り替えたどの環境も、元の検証器をそのまま保持するという点です（要旨）。採点係に手を触れないので、「難しくしようとしたら正解判定まで壊れていた」が原理的に起きません。

式にすると: 環境に関数を合成している

以下は論文の記法ではなく、要旨の記述を筆者が形式化したものです。元の環境を $\mathcal{E}$、ハーネスの部品を $h_1,\dots,h_k$ と書くと、作り替えた環境は合成関数として書けます。

前半は「元の環境に部品を順にかぶせたものが新しい環境 $\mathcal{E}'$」、後半は「その検証器 $V_{\mathcal{E}'}$ は元の $V_{\mathcal{E}}$ と同一」という意味です。芯は一行目のカッコの位置にあります。$\mathcal{E}$ は引数の位置にいるだけで、書き換えられていない。普通の環境改良は $\mathcal{E}$ 自身を編集するので差分が追いにくく、うっかり採点基準まで動きますが、合成なら部品を外せば元が戻ります。