論文解説: EVISKILL — エージェントの手順書を「再生できる証拠」で書き換える
LLMエージェントの手順書（スキル）を経験から自動で改訂するとき、修正ごとに根拠となる実行区間を記録し、その区間だけを再実行して効き目を確かめる枠組み。3つのベンチマークと6つのモデルの組み合わせ18通りのうち14通りで最高精度でした。
要点
- EVISKILLは吉林大学のチームによる論文で、実行ログから手順書（スキル）を自動で書き換えるスキル進化の手法です。
- 既存手法は修正の根拠となった行動の証拠を失いやすく、改訂全体の合否で判断するため、局所的に正しい修正も却下された改訂と一緒に捨てられます。
- EVISKILLは実行の観察を再生可能な証拠カードに整理し、根拠へのリンクを持つ修正を作り、対象区間を再実行して検証します。
- 裏づけのある修正はエポックをまたいで暫定的に残り、手順書に入れるかどうかは最終的に全体検証で決まります。
EVISKILL: Grounding Skill Evolution in Replayable Evidence
一次資料 — この記事の根拠
論文の発表 2026-10-04→この解説の公開 2026-10-10同月
EVISKILL: Grounding Skill Evolution in Replayable EvidenceYan Zhou, Yili Wang, Yiwei Dai ほか · 2026-10-04 · v1arXiv:2610.05030論文ページ·PDF原文の要旨（Abstract）を読む
Continual skill evolution enables LLM agents to accumulate and refine reusable procedural knowledge from interaction experience without updating model parameters. Its effectiveness depends on determining not only what to change, but also why a change is justified and when it should become persistent guidance. However, existing experience-driven methods can lose the behavioral evidence and task contexts supporting edits. Moreover, a global validation outcome provides an incomplete judgment of its constituent changes: locally supported corrections may be discarded with a rejected revision, while evidence may require further experience to inform useful updates. To this end, we introduce EVISKILL, an evidence-driven framework that organizes execution observations into Replayable Evidence Cards and synthesizes edits with explicit links to their supporting contexts. Targeted replay verifies these edits through re-execution and provides feedback for correction. Across epochs, EVISKILL preserves evidence and provisionally retains supported edits for further refinement, while global validation governs their incorporation into the final skill. Experiments on three interactive benchmarks across six LLM backbones demonstrate the effectiveness of this approach.
エージェントの「手順書」は誰が直すのか
最近のLLMエージェントは、モデル本体とは別にスキルと呼ばれる手順書（Markdown）を読み込んで動きます。重みを触らずに振る舞いを変えられるため、実行ログをもとに手順書を自動で書き換える研究が増えています（§1）。今回扱うのは吉林大学のチームによる "EVISKILL: Grounding Skill Evolution in Replayable Evidence"（arXiv:2610.05030、2026年10月4日公開）です。
アブストラクトの要旨は次のとおりです。スキル進化では「何を変えるか」に加えて、なぜその変更が正当なのか、いつ恒久的な指針にしてよいのかを決める必要がある。ところが既存手法では修正の根拠になった行動の証拠が失われやすく、改訂全体の合否だけで判断するため、局所的には正しい修正が却下された改訂と一緒に捨てられてしまう。EVISKILLは実行の観察を再生可能な証拠カードに整理し、根拠へのリンクを持たせた修正を作り、対象区間を再実行して検証する。裏づけのある修正はエポックをまたいで暫定的に残し、手順書に入れるかどうかは最終的に全体検証で決める。
比喩: 現場マニュアルの改訂会議
工場の作業マニュアルを改訂する会議を想像してください。よくある進め方は、「先週こういう失敗があった」という提案をまとめて改訂版を作り、試験運用で成績が下がれば改訂版ごと廃棄するというものです。
このやり方には穴が2つあります。1つは、「先週の失敗」がどの作業の何手目だったかが残らないので、新しい文言で本当に防げるのかを誰も確かめられないこと。もう1つは、10個の修正のうち1個が足を引っ張っただけで、残り9個まで捨てられることです。
EVISKILLは、提案ごとに「どのログの何手目から何手目か」という付箋を貼り、その場面だけを新しい文言でやり直してみます。改訂版が却下されても、やり直しで効いた提案は保留棚に残し、次の会議でもう一度審議にかけます。
なぜ「経験から直す」だけでは足りないのか
著者らは予備実験を2つ行っています（§2）。1つめでは、既存手法Trace2Skillが軌跡から作った修正を1件ずつ当て、きっかけになったタスクを再実行しました。改善したものもあれば、変化がなかったものや悪化したものもありました（§2.1）。2つめでは、検証で却下された改訂から有望な修正だけを選び直すと、元のスキルより成績が上がりました（§2.2）。経験から作った修正が効くとは限らず、却下された改訂の中身がすべて無駄とも限らない、ということです。
論文は、失敗事例から作った修正がその事例に過剰適合しうるとも指摘しています（§1）。下の図で次数を上げると、訓練誤差は下がり続けるのにテスト誤差が離れていきます。手元の失敗に合わせ込んだ修正ほど、見ていないタスクで外れやすいのも同じ構図です。
論文はこの2つの穴を3段構えで塞ぎます。①証拠にひも付けて修正を作る、②根拠の場面を再生して修正を確かめる、③却下された改訂からも効いた修正と未解決の証拠を次のエポックへ持ち越す、の3つです（§1）。以下、順に見ていきます。
仕組み1: 証拠カードに「何手目から何手目か」を書く
スキルは2本あります（§3.1）。検証に合格した正本 と、訓練タスクを実際に走らせる作業用の です（ は改訂の周回＝エポック）。
つまり、作業用の手順書は、正本に暫定修正台帳 （再実行では効いたものの、まだ正本に入っていない修正の列）を順番に当てたものです。
コメント
コメントにはログインが必要です