2026-09-03·★ 会員·論文·22分で読めます

論文解説: Training Agents to Evolve with Their Harness — ハーネスごと進化するエージェントを訓練する

プロンプトやツール定義を毎週書き換える本番環境で、小型モデルはなぜ壊れるのか。淘宝ライブのAIアバター配信を動かすチームが提案する Harness-Aware Training（HAT）を、比喩から数式・実測値・限界まで1から解説する。

#agents #harness #agent-skills #reinforcement-learning #distillation #llm-serving

対象textタスクagents

Training Agents to Evolve with Their Harness: TaoLive Digital Avatar Agent Technical Report

一次資料 — この記事の根拠

論文の発表 2026-08-16→この解説の公開 2026-09-031か月後

Training Agents to Evolve with Their Harness: TaoLive Digital Avatar Agent Technical ReportTaoLive AIGC LLM Team, Yuhan Sun, Wenhao Lin ほか · 2026-08-16 · v3arXiv:2608.15763論文ページ·PDF

原文の要旨（Abstract）を読む

AI-powered digital avatar streamers must answer product questions, engage viewers, and execute marketing strategies in real time, demanding low latency, frequent strategy updates, and accurate yet effective responses. Evolvable Harnesses, whose Skills, Hooks, prompts, and tools can be updated independently of model weights, enable rapid iteration but expose a trade-off: large models adapt zero-shot yet are too slow, whereas compact models meet latency targets but overfit to fixed Harness configurations. We propose Harness-Aware Training (HAT), which trains compact models to adapt to changing Harnesses. Its key component, Harness-State Augmentation (HSA), applies task-preserving transformations to Skill identifiers and content, tool schemas, prompt structures, and Hook functions. Training proceeds in three stages: HSA-SFT learns reasoning and tool use from strong-model trajectories across diverse environments; General On-Policy Distillation restores generalization lost during SFT; and HSA-RL improves robustness to changing Harnesses through reinforcement learning in augmented environments. Across four evaluation sets, HAT achieves 94.8 on Live-Stream QA (base: 80.3; strongest general LLM: 93.0) and 94.6 on Harness-Variant QA (base: 75.4). Unlike Fixed-Harness SFT, which lowers IFEval by 7.7 points from the base model, HAT avoids this regression and reaches 83.5. On one NVIDIA H20 GPU, the optimized system delivers P50 and P95 latencies of 3.4 s and 8.1 s. Deployed in Taobao Live's digital-avatar service, it also yields positive online A/B test results for GMV and item-page views.

マニュアルの見出しを丸暗記した新人

新人アルバイトの覚え方には二通りあります。「返品の相談が来たら『返品対応マニュアル』の3章」と名前と場所で覚えるやり方と、書いてある中身を読んで何をすべきかで判断するやり方です。前者のほうが早く戦力になります。ところが店長がマニュアルを改訂し、章立てと見出し語を入れ替えた瞬間、前者の新人だけが動けなくなる。仕事の中身は同じなのに、手がかりにしていた「名前」が消えたからです。

LLMエージェントでも同じことが起きる、というのが今回の論文です。原題は "Training Agents to Evolve with Their Harness: TaoLive Digital Avatar Agent Technical Report"（arXiv:2608.15763、TaoLive AIGC LLM Team）。淘宝（タオバオ）ライブのAIアバター配信者を実際に動かしているチームの技術レポートです。

要旨はこうです。ライブコマースのAIアバターは、商品の質問に答え、視聴者と雑談し、販促施策を実時間で実行しなければならず、低遅延・頻繁な戦略更新・正確で有効な応答を同時に要求されます。そこで Skills・Hooks・プロンプト・ツールをモデル重みと独立に更新できる進化可能なハーネスを導入すると素早い改修ができる一方、トレードオフが露呈します。大きなモデルはハーネスが変わってもゼロショットで適応できるが遅すぎ、小さなモデルは遅延要件を満たすものの特定のハーネス構成に過適合する。論文はこれに対し Harness-Aware Training（HAT） を提案します。中核は Harness-State Augmentation（HSA）で、Skill識別子と内容、ツールスキーマ、プロンプト構造、Hook関数に「タスクを変えない変換」を加えます。訓練は HSA-SFT / General On-Policy Distillation / HSA-RL の三段階。四つの評価セットで Live-Stream QA 94.8（ベース 80.3、最強の汎用LLM 93.0）、Harness-Variant QA 94.6（ベース 75.4）に達し、固定ハーネスSFTが IFEval をベースから 7.7 ポイント落とすのに対し HAT は劣化させず 83.5 を得ます。NVIDIA H20 1枚で P50 3.4秒 / P95 8.1秒、淘宝ライブ本番のA/BテストでもGMVと商品ページビューにプラスの結果が出た、というものです。

そもそも何をしているシステムか

対象を具体化しておきます（§2.1）。アバターの応答テキストは TTS で音声化され、アバター生成モデルと同期して配信ルーム全体に流れます。つまり出力は公開の場で読み上げられるので、誤りや無責任な約束はそのまま放送事故になります。入力は視聴者のメッセージに加え、配信者の発話履歴、商品メタデータ、アクションリンクID、ルームのリアルタイム状態。社内トラフィックの意図の内訳は商品Q&A 約46%、雑談約19%、追加質問による明確化約16%、アフターサポート約7% などです（Table 1）。1件のリクエストは、コンテキスト読み込み→プロンプト組み立て→エージェントループ→Hookチェック→内部思考を除去して送出、の5段階を通ります（§2.4）。

ハーネスとは何か

ここでいうハーネス（Harness）は、モデルの外側にあって振る舞いを決める設定一式です。運用時（§2.2）は四つの部品からなります。

Skills: 返答戦略・ツールの選び方・口調を書いた、動的に読み込まれる行動モジュール。YAMLメタデータ付きのMarkdownでバージョン管理される
System Prompt Pipeline: 商品仕様・検索したFAQ・ルーム状態・全体の禁止事項・有効なSkillの説明から、その都度システムプロンプトを組み立てる
Hooks: 入力・引数・出力形式を検証し、必要なら修正やリトライを起こすライフサイクル上のチェック
Tool Registry: 商品・在庫・コマース系サービスにつなぐツール定義。販促系は MCP 経由で動的に発見される

論文はこれを一つの状態にまとめ、方策を $\pi_\theta(a \mid x, h)$ と書きます。 $x$ は視聴者の発言と業務コンテキスト、 $h$ が推論時の振る舞いを支配するハーネス状態です（§3.1）。

h=(\mathcal{S},\;\mathcal{T},\;\mathcal{P},\;\mathcal{K})

(1)

要するに「ハーネス状態 $h$ は、有効なSkillの集合 $\mathcal{S}$ 、ツールレジストリ $\mathcal{T}$ 、組み立て済みシステムプロンプト $\mathcal{P}$ 、Hookの集合 $\mathcal{K}$ の四つ組」。式(1)が言うのはそれだけですが、大事なのはこの四つがモデル重みと別々にバージョン管理されるという設計判断のほうです。新しいSkillやツールは再学習ではなく設定変更としてデプロイできます。Skillの実体についてはAgent Skills はなぜ効き、どこで効かなくなるのかも参考になります。

重みを触らずに品質を上げる、その限界

この論文が誠実なのは、まず「モデルを一切訓練せずハーネスだけ直す」ループ（Harness Evolution）の実測を出している点です。AIが失敗を分類して編集案を出し、開発者が承認して評価する人間参加型のループを、482件の人手ラベル付き開発セットで測っています（§2.3、付録B.2）。

段階	Accuracy	Effectiveness
ReAct（モジュール型ハーネスなし）	80.33	84.58
Harness base	82.40	87.16
Evolution 1（拒否ツールと停止Hookを追加）	92.13	84.16
Evolution 2（拒否前のホワイトリスト7件）	92.55	92.75
Evolution 3（帰属・事実性など長尾ルール追加）	91.51	90.89
Evolution 4（制約の一部緩和）	91.51	89.96

Evolution 1 は正確性を一気に上げた代わりに拒否が過剰発火して有効性を落とし、Evolution 2 で両立して採用点になりました。そして Evolution 3〜4、つまり「ルールをもっと足す」方向は両方の指標を悪化させました。長尾ルールが Skill・Hook・全体指示をまたいで干渉するからです。論文はこの観察を、訓練時に構成の多様性を持たせる動機として使います。

ジレンマ: 速いモデルは硬く、柔らかいモデルは遅い

ハーネスが毎週動くなら、方策モデルは変わり続ける実行環境の上で動くことになります。強力なゼロショットモデルは変更を読んで適応できますが遅い。DeepSeek-V4-flash の端から端までの遅延は中央値で11秒超（§5.5では P50 11.210秒 / P95 21.191秒、15秒以内の達成率71%）で、ライブの会話としては成立しません。

そこで小型の Qwen3.6-35B-A3B を使うことになりますが、ゼロショット精度が業務水準に届かずドメイン学習が要る。ところが単一構成で学習させると、冒頭の新人が生まれます。論文の言葉では表層形への過適合（surface-form overfitting）——モデルは実際の指示を解釈せず、特定のSkill名・ツール名・プロンプトテンプレートを記憶してしまう（§1）。

「暗記」と「理解」の見分け方

過適合が抽象的に感じるなら、次の図で手を動かしてみてください。多項式の次数を上げると訓練誤差は下がり続けるのに、テスト誤差はある点から跳ね上がります。

FIG 1次数を上げると訓練誤差だけが下がり続ける。固定ハーネスSFTでも同じことが起きる: 訓練時のSkill名では点が取れ、名前が変わった途端に落ちる

この論文では横軸を「モデル容量」ではなく「訓練時ハーネスへの適合度」と読み替えてください。固定ハーネスSFTは訓練分布で 9.2 ポイント伸びる一方、Prompt Robustness を 4.6、IFEval のプロンプト単位精度を 7.7 落とします（§5.3）。伸びと劣化が同じ原因から出ています。