#harness

11 記事

01 ·論文解説·★ 会員·論文·9分で読めます 論文解説: From Evidence to Action: How Tool-Using Agents Fail — 失敗の診断指標と介入実験を本文から読む From Evidence to Action: How Tool-Using Agents Fail 道具を使うエージェントの失敗を「調べる・動く・つなぐ」の鎖に分けて測ったSafeActBench論文を、本文と付録まで読んで解説。診断指標の定義、根拠を抜いたときの挙動、証拠を構造化する追加実験の結果まで追う。 02 ·エージェント·無料·論文·9分で読めます 論文解説: SafeActBench — 道具を使うエージェントは「実行」より手前で失敗する From Evidence to Action: How Tool-Using Agents Fail 「結果が合っていた」は「根拠があって動いた」ことを意味しない。656件のSafeActBenchと10構成の実測で、失敗の多くが実行より手前——調べ足りないまま止まる／根拠が揃う前に動く——で起きていることを示した論文を1から解説する。 03 ·エージェント·★ 会員·論文·17分で読めます 論文解説: WHALE — モデルの重みとハーネスを交互に鍛える WHALE: A Simple Recipe for Joint Harness-Weight Optimization エージェントの性能は、モデルの重みと、それを取り囲むハーネス（実行コード）の両方で決まる。片方だけを磨くともう片方が足枷になる——この「動くボトルネック」を2つのフェーズの交互実行だけで解いた論文を、比喩から数式・実測値・限界まで1から解説する。 04 ·エージェント·★ 会員·論文·17分で読めます 論文解説: HarnessDev — LLMは自分のエージェント・ハーネスを作り、育てられるか HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? エージェントの成績を左右する「モデルの外側」＝ハーネスを、LLM自身が一から作り、実行フィードバックで育てられるかを測るベンチマーク HarnessDev を、前提知識ゼロから解説する。作れはするが領域差が激しく、進化の利得は隠されたタスクへほとんど転移しない、という結果を数字で追う。 05 ·エージェント·★ 会員·論文·22分で読めます 論文解説: Training Agents to Evolve with Their Harness — ハーネスごと進化するエージェントを訓練する Training Agents to Evolve with Their Harness: TaoLive Digital Avatar Agent Technical Report プロンプトやツール定義を毎週書き換える本番環境で、小型モデルはなぜ壊れるのか。淘宝ライブのAIアバター配信を動かすチームが提案する Harness-Aware Training（HAT）を、比喩から数式・実測値・限界まで1から解説する。 06 ·エージェント·★ 会員·論文·21分で読めます 論文解説: StarHarness — モデルを凍結したまま「ハーネス」を進化させる StarHarness: Evolving Harnesses with Stratified Search for Enterprise Environments モデルの重みを一切変えず、エージェントを取り巻く「ハーネス」（プロンプト・ツール定義・スキル・MCP・サブエージェント・実行ループ）だけを探索で書き換える。企業向け3ベンチマークで20〜35ポイント改善し、進化に使わなかったタスクにも、別のモデルにも効いた。 07 ·エージェント·★ 会員·論文·22分で読めます 論文解説: PILOT in the Loop — 走っている最中に直す「ライブ自己改善」 PILOT in the Loop: Live Self-Improvement for Long-Horizon Agents エージェントの自己改善は、実行が終わってからでは遅い。監督役と作業役を分け、走行中に軌道修正しながらスキルを貯める PILOT を、比喩から仕組み・実測値・限界まで1から解説する。 08 ·エージェント·★ 会員·論文·16分で読めます 論文解説: AutoSaddler — エージェントの失敗ログから「壊れないハーネス」を自動で育てる AutoSaddler: Automatic Harness Optimization with Durable Updates from Agent Execution Traces LLMエージェントの外側を固める「ハーネス」（プロンプト・ツール・ミドルウェア）を、失敗トレースの診断とパッチ生成の反復で自動最適化する枠組みAutoSaddlerを、前提知識ゼロから解説する。GAIA2/SWE-Bench Pro/Terminal-Bench 2.0で基準ハーネスをそれぞれ9.0/9.6/10.0ポイント上回った。 09 ·エージェント·★ 会員·論文·23分で読めます 論文解説: JIT-Agent — エージェントの「ハーネス」をその場で書き起こすモデル JIT-Agent: Scaling Harness Intelligence via Just-in-Time Harness Evolution エージェントの性能はモデルだけで決まらない。記憶・計画・行動・道具の4モジュールからなる「ハーネス」をタスクごとに生成する専用モデル JIT-Agent を、前提知識なしで解説する。 10 ·エージェント·無料·論文·15分で読めます エージェント評価 — ベンチとハーネスの作法 SWE-bench: Can Language Models Resolve Real-World GitHub Issues? エージェントのスコアは「モデルの点」ではなく「モデル＋ハーネス＋環境＋採点規則の点」です。SWE-benchの1件がどんな部品でできているか、手数が伸びると一手の差がなぜ桁で効くか、リポジトリやネットワークから答えが漏れる四つの経路、そして部分点を安全に設計する条件までを1から扱います。 11 ·エージェント·無料·論文·10分で読めます 論文解説: LongHorizon-Harness — 長時間タスクは「実行」ではなく「状態管理」で解く LongHorizon-Harness: Advancing Long-Horizon Agents for Real-World Tasks モデルを一切変えずに、タスク状態を実行の外に置き「管理→実行→監査」のループで回すだけで、長時間タスクの成績が大きく伸びる——Alibaba DreamXチームのハーネス設計論文を、比喩と擬似コードで1から解説する。