2026-08-13·無料·論文·12分で読めます

論文解説: MerchantBench — LLMエージェントは1年間ネットショップを経営できるか。人間の27.3%しか稼げない理由

365日のEC店舗経営シミュレーションでLLMエージェントの「長期一貫性」を測るMerchantBenchを論文本文から解説。最良構成でも人間の平均純資産の27.3%にとどまる理由を、活動の減衰・早すぎる撤退・証拠に合わない方針固定化という失敗パターンから読み解く。

要点

MerchantBenchは、実在のEC商品98,843件に基づく仮想モールで、LLMエージェントに365日間の店舗運営を任せるベンチマークである。
長期一貫性とは、長い時間軸で目的に沿った行動を保ちつつ、蓄積する証拠に合わせて判断を修正し続ける能力である。
最終スコアは終了時点の現金・保証金の残り・輸送中の資金・未入金の売掛金の合計で、途中報酬はゼロである。
最も稼いだLLM構成でも、人間参加者の平均最終純資産の27.3%にとどまった。
一貫性の喪失は運用の一貫性(店に来なくなる)と戦略の一貫性(目的からのずれ)の2種類に分けられる。

#agents #benchmark #long-horizon #e-commerce #llm

対象textタスクagents

MerchantBench: Benchmarking LLM Agents for Long-Term Coherence in E-Commerce Operations

一次資料 — この記事の根拠

論文の発表 2026-07-31→この解説の公開 2026-08-13同月

MerchantBench: Benchmarking LLM Agents for Long-Term Coherence in E-Commerce OperationsQiming Shi, Yulong Tao, Linbo Jin ほか · 2026-07-31 · v2arXiv:2607.28956論文ページ·PDF

原文の要旨（Abstract）を読む

Large language model agents are increasingly evaluated as autonomous tool users, yet most benchmarks focus on bounded tasks with immediate success criteria. Real-world deployments often require Long-Term Coherence, the capacity to preserve purposeful behavior across extended horizons while adapting decisions to accumulated evidence. Evaluating this capacity requires a persistent environment in which actions constrain future choices, feedback arrives at heterogeneous delays, and incoherent behavior produces measurable cumulative effects. Seller-side e-commerce provides a suitable setting for this evaluation through recurrent and interdependent decisions over Product Sourcing, Listing and Pricing Control, Cash-Flow Management, and Mixed-Latency Feedback Adaptation. We introduce MerchantBench, a 365-day order-level simulation grounded in 98,843 real e-commerce product records and equipped with 26 tools for agent interaction. MerchantBench couples promptly observable Upstream Supplier Events with delayed Downstream Order Outcomes, requiring agents to follow individual order lifecycles and revisit earlier decisions. We evaluate eight LLMs under two agent frameworks in 48 runs, each spanning 365 simulated days. Our results reveal a substantial gap between even the latest LLMs and human participants, with the best LLM configuration attaining only 27.3\% of the mean final net assets achieved by human participants.

AIに1年間、ネットショップを任せてみたら

いま主流のエージェント評価は、数分から数時間で終わり、成否がその場で判定できるタスクが中心です。しかし実世界の仕事の多くは違います。店の経営に「クリア」はなく、今日の判断が来月の選択肢を縛り、失敗の請求書は忘れた頃に届きます。

MerchantBench は、この「終わりのない仕事」でLLMエージェントを測るベンチマークです。実在のEC商品データ98,843件に基づく仮想モールで、エージェントは仕入れ・出品・価格・資金繰りを任され、シミュレーション時間で365日間、店を経営し続けます。8つのLLM×2つのフレームワークで計48回の通年運用を走らせた結果は明快でした——最も稼いだLLM構成でも、人間参加者の平均最終純資産の27.3%にとどまったのです (§Abstract)。

「長期一貫性」とは何か

論文は Long-Term Coherence を「長い時間軸で目的に沿った行動を保ちつつ、蓄積する証拠に合わせて判断を修正し続ける能力」と定義します (§Abstract)。皿洗いは洗い終われば完了ですが、店の経営は「続けること」自体が仕事で、やめた瞬間から資産が溶けはじめます。

これを測る環境には3つの性質が要ります (§Abstract)。①行動が将来を制約する（今日の仕入れは現金を減らす）、②フィードバックがバラバラの遅延で届く（売れたことはすぐ分かるが、返品や悪評は何日も後）、③一貫性を失うと累積被害が数字に出る（罰金と評判低下が積み上がる）。先行のVending-Bench（自販機経営）やRetailBench（96品目の固定カタログ）に対し、MerchantBenchは注文1件ごとのライフサイクルから生じる遅延フィードバックと、実データ由来で季節変動する巨大カタログを上乗せしました。仕入れは一度きりの選択ではなく、通年のポートフォリオ運用になります (§Introduction)。

環境の中身: 実データ98,843商品・365日・26ツール

環境は中国最大級の卸モール「1688」の実データに接地されています。10カテゴリ・36,576サプライヤーの98,843商品それぞれに、2025年6月〜2026年5月の365日分の実需要履歴が付き、「618」「11.11」のセールの山や春節の谷もそのまま残っています (§Real-World Data Grounding)。

商売は在庫を持たないドロップシッピング型。注文が入るたび自動仕入れで現金が減り、配送・受取を経て、後日入金されます (§Order Lifecycle)。事故は二系統あり、上流ではサプライヤーの価格変動・商品取下げ・出荷遅延が確率的に発生し (§Upstream Supplier Simulation)、下流では各注文にキャンセル・在庫切れ・出荷遅れ・返金2種・悪評の6種の異常が潜みます。多くは罰金（返品返金8元、悪評・在庫切れ5元、出荷遅れ3元）と店舗評価の低下を招き、評価が下がると全商品の需要が減ります (§Order Level Simulation, Appendix J)。

エージェントは初期資金2,000元・保証金1,000元・出品枠50でスタートし、12時間ごとの決定ウィンドウで26種のツール（市場レポート、カタログ検索、出品・値付け、資金・注文照会、メモリ読み書きなど）を呼び出します。保証金が尽きれば閉店です (§Agent Interface, §Task Formulation)。

ここで肝になるのが「フィードバックにどれだけ強く反応するか」です。悪い知らせ1件に過剰反応して店中の価格をいじれば方針が発散し、反応しなければ損失が累積する——勾配降下法の学習率とまったく同じ構図です。

FIG 1学習率（＝1回のフィードバックでどれだけ強く方針を動かすか）を上げすぎると発散する。悪評1件で40商品を一斉値下げしたエージェントと、返金が続いても出品を見直さなかったエージェントは、この谷の両側で落ちている

目的関数は「1年後の純資産」ただ一つ

環境は部分観測マルコフ決定過程（POMDP）で、時計は1時間刻みに8,760ステップ進みます。途中の報酬はゼロ、評価は最後の資産だけです (§Task Formulation)。

R(s_T) = B_T + D_T + I_T + Q_T

(1)

最終スコア＝終了時点の現金（ $B_T$ ）＋保証金の残り（ $D_T$ ）＋輸送中の資金（ $I_T$ ）＋未入金の売掛金（ $Q_T$ ）。1年間の全判断がこの一つの数字に畳み込まれます。

つまりこの式は、1年後に店を閉じた瞬間、財布の中身・預けたままの保証金・まだ商品に化けて動いている分・これから振り込まれる分を全部かき集めたら、いくら残っているかを訊いているだけです。途中で何回黒字になったかも、どれだけ売り上げたかも点数には入りません。

需要側も式で駆動されます。商品 $i$ への1時間あたりの注文発生率は (§Order Level Simulation):

\lambda_{m,i,t}=D_{i,d(t)}\, w_{c(i),h(t)}\, r_{m,t}\, \ell_{m,i,t}\, \left(p_{m,i,t}/p_i^{\mathrm{ref}}\right)^{-\epsilon_i}

(2)

読み下すと「実データの当日需要（ $D$ ）×時間帯の重み（ $w$ ）×店の評価による倍率（ $r$ ）×出品経過日数による露出（ $\ell$ ）×価格を上げるほど需要が減る項（ $\epsilon_i$ は価格弾力性）」の掛け算です。値下げすれば売れるが利幅は削れ、悪評で評価が落ちれば店全体が沈む力学です。

つまり「その商品が今日どれだけ欲しがられているか」を出発点に、いま買われやすい時間帯か・この店は信用されているか・出したばかりで人目につくか・相場より高くないかの4つの倍率を順に掛けて、1時間に何件注文が届くかを決めている、ということです。全部が掛け算なので、どれか1つが極端に小さくなれば、残りがどれだけ良くても注文は来ません。

実験: 8モデル×2フレームワーク×通年48run

評価対象はGPT-5.6 Sol、Claude Opus 4.8、Qwen3.7-Max/Plus、GLM-5.2、DeepSeek-V4-Pro/Flash、Kimi K2.6。各モデルを、26ツールだけの最小構成 ReAct と、コード実行・計画・メモリ・スキル管理を標準装備する Hermes に載せ、各3回ずつ365日運用します。比較対象は、日次チェックで機械的に商品を入れ替えるルールベースと、EC経営経験のない人間3名 (§Experimental Setup)。1年分の履歴はコンテキストに収まらないため、ReActでは16万トークン到達時に「重要事項をメモリへ書き出せ」と促してから直近3万トークンへ切り詰めます (Appendix J)。

結果: 最良構成でも人間の27.3%

最終純資産の平均は人間217.6千元に対し、全16構成の最高はHermes上のQwen3.7-Maxの59.5千元——冒頭の27.3%です。ReAct側の首位はGPT-5.6 Sol（40.9千元）で、2フレームワーク平均でもGPT-5.6 Solがトップ (§Main Results, Table 1)。人間はGMV 608千元・注文9,442件と規模でも桁違いです。

Hermesは8モデル平均で純資産+53.3%、GMV+71.5%をReActに上乗せしますが、改善は8モデル中7（+11.5%〜+187.8%）で、Kimi K2.6だけは-4.1%と逆行——足場の恩恵はモデル依存です (§Framework Analysis)。安定性も割れます。最高成績のQwen3.7-Max（Hermes）は3run間の変動係数55.1%と荒く、GPT-5.6 Sol（ReAct）は3.3%と安定 (§Performance Variability)。「一番稼ぐ構成」と「毎回同じように稼げる構成」は別物です。

失敗の解剖①: だんだん手が止まる

人間との差の背景として、論文は2種類の一貫性喪失をトレースから特定します (§Long-Term Coherence Analysis)。

ひとつめは運用の一貫性（Operational Coherence）の喪失——「店に来なくなる」ことです。指標はSWR（Sustained Window Rate）、任意の連続30日間で環境ツールを1回以上呼んだ決定ウィンドウ割合の最小値。人間は100%、1年間一度も店を放置しませんでした。LLMはReActで10.6〜99.4%、Hermesで17.8〜66.1%とばらつき、Qwen3.7-Maxの有効ウィンドウ率は四半期で68%→23%（ReAct）へ減衰します (§Operational Coherence, Table 1)。

失敗の解剖②: 目的からずれていく

ふたつめは戦略の一貫性（Strategic Coherence）の喪失で、論文は「目標整合性」と「証拠に沿った適応」に分けます (§Strategic Coherence)。

目標整合性の崩れには段階があります。まず制御ループの縮小——自発的な仕入れ・値付け・診断が消え、サプライヤー異常への受け身対応だけが残る状態で、ReAct上のQwen3.7-Max（SWR 11.1%）ではサプライチェーン確認がツール呼び出しの14%→34%に膨張しました。極端な形が早すぎる撤退。あるKimi K2.6のrunは104日目に「この店は立て直せない」と判断し、打てる手が残っていたのに、残り523ウィンドウ中355回で環境に一切触れませんでした。

「証拠に沿った適応」の差も鮮明です。人間は資金が貯まるにつれ仕入れ価格帯を広げ（最初の3ヶ月の平均43.4〜53.1元→最後の3ヶ月58.7〜90.8元）、高額品の実験が不発なら回転の速い安価品に戻ります。GLM-5.2やKimi K2.6などは価格帯がほぼ平坦なまま。さらにメモリ記録からは局所的な誤りが恒久方針に固まる過程が見えます。あるClaude Opus 4.8のrunは「弱い出品を削れば残りにトラフィックが集中する」という誤った推論を信じ、出品を54日目の47件から322日目の3件まで削り続けました。あるQwen3.7-Maxのrunは282日目に「終了日は285日目」と記憶違いし、83日残っているのに空き枠の補充をやめました (§Strategic Coherence)。

少ない観測に過剰な意味を見出して方針を固める——機械学習でいう過学習と同じ構図です。

FIG 2次数を上げるほど手元のデータへの当てはまりだけが良くなり、真の構造から乖離する。「出品を削ったら残りが売れたように見えた」という数点の観測から恒久方針を作った失敗はこの構図

Hermesは何を上乗せしたか

GPT-5.6 Solはコード実行を最も活用し、初回ウィンドウで50候補商品に $p=\max(1.70c,\ c+6)$ （ $c$ は仕入れ値）の値付け式を適用、検証スクリプトで利幅を確かめてから一括出品。Claude Opus 4.8はコードをほぼ使わず、3runで261回のメモリ呼び出しにより「日付つき運用仮説を検証済み/棄却でラベル管理」します。スキル蒸留では24run中17runで店舗運用スキルが自動生成され、18個中17個が再利用されました。経験を手続き知識へ変換する回路は回るが質は玉石混交、というのが論文の評価です (Appendix I)。

論文の限界と読み方の注意

第一に、これはシミュレーションです。需要は上の式で駆動され、競合店・広告・検索アルゴリズム変動といった実市場の力学は含まれません。第二に、各構成3run・人間3名の小サンプルで、変動係数55%の構成がある以上、順位の細部は揺らぎえます。第三に、データは1688単一プラットフォーム由来で、他市場への一般化は未検証。なお人間は365日分を5暦日でダッシュボード操作しており (Appendix J)、LLMと完全に同条件とは言い切れない点は、論文の主張ではなく筆者の注記として添えます。

現場ではこう使う

最も刺さるのは、業務を継続的に回す自律エージェント（在庫・広告運用・監視系bot等）を作る開発者と、基盤を選定するエンジニアです。

「持続率」を監視する。 精度だけでなく、SWRに相当する「直近30日窓での有効稼働率の最小値」をダッシュボードに置く。ツール呼び出し総数は当てにならない。
コンテキスト圧縮は設計項目。 「16万トークンで要約→3万トークンへ切り詰め、要約器＝本体モデル」は実務の出発点。永続メモリには日付つき仮説を検証済み/棄却でラベルして書く。
落とし穴は3つ。 ①「もう無理」と自己判断して停止する分岐を放置しない——撤退判断には人間承認を挟む。②締切や期限はメモリでなく環境から毎回取得する（285日目事件の教訓）。③単一の悪いシグナルへの一括反応（悪評1件で40商品リプライス）にはレート制限をかける。
設計レビューでの問い。 「長期運用でエージェントが崩れる原因は」——活動の減衰、目標からのドリフト（ループ縮小と早期撤退）、証拠に合わない方針の固定化、の3点がこの論文の答えです。

LLMエージェントの基礎 — 観測→思考→行動のループとフレームワーク（足場）の正体。ReActとHermesの差が腑に落ちます
論文解説: SWE-Bench ProMax — こちらは「長く重い1タスク」でエージェントを測る設計。365日運用との測り方の違いを比べると面白い
過学習と評価 — 「少ない証拠から方針を固めてしまう」失敗を、機械学習の基本から