merchantbench

定義

EC・商取引の業務タスクでモデルやエージェントを評価するために作られたベンチマークの名前。merchant は売り手を指す語なので、名前が示すとおり買い手側ではなく出品・販売する側の実務を対象にする。汎用の推論ベンチマークと違い業務ドメイン固有の正しさを測るため、具体的な課題構成はその論文の定義を確認する必要がある。

論文題名での読み方

固有名。商用EC評価

この語が出てくる解説

• 論文解説: MerchantBench — LLMエージェントは1年間ネットショップを経営できるか。人間の27.3%しか稼げない理由MerchantBench: Benchmarking LLM Agents for Long-Term Coherence in E-Commerce Operations