benchmarking

定義

共通の課題セットと採点方法を決め、複数の手法を同じ条件で比べる作業のこと。タイトルにこの語があれば、新手法の提案ではなく既存手法の測定・比較が主眼だと分かる。評価設計そのものが研究対象で、汚染（学習データへの問題文の混入）や指標の妥当性が主要な論点になる。

論文題名での読み方

比較評価を主題にした題

この語が出てくる解説

• 論文解説: LoopArena — コーディングエージェントを「操縦する側」を測るLoopArena: Benchmarking Models as Runtime Controllers for Loop Engineering
• 論文解説 SemComp-Bench — 動画生成に「で、結局できたのか」を突きつけるSemComp-Bench: Benchmarking Semantic Task Completion in Video Generation
• 論文解説: MerchantBench — LLMエージェントは1年間ネットショップを経営できるか。人間の27.3%しか稼げない理由MerchantBench: Benchmarking LLM Agents for Long-Term Coherence in E-Commerce Operations