benchmarking

定義

共通の課題セットと採点方法を決め、複数の手法を同じ条件で比べる作業のこと。タイトルにこの語があれば、新手法の提案ではなく既存手法の測定・比較が主眼だと分かる。評価設計そのものが研究対象で、汚染（学習データへの問題文の混入）や指標の妥当性が主要な論点になる。

論文題名での読み方

比較評価を主題にした題

この語が出てくる解説

• 論文解説: 言い回しで点が変わるAI査読者をどう測り、どう直すか — RobustReview と SciCoreA Missing Piece for Trustworthy AI Reviewers: From Benchmarking Rhetorical Robustness to SciCore Review
• 論文解説: LoopArena — コーディングエージェントを「操縦する側」を測るLoopArena: Benchmarking Models as Runtime Controllers for Loop Engineering
• 論文解説 SemComp-Bench — 動画生成に「で、結局できたのか」を突きつけるSemComp-Bench: Benchmarking Semantic Task Completion in Video Generation