benchmark

定義

共通の課題・データ・採点方法をひとまとめにし、手法どうしを同じ土俵で比べられるようにした標準テスト。数値が順位表として使われるため研究の方向を強く誘導し、試験問題が事前学習データに混入する汚染や、一つの課題集への作り込みで数字が実力を上回る問題が繰り返し指摘される。単なるデータセットと違い、採点手順まで含めて固定した枠組みを指す。

論文題名での読み方

比較用の標準課題集

この語が出てくる解説

• 論文解説: Last Translation Benchmark — 「モデルが壊れる例」と検証ルールで翻訳を測り直すLast Translation Benchmark
• ベンチマーク汚染 — 「高スコア」を疑う技術Rethinking Benchmark and Contamination for Language Models with Rephrased Samples