benchmarks

ベンチマーク。性能を測る標準の問題集

1本の論文題名に登場

定義

手法どうしを同じ条件で比べるために固定されたデータと評価手順の組のこと。分野の進み方を実質的に決めるため、ベンチマークが偏っていたり簡単すぎたりすると、数字が上がっても実力は上がらないという事態が起きる。データセットが素材なのに対し、ベンチマークは評価規約まで含んだ枠組みを指す。

評価に使うテスト集