vgi-bench

論文が名付けた評価用ベンチマークの名前

1本の論文題名に登場

定義

論文が名付けた評価用ベンチマークの名前で、-bench は評価データと採点手順の集合を示す慣例的な接尾辞。新しい能力を主張する論文は、既存指標では測れないとして自前のベンチマークを同時に公開することが多い。作成者が評価も設計しているため、比較対象や難易度に偏りがないかは読む側が確かめる。

固有名。-benchは評価集