contamination

定義

評価用のデータが学習データに混入すること。web から大規模に収集して事前学習すると、公開ベンチマークの問題文や解答がそのまま取り込まれ、高得点が「解けた」のか「見たことがあった」のか区別できなくなる。ベンチマークが次々に新設されたり、テストの一部を非公開に保つ運用が採られるのは、主にこの問題への対処。

論文題名での読み方

ベンチの信頼性問題

この語が出てくる解説

• ベンチマーク汚染 — 「高スコア」を疑う技術Rethinking Benchmark and Contamination for Language Models with Rephrased Samples