truthfulqa

TruthfulQA。嘘を答えないか測る質問集

1本の論文題名に登場

定義

人間が信じがちな誤りをそのまま答えてしまわないかを測る質問集ベンチマーク。迷信や俗説など、ウェブ上に誤答が多く存在する話題を狙って作られており、モデルを大きくすると正答率がむしろ下がる場合があることを示した点で注目された。知識量ではなく、学習データ中の誤りに引きずられない性質を測る。

誤情報耐性のベンチ