problems

定義

解くべき課題の集合を指す語。評価では、数学の文章題やプログラミング課題のように正誤が定義された問題集を意味し、正答率がそのまま能力の代理指標として使われる。「手法の問題点」を指す口語の用法とは区別され、採点可能な単位を指すのが普通。

論文題名での読み方

問題集・課題を指す

この語が出てくる解説

• 報酬ハッキング — 測り方を決めると、そこが壊れるConcrete Problems in AI Safety