rewardbench

報酬モデルの精度を測るベンチマークの名前

1本の論文題名に登場

定義

報酬モデルの精度を測るベンチマークで、Allen Institute for AI が公開したもの。良い回答と悪い回答の対を与え、報酬モデルが正しく良い方に高い点を付けられるかを、対話・推論・安全性などの領域ごとに採点する。生成モデル本体ではなく、RLHFの土台になる採点器を評価する点が他のベンチマークと違う。

論文題名での読み方

固有名。報酬モデル評価