alpacaeval

指示への従い方を測る自動ベンチマークの名前

1本の論文題名に登場

定義

指示追従の能力を自動採点するベンチマーク。対象モデルと基準モデルの回答をLLM審査員に並べて見せ、どちらが好まれるかの勝率を出す方式で、人手評価と高い相関を示すことから広く使われる。長い回答が有利になる偏りが知られており、それを補正した length-controlled 版が事実上の標準になっている。

論文題名での読み方

固有名。評価ベンチ