evaluators

評価者（複数）。採点する人やモデル

1本の論文題名に登場

定義

出力を採点する主体のことで、人間の評価者と、審査役に立てたモデル（LLM-as-a-judge）の両方を指す。自動評価ではコストの都合でモデルを評価者に据えるのが一般的だが、評価者自身の癖が結果に混ざるため、その偏りの測定と補正が独立した研究テーマになっている。採点対象のデータを指す benchmark とは別語。

論文題名での読み方

LLM審査員を指す