GLOSSARY

g-eval

LLMに採点させる自動評価手法の名前

1本の論文題名に登場

定義

大規模言語モデルに採点させる自動評価の手法で、評価基準を与えて判断の手順を書かせたうえでスコアを出させる形式をとる。参照文を必要としないため、要約や対話のように正解が一つに定まらない生成の評価に使われる。一方で採点役モデルの好みが混入し、自分に似た出力を高く評価する偏りが知られている。

固有名。LLM評価器