llm-as-a-judge

定義

強力な LLM に別のモデルの出力を採点・比較させる評価手法。人手評価より速く安価で、大まかには人の判断と相関することが報告されている一方、提示順による位置バイアス、長い回答を好む冗長性バイアス、自分に似た出力を高く評価する自己選好といった系統的な偏りが知られている。順序入れ替えなどの緩和策とセットで使う。

論文題名での読み方

人手評価の代わり

この語が出てくる解説

• LLM-as-a-Judge を1から — AIがAIを採点する仕組みと限界Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena