用語集 › arena
GLOSSARY
arena
闘技場。モデル同士を戦わせて比べる場
2本の論文題名に登場
定義
モデル同士を匿名で戦わせ、人間の投票で相対順位を決める評価の場。Chatbot Arena が代表例で、同じ質問への二つの回答を伏せたまま比べさせ、勝敗を Elo 系のレーティングに集計する。固定問題のベンチマークと違い汚染されにくい一方、投票者層と質問分布に結果が左右される。
論文題名での読み方
Chatbot Arena＝人手比較
この語が出てくる解説
- LLM-as-a-Judge を1から — AIがAIを採点する仕組みと限界Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena