mt-bench

定義

多ターンの対話能力を測るために作られた少数精鋭の質問セットで、モデルの回答を強力な LLM に採点させて比較する。書き込み・推論・コーディングなど複数カテゴリに分かれ、一往復では見えない文脈保持や指示の引き継ぎを評価する狙いがある。Chatbot Arena と同じ研究グループが公開した固有名。

論文題名での読み方

固有名。対話ベンチマーク

この語が出てくる解説

• LLM-as-a-Judge を1から — AIがAIを採点する仕組みと限界Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena