LLM評価を1から — ベンチマークの読み方と汚染問題

モデル発表資料に並ぶベンチマークの棒グラフを、正しく疑いながら読むための記事。採点方式がMMLUのスコアを動かす仕組み、問題数から来る誤差の幅、公開ベンチマークが構造的に汚染される理由、Chatbot ArenaのBradley-Terryモデルとその弱点、LLM-as-a-judgeの三つの偏りまでを1から扱う。

Measuring Massive Multitask Language Understanding

「ベンチマークで最高点」は何を言っているのか

新しいモデルが出るたび、発表資料には棒グラフが並びます。MMLU、GSM8K、HumanEval — 名前は違っても、どれも「高いほど賢い」という顔をしています。けれどこの棒グラフを読むには、少なくとも三つのことを知っている必要があります。何を測ったのか、どう採点したのか、そして出題される前にその問題を見ていなかったかです。

近いのは模試です。偏差値70は「この模試の、この受験者層の中で、この出題傾向に対して」の70であって、本番で上位に入れる保証ではありません。さらに受験者の一人が事前に同じ問題冊子を手に入れて暗記していたなら、その70は学力ではなく記憶の証明になります。LLMの評価で起きているのは、まさにこの二つ — 的がずれる問題と、問題が漏れる問題です。

MMLUの中身を開ける

MMLUは "Massive Multitask Language Understanding" の略で、2020年に公開された多肢選択テストです（Hendrycks et al.）。中身は素朴で、57科目・4択・1万問超。高校物理から法学、医学まで、人間向けの試験問題を寄せ集めた構成です。

4択なので、でたらめに答えても25点取れます。0点が下限ではないので、スコアは「25点を起点とした伸び」として見ないと改善幅を過大評価します。

そして点数を大きく動かすのに表に出ないのが採点方法です。4択を解かせる方法には主に二つあります。

1. 生成させて拾う: 「答えは B です」と書かせて、出力テキストからBを取り出す
2. 尤度で選ぶ: A/B/C/D それぞれを続きとして書いたときの確率を計算し、いちばん高いものを選ぶ

同じモデル・同じ問題でも、この二つはスコアが違います。1は答えを抽出する処理の出来に左右され、2はそもそも「モデルが自由に喋ったときの正しさ」を測っていません。論文やモデルカードのMMLUを比べるときは、採点方式とfew-shot数（例示を何問見せたか）が揃っているかを最初に確認します。揃っていない数字を並べるのは、単位の違う量を同じ軸に載せるのと同じです。

測れないものもはっきりさせておきます。4択が見るのは選択肢の中から選ぶ能力だけです。根拠を説明できるか、知らないことを「知らない」と言えるか、長い文脈を保てるか、指示の細部に従えるか — 製品で効いてくる性質の多くは、この形式の外側にあります。ベンチマークが高いのに使ってみるとがっかりする、という経験の多くはここから来ます。

スコアは1つの数字ではなく、幅を持った推定値

スコアは、ありうる全問題の中から $n$ 問を抜き出して測った標本平均です。標本である以上、誤差があります。

$p$ は正答率（0〜1）、$n$ は問題数、$\mathrm{SE}$ は「同じ実力のモデルで測り直したとき、スコアがどれくらいばらつくか」です。ばらつきは問題数の平方根に反比例して縮みます。

数を入れます。$p=0.85$、$n=14{,}000$ なら $\mathrm{SE}$ は約0.3ポイント、95%の幅で±0.6ポイントほど。一方 $n=200$（難問系のベンチマークにはこの桁のものがあります）だと約2.5ポイント、幅は±5ポイントに広がります。つまり200問のベンチマークで「3ポイント勝った」は、ほとんど何も言っていません。しかもこれは問題の選ばれ方だけの誤差で、生成のゆらぎ、few-shot例の選び方、プロンプトの言い回しによる差はこの上に乗ります。

この図の「訓練データ」を公開ベンチマーク、「テストデータ」を実際のユーザーの入力に置き換えると、業界全体の縮図になります。誰もがMMLUを見て学習データを選び、プロンプトを調整する。一つひとつは正当な改善ですが、同じテストセットを何百回も参照した時点で、それは実質的に訓練データの一部です。過学習と評価設計で扱ったvalidationへの過学習と同じ構造が、業界サイズで起きています。

汚染 — 問題が学習データに混ざる

事前学習データはウェブの大規模クロールで、公開ベンチマークはGitHubにも解説ブログにもデータセット共有サイトにも載っています。有名になるほどコピーが増え、次世代モデルの学習データに入る確率が上がる。汚染は誰かの不注意ではなく、公開ベンチマークという仕組みの構造的な帰結です。症状は暗記の症状で、問題文をわずかに書き換えると解けなくなる、選択肢の順番を入れ替えると点が落ちる、答えは合っているのに途中式が破綻している。