蒸留モデルの評価 — 「教師に近い」は良い指標か

蒸留した生徒モデルを「教師との一致率」で採点すると、教師の誤りを忠実に写した生徒ほど高得点になります。一致率が数学的に何を保証して何を保証しないのか、分布の外で何が崩れるのか、合成データ経由のベンチマーク汚染をどう検査するのか — 蒸留モデルの評価設計を前提知識ゼロから組み立てます。

The False Promise of Imitating Proprietary LLMs

先生と何問一致したか、で採点していないか

蒸留（distillation）は、大きな教師モデルの振る舞いを小さな生徒モデルに写し取る手法です。学習の目的関数そのものが「教師の出力に近づけること」なので、できあがった生徒を評価するときも、つい同じ物差しを持ち出したくなります。テスト用の入力を両方に流し、答えが一致した割合を数える。数字は簡単に出るし、正解ラベルを用意しなくてよいので安上がりです。

しかしこれは、模試の点数ではなく「先生の答案と何問同じだったか」で生徒を採点しているのと同じことです。先生が全問正解なら、一致率は実力とぴったり重なります。ところが現実の教師モデルは全問正解ではありません。教師が間違えた問題で生徒も同じように間違えれば、一致率は上がります。つまりこの指標は、教師の誤りを忠実に再現する生徒を高く評価するという向きの歪みを最初から持っています。

さらに厄介なのは、一致率が高いモデルほど「教師の代わりが務まる」ように見えてしまうことです。文体・言い回し・出力フォーマットといった表層は少ないサンプルでもよく写るので、人が眺めた印象は教師そっくりになります。一方で、事実の正しさや多段の推論は表層ほど簡単には写りません。見た目の近さと中身の近さが乖離するところに、蒸留の評価の難しさが集中しています。

一致率が言えること、言えないこと

きちんと定義してから話を進めます。あるテスト集合の各問題について、教師の出力と生徒の出力が同じになる割合を一致率 $\mathrm{Agr}$ と書きます。教師の正解率を $a_T$、生徒の正解率を $a_S$ とします。このとき次の関係が必ず成り立ちます。

言い換えると、一致率が高いほど、教師と生徒の「点数の差」は小さいというだけの主張です。点数そのものの水準については何も言っていません。

導出は2行です。生徒が正解して教師が不正解なら、その問題では2人は必ず食い違っているので、$a_S - a_T \le P(\text{不一致}) = 1 - \mathrm{Agr}$。教師と生徒を入れ替えれば逆向きも同じです。

この不等式は、実務では思ったほど強い保証になりません。一致率90%なら、生徒の正解率は教師の $\pm 10$ ポイントの範囲にある、としか言えない。教師が80点なら生徒は70点かもしれないし90点かもしれない。この幅は、モデルを差し替えるかどうかの判断には広すぎます。

一致の内訳を見ると、歪みの正体がはっきりします。

$C$ は「実力が写った分」、$M$ は「癖や誤りまで写った分」です。一致率という1つの数字は $C$ と $M$ を足してしまうので、両者を区別できません。教師の弱点を丸ごと継承した生徒と、教師とは別の得意不得意を持ちながら同じ点数を取る生徒が、同じスコアで並びます。

数字を入れるとはっきりします。教師80点・一致率90%としましょう。$C$ は「両方正解」なので教師の80点を超えられません。したがって $M$ は最低でも10ポイント分ある。$M$ がちょうど10なら $C$ は80で、生徒は80〜90点。$M$ が20まで膨らむと $C$ は70に落ち、生徒は70点です。同じ「90%一致」が、内訳次第で優等生にも劣化版にもなります。

もう1つ、偶然の一致という下駄もあります。4択問題なら、でたらめに答えても2割強は一致します。一致率を診断に使うなら、偶然一致 $\mathrm{Agr}_0$ を引いた $\kappa = (\mathrm{Agr} - \mathrm{Agr}_0) / (1 - \mathrm{Agr}_0)$ のような補正済みの量で見るほうが素直です。