蒸留が失敗するとき — 容量ギャップと過信の伝染

強い教師を使えば強い生徒ができる、とは限りません。器が小さいと平均だけが伝わる容量ギャップ、教師の自信ごと写す過信の伝染、教師が一度も通らない道を生徒が歩く分布シフト — 蒸留が壊れる3つの型を、前提知識ゼロから解きほぐします。

DAPD: Dual-Anchored Policy Distillation

名人の弟子が、名人にならない理由

将棋の名人に弟子入りしたとします。最善手を毎日そばで見ている。それでも弟子が名人になるとは限りません。理由は3つあります。

1つ目は弟子の器。名人の一手の背後には何十手先の読みがあり、読める深さが足りない弟子は手つきだけを覚えて平均的な指し方に落ち着きます。

2つ目は名人が間違えたとき。名人も自信たっぷりに読み違えます。弟子は正しい手と同じ熱心さで、間違った手もその自信ごと写します。

3つ目は局面。名人の棋譜は得意な形に偏っていて、弟子が実戦で入り込む泥沼はそこに出てきません。手本のない場所で、弟子は独りになります。

この3つはそのまま、知識蒸留（Knowledge Distillation）が失敗する3つの型です。順に容量ギャップ、過信の伝染、分布シフト。蒸留の仕組みそのものは知識蒸留を1からで扱っているので、ここでは「うまくいかないとき何が起きているのか」に絞ります。

目標の式を、もう一度置いておく

何を最小化しているのかを確認します。教師の出力分布 $p_T$ に生徒の出力分布 $p_S$ を近づけるのが蒸留で、代表的な損失はこう書けます。

記号を1つずつ。$\mathrm{CE}(y, p_S)$ は正解ラベル $y$ に対する通常の交差エントロピー、つまり「答え合わせ」の項。$\mathrm{KL}(\cdot\|\cdot)$ は2つの確率分布のズレを測る量で、KLダイバージェンスそのもの。$T$ は温度で、softmax に入れる前にロジットを $T$ で割って分布をなだらかにします。$p^{(T)}$ はその分布、$\alpha$ は2項の混ぜ具合、$T^2$ は温度で薄まった勾配を元に戻す補正です。

要するにこの式は、「正解に合わせつつ、教師が『どれをどれくらい迷ったか』まで真似しなさい」と命じています。失敗の3つの型は、すべてこの命令の副作用です。

失敗①: 容量ギャップ — 器が小さいと、平均が返ってくる

まず注目すべきは、この式のどこにも「生徒がそれを表現できるか」という条件が入っていないことです。損失は「教師に近づけ」としか言わない。近づけない生徒にも、同じ命令が出続けます。

生徒のパラメータ数が足りない、層が浅い、というときに起きるのがこれです。器の小さいモデルは教師の細かい起伏を再現できず、ならした平均に落ち着きます。多肢選択で言えば、教師が「Aが80%、Bが15%」と切れ味よく答えるところを、生徒は「Aが45%、Bが30%、Cが25%」とぼやけた分布で返す。損失は下がっているのに正答率が伸びない、という状態です。

この「ならし」の理由は、式(1)のKLの向きです。$\mathrm{KL}(p_T \| p_S)$ は教師を基準にした量なので、教師が確率を置いた場所すべてに生徒も置かないと大きな罰を受け、逆に教師が確率0の場所に生徒が置いても罰は軽い。この非対称性のため、表現力が足りない生徒は、教師の山を1つ選ぶのではなく全部の山にまたがってベタッと広がる方向へ押されます。mode averaging（モードの平均化）です。