KL情報量を1から — 2つの分布の「ズレ」を測る

2つの確率分布の「ズレ」を測るKL情報量を、圧縮の無駄払いという比喩から定義・非対称性・numpy実装へと積み上げる。後半はVAEの正則化項とRLHFのKLペナルティという2大応用で、この量が現代のAIをどう支えているかまでつなげる。

Training language models to follow instructions with human feedback

分布と分布の「ズレ」を数字にしたい

機械学習の中身は、突き詰めると「本当の分布 $P$ に、モデルの分布 $Q$ を近づける」作業です。言語モデルなら $P$ は人間が次に書く単語の分布、$Q$ はモデルが予測する次の単語の分布。天気予報なら $P$ は実際の天気の出方、$Q$ は予報の確率です。

近づけるためには、まず「いまどれくらいズレているか」を1つの数字で測れなければ始まりません。その物差しの定番が KL情報量（Kullback–Leiblerダイバージェンス）です。名前はいかめしいですが、正体は「間違った思い込みのせいで払う無駄」を平均したもの。この記事では比喩→直感→定義→コードの順に積み上げ、最後にVAEとRLHFという2つの現場で、この量が実際にどう働いているかまで見届けます。

比喩: 間違った辞書で払う「追い銭」

情報理論の記事で見たとおり、データを最短で圧縮するコツは「よく出るものに短い符号、めったに出ないものに長い符号」を割り当てることでした。最適な符号の長さは出現確率で決まり、確率 $p$ のものには約 $\log \frac{1}{p}$ ビットを割り当てるのが理想です。

ここで、こんな失敗を考えます。あなたは明日から届くデータが分布 $Q$ に従うと思い込んで、$Q$ に最適な辞書（符号表）を作りました。ところが実際のデータは別の分布 $P$ から届きます。よく出るはずと思って短い符号を与えた記号がめったに出ず、めったに出ないと思って長い符号を与えた記号が頻発する——圧縮は最適時より確実に膨らみます。

この「思い込みのせいで余計に払うビット数」の平均こそが、KL情報量 $D_{\mathrm{KL}}(P \| Q)$ です。$P$ と $Q$ が一致していれば追い銭はゼロ。ズレが大きいほど無駄払いがかさむ。「分布のズレ＝実損」として測るのがKLの流儀です。

直感: 「驚き」の差し引きを平均する

同じことをもう1つの角度から見ます。確率 $p$ の出来事が起きたときの「驚き」を $\log \frac{1}{p}$ で測るのが情報理論の約束でした（確率が低いほど驚きは大きい）。

いま記号 $x$ が実際に届いたとします。$Q$ を信じているあなたの驚きは $\log \frac{1}{q(x)}$、真の分布を知る人の驚きは $\log \frac{1}{p(x)}$。その差 $\log \frac{p(x)}{q(x)}$ が「思い込みのせいで余計に驚いた量」です。これを、実際の出方 $p(x)$ で重み付けして平均すればKLになります。つまりKLとは「余計な驚き」の期待値です。

定義: たった1行

読み下すと「各記号 $x$ について、真の確率 $p(x)$ と思い込みの確率 $q(x)$ の比の対数をとり、実際の出やすさ $p(x)$ で重み付けして足し合わせる」。$P$ が本当の分布、$Q$ が近似（モデル）の分布で、連続値なら和が積分に変わるだけです。対数の底を2にすればビット、自然対数ならナット（nat）という単位で読めます。

つまりこの式が計算しているのは、さきほどの比喩で言った「追い銭」そのものです。よく出てくる記号について思い込みを外すと請求額に大きく乗り、めったに出ない記号で外しても額はほとんど動かない——実際の出やすさで重み付けする、とはそういう意味です。

覚えるべき性質は2つです。第一に、KLは必ず0以上で、0になるのは $P$ と $Q$ が完全に一致するときだけ（ギブスの不等式）。「ズレの測り」として最低限の資格を持っています。第二に、交差エントロピー $H(P, Q)$ との間に $H(P,Q) = H(P) + D_{\mathrm{KL}}(P\|Q)$ という関係があります。$H(P)$ はデータ側だけで決まる定数なので、分類やLLMの事前学習で交差エントロピーを最小化することは、KLを最小化することと同じです。あなたが毎日回している学習ループは、実はずっとKLを下げています。