似た役目に相関係数がありますが、あれが測れるのは「直線的に一緒に増えるか」だけです。 $y = x^2$ で $x$ が $-1$ から $1$ を動くとき、相関係数はほぼ0になります。 $x$ が正でも負でも $y$ は同じように大きくなり、直線としては噛み合わないからです。それでも $x$ を知れば $y$ は完全に決まる。相互情報量はこれを「関係は最大限に強い」と正しく答えます。関係の形を問わず、あらゆる依存を拾うのが強みです。

この記事は情報理論とAIの隣に置かれていますが、前提知識は仮定せずに進めます。

比喩: 「20の質問」で、質問1つの値打ちを測る

相手が思い浮かべた単語を、はい／いいえの質問だけで当てるゲーム。候補が1024語なら、あなたの迷いは質問10回分です（ $2^{10} = 1024$ だから）。この「迷いの大きさ」がエントロピーで、単位はビットです。

ここで「それは生き物ですか？」と聞き、候補が256語まで絞れたとします。迷いは10ビットから8ビットへ。この質問には2ビットの値打ちがあったことになります。

相互情報量はまさにこの値打ちです。ただし運良く一発で当たった1回ではなく、答えの出方すべてを確率で重みづけた平均を取ります。「はい」でしか絞れない質問は、「はい」が滅多に返ってこないなら平均するとほとんど値打ちがない。逆に、どちらの答えでも半々に割れる質問は毎回きっちり1ビット稼ぎます。良い質問とは、答えが予測できない質問だというのが、この平均の言っていることです。

仕組み: 相互情報量は「迷いの引き算」

言葉にすれば、相互情報量はただの引き算です。何も知らないときの $Y$ への迷いから、 $X$ を教わった後に残る $Y$ への迷いを引く。差なので必ず0以上になります。教わって平均的に迷いが増えることはありません。そして差が0なら、 $X$ は $Y$ について何も語っていない。これが「独立」の情報理論版です。

順に式にしていきます。まず、迷いの大きさ＝エントロピー。 $p(x)$ は $X$ が値 $x$ を取る確率です。

H(X) = -\sum_{x} p(x)\log p(x)

(1)

各結果の起こりにくさ $-\log p(x)$ を、その結果が起こる確率で平均したもの、という意味です。ありふれた結果ばかりなら小さく、どれが来るか見当もつかないなら大きくなります。対数の底を2にすればビット、自然対数にすればナット（nat）という単位になります。

つまり $H(X)$ は「 $X$ の出方が平均してどれくらい当てにくいか」と声に出して読める量です。 $\sum_x$ は起こりうる値を全部見て回ること、頭のマイナスは「確率が小さい結果ほど驚きが大きい」と向きを揃えるための符号にすぎません。

次に、 $X$ を知った後に残る迷い＝条件付きエントロピーです。

H(Y \mid X) = \sum_{x} p(x)\, H(Y \mid X = x)

(2)

「 $X$ が $x$ だと分かった世界での $Y$ の迷い」を、それぞれの $x$ が起きる確率で平均したものです。 $X$ を知るほど $Y$ が絞れるなら、この値は小さくなります。

つまり縦棒 $\mid$ は「〜を教わった後で」と読み、 $H(Y \mid X)$ は「 $X$ を教わってもなお残っている、 $Y$ への迷い」ということです。

相互情報量は、この2つの差として定義されます。

I(X; Y) = H(Y) - H(Y \mid X) = H(X) - H(X \mid Y)

(3)

つまり「最初に抱えていた迷い」から「教わった後に残った迷い」を引いた、その差し引き分が $I(X;Y)$ だ、というだけの式です。

等号が2つ並んでいるのは、どちらから見ても同じ値になるという主張です。「 $X$ が $Y$ について教えてくれる量」と「 $Y$ が $X$ について教えてくれる量」は常に等しい。直感には反しますが定義から従う性質で、だから mutual（相互）情報量と呼ばれます。

分布が尖っていれば迷いは小さく、平らなら大きい。この対応を手で動かして確かめておくと、以降がずっと楽になります。

FIG 1温度を下げると棒グラフが1本に尖り、上げると平らになる。尖った状態が「もう答えがほぼ分かっている＝エントロピーが小さい」、平らな状態が「まだ何も分からない」。相互情報量は、Xを教わったことでこの棒がどれだけ尖るかの平均です

相互情報量 — 「知っている」を測る

「知っていると、どれだけ得か」を数字にする

比喩: 「20の質問」で、質問1つの値打ちを測る

仕組み: 相互情報量は「迷いの引き算」

ここから先は会員限定です

参考文献

コメント