ベイズの定理をAIで使う — 事前分布・事後分布・不確実性

たった1行のベイズの定理が、AIの現場では「確率の校正」「能動学習」「ベイズ最適化」という3つの実務ツールに化ける。検査の陽性から始めて、事前分布・事後分布・不確実性を前提知識ゼロで解説する。

On Calibration of Modern Neural Networks

検査で「陽性」と言われたら、どれくらい心配すべきか

1000人に1人がかかる病気の検査を受けて「陽性」が出たとします。この検査は、病気の人を99%正しく陽性と判定し、健康な人を誤って陽性にする確率は1%です。さて、あなたが本当に病気である確率はいくつでしょう。

直感は「99%くらい」と答えたくなりますが、正解は約9%です。10万人で数えてみると分かります。病気の人は100人いて、そのうち99人が陽性。健康な人は99,900人いて、その1%＝999人が誤って陽性。陽性の紙を受け取るのは合計1,098人ですが、本当に病気なのは99人だけ。99 ÷ 1,098 ≈ 9%です。

なぜ直感が外れたのか。「そもそも病気の人がめったにいない」という事前の情報を、直感は無視してしまうからです。この「事前の情報」と「目の前の証拠」を正しい配合で混ぜる公式が、ベイズの定理です。そしてAIの世界では、この1行の公式が「モデルの自信は信用できるか」「次にどのデータをラベル付けすべきか」「高価な実験をどこに割り振るか」という、きわめて実務的な問いに答える道具になります。

直感: ベイズの定理は「信念の更新ルール」

ベイズの定理を一言でいうと、証拠を見る前の信念（事前分布）を、証拠の説明力（尤度）で重み付けして、証拠を見た後の信念（事後分布）に更新するルールです。

刑事ドラマに例えます。捜査開始の時点で、刑事は容疑者ごとに「怪しさ」の見積もりを持っています。これが事前分布です。そこに新しい証拠 — 現場に残った足跡 — が見つかる。各容疑者について「その人が犯人だとしたら、この足跡はどれくらい自然か」を考える。これが尤度です。事前の怪しさと足跡の説明力を掛け合わせ、全体で辻褄が合うように割り算して出てくる新しい見積もりが事後分布。捜査が進むたびにこの更新を繰り返し、分布はだんだん尖っていきます。

大事なのは、答えが「犯人はAだ」という断定ではなく、確率の分布として出てくることです。分布が尖っていれば確信が強く、平らなら「まだ分からない」。この不確実性を数値として持ち歩けることが、ベイズ的な考え方の最大の武器です。

仕組み: 式はたった1行

読み方はこうです。$H$ は仮説（病気である、この画像は猫である）、$D$ は観測データ（陽性だった、この画素の並びだった）。$P(H)$ が事前確率＝データを見る前の信念、$P(D \mid H)$ が尤度＝仮説が正しいときにそのデータが出る確率、$P(D)$ は証拠＝どの仮説かによらずそのデータが出る確率（全仮説にわたる合計で、答えを確率として合計1に揃える正規化係数）。左辺の $P(H \mid D)$ が求めたい事後確率＝データを見た後の信念です。

記号を日常語に置き換えると、この1行はこう読めます。いま信じるべき度合い ＝ その仮説が目の前の出来事をどれだけうまく言い当てたか × もともとどれだけありそうだったか ÷ その出来事がどれだけありふれているか。最後の割り算が冒頭の例の勘所です。「陽性」という結果そのものはめずらしくなく、10万人のうち1,098人が受け取る — この大きな $P(D)$ が、答えを9%まで引き戻しています。

分母は正規化のためだけにあるので、実務では比例関係で覚えるのが便利です。

$$P(H \mid D) \propto P(D \mid H)\,P(H)$$

つまり「事後 ∝ 尤度 × 事前」。事後の信念は、証拠の説明力と事前の信念の掛け算に比例する — 冒頭の検査の計算も、刑事の捜査も、やっていることはこの掛け算です。

分類器の出力も同じ形をしています。モデルが吐く「猫: 0.92、犬: 0.08」は、クラスにわたる一種の事後分布です。分布がどれくらい尖っているかは、下の図の温度スライダーで体感できます。温度を下げると1点に集中（強い確信）、上げると平ら（何も分かっていない）になります。