第0部の第2章で「どちらへ動かせば良くなるか」を置きました。残っているのは何を良いとするかです。学習の目的（損失）は、天から降ってきた式ではありません。確率で書いた仮定を1つ置くと、損失が決まります。

深層学習で確率が出てくる場所は3つです。

1. 出力そのもの。 分類器が返す0.87は「87%の確からしさ」という確率です。
2. 学習の目的。 交差エントロピーも二乗誤差も、確率の仮定から導かれます（この章の第5節）。
3. 勾配そのもの。 ミニバッチの勾配は全データの勾配の推定値で、必ず誤差が乗っています（第6節）。

この3つに必要な分だけを置きます。

1. 標本空間・事象・3つの約束

定義. 起こりうる結果をすべて集めた集合を標本空間 $\Omega$、その部分集合を事象という。事象 $A$ に対する確率 $P(A)$ は次の3つを満たす数とする。

1. $P(A) \ge 0$
2. $P(\Omega) = 1$
3. $A \cap B = \varnothing$（同時には起こらない）なら $P(A \cup B) = P(A) + P(B)$

これだけです。「確率とは何か」の解釈（頻度か、信念の度合いか）はこの3つに含まれていません。計算に要るのは3つの約束だけで、解釈は計算の外側にあります。

3つめから、よく使う形がすぐ出ます。$A$ と $A^{c}$（$A$ でない）は同時に起こらず合わせて $\Omega$ なので $P(A^{c}) = 1 - P(A)$。

2. 条件付き確率とベイズ ── 向きを入れ替える

定義. $P(B) > 0$ のとき、$B$ が起きたと分かっているもとでの $A$ の確率を

で定める。

式(1)がしていることは分母の取り替えです。世界全体 $\Omega$ の中で $A$ を測るのをやめ、$B$ の中だけで測り直す。

$P(A \cap B) = P(A \mid B) P(B) = P(B \mid A) P(A)$ の両端を $P(B)$ で割ると、

ベイズの定理です。導出は1行で、中身は「同じ $P(A \cap B)$ を2通りに書いただけ」。それでもこれが要るのは、知りたい向きと測れる向きが食い違うからです。検査でいえば、測れるのは「病気の人が陽性になる割合」$P(+ \mid D)$、知りたいのは「陽性だった人が病気である割合」$P(D \mid +)$。式(2)はこの2つを入れ替える式で、入れ替えるときに $P(A)$ ——事前にどれくらい在りそうか——が必ず要ります。この項を落とすのがこの章の「よくある誤解」です。

独立. $P(A \cap B) = P(A)P(B)$ のとき $A$ と $B$ は独立といいます。式(1)に入れると $P(A \mid B) = P(A)$。$B$ を知っても $A$ の見込みが動かない、が独立の意味です。

3. 確率変数・期待値・分散

結果に数を割り当てたものを確率変数といいます（サイコロの目、画像のラベル、1件ぶんの勾配）。

定義. 確率変数 $X$ の期待値を

で定める。また分散を $\mathrm{Var}(X) = \mathbb{E}\big[(X - \mathbb{E}[X])^2\big]$ で定める。

期待値は重み付きの平均です。分散は「平均からどれだけ散らばっているか」で、展開すると

と書けます。$\sqrt{\mathrm{Var}(X)}$ を標準偏差 $\sigma$ といい、$X$ と同じ単位を持ちます。

数値例. 公平なサイコロなら $\mathbb{E}[X] = 3.5$、$\mathbb{E}[X^2] = 15.1667$、$\mathrm{Var}(X) = 15.1667 - 12.25 = 2.9167\ (= 35/12)$、$\sigma = 1.7078$。

この章で使う性質は2つだけです。

• 線形性. $\mathbb{E}[aX + bY] = a\,\mathbb{E}[X] + b\,\mathbb{E}[Y]$。独立でなくても成り立ちます。
• 独立なら分散が足せる. $X, Y$ が独立なら $\mathrm{Var}(X + Y) = \mathrm{Var}(X) + \mathrm{Var}(Y)$。こちらは独立が要ります。

後者から、$B$ 個の独立な観測の平均 $\bar{X} = \frac{1}{B}\sum_{i=1}^{B} X_i$ について

平均の位置は $B$ によらず正しく、散らばりだけが $\sqrt{B}$ 分の1になる。 式(5)はこの章で一番使う式で、第6節でミニバッチの話になります。$B$ ではなく $\sqrt{B}$ であることに注意してください。

4. よく使う3つの分布

ベルヌーイ分布. 0か1かの1回。$p \in [0,1]$ を使って $P(y) = p^{y}(1-p)^{1-y}$（$y \in \{0,1\}$）。$y$ が0か1なので、片方の指数が必ず0になって消えます。平均 $p$、分散 $p(1-p)$。2値分類の出力 $\sigma(z)$ は、この $p$ です。

カテゴリカル分布. $K$ 個のうち1つ。$P(y = k) = p_k$、ただし $p_k \ge 0$ かつ $\sum_k p_k = 1$。多クラス分類の softmax は、この制約を満たす形に数を押し込む写像です。$\mathrm{softmax}(z)_k = e^{z_k}/\sum_j e^{z_j}$ は、指数で正にしてから和で割っているだけで、「正であること」と「和が1」をこの2段が担っています。

ガウス分布（正規分布）. 連続値。

$$p(y) \;=\; \frac{1}{\sigma\sqrt{2\pi}} \exp\!\left(-\frac{(y-\mu)^2}{2\sigma^2}\right)$$

平均 $\mu$、分散 $\sigma^2$。回帰でこれを仮定すると二乗誤差が出ます（次節）。

5. 最尤推定 ── 損失はどこから来たのか

手元のデータ $(x_i, y_i)_{i=1}^{m}$ があり、モデルがパラメータ $\theta$ で条件付き分布 $p(y \mid x; \theta)$ を出すとします。いま持っているデータが一番ありそうになるように $\theta$ を選ぶ、これが最尤推定です。

右の等号で3つのことをしています。対数を取る（掛け算が足し算になり、$m$ 個の掛け算で起きる桁溢れも消える。$\log$ は単調増加なので最大の場所は動かない）、符号を反転（最大化を最小化に）、$m$ で割る（件数が変わっても目盛りが変わらないように）。

ここに第4節の分布を入れるだけで、見慣れた損失が出ます。

ベルヌーイを入れる. $p(y \mid x) = p^{y}(1-p)^{1-y}$（$p = \sigma(z)$）なので $\log p(y\mid x) = y\log p + (1-y)\log(1-p)$。式(6)に入れて

交差エントロピーです。 第III部の第1章では「正解が1の点では $p_i$ を、0の点では $1-p_i$ を大きくしたい。両方まとめて1本で書くと」と言って同じ式に着きました。その「まとめて1本」の正体がベルヌーイ分布の確率そのものだった、というのがこの節です。

数値で確かめます. $y = (1,0,1,1,0)$、$p = (0.9,\,0.2,\,0.7,\,0.6,\,0.3)$ のとき、尤度の積は $0.9 \times 0.8 \times 0.7 \times 0.6 \times 0.7 = 0.21168$。$-\log(0.21168)/5 = 0.31053592$。いっぽう式(7)を直接計算しても $0.31053592$。一致します（差は0）。

ガウスを入れる. $y \mid x \sim \mathcal{N}(\hat{y}, \sigma^2)$ とすると、1件ぶんの負の対数尤度は

第2項は $\hat{y}$ を含みません。$\hat{y}$ について最小化するなら、残るのは二乗誤差だけです。$\sigma$ を固定すれば定数倍の違いしかありません。$y = (2.0,-1.0,0.5)$、$\hat{y} = (1.5,-0.7,0.9)$、$\sigma = 1$ で確かめると、負の対数尤度の平均 $1.002272$、二乗誤差の平均 $0.166667$、差は $0.918939 = \log\sqrt{2\pi}$。ぴったり定数です。

6. ミニバッチ ── 勾配は測った値ではなく推定値

学習1回ぶんの勾配は、本当は全データの平均です。

$$\nabla L = \frac{1}{m}\sum_{i=1}^{m} \nabla \ell_i \;=\; \mathbb{E}\big[\nabla \ell\big]$$

$m$ が100万なら、1回動かすたびに100万件を見ることになります。そこで $B$ 件だけ引いて平均で代える——これがミニバッチです。式(5)がそのまま効きます。平均の位置は正しく（偏っていない）、散らばりは $\sigma/\sqrt{B}$。

実測します. 2次元のロジスティック回帰、データ1,000件（種 20261013）、$w = (0.5, -0.3)$、$b = 0.1$ の地点で、1件ぶんの勾配 $\partial \ell_i/\partial w_1$ を全件ぶん作りました。全データの勾配は $-0.083919$、1件ごとの標準偏差は $\sigma = 0.375821$。ここから $B$ 件を引いて平均する操作を各20,000回おこない、その散らばりを測った結果です。

$B = 1$ のとき、勾配の誤差 $0.372$ は勾配そのもの $0.084$ の4倍以上あります。 向きが逆を向く回も珍しくありません。それでも学習が進むのは、偏っていないからです。平均すれば正しい向きに寄る——式(5)の前半がその保証で、1回1回の正しさは誰も保証していません。

ここから運用の数字が出ます。$B$ を4倍にすると、計算は4倍、誤差は半分。 $B = 16 \to 64$ で誤差が $0.0928 \to 0.0469$ に半減し、計算は4倍です。バッチを大きくするほど得、とはならない理由がこれです。

よくある誤解: 「99%正確な検査で陽性なら、99%の確率で病気」

式(2)の $P(A)$ ——事前にどれくらい在りそうか——を落とすと、こうなります。数で見ると外れ方がはっきりします。

有病率 0.1%、感度（病気の人が陽性になる割合）99%、特異度（健康な人が陰性になる割合）99% とします。1万人で数えます。

陽性になるのは $9.9 + 99.9 = 109.8$ 人で、そのうち本当に病気なのは $9.9$ 人。

$$P(D \mid +) \;=\; \frac{9.9}{109.8} \;=\; 9.0164\%$$

99%ではなく9%です。 検査は何も間違っていません。健康な人が9,990人もいるので、1%の間違いでも99.9人になり、本物の9.9人を数で押し流してしまう。式(2)で言えば $P(D) = 0.001$ という小さな係数が分子だけに掛かっています。

有病率を変えると答えが変わります。検査の性能は一切変えていません。

1%でちょうどコイン投げ、50%でようやく99%です。

演習

答えは閉じてあります。手を動かしてから開いてください。

演習1. 上と同じ検査（感度99%・特異度99%）を、有病率10%の集団で使います。(a) 陽性的中率はいくつですか。(b) 検査を一切変えていないのに答えが変わるのはなぜですか。(c) この話を分類器に置き換えると、何に相当しますか。

演習2. ある地点で1件ぶんの勾配の標準偏差が $\sigma = 0.4$ でした。(a) $B = 16$ のときの標準誤差。(b) それを半分にするには $B$ をいくつにしますか。(c) 10分の1にするには。(d) そこから言えることは。

演習3. 回帰で $y \mid x \sim \mathcal{N}(\hat y, \sigma^2)$ を仮定します。(a) 1件ぶんの負の対数尤度を書き、$\hat y$ に依らない項を指摘してください。(b) $\sigma$ を2倍にすると、最小化の答え $\hat y$ は変わりますか。(c) 誤差がガウスではなく外れ値が混ざるとき、何が起きますか。

この章で言っていないこと

• エントロピー・KLダイバージェンスは次章（第0部の第4章）です。 この章は「尤度を最大にする」までで、「交差エントロピー」という名前の由来（情報理論の量としての意味）には触れていません。式としては第5節で出し切っています。
• ベイズ推定（事後分布を持ち回る立場）は扱っていません。 式(2)は1回の計算として使っただけで、パラメータに事前分布を置いて分布のまま学習する話は入っていません。
• 連続確率変数の厳密な扱い（測度・密度と確率の違い）は置いていません。密度は確率そのものではなく1より大きくなれますが、この章の計算はその区別を要しません。
• 中心極限定理は図で見せただけで、述べても証明してもいません。式(5)（分散が $\sigma^2/B$）は独立性だけから出ますが、「釣鐘に寄る」はそれとは別の主張です。
• ミニバッチの実測は1つの地点・1つの成分での測定です。学習が進めば $\sigma$ も変わります。変わらないのは $\sqrt{B}$ 分の1という形のほうです。
• 本文の数値はすべて実際に計算して確かめています（サイコロの分散、ベイズの表と4つの有病率、ミニバッチの標準誤差5通り、尤度の積と交差エントロピーの一致、ガウスの負の対数尤度と二乗誤差の差が $\log\sqrt{2\pi}$ になること）。

もっと詳しく

• AIのための確率・統計 — モデルの出力は確率である
• ゼロから学ぶベイズの定理 — 99%正確な検査が、なぜコイン投げになるのか
• 確率分布図鑑 — 正規・ポアソン・指数族はどこから来るか
• モンテカルロ法を1から — 積分をサイコロで解く
• 統計学習理論 — なぜ学習は汎化するのか