第0部の第1章では「並べると計算になる」を置きました。この章は動かすと何が起きるかです。学習の式はどれも「いまより良くなる向きを1つ決める」式で、その向きを決めているのは微分です。覚える記号は3つだけ——偏微分・勾配・ヤコビアン。連鎖律はその3つのつなぎ方で、規則は2つしかありません。つながっている所はかけ算、分かれている所はたし算。

その前に、形の話をする言葉を置きます。

1. 集合と写像 ── 「形が合わない」の意味

実数を $n$ 個並べたものの全体を $\mathbb{R}^n$ と書きます。$x \in \mathbb{R}^{784}$ は「$x$ は784個の実数の並び」という意味です。

定義. 集合 $A$ の各要素に $B$ の要素を1つ対応させる規則を写像 $f: A \to B$ という。$A$ を定義域、$B$ を行き先という。

深層学習の1層は写像です。$x \mapsto Wx + b$（$W \in \mathbb{R}^{128 \times 784}$）は $\mathbb{R}^{784} \to \mathbb{R}^{128}$ の写像で、784個の並びを受け取って128個の並びを返します。

2つの写像をつなぐ合成 $g \circ f$（$f$ を通してから $g$ を通す）が書けるのは、$f$ の行き先が $g$ の定義域と一致するときだけです。$f: \mathbb{R}^{784} \to \mathbb{R}^{128}$ の後ろに $g: \mathbb{R}^{64} \to \mathbb{R}^{10}$ は置けません。

実装で毎日見る shape mismatch は、このことを機械が言っているだけです。形が合わないのは計算の失敗ではなく、合成が定義されていないという意味です。第0部の第1章の式(3)で見た「内側の次元が一致」は、この条件を行列の言葉に直したものでした。

2. 上限と下限 ── 最小値が存在しないことがある

微分に入る前に、1つだけ用語を足します。これが無いと、第4章の「いつ止めるか」が宙に浮きます。

定義. 集合 $S \subset \mathbb{R}$ のすべての要素以上である数を $S$ の上界という。上界のうち最小のものを上限 $\sup S$ という。同様に、下界のうち最大のものを下限 $\inf S$ という。

最大値 $\max S$ は「$S$ に属していて、かつ上界であるもの」です。上限は $S$ に属さなくてよい——ここが違います。

例. $S = \{\, 1 - \tfrac{1}{n} : n = 1, 2, 3, \dots \,\} = \{0,\ 0.5,\ 0.6667,\ 0.75,\ 0.8,\ \dots\}$。どの要素も1より小さく、1に好きなだけ近づけます。よって $\sup S = 1$。しかし $1 \in S$ ではないので、$S$ に最大値はありません。

これが損失関数の話に直結します。点が2つだけの例で測ります。$x_1 = +1$（正解 $y_1 = 1$）、$x_2 = -1$（正解 $y_2 = 0$）とし、$p = \sigma(wx)$（$\sigma(z) = 1/(1+e^{-z})$）で当てます。平均の対数損失は $L(w) = -\log \sigma(w)$ になります。

下がり続けます。 $\inf L = 0$ ですが、$\sigma(w) < 1$ が常に成り立つので0には到達しません。つまりこの問題に最小値は存在せず、重みは際限なく伸びていきます。第1章（第III部）で測った「同じ境界のまま倍率を上げると損失だけ下がる」は、この現象の一部でした。

矛盾する点を1つ足すと話が変わります。$x_3 = -1$ に正解 $y_3 = 1$ を置くと、$w$ を伸ばすほどこの点が罰されるので、どこかで釣り合います。実際 $\partial L/\partial w = 0$ は $\sigma(w) = 2/3$ と同値で、$w = \log 2 = 0.6931\ldots$、$L = 0.6365$。有限の場所に最小があります。

3. 偏微分 ── 1本だけ動かす

定義. $f: \mathbb{R}^n \to \mathbb{R}$ の第 $i$ 変数についての偏微分を

で定める。

式(1)がしていることは1つです。他の変数を止めて、1本だけ動かす。 動かした分に対して出力が何倍動いたか、それが偏微分です。

数値例. $f(x,y) = x^2 y + 3y$ のとき $\partial f/\partial x = 2xy$、$\partial f/\partial y = x^2 + 3$。$(x,y) = (2,3)$ では $f = 21$ で、$\partial f/\partial x = 12$、$\partial f/\partial y = 7$。

手で出した式は、動かして測れば確かめられます。

$e_i$ は第 $i$ 成分だけが1の単位ベクトル、$h$ は小さな数です。式(2)を中心差分といいます。上の例を $h = 10^{-5}$ で測ると $12.0000000001$ と $7.0000000000$——解析の値との差は最大 $9.0 \times 10^{-11}$ でした。

この検算は現場の道具です。自分で書いた逆伝播を疑うときは、まず式(2)と突き合わせます。学習には使いません——パラメータ1つにつき前向き計算が2回必要で、785個なら1,570回かかります。確かめるためだけの道具です。

4. 勾配 ── 偏微分を並べると「最も急な向き」になる

定義. $f: \mathbb{R}^n \to \mathbb{R}$ の勾配を、偏微分を縦に並べたベクトル

で定める。

勾配が特別なのは、並べただけで「最も急な向き」になっていることです。これは導けます。

$\|u\| = 1$ の向き $u$ に沿って $f$ がどれだけ動くかは、1変数の関数 $\varphi(t) = f(x + tu)$ の $t = 0$ での微分です。各成分に連鎖律を当てると

これを方向微分といいます。式(4)は内積なので、第0部の第1章の式(1)と同じ形です。内積は $\nabla f^{\top} u = \|\nabla f\|\,\|u\|\cos\theta = \|\nabla f\|\cos\theta$ と書けるので

で、右の等号が成り立つのは $\cos\theta = 1$、つまり $u = \nabla f/\|\nabla f\|$ のときだけです。勾配の向きが最も急に増える向きで、その逆向きが最も急に減る向き。 増える量の上限は $\|\nabla f\|$ そのものです。

数値例. 上の $f$ の $(2,3)$ では $\nabla f = (12, 7)^{\top}$、$\|\nabla f\| = \sqrt{193} = 13.8924$。向きをずらして方向微分を測ると、

$\|\nabla f\|\cos\theta$ と小数4桁まで一致します。90°のとき0になるのは、その向きが等高線に沿う向きだからです。

5. ヤコビアン ── 写像の微分は行列になる

出力が1つなら勾配で済みますが、層の出力は128個あります。

定義. $f: \mathbb{R}^n \to \mathbb{R}^m$ のヤコビ行列を

で定める。

形は覚えなくても出せます。行が出力の数、列が入力の数。$m = 1$ なら $(1,n)$ で、これは勾配を横に寝かせたものです。

深層学習で出てくるヤコビアンは、ほとんど次の2つです。

（a）線形層. $z = Wx$（$W \in \mathbb{R}^{128 \times 784}$）なら $\partial z_i/\partial x_j = W_{ij}$ なので $J = W$。重みそのものがヤコビアンです。

（b）要素ごとの活性化. $a = \varphi(z)$ を成分ごとに $a_i = \varphi(z_i)$ と適用するなら、$i \neq j$ では $\partial a_i/\partial z_j = 0$。つまり

$$J = \mathrm{diag}\big(\varphi'(z_1), \dots, \varphi'(z_{128})\big)$$

対角行列です。ここが実装の形を決めています。対角行列をかけることは要素ごとにかけることと同じなので、第3章の式には行列積ではなくアダマール積 $\circ$（第0部の第1章の式(4)）が出てきます。持つ数も違います。$(128,128)$ の行列として持てば $16{,}384$ 個ですが、対角だけなら $128$ 個——128分の1です。

（c）一般の例. $g(x,y) = (x^2,\ x+y)$ なら

$$J_g = \begin{pmatrix} 2x & 0 \\ 1 & 1 \end{pmatrix}, \qquad J_g(2,3) = \begin{pmatrix} 4 & 0 \\ 1 & 1 \end{pmatrix}$$

式(2)の中心差分で4成分すべて測ると、差は最大 $3.8 \times 10^{-11}$ でした。

6. 連鎖律 ── つなぐ所はかけ算、分かれる所はたし算

1変数なら $(h \circ g)'(x) = h'(g(x))\, g'(x)$。局所の傾きの積です。写像でも形は同じで、積が行列積になります。

式(7)の形を確かめます。$g: \mathbb{R}^n \to \mathbb{R}^k$、$f: \mathbb{R}^k \to \mathbb{R}^m$ なら、右辺は $(m,k) \times (k,n) \to (m,n)$。左辺は $\mathbb{R}^n \to \mathbb{R}^m$ の写像の微分なので $(m,n)$。合う。 合成が書ける条件（第1節）と、行列積が書ける条件（第0部の第1章の式(3)）が同じものだったからです。

成分で書くと、たし算がどこから来るのかが見えます。

式(8)の和は経路の数だけの和です。$x_j$ から $(f\circ g)_i$ へ行く道は、途中の $u_p$ をどれ経由するかで $k$ 本あります。各経路で局所の傾きをかけ、全経路を足す。つながっている所はかけ算、分かれている所はたし算——連鎖律はこれだけです。

数値検算. $g(x,y) = (x^2,\ x+y)$ の後ろに $f(u,v) = uv$ を置くと、合成は $h(x,y) = x^2(x+y)$ です。$(2,3)$ で

$$J_f = (v,\ u) = (5,\ 4), \qquad J_f J_g = (5,\ 4)\begin{pmatrix} 4 & 0 \\ 1 & 1 \end{pmatrix} = (24,\ 4)$$

直接微分すると $\partial h/\partial x = 3x^2 + 2xy = 24$、$\partial h/\partial y = x^2 = 4$。一致します。 中心差分との差も $1.5\times10^{-10}$ でした。

掛ける順番が計算量を決める

式(7)を層の数だけつなげると、行列の積が並びます。ここで掛ける順番は自由です（行列積は結合的）。そして順番で計算量が10倍違います。

損失（出力1つ）から入力へ向かう3段を、$J_1 \in \mathbb{R}^{1 \times 10}$、$J_2 \in \mathbb{R}^{10 \times 128}$、$J_3 \in \mathbb{R}^{128 \times 784}$ とします。

9.95倍です。左から掛けると途中に残るのは常に行ベクトルで、$(128,784)$ のような行列を一度も作りません。右から掛けると作ってしまいます。

よくある誤解: 「勾配の向きに進めば最短で谷に着く」

第4節で導いたのは「その点で最も急な向き」です。道のりが最短という話は、どこにもありません。測ると、はっきりずれます。

$f(x,y) = (x^2 + 10y^2)/2$ を使います。谷底は原点。$(10, 1)$ から $\eta = 0.18$ で降ります。

通った道のりが1.34倍になった理由は、$y$ 成分の符号です。最初の6歩を並べると $-0.8000$, $+0.6400$, $-0.5120$, $+0.4096$, $-0.3277$, $+0.2621$——毎歩またいでいます。$y$ 方向は曲がりが10倍きついので、$x$ 方向に合わせた歩幅では必ず行き過ぎる。横断しながら少しずつ中心に寄っていく、いわゆるジグザグです。

曲がり方が軸でそろっていれば、この差は消えます。 同じ開始点で $f(x,y) = (x^2+y^2)/2$ にすると道のりは 10.0402 で、直線距離 10.0499 から止めた半径 0.01 を引いた値です。歩数は同じ35歩。ずれを作っていたのは勾配ではなく、軸ごとの曲がり方の違いでした。

演習

答えは閉じてあります。手を動かしてから開いてください。

演習1. $W \in \mathbb{R}^{128 \times 784}$ として $z = Wx$、$a = \tanh(z)$（成分ごと）とします。(a) $x \mapsto z$ のヤコビアンの形と中身。(b) $z \mapsto a$ のヤコビアンの形と中身。(c) $x \mapsto a$ のヤコビアンの形。(d) 実装で (b) を行列として持たない理由。

演習2. $S = \{\, -\log\sigma(z) : z \in \mathbb{R} \,\}$ について。(a) $\inf S$ はいくつで、$S$ に属しますか。(b) $S$ は上に有界ですか。(c) float64 で計算すると (a) の答えはどう見えますか。

演習3. $y = (x+1)x^2$ を、$u = x+1$ と $v = x^2$ の2経路に分けて考えます。$x = 2$ で (a) 各経路の積と和。(b) 直接微分した値。(c) 上の経路だけを数えたらいくつになり、何が起きますか。

この章で言っていないこと

• 微分できない点を扱っていません。 ReLU は $z=0$ で傾きが定まりません。実装は劣勾配から1つ選んで（多くは0）進めますが、その正当化はしていません。
• 2階微分（ヘッセ行列）を使っていません。 曲がり方の違いが学習を難しくすることは測りましたが、曲がり方そのものを行列で扱う話（2次法）は第4章で触るだけです。
• 極限・連続の厳密な定義（$\varepsilon$-$\delta$）は置いていません。上限・下限を入れたのは「最小値が無いことがある」という1点を言うためだけです。
• 自動微分の実装（計算グラフをどう保ち、どれだけメモリを食うか）は第3章です。この章は規則だけです。
• 本文の数値はすべて実際に計算して確かめています（偏微分・ヤコビアンの中心差分照合、方向微分と $\|\nabla f\|\cos\theta$ の一致、$J_fJ_g$ と直接微分の一致、$w = \log 2$ の最小、降下経路の長さと歩数、float64 の丸めの境目）。

もっと詳しく

• AIのための微分 — 勾配は「どちらに動けば良くなるか」の矢印
• 行列微分を1から — 逆伝播の数式を自分で導く
• 誤差逆伝播を1から解説 — 連鎖律だけで全部わかる
• ゼロから学ぶ勾配降下法 — 学習の幾何学
• 凸性と最適化 — なぜ深層学習は「凸でない」のに動くのか