第1章から第3章で「どちらへ動かすか」は決まりました。残っているのは2つです。1回にどれだけ動かすか（学習率）と、いつ止めるか。

別々の問いに見えます。第1章では前者を、第2章では後者を、どちらも「第4章で」と預けました。預けた先で2つが同じ問いの裏表だったと分かる——それがこの章です。

1. 学習率には上限がある

更新則は

1次元の二次関数 $L(w) = \tfrac{1}{2}\lambda w^2$ で何が起きるか見ます。$\nabla L = \lambda w$ なので、1回の更新は

$$w \;\leftarrow\; w - \eta \lambda w \;=\; (1 - \eta\lambda)\, w$$

毎回 $(1-\eta\lambda)$ 倍されるだけです。$t$ 回後は $(1-\eta\lambda)^t w_0$。これが0へ向かう条件は $|1-\eta\lambda| < 1$、つまり

多次元では、曲がり方のいちばんきつい方向（ヘッセ行列の最大固有値 $L_{\max}$）が決めます。どの方向も発散しないためには $\eta < 2/L_{\max}$。 上限を超えた瞬間、その方向だけが増幅されて全体が壊れます。

第0部の第2章で使った $f(x,y) = (x^2 + 10y^2)/2$ で測ります。曲率は $1$ と $10$ なので上限は $2/10 = 0.2$。$(10,1)$ から出発し、原点の半径 0.01 に入るまでの歩数です。

最良は上限のかなり手前（0.18）で、そこから上限に近づくほど急に悪くなります。$0.199$ で459歩、$0.1999$ で4603歩——崖から落ちる前に、すでに使い物になりません。

2. なぜ1つの歩幅が全部の方向に合わないのか

$\eta$ は全方向に同じ値が掛かりますが、方向ごとに曲率が違います。曲率 $\lambda$ の方向は毎回 $(1-\eta\lambda)$ 倍。

• $\eta$ を大きくすると、曲率の大きい方向が $|1-\eta\lambda_{\max}|$ で振動し始める
• $\eta$ を小さくすると、曲率の小さい方向が $1-\eta\lambda_{\min} \approx 1$ でほとんど進まない

両方が釣り合う所が最良です。$1-\eta\lambda_{\min} = -(1-\eta\lambda_{\max})$ を解くと

上の例では $\eta^{*} = 2/11 = 0.1818$。掃引で最小になったのは $\eta \in [0.180,\ 0.186]$ の35歩でした。縮小率 $9/11 = 0.818$ から歩数を見積もると $\lceil \log(0.01/10.05)/\log(0.818) \rceil = 35$——実測と一致します。

$\kappa$ を条件数といいます。$\kappa$ が大きいほど縮小率が1に近づき、何歩かけても進みません。学習率の選び方の難しさは、モデルの大きさではなく $\kappa$ から来ています。

3. モーメンタム ── 往復を打ち消す

ジグザグは、毎回向きが反転する成分です。足し合わせれば消えます。

$\beta$ は前回までの向きをどれだけ引き継ぐか。反転する成分は打ち消し合い、同じ向きが続く成分（谷底へ下る向き）は積み上がります。

同じ問題で $\eta = 0.05$ を固定して測ります。

$\beta = 0.5$ で135歩が59歩に。ただし0.9以上では遅くなります。引き継ぎが強すぎると、曲がるべき所で曲がれず行き過ぎるからです。学習率と同じく、大きいほど良いではありません。

4. Adam ── 方向ごとに歩幅を変える

条件数の問題は「1つの $\eta$ を全方向に使う」ことから来ていました。なら方向ごとに変えればよい——勾配の2乗の移動平均で各成分を割ります。

（$\hat m, \hat v$ は初期値0の偏りを直した値。詳細は記事側に譲ります。）よく効く成分は $\sqrt{\hat v}$ が大きくなって歩幅が縮み、めったに動かない成分は歩幅が伸びます。

ただし、速さそのものは約束しません。 同じ問題で測ると、

この問題では素の勾配降下がいちばん速い。 曲率が分かっていて $\eta^{*}$ を選べるからです。Adam の値打ちは速さではなく、曲率が分からない問題で、調整なしでもそこそこの所に行くことにあります。層ごとに勾配の大きさが桁で違う深いモデルでは、その「そこそこ」が効きます。

5. いつ止めるか ── 回数も容量のうち

第2章で、過学習の手当てとして早期終了を挙げました。「回数も容量の一種だから」と書いた所です。ここを測ります。

第2章と同じデータ（$\sin(2\pi x) + \varepsilon$、$\sigma = 0.25$、20件、15次）に、正則化をまったく掛けずに勾配降下を回し続けます。

訓練誤差は最後まで下がり続け、テスト誤差は $t = 1{,}370$ で底を打って上がっていきます。第2章で次数を上げたときに見たU字が、ここでは回数で出ています。

右端の列に理由が書いてあります。$\lVert w \rVert$ が回すほど伸びる。回数を制限することは、$\lVert w \rVert$ を制限することだった。

同じデータに L2 正則化（第2章の式(3)）を掛けて $\lambda$ を掃くと、

底の高さが 0.0072 しか違わず、そのときの $\lVert w \rVert$ もほぼ同じ。 つまみは「回数」と「$\lambda$」でまったく別物なのに、やっていることが同じです。

よくある誤解: 「発散しないかぎり、学習率は大きいほど速い」

第1節の表をもう一度見てください。上限は $0.2$ です。

崖は $0.2$ にありますが、性能は $0.18$ からすでに落ち始めています。 $0.1999$ は発散していません——ちゃんと収束します——が、最良の 131倍かかります。

理由は第2節の式(3)です。$\eta$ を上げると最大曲率の方向が $1 - \eta\lambda_{\max}$ で負に近づく（振動する）。$\eta \to 2/\lambda_{\max}$ では $-1$ に近づき、縮小率が1に近づく＝いつまでも減らない。最良は振動と鈍さが釣り合う $\eta^{*} = 2/(\lambda_{\min}+\lambda_{\max})$ であって、上限ではありません。

モーメンタムも同じ形です（第3節の表）。$\beta$ は $0.5$ が最良で、$0.99$ では678歩。「発散しない範囲でできるだけ大きく」はどちらのつまみでも誤りです。

演習

答えは閉じてあります。手を動かしてから開いてください。

演習1. 曲率が $\lambda_{\min} = 0.5$、$\lambda_{\max} = 50$ の問題があります。(a) 発散しない $\eta$ の上限。(b) 最良の $\eta$。(c) そのときの縮小率と、誤差を $1/100$ にするのに要する歩数。

演習2. 学習率を半分にしました。(a) 第5節の表で、テスト誤差が底を打つ回数はどう動きますか。(b) 底の高さは。(c) そこから言えることは。

演習3. 損失が下がり続けているのに、検証誤差が上がり始めました。(a) 何が起きていますか。(b) 学習率を下げれば直りますか。(c) 打つ手を3つ。

この章で言っていないこと

• 確率的勾配（ミニバッチ）の影響は入れていません。 この章の実測はすべて全データでの勾配です。ミニバッチの揺れ（第0部の第3章で測った $\sigma/\sqrt{B}$）は、それ自体が正則化のようにはたらくと言われますが、ここでは測っていません。
• 学習率スケジュール（減衰・ウォームアップ・1サイクル）は「動く上限を追いかける仕掛け」と読めることを書いただけで、どれをいつ使うかは扱っていません。
• Adam のバイアス補正 $\hat m, \hat v$ の導出、$\beta_2$ の意味、重み減衰との相性（AdamW）は記事側に譲りました。
• 「早期終了＝L2」は厳密な等号ではありません。 二次近似のもとで対応が付く古典的な結果で、本文が示したのは1つの設定での実測が近いということです。非線形なモデルでそのまま成り立つとは書いていません。
• 本文の数値はすべて実際に計算して確かめています（学習率の掃引と $\eta^{*}$ の理論値との一致、縮小率から見積もった歩数 35 と実測 35 の一致、モーメンタムと Adam の掃引、早期終了の経過と L2 の掃引、両者の最良の比較）。

もっと詳しく

• ゼロから学ぶ勾配降下法 — 学習の幾何学
• ゼロから学ぶAdam — 2つの移動平均と、誰も説明しないバイアス補正
• SGDの先へ — Adam・二次法・制約付き最適化
• 凸性と最適化 — なぜ深層学習は「凸でない」のに動くのか