#loss-surface

1 記事

01 ·微分と最適化の数学·無料·論文·11分で読めます ゼロから学ぶ勾配降下法 — 学習の幾何学 An overview of gradient descent optimization algorithms 「学習する」モデルは、全体を見渡せない曲面の上を、坂を下るように歩いている。この記事はその1枚の絵から勾配降下法を組み立てる——損失曲面、最急上昇方向としての勾配、更新則 w ← w − η∇L。そのうえで、学習率になぜ超えてはいけない上限があるのか、なぜ谷が「峡谷」型だとジグザグするのか、高次元で局所最適が本当はどれだけの脅威なのかまでを解き明かす。