#gradient-descent

2 記事

01 ·微分と最適化の数学·無料·論文·11分で読めます ゼロから学ぶ勾配降下法 — 学習の幾何学 An overview of gradient descent optimization algorithms 「学習する」モデルは、全体を見渡せない曲面の上を、坂を下るように歩いている。この記事はその1枚の絵から勾配降下法を組み立てる——損失曲面、最急上昇方向としての勾配、更新則 w ← w − η∇L。そのうえで、学習率になぜ超えてはいけない上限があるのか、なぜ谷が「峡谷」型だとジグザグするのか、高次元で局所最適が本当はどれだけの脅威なのかまでを解き明かす。 02 ·機械学習の基礎·無料·9分で読めます 損失関数と最適化 — モデルはどうやって「間違いから学ぶ」のか MSEと交差エントロピーはなぜあの形なのか。勾配とは何を指す矢印なのか。勾配降下法の1ステップを、式・動く図・10行のコードで分解します。学習率を上げすぎたときの発散も手元で体感できます。