体系 › AIのための数学

微分と最適化の数学

偏微分・勾配・連鎖律・凸性・ラグランジュ

01 ·微分と最適化の数学·無料·9分で読めます AIのための微分 — 勾配は「どちらに動けば良くなるか」の矢印 極限の厳密な定義も、置換積分も要りません。学習の全体は「傾きを測って逆向きに進む」だけです。微分＝倍率、勾配＝傾きを並べたベクトル、連鎖律＝倍率の掛け算。ヤコビアンとヘッセ行列は「何を表すか」だけを押さえ、論文の更新式を読み下します。 02 ·微分と最適化の数学·無料·論文·10分で読めます 凸性と最適化 — なぜ深層学習は「凸でない」のに動くのか Identifying and attacking the saddle point problem in high-dimensional non-convex optimization 最適化理論の教科書は「凸なら解ける、凸でないなら保証なし」と教える。では損失面が凸でない深層学習はなぜ動くのか。凸集合・凸関数の定義から、局所解より恐い鞍点、汎化と結びつく平坦な最小値まで、地形の言葉で一気につなぐ。 03 ·微分と最適化の数学·無料·論文·11分で読めます ゼロから学ぶ勾配降下法 — 学習の幾何学 An overview of gradient descent optimization algorithms 「学習する」モデルは、全体を見渡せない曲面の上を、坂を下るように歩いている。この記事はその1枚の絵から勾配降下法を組み立てる——損失曲面、最急上昇方向としての勾配、更新則 w ← w − η∇L。そのうえで、学習率になぜ超えてはいけない上限があるのか、なぜ谷が「峡谷」型だとジグザグするのか、高次元で局所最適が本当はどれだけの脅威なのかまでを解き明かす。 04 ·微分と最適化の数学·★ 会員·論文·16分で読めます SGDの先へ — Adam・二次法・制約付き最適化 Adam: A Method for Stochastic Optimization モーメンタムは何を溜めているのか、Adamの4行は各行で何をしているのか、AdamWは何を直したのか、理論上もっと速いはずの二次法がなぜLLMで使われないのか。勾配クリッピングまで含めて、比喩→式→動く図→コード→現場の順で前提知識なしに解きほぐします。 05 ·微分と最適化の数学·★ 会員·16分で読めます 行列微分を1から — 逆伝播の数式を自分で導く ∂L/∂W = XᵀG の Xᵀ はどこから来たのか。行列微分は公式集の暗記ではなく、「トレースの中で dX を右端に回す」という1つの型です。分母レイアウトの形合わせから、線形層とsoftmax+交差エントロピーの勾配導出、倍精度での数値勾配チェックまで。 06 ·微分と最適化の数学·★ 会員·15分で読めます ヤコビアンとヘッセ行列 — 多変数の微分を図で ヤコビアンは「その場の拡大鏡」、ヘッセ行列は「その場の曲がり具合」。局所線形化から、固有値による地形の分類、ニュートン法が理論上は速いのに使われない理由、そして10億次元でも計算できるヘッセ行列ベクトル積までを一本につなぎます。 07 ·微分と最適化の数学·★ 会員·17分で読めます 変分法 — 「関数を微分する」とはどういうことか 探しているのが「数」ではなく「形」のとき、微分はどう姿を変えるのか。汎関数と第一変分、オイラー＝ラグランジュ方程式、最速降下線がサイクロイドになる理由、そして機械学習でいちばん使われる変分問題であるELBOまでを一本につなぎます。