学生版 社会人版
JA EN

#gradient

3 記事

01 ·微分と最適化の数学·★ 会員·16分で読めます 行列微分を1から — 逆伝播の数式を自分で導く ∂L/∂W = XᵀG の Xᵀ はどこから来たのか。行列微分は公式集の暗記ではなく、「トレースの中で dX を右端に回す」という1つの型です。分母レイアウトの形合わせから、線形層とsoftmax+交差エントロピーの勾配導出、倍精度での数値勾配チェックまで。 02 ·微分と最適化の数学·無料·9分で読めます AIのための微分 — 勾配は「どちらに動けば良くなるか」の矢印 極限の厳密な定義も、置換積分も要りません。学習の全体は「傾きを測って逆向きに進む」だけです。微分＝倍率、勾配＝傾きを並べたベクトル、連鎖律＝倍率の掛け算。ヤコビアンとヘッセ行列は「何を表すか」だけを押さえ、論文の更新式を読み下します。 03 ·深層学習の基礎·★ 会員·12分で読めます 誤差逆伝播を1から解説 — 連鎖律だけで全部わかる 1000万個のパラメータの勾配を、なぜ順伝播1回ぶんの手間で全部求められるのか。連鎖律の復習から計算グラフ、2層ネットの手計算1ステップ、そして勾配消失が起きる理由までを、記号を1つずつ説明しながら追います。