#momentum

2 記事

01 ·学習手法・アライメント·無料·論文·25分で読めます ゼロから学ぶAdam — 2つの移動平均と、誰も説明しないバイアス補正 Adam: A Method for Stochastic Optimization Adamはほぼすべての深層学習コードの既定オプティマイザなのに、あの4行が何をしているか言える人はほとんどいない。この記事はAdamが解決した2つの問題——素のSGDのジグザグと、層ごとにバラバラな勾配スケール——から組み立て、バイアス補正を数値で分解する。補正を外すと初手が3.16倍、ステップ12付近で6.57倍まで膨らむ。最後に落とし穴: 重み減衰はAdamではなくAdamWの仕事であり、εが平方根の外にあるのには理由がある。 02 ·微分と最適化の数学·★ 会員·論文·16分で読めます SGDの先へ — Adam・二次法・制約付き最適化 Adam: A Method for Stochastic Optimization モーメンタムは何を溜めているのか、Adamの4行は各行で何をしているのか、AdamWは何を直したのか、理論上もっと速いはずの二次法がなぜLLMで使われないのか。勾配クリッピングまで含めて、比喩→式→動く図→コード→現場の順で前提知識なしに解きほぐします。