学生版 社会人版
JA EN

#adam

1 記事

01 ·微分と最適化の数学·★ 会員·論文·16分で読めます SGDの先へ — Adam・二次法・制約付き最適化 Adam: A Method for Stochastic Optimization モーメンタムは何を溜めているのか、Adamの4行は各行で何をしているのか、AdamWは何を直したのか、理論上もっと速いはずの二次法がなぜLLMで使われないのか。勾配クリッピングまで含めて、比喩→式→動く図→コード→現場の順で前提知識なしに解きほぐします。