#optimizer

1 記事

01 ·学習手法・アライメント·無料·論文·25分で読めます ゼロから学ぶAdam — 2つの移動平均と、誰も説明しないバイアス補正 Adam: A Method for Stochastic Optimization Adamはほぼすべての深層学習コードの既定オプティマイザなのに、あの4行が何をしているか言える人はほとんどいない。この記事はAdamが解決した2つの問題——素のSGDのジグザグと、層ごとにバラバラな勾配スケール——から組み立て、バイアス補正を数値で分解する。補正を外すと初手が3.16倍、ステップ12付近で6.57倍まで膨らむ。最後に落とし穴: 重み減衰はAdamではなくAdamWの仕事であり、εが平方根の外にあるのには理由がある。