GLOSSARY

adam

学習率を自動調整する定番の最適化手法名

1本の論文題名に登場

定義

勾配の一次モーメントと二次モーメントの指数移動平均を使い、パラメータごとに実効的な歩幅を調整する最適化手法（Kingma と Ba による）。細かな調整なしに幅広い問題でそこそこ動くため、深層学習の事実上の既定値になった。実務では重み減衰の扱いを分離した AdamW が標準。

固有名。定番の最適化器