optimizers

最適化手法（複数）。重みの更新のしかた

1本の論文題名に登場

定義

勾配から重みの更新量を決める手続きのこと。SGD、モーメンタム付き SGD、Adam、AdamW などがあり、収束の速さや学習率への敏感さ、必要メモリが異なる。Adam 系は勾配の1次・2次モーメントをパラメータごとに保持するため状態量が大きく、大規模学習ではその削減自体が研究テーマになる。

Adam・SGDなど