GLOSSARY

decay

減衰。だんだん小さくすること

2本の論文題名に登場

定義

値を時間とともに小さくしていくこと。weight decay は重みが大きくなりすぎないよう毎更新で少し縮める正則化で、学習率減衰はコサイン曲線などに沿って学習率を下げ、終盤の更新を細かくして収束を安定させる仕組み。どちらも学習の最終性能に強く効くハイパーパラメータ。

正則化や学習率の減衰