GLOSSARY

restarts

再起動。学習率などを戻して仕切り直す

1本の論文題名に登場

定義

学習の途中で学習率などを初期値近くに戻し、探索をやり直させる操作。SGDR のように周期的に行うと、局所的な谷から抜け出しながら複数の良い解を通過できる。プロセスの再起動とは違い、モデルの重みは保持したまま最適化の勢いだけを付け直すのが要点で、進捗が失われるわけではない。

周期的に再開する