GLOSSARY

sgdr

学習率を周期的に戻す再起動つきSGD

1本の論文題名に登場

定義

学習率を余弦関数に沿って下げ、周期の終わりで再び高い値へ戻す学習率スケジュール（SGD with Warm Restarts）。谷から一度抜け出させて別の解を探させる狙いがあり、各周期の終端モデルを集めてアンサンブルにする使い方もある。学習開始時に徐々に上げる warmup とは、目的も現れる位置も異なる。

論文題名での読み方

固有名。学習率の手法