regularization

正則化。過学習を抑えて汎化させる工夫

3本の論文題名に登場

定義

訓練データに合わせすぎるのを抑え、未知のデータへの性能を保つための工夫の総称。重み減衰、ドロップアウト、データ拡張、早期打ち切りなどが含まれ、いずれもモデルが使える自由度をわざと制限したり、学習信号に雑音を混ぜたりする。訓練誤差は悪化しても、汎化ギャップが縮めば成功と判断される。

学習の暴走を抑える