GLOSSARY

dropout

ドロップアウト。学習中に一部の結合を無効化する手法

1本の論文題名に登場

定義

学習中に各ユニットの出力を確率的にゼロにする正則化手法。特定の結合に依存した表現ができるのを防ぎ、多数の部分ネットワークを平均したような効果を生むことで過学習を抑える。推論時は無効化して全ユニットを使うため、学習時と推論時で挙動が変わる層である点が実装上の注意点になる。

過学習を防ぐ正則化