学生版 社会人版
JA EN

#weight-decay

1 記事

01 ·深層学習の基礎·★ 会員·論文·20分で読めます 重みの初期化と正則化 — 学習が始まる条件・続く条件 Understanding the Difficulty of Training Deep Feedforward Neural Networks 同じ設計図でも、重みに入れた乱数の大きさひとつで学習は始まりも止まりもします。分散の伝播からXavier・He初期化を導き、続いてweight decayとdropoutが「学習が続く条件」をどう作るかを、動く図とPyTorch実装、現場の落とし穴まで含めて前提知識なしで解説します。