#learning-rate

2 記事

01 ·微分と最適化の数学·無料·論文·11分で読めます ゼロから学ぶ勾配降下法 — 学習の幾何学 An overview of gradient descent optimization algorithms 「学習する」モデルは、全体を見渡せない曲面の上を、坂を下るように歩いている。この記事はその1枚の絵から勾配降下法を組み立てる——損失曲面、最急上昇方向としての勾配、更新則 w ← w − η∇L。そのうえで、学習率になぜ超えてはいけない上限があるのか、なぜ谷が「峡谷」型だとジグザグするのか、高次元で局所最適が本当はどれだけの脅威なのかまでを解き明かす。 02 ·学習手法・アライメント·無料·論文·14分で読めます 学習率スケジュール — warmupとcosineの理由 Attention Is All You Need 学習率は固定の数字ではなく、訓練の最初から最後まで動かす曲線です。なぜ最初にわざと遅く走る(warmup)のか、なぜ余弦カーブで落とす(cosine)のか、バッチサイズを変えたら何を一緒に動かすのか。式・動く図・PyTorch実装・現場の落とし穴まで前提知識なしで解説します。