学生版 社会人版
JA EN

#layer-norm

1 記事

01 ·深層学習の基礎·★ 会員·論文·13分で読めます 正規化レイヤー全史 — BatchNormからRMSNormまで Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 深層学習を「実際に深くできるもの」に変えた正規化レイヤーを前提知識ゼロから辿る。BatchNormが効く理由をめぐる内部共変量シフト論争、LayerNormがバッチ軸を捨てた理由、そしてLLMが一様にRMSNormへ行き着いた理由まで。