normalization

定義

正規化。値の尺度や分布をそろえる処理の総称で、深層学習では層の出力を統計量で割って学習を安定させる手法群を指す。BatchNorm・LayerNorm・RMSNorm が代表で、勾配の暴れを抑え、より大きな学習率を許して収束を速める。データ前処理のスケーリングと同じ語だが、こちらはモデル内の層として組み込まれる。

論文題名での読み方

BatchNorm等の技法名

この語が出てくる解説

• 正規化レイヤー全史 — BatchNormからRMSNormまでBatch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift