GLOSSARY

mean

平均。一般には「意味する」の動詞

1本の論文題名に登場

定義

平均。値を全部足して個数で割った代表値で、分散・RMS・各種の正規化層の定義に入る基本量。どの軸で平均を取るかが BatchNorm と LayerNorm を分け、そもそも平均を引くかどうかが LayerNorm と RMSNorm を分ける。動詞「意味する」と同綴りな点に注意。

RMSの平均の部分