normalizer

正規化項。合計を1にそろえるための分母

1本の論文題名に登場

定義

確率分布の総和を1にそろえるための分母で、正規化定数とも呼ぶ。softmax では全項の指数関数の和がこれにあたり、系列全体を見ないと確定しないため、分割計算では途中結果を保持して補正する工夫が要る。層の統計を整える normalization とは別概念。

softmaxの分母