用語集 › gelus
GLOSSARY
gelus
GELU（滑らかな活性化関数）の複数形
1本の論文題名に登場
定義
GELU（Gaussian Error Linear Unit）の複数形で、標準正規分布の累積分布関数で入力を重み付ける滑らかな活性化関数を指す。ReLU のように 0 で折れ曲がらず全域で微分可能なため勾配が安定し、BERT や GPT 系の Transformer で標準的に採用されている。GLU とは別物。
論文題名での読み方
固有名。関数の名前
GLOSSARY
GELU（滑らかな活性化関数）の複数形
1本の論文題名に登場
GELU（Gaussian Error Linear Unit）の複数形で、標準正規分布の累積分布関数で入力を重み付ける滑らかな活性化関数を指す。ReLU のように 0 で折れ曲がらず全域で微分可能なため勾配が安定し、BERT や GPT 系の Transformer で標準的に採用されている。GLU とは別物。
固有名。関数の名前