用語集 › glu
GLOSSARY
glu
Gated Linear Unit＝ゲート付き線形ユニット
1本の論文題名に登場
定義
Gated Linear Unit の略で、入力を2系統に射影し、片方をゲートとしてもう片方に要素ごとに掛け合わせる仕組み。どの成分を通すかを入力自身が決めるため単純な活性化より表現力が高く、GELU と組み合わせた SwiGLU / GEGLU が現代の Transformer の順伝播層で広く使われている。
論文題名での読み方
活性化関数の一種
GLOSSARY
Gated Linear Unit＝ゲート付き線形ユニット
1本の論文題名に登場
Gated Linear Unit の略で、入力を2系統に射影し、片方をゲートとしてもう片方に要素ごとに掛け合わせる仕組み。どの成分を通すかを入力自身が決めるため単純な活性化より表現力が高く、GELU と組み合わせた SwiGLU / GEGLU が現代の Transformer の順伝播層で広く使われている。
活性化関数の一種