activation

活性化関数。層の出力を曲げる非線形関数

1本の論文題名に登場

定義

層の線形変換の後にかける非線形関数の総称で、ReLU・GELU・SwiGLU などが該当する。これがないと層をいくら重ねても全体は線形写像に潰れてしまうため、深いネットワークが表現力を持つための必須部品。文脈によっては関数の出力値そのもの（activations）を指すこともある。

ReLU/GELUなどの総称