学生版 社会人版
JA EN

#swiglu

1 記事

01 ·深層学習の基礎·無料·論文·15分で読めます 活性化関数を1から — なぜ非線形が必要なのか Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification 層を何段積んでも、活性化関数がなければ1段と同じことしかできない——その一行の証明から始めて、sigmoidが捨てられReLUが勝ち、いまのLLMがSiLU/SwiGLUに落ち着くまでを、傾きを実際に触れる動く図とともに辿ります。