rectifiers

定義

入力の負の部分を切り捨てる形の活性化関数の総称で、ReLU がその代表。電気回路の整流器にちなむ名で、シグモイド系と違って正側で勾配が飽和しないため、深いネットワークの学習を実用化した要素の一つとされる。負側にわずかな傾きを残す Leaky ReLU や、その傾きを学習する PReLU などの変種がある。

論文題名での読み方

ReLUのこと

この語が出てくる解説

• 活性化関数を1から — なぜ非線形が必要なのかDelving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification