GLOSSARY

gradient

勾配。誤差を減らす向きと傾き

2本の論文題名に登場

定義

損失を各パラメータで微分した値で、損失が最も増える向きと大きさを表す。学習はこの逆向きに重みを少しずつ動かして進み、深いネットワークでは誤差逆伝播で層をさかのぼって一度に計算する。勾配が消える・発散する不安定さは、残差接続や正規化といった構造上の工夫と、勾配クリッピングのような最適化側の対策の両方を生んだ。

論文題名での読み方

学習の更新方向