GLOSSARY

residual

残差。入力との差分を学ぶ仕組み

1本の論文題名に登場

定義

層の出力を目的の値そのものではなく、入力からの差分として学習させる設計。入力を迂回して足し戻すスキップ接続により勾配が深い層まで届き、非常に深いネットワークの学習が現実的になった（ResNet）。統計でいう残差と語源は同じだが、ここでは誤差ではなく構造の名前として使われている点に注意。

ResNetのskip接続