AlexNet以降の数年は、「どうすればもっと深くできるか」という競争になった。

残差接続がなぜ効くのか

層を深くすると、かえって精度が落ちるという現象が観測されていた。過学習ではなく、学習そのものが進まない。何もしない層を足しただけでも悪化するのだから、これは表現力の問題ではなく最適化の問題だった。

ResNetの発想は単純である。層の出力に、その層への入力をそのまま足す。つまり層に学習させるのは「変換後の値」ではなく「入力からの差分」になる。何も変える必要がないなら差分をゼロにすればよく、それは重みをゼロに近づけるだけで済む。恒等写像を学ぶのが極端に簡単になった。

もう一つの効果として、誤差逆伝播の際に勾配が加算経路をそのまま通り抜けられる。深い層まで勾配が届くので、勾配消失が起きにくい。

同時期に普及したバッチ正規化も重要である。各層の出力の分布を揃えることで、学習を安定させ高速化する。ResNetとバッチ正規化の組み合わせが、深いネットワークを実用化した。