画像を普通のニューラルネットで扱うと、すぐに破綻する。100×100の画像なら入力は1万個。次の層も1万個なら、重みは1億個必要になる。しかも画像を1ピクセルずらしただけで、まったく別の入力として扱われてしまう。

この2つの問題を同時に解いたのが畳み込みである。発想の出発点は、1960年代の生物学にあった。ヒューベルとウィーゼルは、猫の視覚野の細胞が視野の狭い一部だけに反応し、しかも特定の向きの線に強く反応することを発見した。

これを模したのが、福島邦彦が1980年に発表したネオコグニトロンである。そして1998年、ヤン・ルカンがこれに誤差逆伝播法を組み合わせ、LeNetとして郵便番号の読み取りに実用化した。

畳み込みは何をしているのか

小さな窓（たとえば3×3）を用意し、画像の左上から順にスライドさせる。窓の中の9ピクセルに、それぞれ重みを掛けて足し合わせる。この結果を新しい画像として出力する。窓の重みの組み合わせをカーネルまたはフィルタと呼ぶ。

この仕組みが持つ3つの性質が、決定的に重要である。

畳み込み層を重ねると、浅い層では線や角といった単純な特徴を、深い層ではより複雑な形やパターンを捉えるようになる。間にプーリングという縮小操作を挟むことで、扱う解像度を段階的に下げつつ、1つの出力が見ている範囲（受容野）を広げていく。