1943年、マカロックとピッツが神経細胞を単純な数式で模した。入力に重みを掛けて足し、ある値を超えたら発火する。ここで登場する「掛けて足す」が、以後80年変わらない基本演算になる。

1958年、ローゼンブラットがこれを学習可能にしたパーセプトロンを発表する。正解と違えば重みを少しずらす、を繰り返せば分類ができる。当時は大きな期待を集めた。

だが1969年、ミンスキーとパパートが限界を指摘する。単層のパーセプトロンではXOR（排他的論理和）すら学習できない。直線一本で分けられない問題は解けないからだ。これが第一次の冬を招いた。

その方法が誤差逆伝播法である。1986年にラメルハートらが広めた。出力の誤差を、微分の連鎖律を使って入力側へ遡って分配していく。これにより多層ネットワークの学習が可能になった。

しかし再び停滞する。層を深くすると、誤差を遡らせる過程で勾配が小さくなりすぎて消えてしまう（勾配消失）。加えて計算資源もデータも足りなかった。1990年代から2000年代にかけて、ニューラルネットは学術的にも実務的にも主流から外れる。この時期に地道に研究を続けた少数の人々が、後の爆発を用意することになる。