教科書 › 第II部 AIモデルの系譜
CHAPTER 18
2012年、AlexNetの衝撃
2012年は、この分野の歴史における明確な分水嶺である。
背景に2つの条件が揃っていた。1つはImageNetという大規模な画像データセットの整備。約120万枚の画像に1000種類のラベルが付いており、これを分類する精度を競うコンペティションが開かれていた。もう1つがGPUの汎用計算利用である。
この年、ヒントンの研究室のアレックス・クリジェフスキーらが提出したAlexNet
が、それまでの手法を圧倒的な差で破った。エラー率は前年の約26%から約16%へと一気に下がった。従来の改善幅が1〜2%だったことを考えると異常な数字である。
要因 1
GPUを2枚使った
畳み込みは同じ計算の大量並列なので、GPUの構造と相性が完璧だった。これがなければ学習が現実的な時間で終わらなかった。
要因 2
ReLUという活性化関数
それまで使われていたシグモイド関数は、値が大きくなると傾きがほぼゼロになり勾配が消えた。ReLUは「負なら0、正ならそのまま」という極端に単純な関数で、正の領域で傾きが1のまま保たれる。勾配消失が大幅に緩和され、学習が速くなった。
要因 3
Dropoutと データ拡張
学習中にランダムに一部のユニットを無効化する、画像を反転・切り抜きして水増しする。過学習を抑える工夫が効いた。
ReLUは「max(0, x)」というだけの関数。比較して選ぶだけなので回路も極小で済む。理論的洗練より、単純で微分しやすいことが勝った例。
この結果を受けて、研究の重心が一気に深層学習へ移った。同時にNVIDIAがAI企業として台頭する起点にもなった。GPUがゲーム用の部品からAI基盤へと役割を変える転機が、この年にある。
コメント
コメントにはログインが必要です