本記事は、連載「AIの歴史」(全11回)の第8回です。
前回の記事はこちら
前回、1986年の誤差逆伝播によって、多層のニューラルネットワークを訓練する方法そのものは手に入ったことを取り上げました。しかし、層を深く重ねようとすると誤差の信号が弱まっていく「勾配消失問題」と、限られた計算資源という壁が残っていました。この壁が本格的に崩れるまでには、さらに四半世紀近くかかります。
「データが足りない」という、隠れた壁
2000年代半ば、プリンストン大学(後にスタンフォード大学)のフェイフェイ・リーらの研究チームは、当時のコンピュータビジョン研究が、アルゴリズムの改良にばかり注目し、学習に使うデータの規模や多様性を軽視しているのではないか、という問題意識を持っていました。
この問題意識から、2009年に発表されたのが「ImageNet」です。単語の階層関係を表す言語データベース「WordNet」の構造を利用し、1400万枚以上の画像に、2万を超えるカテゴリのラベルを付けるという、当時としては桁違いの規模のデータセットでした。2010年からは、この一部を使った画像分類の精度を競う「ILSVRC」という大会も始まります。
ゲーム機のチップが、AIの計算を担うようになった
もう一つの壁は、計算資源でした。多層のネットワークを大量のデータで訓練するには、膨大な行列演算を高速にこなす必要があります。
この計算を担うことになったのが、もともとゲームの3D画面をなめらかに描画するために開発されていたGPU(画像処理装置)でした。GPUは、大量の単純な演算を同時並行でこなすことに向いた構造をしており、これがニューラルネットワークの行列演算と、非常に相性が良かったのです。2010年代初めには、GPUの性能と価格のバランスが、研究室でも大規模なネットワークを訓練できる水準に達していました。
2012年、AlexNetの衝撃
2012年のILSVRCで、トロント大学のアレックス・クリジェフスキー、イリヤ・サツケバー、ジェフリー・ヒントンが提出した「AlexNet」という畳み込みニューラルネットワークが、画像分類の誤り率を、前年までの最良の成績であったおよそ26%から、一気に15.3%まで引き下げました。この差は、それまでの改良の積み重ねでは説明できないほど大きなものでした。
AlexNetは、単一の新発明というより、複数の工夫の組み合わせでした。勾配消失問題を和らげる「ReLU」という活性化関数、過学習を防ぐ「ドロップアウト」という手法、そして2枚のGPUを使った並列training。いずれも、前回取り上げた誤差逆伝播という土台の上に積み重ねられた工夫です。
一つの技術ではなく、三つの流れが重なった瞬間
2012年の出来事を振り返って気づくのは、これが単一の天才的なひらめきというより、独立に成熟しつつあった三つの流れー大規模なデータ(ImageNet)、安価で強力な計算資源(GPU)、そして訓練を安定させる工夫(ReLUやドロップアウト)ーが、たまたま同じ時期に出そろった結果だったという点です。データだけがあっても、計算資源がなければ大規模なネットワークは訓練できません。計算資源があっても、データが乏しければ学習のしようがありません。そのどちらが整っても、訓練を安定させる工夫がなければ、深いネットワークはうまく学習しません。この三つが同時にそろって、初めて「深層学習」と呼ばれる本格的な離陸が起きたのです。
止まっていたわけではなかった
前回触れた勾配消失問題や計算資源の制約は、1986年から2012年までの間、ニューラルネットワーク研究を止めていたわけではありません。ImageNetの構築、GPUの進化、ReLUやドロップアウトのような細かい工夫は、いずれも地道に、別々の場所で進んでいました。それが2012年という一点で交わったとき、連載第5回で紹介したミンスキーとパパートが1969年に示した、多層ネットワークへの懐疑は、実地の成果によって、決定的に過去のものとなります。
そして、AlexNetが示した「データと計算資源の規模を増やせば、性能は大きく向上する」という経験則は、次回以降取り上げるTransformerや基盤モデルの時代において、さらに大きな規模で追求されていくことになります。
何が重要で、何がまだ分からないのか
AlexNetの成功は、「規模を増やせば性能が上がる」という、非常に強力な経験則を示しました。しかし、なぜその経験則がここまで有効なのか、そしてその効果がどこまで続くのかは、2012年の時点でも、そして現在においても、完全には説明し尽くされていません。規模の拡大は、知能の本質に近づく道なのか、それとも別の限界にいずれ突き当たるのか。この問いは、いまも開かれたままです。
三つの穴が重なるとき
筆者はセキュリティに関わる仕事のなかで、「スイスチーズモデル」という考え方に触れる機会があります。安全のための複数の防御層は、それぞれに小さな穴(弱点)を抱えているものの、通常はどれか一つの層が食い止めてくれる。しかし、たまたますべての層の穴が一直線に並んだとき、事故やインシデントが実際に起きてしまう、という喩えです。
AlexNetの物語は、この構造を裏返した形をしています。データ、計算資源、訓練の工夫という三つの要素は、それぞれ単独では、深層学習を離陸させるには不十分でした。しかし2012年、たまたまこの三つの「穴」が一直線にそろったとき、大きな飛躍が起きました。悪い出来事も、良い出来事も、単一の原因ではなく、複数の要素が偶然そろうことで生まれる。技術の進歩を、そうした重なりとして捉える視点は、日々のリスク評価の仕事にも、AIの歴史を読み解くうえにも、同じように役立つように思います。
出典・参考文献
- Deng, J., Dong, W., Socher, R., Li, L.-J., Li, K., & Fei-Fei, L. (2009). “ImageNet: A Large-Scale Hierarchical Image Database.” CVPR.
(https://www.image-net.org/static_files/papers/imagenet_cvpr09.pdf) - Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). “ImageNet Classification with Deep Convolutional Neural Networks.” Advances in Neural Information Processing Systems, 25.
(https://papers.nips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf) - Hinton, G. E., Srivastava, N., Krizhevsky, A., Sutskever, I., & Salakhutdinov, R. R. (2012). “Improving Neural Networks by Preventing Co-adaptation of Feature Detectors.”
(https://arxiv.org/abs/1207.0580)