本記事は、連載「AIの歴史」(全11回)の第7回です。

前回の記事はこちら

前回、1980年代のエキスパートシステムが企業や国家を巻き込む大きなブームとなり、そして崩れていった様子を取り上げました。その絶頂と崩壊のただ中で、あまり目立たないまま、ある宿題への答えが用意されつつありました。連載第5回で紹介した、ミンスキーとパパートが1969年に残した宿題です。

目次 [ close ]
  1. 「実り多いか、不毛か」という宿題
  2. 誤差逆伝播とは何か
  3. 一つのアイデアが、何度も発見された
  4. 1986年、ネイチャー誌に載った論文
  5. 「不毛」ではなかった、という答え
  6. それでも、静かな蓄積の時代が続いた
  7. 二つの潮流が、すれ違うように進んでいた
  8. 何が重要で、何がまだ分からないのか
  9. 正しい提案が、正しい瞬間を待っている
  10. 出典・参考文献

「実り多いか、不毛か」という宿題

もう一度、二人の言葉を振り返ります。単層のパーセプトロンには、XORのような問題を解けないという数学的な限界がある。そのうえで二人は、多層のパーセプトロンについてこう書いていました。

それでも私たちは、多層への拡張が実り多いものにならないだろうという私たちの直感的な判断を、明らかにする(あるいは反証する)ことは、重要な研究課題だと考えている。

多層のネットワークが本当に「不毛」なのか、それとも道が開けるのか。この問いは、1969年から17年間、宙に浮いたままでした。

誤差逆伝播とは何か

多層のネットワークを訓練するうえでの壁は、単純でした。出力層の誤差は分かっても、その誤差が、入力層と出力層の間にある「隠れ層」の、どの重みにどれだけ責任があるのかを、効率よく計算する方法が知られていなかったのです。

誤差逆伝播は、この問題に対する答えです。微分の連鎖律を使い、出力層で生じた誤差を、ネットワークの後ろから前へと逆向きに伝えていくことで、それぞれの層の重みをどちらの方向にどれだけ調整すべきかを、効率的に計算します。これによって、何層にも重なったネットワーク全体を、勾配降下法というアルゴリズムで訓練できるようになりました。

一つのアイデアが、何度も発見された

興味深いのは、この手法が1986年に初めて生まれたわけではないという点です。関連する数学的な手法は、それ以前にも独立して何度か発見されていました。

制御理論の分野では、1960年にヘンリー・ケリーが、1961年にはアーサー・ブライソンが、勾配法を使った多段階の最適化手法を発表しています。1970年には、フィンランドの大学院生セッポ・リンナインマーが、修士論文の中で、今日「自動微分の逆モード」と呼ばれる、誤差逆伝播の数学的な核心にあたる手法を発表しました。そして1974年、ポール・ワーボスがハーバード大学の博士論文で、この種の手法をニューラルネットワークの訓練に応用するという着想を示しています。

しかしワーボスの提案は、当時ほとんど注目されませんでした。彼が論文を発表したのは、まさに前々回取り上げた最初のAIの冬が、ニューラルネットワーク研究への関心を最も冷え込ませていた時期だったのです。正しいタイミングを逸したアイデアは、たとえ内容が正しくても、埋もれてしまうことがあります。

1986年、ネイチャー誌に載った論文

1986年、デビッド・ラメルハート、ジェフリー・ヒントン、ロナルド・ウィリアムズの三人が、「誤差逆伝播による表現の学習」という論文を『ネイチャー』誌に発表します。この論文は、隠れ層を持つネットワークが、誤差逆伝播によって、問題を解くのに役立つ内部表現を自ら獲得できることを、具体的な実験とともに示しました。

なお、後年の歴史研究では、この論文が手法の起源を十分に引用していなかったという指摘もなされています。誤差逆伝播という手法そのものの独自性よりも、それを著名な学術誌の上で、説得力のある実験例とともに広く知らしめたことに、この論文の歴史的な役割があったといえるかもしれません。

「不毛」ではなかった、という答え

この論文が示した最も重要な結果の一つが、まさにXOR問題でした。隠れ層を持つネットワークは、誤差逆伝播によって、単層のパーセプトロンには解けなかったXORを、正しく学習できることが示されたのです。

ミンスキーとパパートが1969年に残した「実り多いものになるかどうかを確かめることは重要な研究課題だ」という宿題に対し、1986年の論文は、はっきりと「実り多かった」という答えを返したことになります。

それでも、静かな蓄積の時代が続いた

とはいえ、1986年を境にニューラルネットワークがすぐさま主役に躍り出たわけではありません。実用面での成果は、地道で目立たないものが中心でした。たとえば、ヤン・ルカンらは1989年、誤差逆伝播を使って手書き数字を認識するネットワークを発表し、これは後に、アメリカの郵便番号や小切手の読み取りに実際に使われることになります。

一方で、ネットワークをより深く重ねようとすると、逆伝播していく誤差の信号がだんだん小さくなり、入力に近い層までうまく学習が届かなくなるという「勾配消失問題」が、1990年代初めに指摘されるようになりました。誤差逆伝播という訓練方法は手に入ったものの、それをどこまで深く、大規模に活かせるかは、まだ別の課題として残っていたのです。

二つの潮流が、すれ違うように進んでいた

前回取り上げたエキスパートシステムの絶頂と崩壊は、記号主義の物語でした。今回のニューラルネットワークの静かな復権は、連結主義の物語です。この二つは、ほぼ同じ時期に、互いにほとんど交わることなく進んでいました。一方が世間の注目を集めて崩れていくとき、もう一方は目立たないところで足場を固めていた。AIの歴史を、単線的な物語としてではなく、複数の潮流が異なるタイミングで浮き沈みする物語として見る必要があることを、この時期はよく示しています。

そして、この回で触れた勾配消失問題や、限られた計算資源という制約は、次回取り上げる、2010年代の深層学習の離陸によって、ようやく本格的に解かれていくことになります。

何が重要で、何がまだ分からないのか

誤差逆伝播にあたる数学的な手法は、少なくとも四つの異なる分野・時期で、独立に発見されていました。それにもかかわらず、広く知られ、分野の流れを変えたのは、1986年の一本の論文でした。

この事実は、一つの問いを投げかけます。あるアイデアが歴史に残るかどうかを決めるのは、アイデアそのものの正しさなのか、それとも、それが提示されるタイミングや場所、伝え方なのか。おそらく、その両方なのでしょうが、どちらがどれだけ効いているのかは、いまも判然としません。

正しい提案が、正しい瞬間を待っている

筆者は、これまでコンサルティングや、社内の制度・ガバナンスに関わる仕事をしてきました。そこでしばしば経験するのは、技術的にも論理的にも筋が通っている提案が、一度目には通らず、時間をおいて、あるいは伝え方や持ち込むタイミングを変えたときに、ようやく採用されるという場面です。

提案の中身が変わっていないのに、なぜ結果が変わるのか。誰が、いつ、どのような文脈で言うかによって、同じ提案の受け止められ方が大きく変わることを、実務の中で何度も見てきました。

ワーボスの1974年の着想と、ラメルハートたちの1986年の論文は、本質的には同じ数学的な核心を扱っています。しかし、後者だけが分野の流れを変えました。正しいことを言うだけでは十分ではなく、それが届く準備が整った瞬間を選ぶ、あるいは待つという要素が、技術の歴史にも、日々の実務にも、同じように働いているように思います。

それでは、次回の記事でお会いしましょう。

出典・参考文献