本記事は、連載「AIの歴史」(全11回)の第9回です。

前回の記事はこちら

前回、ImageNetとAlexNetが、データと計算資源の規模を増やせば性能が大きく向上するという経験則を、画像認識の分野で示したことを取り上げました。この経験則を、文章を扱う分野でさらに大きく開花させたのが、2017年に登場したTransformerという仕組みです。

目次 [ close ]
  1. 逐次処理という足かせ
  2. 「アテンション」という発想の芽生え
  3. 「Attention Is All You Need」—2017年の大胆な主張
  4. BERTとGPT—Transformerの二つの系譜
  5. 「基盤モデル」という言葉の誕生
  6. 量がもたらす、質の変化
  7. 何が重要で、何がまだ分からないのか
  8. 一つの土台に、多くの応用が乗ること
  9. 出典・参考文献

逐次処理という足かせ

2010年代前半、文章や音声のような時系列データを扱うAIの主役は、リカレントニューラルネットワーク(RNN)や、その改良版であるLSTMでした。これらは、文章を単語ごとに、前から順番に読み進めながら処理します。

しかし、この「順番に読む」という性質そのものが、足かせになっていました。前回取り上げたとおり、深層学習の進歩は、GPUによる大規模な並列計算に支えられていました。ところが、ある単語の処理は、その前の単語の処理が終わらないと始められないというRNNの逐次的な構造は、並列計算の恩恵を十分に受けられなかったのです。加えて、文章が長くなるほど、離れた単語同士の関係をうまく捉えられなくなるという課題も残っていました。

「アテンション」という発想の芽生え

この課題に対する一つの答えが、2014年、バーダナウ、チョ、ベンジオらによって示された「Attention」という仕組みでした。それまでの翻訳モデルは、入力文全体の意味を一つの固定長のベクトルに圧縮してから翻訳文を生成していましたが、長い文章では、この圧縮によって情報が失われてしまいます。アテンションは、出力の各単語を生成する際に、入力文のどの部分に注目すべきかを、そのつど動的に選び直す仕組みでした。これによって、翻訳の精度、特に長い文章での精度が大きく向上します。

「Attention Is All You Need」—2017年の大胆な主張

2017年、Googleの研究者たちが発表した論文のタイトルは、「Attention Is All You Need(Attentionこそが、必要なすべてである)」というものでした。かなり踏み込んだ言い切り方です。

この論文が提案したTransformerという仕組みは、それまで当然の前提とされていたRNNやLSTMによる逐次処理そのものを、完全に取り除いてしまいました。代わりに使われたのが、文章中のすべての単語のペアの関係を、一度に計算する「自己注意機構」です。単語を順番に読む必要がなくなったことで、GPUによる並列計算をほぼ無駄なく活かせるようになりました。文章の中での単語の並び順は、位置情報を別途埋め込む「位置エンコーディング」という工夫で補われています。

タイトルの大胆さに見合うだけの実質を、この論文は備えていました。その後の展開が、それを裏づけていきます。

BERTとGPT—Transformerの二つの系譜

Transformerは、その後、大きく二つの系譜に枝分かれしていきます。

2018年に発表された「BERT」は、文章の一部を隠し、その部分を前後の文脈から推測させるという訓練方法によって、文章の意味を深く捉える表現を学習しました。

一方で、同じく2018年、OpenAIが発表した「GPT」は、次に来る単語を予測するという、より単純な訓練方法を採用し、文章を生成する方向に強みを発揮していきます。

このGPTの系譜は、2020年の「GPT-3」で大きな転換点を迎えます。1750億個という、それまでとは桁違いのパラメータ数を持つこのモデルは、特定のタスクに合わせた追加の訓練をほとんど行わなくても、指示文中でいくつかの例を示すだけで、新しい課題に対応できるという能力を示しました。前回のAlexNetと同じく、規模の拡大が、質的に新しい能力を引き出すことを、ここでも示した形です。

「基盤モデル」という言葉の誕生

2021年、スタンフォード大学の人間中心AI研究所に設置された基盤モデル研究センターが発表した論文は、BERTやGPT-3のような、大量のデータで幅広く事前学習され、多様な下流タスクに応用できるモデルを指して、「基盤モデル」という言葉を新たに提唱しました。論文は、この呼び名について「これらのモデルが持つ、決定的に中心的でありながら、なお不完全な性格を強調するため」と説明しています。

一つのモデルを土台として、その上にさまざまな応用を築いていくという発想は、この論文によって、初めて明確な名前を与えられたことになります。

量がもたらす、質の変化

前回のAlexNetが示した「データと計算資源の規模を増やせば、性能が大きく向上する」という経験則は、Transformerというアーキテクチャによって、文章の世界でさらに大きく開花しました。RNNの逐次処理という足かせを取り除いたことで、モデルの規模を増やすことそのものが、以前よりずっと現実的な選択肢になったのです。

そして連載第2回で振り返った、ダートマス会議の提案書にあった「知能のあらゆる特徴は、原理的に精密に記述できる」という1956年の推測は、基盤モデルという形で、これまでで最も大規模な検証を受けていることになります。次回は、この基盤モデルが実際の生成AIとして社会に広がっていく現在地を取り上げます。

何が重要で、何がまだ分からないのか

基盤モデルは、驚くほど幅広いタスクに対応できることを示しました。しかし、それが連載第1回で取り上げたチューリングの問いー振る舞いが人間と見分けがつかないことと、実際に理解していることは同じなのかーへの答えを出したわけではありません。規模を増やし続けることが、この問いへの答えに近づく道なのか、それともどこかで別の壁に突き当たるのかも、まだ分かっていません。

一つの土台に、多くの応用が乗ること

筆者は、サイバーセキュリティやデジタル関連法規制に関わる仕事をしています。「基盤モデル」という名前を初めて聞いたとき、真っ先に思い浮かんだのは、サプライチェーンリスクや単一障害点という、セキュリティの世界でおなじみの構造でした。

一つの共通の土台の上に、性質の異なる数多くの応用が築かれるとき、その土台に欠陥や偏りがあれば、影響は個別の応用にとどまらず、その土台を使うすべてのシステムに及びます。広く使われる一つの部品の欠陥が、それに依存する無数のシステムに一斉に波及する、という構造は、セキュリティの実務でも繰り返し見てきた光景です。実際、欧州のAI規則でも、汎用的な基盤モデルに対しては、個々のAI応用とは別に、より重い義務が課される仕組みが設けられています。

土台としての性質を持つ技術は、それが優れているほど、影響の範囲も大きくなります。基盤モデルという名前は、その利便性だけでなく、こうした構造的なリスクの所在も、同時に言い当てているように思います。

出典・参考文献