本記事は、連載「AIの原理」(全11回)の第9回です。
前回の記事はこちら
これまでの回で、大規模言語モデルが、文章から次の言葉を予測するという課題を通じて、驚くほど幅広い能力を身につけていく様子を見てきました。ここで、研究者の間で意見が分かれる、大きな問いがあります。この「言葉の予測」という土台だけで、十分な知能に到達できるのか。それとも、「世界が実際にどう動くか」を内部に持つ、別の種類の仕組みが必要なのか。今回は、この論争の中心にある「ワールドモデル」という考え方を取り上げます。
次回扱うAGI・ASI・シンギュラリティといった用語と同じく、ワールドモデルも、研究者や経営者によって重視の度合いが大きく異なる、論争的な概念です。次回の論争にも直結するため、今回は特定の立場に肩入れせず、どのような見方があり、それぞれが何を根拠にしているかを整理します。
ワールドモデルとは何か
ワールドモデルとは、大まかに言えば、ある行動を取ったときに世界がどう変化するかを、内部で予測できる仕組みのことです。
2018年、研究者のデイビッド・ハーとユルゲン・シュミットフーバーが発表した研究は、この発想を具体的な形で示しました。彼らが作ったエージェント(自律的に行動を選ぶプログラム)は、まず、自分が置かれた環境を、圧縮された形で内部にシミュレートすることを学習します。そのうえで、実際の環境で何度も試行錯誤する代わりに、この内部シミュレーション、いわば自分自身が見ている「夢」の中で行動を練習し、そこで身につけた方針を、実際の環境に持ち込みます。
現実の世界で一つひとつの行動を試すには、時間もコストもかかります。しかし、頭の中に「世界がどう動くか」のシミュレーションさえあれば、実際に手を動かす前に、結果を先回りして予測し、計画を立てられます。この「内部シミュレーションを使って、行動する前に結果を予測する」という発想が、ワールドモデルの中心にあります。
ワールドモデル論争が起きている理由
この発想自体は新しいものではありませんが、近年、大規模言語モデルが目覚ましい成果を上げるにつれて、一つの疑問が強く意識されるようになりました。第4回で見た「次の言葉を予測する」という学習だけで、これほど幅広い能力が身についたのなら、それだけで十分なのではないか。あるいは、文章という限られた情報源だけでは届かない、何かが別に必要なのではないか。この疑問をめぐって、研究者の立場は分かれています。
「必要だ」とする立場
この論争で、ワールドモデルの必要性を強く主張してきた研究者の一人が、ヤン・ルカンです。
ルカンは、現在の機械学習システムが持つ限界を指摘しています。教師あり学習には大量のラベル付きデータが、強化学習には大量の試行錯誤が必要ですが、人間や動物の学習は、これよりずっと効率的です。たとえば人間の赤ちゃんは、ものが視界から消えても存在し続けるという感覚(物の永続性)や、重力、慣性といった物理法則の基本的な感覚を、比較的短い期間のうちに、主に観察だけを通じて身につけていきます。
ルカンは、この違いの背景に、人間や動物が「世界のモデル」を内部に構築していることがあると論じます。そのうえで、大規模言語モデルについて、次のように指摘しています。現在の大規模言語モデルは、ときに推論しているかのような見た目を示すものの、実際には現実についての理解を持っていない。その理由の一つは、モデルが知っていることのすべてが、書かれた文章という情報源だけに由来しており、人間や動物が現実の世界で行いうるあらゆる経験を、文章がすべて説明しているわけではないからだ、というのがルカンの見方です。彼はこの考えに基づき、世界の状態を予測する専用の仕組みを組み込んだ、新しいAIアーキテクチャを提案しています。
「必ずしも必要ではない」とする立場
一方で、この考え方に懐疑的な立場もあります。第7回で紹介したリチャード・サットンの「Bitter Lesson」を思い出してください。サットンは、人間の知識を丁寧に組み込んだ手法よりも、計算量を活かせる汎用的な手法の方が、長期的には結局のところ勝ってきたと論じていました。
この考え方を推し進めれば、「世界のモデル」を専用の仕組みとしてあらかじめ設計し、組み込む必要はなく、大規模言語モデルを、より大きな規模で、より多様なデータ(文章だけでなく、画像や行動の記録なども含めて)によって訓練していけば、世界について有効に振る舞うために必要な性質は、副産物として自然に身についていくはずだ、という見方が成り立ちます。実際、どこまでを外から設計して組み込むべきで、どこからを規模の力に委ねるべきかという問いは、AI開発に携わる企業や研究者のあいだでも、意見が分かれ続けています。
ワールドモデル論争とAGI論争のつながり
ワールドモデルが必要かどうかという問いは、次回取り上げるAGI・ASIをめぐる論争とも、深く結びついています。「知能に到達するために何が必要か」という問いへの答え方が違えば、AGIに近づいたと判断する基準も変わってくるからです。また、この論争は、第7回のスケーリング則や第8回の強化学習と推論モデルで見てきた「規模を増やせば十分なのか」という問いの、一つの延長線上にあるとも言えます。
ワールドモデルは明示的に組み込むべきなのか
「世界のモデル」という考え方そのものは、行動の結果を予測し、計画を立てるうえで有用だという点では、幅広く共有されています。分かれているのは、それを専用の仕組みとして明示的に組み込む必要があるのか、それとも大規模言語モデルの学習の副産物として、暗黙のうちに獲得されうるのか、という点です。
この問いに、決まった答えはまだありません。大規模言語モデルの内部に、世界の状態を暗黙のうちに表現しているらしき痕跡が見つかったとする研究もあれば、そうした痕跡は限定的で、ルカンが指摘するような頑健さには程遠いとする見方もあります。
次回は、AGI、ASI、シンギュラリティといった、ホットな言葉たちを解説します。
出典・参考文献
- Ha, D., & Schmidhuber, J. (2018). “World Models.”
(https://arxiv.org/abs/1803.10122) - Dawid, A., & LeCun, Y. (2023). “Introduction to Latent Variable Energy-Based Models: A Path Towards Autonomous Machine Intelligence.”
(https://arxiv.org/abs/2306.02572) - Sutton, R. (2019). “The Bitter Lesson.”
(https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdf)