本記事は、連載「AIの原理」(全11回)の第7回です。
前回の記事はこちら
第4回で事前学習を、第6回でTransformerを取り上げたとき、どちらでも「規模を大きくすると性能が上がる」という話に軽く触れました。しかし、それがどれくらい確かな傾向で、どこまで見通しが立つ話なのかには、まだ踏み込んでいませんでした。今回は、この「規模を大きくする」という営みを、もう少し具体的に見ていきます。
スケーリングの三要素—重み・データ・計算量
規模を大きくすると一口に言っても、実際に増やせるものは、大きく三つに分けられます。一つ目は、モデルの規模そのもの、つまり第1回で見た「重み」の数です。二つ目は、第3回・第4回で見た、訓練に使うデータの量です。そして三つ目が、訓練にどれだけの計算をつぎ込むか、という「計算量」です。この三つを、これまで見てきたような形で組み合わせて増やしていくと、第2回で見た「損失」が、どう変化していくのか。これが、今回の主題です。
べき乗則とは何か
2020年、OpenAIの研究者らが発表した研究は、この関係を詳しく調べました。モデルの規模、データの量、計算量をそれぞれ増やしていくと、損失は、行き当たりばったりに変化するのではなく、かなり規則正しく、滑らかに下がっていくことが分かったのです。この規則性は「べき乗則」と呼ばれる、なだらかな曲線を描く関係にあたります。この研究では、あわせて興味深い点も指摘されています。ネットワークの層の数や配置といった細かい設計上の違いは、性能に対してそれほど大きな影響を与えない一方、規模そのものの大きさは、性能にはっきりと結びついていたのです。
この規則性が実務にとって重要なのは、「予測できる」という点です。行き当たりばったりに大きくしてみて結果を見るのではなく、あらかじめ、どれくらいの規模でどれくらいの性能が見込めそうかを、ある程度見通せるようになります。この経験則が、実際に画像認識や文章生成の分野でどう現れたかについては、連載「AIの歴史」第8回・第9回で、それぞれ具体的な出来事として触れています。
「モデルを大きくすればよい」だけではなかった
もっとも、この規則性は、一度発見されたらそれで終わり、という話ではありません。2022年、DeepMindの研究チームが発表した「Chinchilla」と呼ばれる研究は、それまでの前提に、重要な修正を加えました。
それまでの傾向は、限られた計算量の中では、データの量をある程度に抑えてでも、モデルの規模をできるだけ大きくすることを優先する方が効率的だ、というものでした。しかし、この研究は、それまでの多くの大規模モデルが、その規模に見合うだけのデータ量で訓練されていなかった、つまり「訓練不足」だったと指摘しました。モデルの規模とデータの量は、同じ計算量のもとでは、どちらか一方に偏らせるよりも、バランスよく一緒に増やす方が、効率よく性能を引き出せるというのです。実際、この考え方に基づいて訓練されたモデルは、それより規模の大きい、それまでのモデルを上回る性能を示しました。
この一件が示しているのは、スケーリング則が、一つの完成した公式として固定されたものではなく、研究が進むにつれて、その中身が見直され続けている、発展途上の経験則だということです。
The Bitter Lesson—計算量を活かす方法が、結局は勝つ
規模の拡大をめぐっては、もう一つ、よく引用される主張があります。強化学習の研究者リチャード・サットンが2019年に発表した、「The Bitter Lesson(苦い教訓)」と題する小論です。
サットンは、70年にわたるAI研究を振り返り、人間の専門知識を丹念に組み込んだ手法よりも、計算量を活かせる汎用的な手法(探索や学習)の方が、長期的には結局のところ勝ってきた、と論じています。チェスでは、人間の指し方の知識を組み込んだ手法ではなく、力任せの探索を行う手法が、1997年に世界チャンピオンを破りました。囲碁でも、同じパターンが約20年遅れて繰り返されました。音声認識でも、人間の音韻知識を組み込んだ手法より、統計的な手法の方が優勢になり、画像認識でも、輪郭や特徴点を人手で定義する手法より、深層学習の手法の方が高い性能を示しました。サットンは、この背景に、計算コストが継続的に下がり続けてきたという事情があると指摘し、人間の知識を組み込む工夫は、短期的には役立つものの、長期的にはむしろ、計算量を活かす妨げになりやすいと論じています。
ここで一つ、注意しておきたいことがあります。Kaplanらの研究やChinchillaの研究が、実際に測定されたデータに基づく経験則であるのに対し、The Bitter Lessonは、サットン自身による歴史の解釈であり、一つの強い主張です。多くの研究者が引用し、参考にしている考え方ではありますが、これ自体が実証された法則というわけではありません。この主張をどう評価するかについても、研究者の間で意見が分かれています。
スケーリング則と推論モデルのつながり
ここまで見てきたのは、主に、訓練にどれだけの資源をつぎ込むかという話でした。ところが、近年の推論モデルでは、訓練の規模だけでなく、実際に答えを出す瞬間にどれだけの計算時間をかけるかという、また別の種類の「規模」が注目されるようになっています。この点は、連載第8回で、強化学習と推論モデルを取り上げる際に、あらためて触れます。また、「規模の拡大を続けていけば、いずれ人間に匹敵する、あるいは人間を超える知能に到達するのか」という問いは、連載第9回・第10回で扱うワールドモデルやAGIをめぐる論争にも、直接つながっています。
スケーリング則はこの先も成り立つのか
規模を増やすと性能が予測可能な形で向上するという規則性そのものは、複数の研究によって、繰り返し確認されています。
しかし、この規則性が、この先も同じ形で続くのかどうかは、まだ分かっていません。訓練に使える質の高いデータには限りがあること、計算資源にかかる費用やエネルギーには現実的な制約があることなど、この規則性がいずれ壁に突き当たる可能性を指摘する見方もあれば、工夫によってその壁を先送りできる、あるいは回避できるとする見方もあります。「規模の拡大は、知能への道としてどこまで有効なのか」という問いに、決まった答えはまだありません。
次回は、RLHFとは別の目的で強化学習が使われ始めていることを解説します。
出典・参考文献
- Kaplan, J., McCandlish, S., Henighan, T., et al. (2020). “Scaling Laws for Neural Language Models.”
(https://arxiv.org/abs/2001.08361) - Hoffmann, J., Borgeaud, S., Mensch, A., et al. (2022). “Training Compute-Optimal Large Language Models.”
(https://arxiv.org/abs/2203.15556) - Sutton, R. (2019). “The Bitter Lesson.”
(https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdf)