本記事は、連載「AIの原理」(全11回)の第5回です。
前回の記事はこちら
前回、大規模言語モデルが、膨大な文章を使って「次に来る言葉を当てる」という課題を繰り返す、事前学習という工程を見ました。その最後に、一つ書き残したことがあります。事前学習を終えたばかりのモデルは、まだ「賢いアシスタント」とは呼べない、という点です。
事前学習を終えたモデルがしているのは、あくまで、与えられた文章の続きを、もっともらしく生成することです。質問を投げかけても、それに素直に答えるとは限りません。もっともらしい続きを生成しているだけのモデルは、質問に対して、さらに別の質問を返してしまうことさえあります。この、ただの「続き生成マシン」を、指示に従い、丁寧に受け答えする対話相手へと仕上げていく工程が、今回取り上げるファインチューニングとRLHFです。
ファインチューニング—良い受け答えの見本で、追加の訓練をする
一つ目の工程が、「ファインチューニング」です。
前回までに見た教師あり学習を思い出してください。「入力」と「正しい出力」の組を用意し、その対応関係を学習させる方法でした。ファインチューニングは、この教師あり学習を、事前学習を終えたモデルに対して、もう一段追加で行う工程です。
ここで使われるのは、「こういう質問には、こう答えるのが良い受け答えだ」という見本を、人間が実際に書いた、比較的少数の高品質なデータです。事前学習が、インターネット上のほぼすべての文章を読み込むような、桁違いに大規模な工程だったのに対し、ファインチューニングは、それよりずっと小さな規模の、質の高い見本を使って行われます。この追加の訓練によって、モデルは「質問には、こういう形で答えるものだ」という、応答の型を身につけていきます。
RLHF—人間の「好み」を、報酬として学習に組み込む
もう一つの工程が、「RLHF(人間のフィードバックからの強化学習)」です。
第3回で、強化学習は、正解の例を与えられるのではなく、行動の結果として得られる「報酬」を手がかりに学習する方法だと説明しました。RLHFは、この報酬を、人間の「好み」から作り出すという工夫です。
具体的には、次のような手順を踏みます。まず、同じ質問に対して、モデルにいくつかの異なる答えを生成させます。次に、人間の評価者が、それらの答えを比べて、どれがより良い答えかを順位づけします。この「どちらが好まれるか」という人間の判断のパターンを学習して、答えの良し悪しを自動でスコア化できる、「報酬モデル」と呼ばれる別のモデルを作ります。そして最後に、この報酬モデルが返すスコアを「報酬」として使い、第3回で見た強化学習の要領で、より高いスコアが得られる答えを出すように、アシスタント本体のモデルを調整していきます。人間の評価者が、すべてのやり取りに一つひとつ付き合う代わりに、人間の好みのパターンを学習した報酬モデルが、その役目を大量に肩代わりする、という仕組みです。
この手法を採用した「InstructGPT」という研究では、この調整を経た、わずか13億パラメータのモデルの出力が、それよりはるかに大きい1750億パラメータの、調整前のモデルの出力よりも、人間の評価者に好まれたと報告されています。規模の大きさだけでなく、人間の意図にどれだけ沿っているかが、実際の使い心地を大きく左右することを、この結果は示していました。この技術を土台に、対話に特化した調整を加えたものが、2022年に公開されたChatGPTです。公開までの経緯は、連載「AIの歴史」第10回で詳しく扱っていますので、あわせてご覧ください。
一語ずつの予測から文章が生まれる仕組み
ここで、もう一つの疑問に答えておきます。モデルが学習しているのは「次に来る言葉を当てる」ことだけだとして、なぜ、何行にもわたる文章を、まとまりよく生成できるのでしょうか。
答えは単純です。モデルは、文章をまとめて一度に生成しているわけではありません。次に来る言葉を一つ予測し、それをここまでの文章の続きに付け加え、その少し長くなった文章をもとに、また次の一言を予測する。これを、一言ずつ、何度も繰り返しているだけです。バトンを渡すリレー走のように、一つ前の出力が、次の予測のための新しい材料になる。この工程を積み重ねることで、結果として、まとまりのある文章全体ができあがっていきます。
LLMの学習とTransformerのつながり
前回の事前学習と、今回のファインチューニング・RLHFで、大規模言語モデルがどのように作られ、どのように応答を組み立てているのかという、大まかな骨格が見えてきました。教師あり学習も強化学習も、第3回で見た学習の型がそのまま使われていることが分かります。土台となる知識は事前学習で、人間にとって使いやすい振る舞いはファインチューニングとRLHFで、それぞれ別の段階として積み上げられているのです。
ここまでは、モデルの内部で具体的に何が起きているのかには触れず、学習という工程の外側から説明してきました。次回は、ネットワークの内部で、文章中のどの言葉に注目しながら判断が行われているのかという、AttentionとTransformerの仕組みを取り上げます。また、RLHFで簡単に触れた強化学習は、現在の推論モデルを理解するうえでも重要な考え方になるため、連載第8回で、あらためて詳しく掘り下げます。
RLHFは答えの正しさまで保証するのか
ファインチューニングとRLHFによって、モデルの受け答えが、人間にとって扱いやすいものになることは、実際に確認されています。
ただし、ここで注意しておきたいことがあります。RLHFが調整しているのは、あくまで「人間にどれだけ好まれる答えか」であって、「その答えがどれだけ正しいか」を直接調整しているわけではありません。人間に好まれやすい答え方と、実際に正確で信頼できる答えとは、多くの場合重なりますが、常に一致するとは限りません。もっともらしく、自信ありげに聞こえる答えが、必ずしも正しいとは限らないという問題は、いまも研究者のあいだで議論が続いています。人間の好みに合わせて磨かれた「話し方」と、その中身の正しさは、別の物差しで見る必要がある、ということは、覚えておいてよいと思います。
次回は、最近のAIの発展の鍵となった、AttentionとTransformerを解説します。
出典・参考文献
- Ouyang, L., Wu, J., Jiang, X., et al. (2022). “Training Language Models to Follow Instructions with Human Feedback.” NeurIPS.
(https://arxiv.org/abs/2203.02155) - Radford, A., Narasimhan, K., Salimans, T., & Sutskever, I. (2018). “Improving Language Understanding by Generative Pre-Training.” OpenAI.
(https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf)