記事は、連載「AIの原理」(全11回)の第8回です。
前回の記事はこちら
第3回で、強化学習は、正解の例ではなく、行動の結果として得られる「報酬」を手がかりに学ぶ方法だと説明しました。第5回では、この強化学習が、人間の好みを報酬に変えるRLHFという形で、モデルの受け答えを扱いやすいものに仕上げるために使われていることを見ました。
近年、この強化学習が、もう一つ別の目的のために使われるようになっています。数学の問題を解いたり、プログラムを書いたりする力そのものを鍛える、という使い方です。こうして鍛えられたモデルは「推論モデル」と呼ばれ、2024年から2025年にかけて、OpenAIやDeepSeekなど複数の開発元から相次いで発表されています。今回は、この推論モデルを支える発想を見ていきます。
「好まれるか」ではなく「合っているか」という報酬
RLHFで使われていた報酬は、人間の評価者による「好み」でした。どちらの答えがより自然で、より役に立ちそうかを、人間が判断していたことを思い出してください。
数学の問題や、プログラミングの課題には、これとは違う特徴があります。答えが合っているかどうかを、人間の主観的な判断に頼らずとも、自動的に確かめられるのです。数学の問題であれば、出てきた答えが正しい数値と一致するかどうかを機械的にチェックできますし、プログラムであれば、書かれたコードが用意されたテストにきちんと通るかどうかを、実際に実行して確認できます。
この「自動的に確かめられる正しさ」を報酬として使えば、人間の評価者が一つひとつの答えを見て回る必要がなくなります。正しい答えにたどり着けば高い報酬を、たどり着けなければ低い報酬を、機械的に、大量に与え続けることができるのです。推論モデルの多くは、この「確かめられる正しさ」を報酬にした強化学習によって鍛えられています。
推論モデルの「考える過程」が伸びる理由
推論モデルのもう一つの特徴は、最終的な答えを出す前に、比較的長い「考える」過程を経ることです。問題をどう分解するか、どの手順で解くか、途中の計算が正しいかを見直すかといった、いわば下書きのような思考の過程を、答えの前に積み重ねます。
なぜこの「考える過程」が伸びていくのでしょうか。強化学習は、最終的な答えが正しいかどうかを手がかりに、モデルの振る舞いを調整していきます。この調整を繰り返す中で、途中でじっくり考える、いったん出した見立てを確認し直す、行き詰まったら別の手順を試すといった、より正解にたどり着きやすい考え方の癖が、結果として身についていくのです。ここで注目すべきなのは、こうした「考え方の癖」を、人間があらかじめ手本として教え込む必要が必ずしもないという点です。DeepSeekが2025年に発表した研究では、こうした振り返りや検証といった振る舞いが、最終的な答えの正しさだけを手がかりにした強化学習を通じて、モデル自身によって自然に身につけられたことが報告されています。
推論時の計算量という規模
第7回で、モデルの規模、データの量、計算量という、訓練にかける資源の話をしました。そのとき、推論モデルには、また別の種類の「規模」があると触れていました。それが、答えを出す、まさにその瞬間にどれだけの計算をつぎ込むか、という規模です。
人間も、簡単な質問には即答できますが、難しい問題ほど、時間をかけてじっくり考えた方が、良い答えにたどり着きやすくなります。推論モデルにも、これと似た性質があります。答えを出す前の「考える」過程を長く取るほど、特に難しい問題において、より正確な答えにたどり着きやすくなる傾向が見られます。第7回で見た、訓練にかける資源を増やすという規模の拡大とは別に、答えを出す瞬間にかける計算を増やすという、もう一つの規模の拡大が存在することになります。
強化学習の、二つの使われ方
第5回のRLHFと、今回の推論モデルは、どちらも強化学習を使っていますが、目的も、報酬の作り方も異なります。RLHFは、人間にとって心地よい受け答えの「型」を身につけさせるためのものでした。推論モデルの強化学習は、検証可能な正しさを手がかりに、問題を解く力そのものを鍛えるためのものです。同じ「強化学習」という道具が、異なる目的のために、異なる形で使われていることになります。
「考える力を伸ばした先に、どこまでの知能が実現できるのか」という問いは、次回取り上げるワールドモデルや、その先のAGI・ASIをめぐる論争にも直接つながっています。
推論モデルの「考える過程」は信頼できるのか
検証可能な正しさを報酬にした強化学習によって、数学やプログラミングのような課題での性能が、実際に向上することは確認されています。
一方で、まだはっきりしないことも残っています。一つは、「考える過程」を長くすることが、常により信頼できる答えにつながるとは限らない、という点です。長く考えているように見えても、それが本当に有効な検討になっているとは限らず、単に長いだけの場合もあり得ます。
もう一つは、自動的に確かめられる正しさだけを頼りに学習を進めると、モデルが、本来の問題を丁寧に解く代わりに、確認の仕組みの穴を突くような、近道の振る舞いを身につけてしまう可能性があることです。これは強化学習全般に共通する、以前から指摘されてきた懸念でもあります。答えが合っていることと、そこに至る過程が信頼できることは、必ずしも同じではない。この区別は、推論モデルを評価するうえで、今後も注意深く見ていく必要がありそうです。
次回は、AIの次の飛躍の鍵となるかもしれない、ワールドモデルを解説します。
出典・参考文献
- DeepSeek-AI. (2025). “DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning.” Nature, 645, 633–638.
(https://arxiv.org/abs/2501.12948)