脳は「予測のズレ」で世界を学ぶ

サルの脳が「期待はずれ」に反応した日

1980年代、スイス・フリブール大学の生理学研究室で、ヴォルフラム・シュルツは地味な実験を繰り返していた。サルの中脳にあるドーパミンニューロンドーパミンニューロン中脳の黒質緻密部(SNc)と腹側被蓋野(VTA)に集中する神経細胞。ドーパミンを合成・放出し、線条体や前頭皮質に投射する。に微小電極を刺し、サルがジュースの報酬をもらうときの神経発火を記録する——それが彼の日常だった。もともとシュルツの関心はパーキンソン病の運動制御にあった。ドーパミンと報酬の関係は、まだ本格的な研究テーマですらなかった。

最初の観察では、ジュースが口に届いた瞬間にドーパミンニューロンが激しく発火した。予想通りだ。ドーパミンは「快楽の物質」として知られていたし、報酬がもらえたときに出るのは直感にも合っていた。だが実験を重ねるうちに、おかしなことが起き始めた。サルがジュースのパターンを学習すると、ジュースが来ても神経が反応しなくなったのだ。

さらに奇妙だったのは、反応が消えたのではなく「移動」したことだった。ジュースそのものへの発火が消え、代わりにジュースが来ることを予告する合図音の瞬間に発火が起き始めた。まるでニューロンが報酬それ自体ではなく、「報酬が来る予感」に反応しているかのように。

そして最後のピース——予告された報酬が来なかったとき、ドーパミンニューロンの発火率がベースラインよりも下がった。「無い」ことへの反応だ。神経は普通、何も起きなければ何も反応しない。それなのに、「あるはずのものが無い」ことに対して、明確な抑制信号を出していた。

ここで理論の出番が来る。ソーク研究所にいた計算神経科学者ピーター・ダイアンPeter Dayan計算神経科学者。マックス・プランク生物サイバネティクス研究所所長。ユニバーシティ・カレッジ・ロンドンのギャツビー計算神経科学ユニットの初代所長を務めた。は、シュルツの実験データを見たとき、それが人工知能の分野で1980年代から存在していた数学モデル——TD学習TD学習（Temporal Difference Learning）リチャード・サットンが1988年に定式化した強化学習アルゴリズム。最終結果を待たず、途中の予測を次の予測で修正していく。「未来の見積もりを、少し先の未来の見積もりで更新する」手法。——の予測誤差信号と驚くほど一致することに気づいた。

1997年、シュルツ、ダイアン、リード・モンタギューの3人はScience誌に連名で論文を発表する。ドーパミンニューロンの発火パターンは、「報酬予測誤差」——予測された報酬と実際の報酬との差分——を符号化している、と。その差分とは、3つのシンプルなルールで記述できる。

あなたの脳の「予測誤差」を観察する

ここまで読んで、報酬予測誤差の仕組みは理解できただろう。だが「理解する」と「体感する」はまったく別のことだ。次のカードゲームでは、あなた自身の脳がパターンを学習し、予測を立て、そしてその予測が裏切られる過程をリアルタイムで記録する。——自分の「慣れ」と「驚き」を、外側から眺めてみよう。

ここで面白いのは、この理論が「嬉しい」「悲しい」という主観的な感情ではなく、純粋に数学的な差分——予測値と実現値の引き算——で脳の反応を説明してしまうことだ。感情は予測誤差の「結果」として現れるものであって、ドーパミンが直接つくり出しているわけではない。

ではここで、報酬予測誤差の理論をいくつかの日常的な場面に当てはめてみよう。カードゲームで「体感」したことを、今度は「思考」で追いかける番だ。

「予測のズレ」が学習を駆動する仕組み

報酬予測誤差が脳にとって重要な理由は、それが学習の教師信号として機能するからだ。予測が外れたとき——そのときだけ——脳は「何かを更新する必要がある」と判断する。予測が当たっている限り、脳は何も変えない。なぜ変える必要があるだろう？　うまくいっているのだから。

この仕組みの美しさは、そのシンプルさにある。脳は世界のすべてを記憶する必要はない。「予測と違ったこと」だけを記録し、予測を更新すればいい。予測が正確になるほど更新は減り、やがて安定する。——ただし世界が変わったときには、再び予測誤差が生まれ、学習が再起動する。

偶然の発見から人工知能まで

脳とAIは同じ数式を使っている

報酬予測誤差の物語が示しているのは、脳の学習アルゴリズムとAIの強化学習アルゴリズムが、独立に同じ原理にたどり着いたということだ。コンピュータ科学者がゲームをうまくプレイするAIを作ろうとして設計した仕組みが、数百万年かけて進化した脳の仕組みとほぼ同じだった。

この知見は「面白い発見」にとどまらない。依存症の理解を変えた。薬物は予測誤差信号を人工的に増幅し、脳の学習回路をハイジャックする。通常の報酬では起こり得ないほどの正の予測誤差を繰り返し発生させ、脳に「これは生存に不可欠なほど重要なものだ」と誤学習させる。

テクノロジーの設計にも影響を与えた。SNSの通知がランダムなタイミングで届くのは、予測誤差を最大化する設計だ。いつ来るかわからない「いいね」は、毎回同じタイミングで届く「いいね」よりもずっと大きな予測誤差を生む。スロットマシン、ガチャ、プルトゥリフレッシュ——これらはすべて、予測不可能な報酬によって予測誤差を人為的に最大化する仕組みだ。

そして、この理論が語る最も深い含意はこうだ。私たちは「世界をありのままに」体験しているのではない。常に予測を立て、その予測からのズレだけを信号として受け取っている。完全に予測できた世界には、もはやシグナルがない。退屈とは、予測誤差がゼロに近づいた状態のことかもしれない。驚きとは、予測の失敗のことかもしれない。そして学習とは、その失敗を次の予測に織り込むことだ。