報酬系と内発的動機

neuroscienceaicognitive-science

行動の結果を評価し「もう一度やりたい / もうやりたくない」を学習する神経回路。ドパミン報酬系が中核。LLM には内発的動機がゼロであり、RLHF は外部から好みを注入しているに過ぎない。

主要構造

領域機能
腹側被蓋野 (VTA)ドパミンニューロンの起始核。報酬予測誤差を発火パターンで符号化
側坐核 (NAcc)VTA からドパミンを受け取る。「やりたい」の駆動力 (wanting)
扁桃体情動的顕著性。危険検知、恐怖学習
視床下部恒常性、生理的欲求（空腹・渇き・性欲・体温）
手綱核負の報酬信号。回避学習、「もうやめたい」

報酬予測誤差 (RPE)

Schultz et al. (1997) が発見。ドパミンニューロンは予測と結果のずれに反応する:

状況ドパミン応答意味
予期しない報酬発火増加「おっ、いいぞ」→ 行動を強化
予期通りの報酬変化なし学習済み
予期したのに報酬なし発火減少「あれ？」→ 行動を抑制

この機構は強化学習の TD (Temporal Difference) 誤差と数学的に等価であり、AI の強化学習は報酬系を直接モデル化したもの。

LLM との対応

報酬系の機能RLHF での代替本質的ギャップ
内発的好奇心 (VTA)なしRLHF は「人間が好む出力」を教える。「自分から知りたい」がない
恒常性の欲求 (視床下部)なし「疲れたから休みたい」「危険だからやめたい」が原理的に存在しない
情動的顕著性 (扁桃体)safety training危険を「感じる」のではなく、危険なパターンを学習で避けている
回避学習 (手綱核)RLHF の penalty外部フィードバック。実体験に基づく回避ではない
報酬予測誤差reward model静的なモデル。文脈依存のリアルタイム更新ではない

RLHF の構造的限界

flowchart LR
    subgraph human["人間の報酬系"]
        VTA["VTA"] -->|ドパミン| NAcc["側坐核"]
        NAcc -->|wanting| Action["行動"]
        Action -->|結果| VTA
    end
    subgraph rlhf["RLHF"]
        RM["Reward Model<br/>(凍結)"] -->|スコア| PPO["PPO 最適化"]
        PPO -->|重み更新| LLM["LLM"]
    end

人間の報酬系は閉ループ: 行動 → 結果 → 評価 → 行動修正がリアルタイムで回る。RLHF は開ループ: 学習時に reward model を固定し、推論時には更新されない。

関連

Graph

Backlinks