報酬 (強化学習)
強化学習で、エージェントが最大化しようとするただ1個のスカラー値(数値)。「いまの出力/行動はどれくらい良かったか」を数で返すだけのもの。engagement-driven-generation や RLHF/RLAIF で「報酬」と言うとき、これを指す。
そもそも報酬とは — 3つの誤解を外す
- 報酬は「数値」であって、説明でも意図でもない。 モデルに「面白い文章を書け」と言葉で教えるのではなく、出力に対して
0.83のような点数を返す。それだけ。 - エージェントは報酬の意味を理解しない。 ただ将来もらえる報酬の合計(期待値)が大きくなる方向にパラメータを動かすだけ。だから「何に点を与えるか」が、そのまま「何を目的にするか」になる。
- 報酬関数 = 目的の定義そのもの。 報酬関数とは「出力 → 数値」への写像。良し悪しの基準を人間が外から決めて埋め込む装置であり、ここを間違えると全部ズレる。
出力 y → [報酬関数 R] → スカラー r
エージェントは E[Σ r] を最大化するよう学習する(r の "意味" は問わない)何が「報酬」になるのか
同じ枠組みで、報酬の作り方だけが違う。
| 文脈 | 報酬 r の正体 | 手法名 |
|---|---|---|
| ゲーム | スコア・勝敗 | 古典的 RL |
| LLM を人間好みに | 「人間が👍するか」を予測する報酬モデルの出力 | RLHF |
| LLM を AI 好みに | preference を別の LLMが採点 | RLAIF |
| 検証可能なタスク | ルールで判定(コードが通る/答えが正しい) | RLVR |
| エンゲージメント最適化 | シミュレートした反応量(例: R = √(f·|𝒜|)) | RLSF |
viralbert のような「伸びるか予測するモデル」は、そのまま報酬モデルとして流用できる。予測器のスコア = 報酬。
なぜ重要か / 落とし穴
- 報酬は真の目的の”代理”でしかない。 「良い文章」を直接測れないから「人間の👍」「エンゲージ量」で代用する。代理がズレると、エージェントは代理だけを賢く釣りにいく = 報酬ハッキング(Goodhart の法則)。clickbait への暴走はこれ。
- だから実務では素モデルからの KL ペナルティや品質項との積で歯止めをかける(engagement-driven-generation 参照)。
神経科学との対応
この仕組みは脳の報酬系を数学的に写したもの。ドパミンの報酬予測誤差 (RPE) は RL の TD 誤差と等価。ただし脳は行動→結果→評価がリアルタイムで回る閉ループ、RLHF 等は学習時に報酬モデルを固定する開ループという違いがある。
関連
- engagement-driven-generation — エンゲージメントを報酬に据えて LLM 生成を最適化する具体例
- inference-time-alignment — 重みを更新せず推論時に報酬を使う(best-of-N)。報酬の「使い方」の一軸
- viralbert — 予測器スコアをそのまま報酬モデルに使える前世代
- reward-system — 同じ「報酬」概念の神経科学版(RPE / TD 誤差の等価性)
- formal-vs-functional-competence — RLHF は外部報酬で好みを注入する=内発的動機の欠如を補う構図