计算神经科学把大脑写成方程

知识地图 › 06 学习、决策与贝叶斯 › 6.3

6.3

强化学习与多巴胺

Reinforcement learning and dopamine

★★☆ 核心学习核心

多巴胺信号编码"奖励预测误差",而不是奖励本身——这是计算与生理最漂亮的一次对齐。

核心要点

  1. 时序差分(TD)误差 δ = r + γV(s′) − V(s),驱动价值更新。
  2. Schultz 的电生理记录显示:奖赏出现时相兴奋、预期奖赏时无响应、缺失奖赏时抑制——三种情形正好对应 δ 的正、零、负。
  3. 模型-free(缓存)与 model-based(规划)双系统,是习惯与目标导向行为的计算解释。

公式

δt=rt+γ V(st+1)-V(st),

V(st)← V(st)+α δt

预测误差 = 实际得到的奖励 + 折扣后的下一状态价值 − 当前状态价值;α 为学习率,与多巴胺相位响应的幅度相关。

直觉

多巴胺不是"快乐",而是"比预期好多少"。意外之喜让它爆发,如约而至则毫无反应,落空则低于基线。

常见误区

把多巴胺等同于"快乐分子"。它更像"教学信号 / 精度加权",也参与运动启动、动机与显著性编码。

出处

  • Schultz, Dayan & Montague 1997, Science
  • Sutton & Barto Ch.6
回到模块 06