知识地图 › 06 学习、决策与贝叶斯 › 6.3
强化学习与多巴胺
Reinforcement learning and dopamine
★★☆ 核心学习核心
多巴胺信号编码"奖励预测误差",而不是奖励本身——这是计算与生理最漂亮的一次对齐。
核心要点
- 时序差分(TD)误差 δ = r + γV(s′) − V(s),驱动价值更新。
- Schultz 的电生理记录显示:奖赏出现时相兴奋、预期奖赏时无响应、缺失奖赏时抑制——三种情形正好对应 δ 的正、零、负。
- 模型-free(缓存)与 model-based(规划)双系统,是习惯与目标导向行为的计算解释。
公式
δt=rt+γ V(st+1)-V(st),
V(st)← V(st)+α δt
V(st)← V(st)+α δt
预测误差 = 实际得到的奖励 + 折扣后的下一状态价值 − 当前状态价值;α 为学习率,与多巴胺相位响应的幅度相关。
直觉
常见误区
出处
- Schultz, Dayan & Montague 1997, Science
- Sutton & Barto Ch.6