计算神经科学把大脑写成方程

知识地图 › 06 学习、决策与贝叶斯 › 6.5

6.5

不确定性、探索与置信

Uncertainty and exploration

★★★ 进阶决策进阶

好的决策不只需要"最优估计",还需要知道"自己有多不确定"。

核心要点

  1. 偶然不确定性(aleatoric)来自噪声,可通过多次采样降低;认知不确定性(epistemic)来自无知,需要探索才能降低。
  2. 探索–利用权衡的经典算法:ε-greedy、softmax、UCB、Thompson 采样。
  3. 神经相关:眶额皮层与扣带皮层的"置信"信号;去甲肾上腺素与意外/学习率调节。

公式

UCB: at=argmaxa[Q(a)+c√ln tN(a)]

在估计价值 Q(a) 上加一个"不确定性奖励"项——访问次数越少,奖励越大,从而鼓励探索。

直觉

只去吃过的那家餐馆最稳,但你永远不知道街角那家是不是更好。UCB 的策略是"给未知一点加成"。

常见误区

把"不确定性"当成一个标量。至少存在两类,它们对应不同的神经机制与不同的最优行为——混为一谈会导致模型无法区分"噪声大"与"没经验"。

出处

  • Daw et al. 2006, Nature
  • Dayan & Daw 2008, Nat Neurosci
回到模块 06