知识地图 › 06 学习、决策与贝叶斯 › 6.5
不确定性、探索与置信
Uncertainty and exploration
★★★ 进阶决策进阶
好的决策不只需要"最优估计",还需要知道"自己有多不确定"。
核心要点
- 偶然不确定性(aleatoric)来自噪声,可通过多次采样降低;认知不确定性(epistemic)来自无知,需要探索才能降低。
- 探索–利用权衡的经典算法:ε-greedy、softmax、UCB、Thompson 采样。
- 神经相关:眶额皮层与扣带皮层的"置信"信号;去甲肾上腺素与意外/学习率调节。
公式
UCB: at=argmaxa[Q(a)+c√ln tN(a)]
在估计价值 Q(a) 上加一个"不确定性奖励"项——访问次数越少,奖励越大,从而鼓励探索。
直觉
常见误区
出处
- Daw et al. 2006, Nature
- Dayan & Daw 2008, Nat Neurosci