信息论:熵与互信息
Information theory
★★☆ 核心编码数学
用比特衡量"神经响应告诉了我们多少关于刺激的事",与具体解码算法无关。
核心要点
- 互信息 I(S;R) = H(R) − H(R|S),单位是比特,衡量统计依赖强度。
- 直接法(plug-in)在高维响应空间会严重高估,需用置换检验、偏差校正或解码替代。
- 信息效率 = 互信息 / 响应熵,可衡量编码的稀疏与高效程度。
公式
I(S;R)=Σs,rp(s,r)log2p(s,r)p(s) p(r)
联合分布与"独立假设下分布"的 KL 散度;等于 H(R) − H(R|S)。连续变量用微分熵,需注意离散化带来的偏差。
直觉
常见误区
出处
- Cover & Thomas Ch.2
- Panzeri et al. 2007, J Neurophysiol