计算神经科学把大脑写成方程

知识地图 › 04 神经编码 › 4.5

4.5

信息论:熵与互信息

Information theory

★★☆ 核心编码数学

用比特衡量"神经响应告诉了我们多少关于刺激的事",与具体解码算法无关。

核心要点

  1. 互信息 I(S;R) = H(R) − H(R|S),单位是比特,衡量统计依赖强度。
  2. 直接法(plug-in)在高维响应空间会严重高估,需用置换检验、偏差校正或解码替代。
  3. 信息效率 = 互信息 / 响应熵,可衡量编码的稀疏与高效程度。

公式

I(S;R)=Σs,rp(s,r)log2p(s,r)p(s) p(r)

联合分布与"独立假设下分布"的 KL 散度;等于 H(R) − H(R|S)。连续变量用微分熵,需注意离散化带来的偏差。

直觉

互信息回答的是"知道响应之后,对刺激的不确定性减少了多少"。它不关心你怎么解码,只关心统计上有没有关联。

常见误区

用有限样本的 plug-in 估计直接下结论。几十个 trial 下偏差可达数比特,必须做置换检验(shuffle)来确定显著性。

出处

  • Cover & Thomas Ch.2
  • Panzeri et al. 2007, J Neurophysiol
回到模块 04