计算神经科学把大脑写成方程

知识地图 › 04 神经编码 › 4.6

4.6

稀疏编码与高效编码

Sparse and efficient coding

★★☆ 核心编码理论

感觉系统可能在做"去掉冗余"——用尽可能少的活跃单元表示世界。

核心要点

  1. 自然图像统计高度冗余;ICA / 稀疏编码能学出类似 V1 的 Gabor 感受野。
  2. 目标函数:重构误差 + λ·稀疏惩罚(L1 或 kurtosis)。
  3. 高效编码假说把神经响应与刺激的统计结构直接联系起来,是规范性(normative)理论的代表。

公式

minW E[\|x-Wa\|22]+λ \|a\|1

在"重构要准"与"编码要稀疏"之间权衡;Olshausen–Field 1996 由此解出的 W 列向量形似 Gabor 函数。

直觉

视网膜收到的是高度重复的画面,大部分像素是可以被邻居预测的。稀疏编码就是"只报告那些猜不到的部分"。

常见误区

把"能学出 Gabor"当成"大脑就是这样"。规范性模型说明"为什么这样可能是最优的",不证明机制真的如此实现。

出处

  • Attneave 1954
  • Barlow 1961
  • Olshausen & Field 1996, Nature
回到模块 04