稀疏编码与高效编码
Sparse and efficient coding
★★☆ 核心编码理论
感觉系统可能在做"去掉冗余"——用尽可能少的活跃单元表示世界。
核心要点
- 自然图像统计高度冗余;ICA / 稀疏编码能学出类似 V1 的 Gabor 感受野。
- 目标函数:重构误差 + λ·稀疏惩罚(L1 或 kurtosis)。
- 高效编码假说把神经响应与刺激的统计结构直接联系起来,是规范性(normative)理论的代表。
公式
minW E[\|x-Wa\|22]+λ \|a\|1
在"重构要准"与"编码要稀疏"之间权衡;Olshausen–Field 1996 由此解出的 W 列向量形似 Gabor 函数。
直觉
常见误区
出处
- Attneave 1954
- Barlow 1961
- Olshausen & Field 1996, Nature