计算神经科学把大脑写成方程

知识地图 › 03 突触与可塑性 › 3.3

3.3

Hebbian 学习与 Oja 规则

Hebbian learning and Oja's rule

★★☆ 核心学习规则

"一起放电的神经元连在一起"——最朴素的关联学习,但必须加归一化才不会爆炸。

核心要点

  1. 纯 Hebb 规则 Δw = ηxy 是正反馈且无界,权重会无限增长,最终所有神经元对同一刺激响应。
  2. Oja 规则加入衰减项 −ηwy,使权重收敛到输入协方差矩阵的主特征向量方向。
  3. 这是 PCA 的生物学版本,也是理解"表征学习"的起点。

公式

Δ w = η y (x-w y),
y=Σi wi xi

增强项 ∝ 输入×输出,但减去一个与 w 成正比的衰减项;稳态时 w 收敛到输入的主成分方向。

直觉

Hebb 是"谁一起亮就加深连接",Oja 补了一句"但总强度要守恒"。没有守恒,系统只会越来越响。

常见误区

认为 Hebb 学习能单独解释记忆。没有抑制与归一化,网络不会形成分离的表征,只会退化成"全体响应"。

出处

  • Hebb 1949
  • Oja 1982, J Math Biol
回到模块 03