Hebbian 学习与 Oja 规则
Hebbian learning and Oja's rule
★★☆ 核心学习规则
"一起放电的神经元连在一起"——最朴素的关联学习,但必须加归一化才不会爆炸。
核心要点
- 纯 Hebb 规则 Δw = ηxy 是正反馈且无界,权重会无限增长,最终所有神经元对同一刺激响应。
- Oja 规则加入衰减项 −ηwy,使权重收敛到输入协方差矩阵的主特征向量方向。
- 这是 PCA 的生物学版本,也是理解"表征学习"的起点。
公式
Δ w = η y (x-w y),
y=Σi wi xi
y=Σi wi xi
增强项 ∝ 输入×输出,但减去一个与 w 成正比的衰减项;稳态时 w 收敛到输入的主成分方向。
直觉
常见误区
出处
- Hebb 1949
- Oja 1982, J Math Biol