由自动化研究所徐波和科学院脑科学与智能技术卓越中心蒲慕明领导的合研究小组发现,自我反向传播是一种中尺度突触可塑性规则自然神经网络,可以提高精度并降低尖峰神经网络(SNN)和人工神经网络(ANN)的计算成本。
他们的发现于 10 月 20 日发表在《科学进展》上。
先前的研究证明,自我反向传播 (SBP) 是由分子信号的快速逆行轴突传输引起的。它被认为是生物神经网络高效灵活学习的关键。
人工神经网络中的反向传播 (BP) 算法采用全局优化策略,可以获得优异的性能,但同时在学习过程中会占用过多的计算成本。
研究人员将生物学上合理的 SBP 引入了三层 SNN。他们发现在三个标准基准测试任务(MNIST、NETtalk 和 DvsGesture)中网络性能的准确性提高了。
“就平均时代和每个时代的算法复杂性的乘积而言,计算成本显着降低,”徐说。通过在受限玻尔兹曼机上进一步应用 SBP 获得了类似的结果。
根据这项研究,SBP 是一种特殊的中尺度生物可塑性机制,表明 SBP 在 SNN 中的重要作用与其在 ANN 中的对应 BP 相似。
这将引起机器学习领域的关注,因为用纯生物学似是而非的算法(例如,尖峰时间依赖的可塑性)训练 SNN是困难的,其中信息是时空的,并且由不连续的尖峰携带。
该研究为在 SNN 和 ANN 上进行生物学上合理的有效学习铺平了道路,具有用于学习不同任务的高精度和低计算成本。
标签:
免责声明:本文由用户上传,如有侵权请联系删除!