导读
深度神经网络(DNN)应该能够持续获取、保留和巩固知识。然而，它们在实践中表现出灾难性的遗忘：当他们学习新任务时，网络在先前学习的任
深度神经网络(DNN)应该能够持续获取、保留和巩固知识。然而，它们在实践中表现出灾难性的遗忘：当他们学习新任务时，网络在先前学习的任务上的性能急剧下降。
相比之下，人脑通过丰富的神经生理机制维持可塑性和稳定性之间的平衡。此外，智能代理拥有两个互补的学习系统：基于实例的海马系统和参数新皮质系统。
最近在arXiv.org上的一篇论文使用了这些来自神经科学的观察结果并提出了SYNERgy，它采用双记忆重放机制与突触巩固结合进行一般增量学习。实证评估证明了SYNERgy在获取、巩固和保留更长序列的知识方面的有效性和多功能性。
一组复杂的机制促进了大脑中的持续学习(CL)。这包括用于整合互补学习系统(CLS)理论所假设的信息的多个记忆系统的相互作用和用于保护获得的知识不被擦除的突触整合。因此，我们提出了一种通用的CL方法，该方法在SYNaptic整合和双记忆体验重放(SYNERgy)之间产生了协同作用。我们的方法维护了一个语义记忆，该记忆在任务中积累和整合信息，并与情景记忆交互以实现有效的回放。它通过在训练轨迹期间跟踪参数的重要性并将它们锚定到语义记忆中的合并参数来进一步采用突触合并。据我们所知，我们的研究是第一个将双重记忆体验回放与适用于一般CL的突触巩固结合起来，其中网络在训练或推理期间不利用任务边界或任务标签。我们对各种具有挑战性的CL场景和特征分析的评估证明了结合突触巩固和CLS理论在DNN中实现有效CL的功效。
标签：
免责声明：本文由用户上传，如有侵权请联系删除！