为了训练和实施人工神经网络，工程师需要能够执行数据密集型计算的先进设备。近年来，世界各地的研究团队一直在尝试使用不同的方法和设计来制造此类设备。
创建这些设备的一种可能方法是实现可以直接映射神经网络的专用硬件。例如，这可能需要使用忆阻设备阵列，它们同时执行并行计算。
马克斯普朗克微结构物理研究所和德国初创公司 SEMRON GmbH 的研究人员最近设计了可用于实现机器学习算法的新型节能记忆电容设备(即带有存储器的电容器)。发表在Nature Electronics 上的一篇论文中介绍的这些设备通过利用称为电荷屏蔽的原理工作。
“我们注意到，除了用于运行神经网络的传统数字方法外，主要是忆阻方法，只有很少的忆阻方法，”开展这项研究的研究人员之一 Kai-Uwe Demasius 告诉 TechXplore。“此外，我们注意到所有商用 AI 芯片都仅基于数字/混合信号，并且很少有带有电阻存储器件的芯片。因此，我们开始研究基于电容存储器件的替代方法。”
在回顾之前的研究时，Demasius 和他的同事发现，所有现有的记忆电容设备都难以按比例放大，并且动态范围很差。因此，他们着手开发更高效、更易于扩大规模的设备。他们创造的新型记忆电容装置从大脑中的突触和神经递质中汲取灵感。
“与忆阻器件相比，忆阻器器件的能源效率本质上要高出许多倍，因为它们基于电场而不是基于电流，并且信噪比在第一种情况下更好，”德马修斯说。“我们的 memcapacitor 设备基于电荷筛选，与之前实现 memcapacitive 设备的试验相比，它具有更好的可扩展性和更高的动态范围。”
Demasius 和他的同事创造的设备通过另一层(称为屏蔽层)控制顶部栅电极和底部读出电极之间的电场耦合。这个屏蔽层依次由模拟存储器进行调整，模拟存储器可以存储人工神经网络的不同权重值，类似于大脑中的神经递质存储和传递信息的方式。
为了评估他们的设备，研究人员将其中的 156 个以交叉模式排列，然后用它们训练神经网络来区分罗马字母表的三个不同字母(“M”、“P”和“I”)。值得注意的是，他们的设备在 8 位精度下达到了超过 3,500 TOPS/W 的能效，与其他现有的忆阻方法相比，这是 35 到 300 倍。这些发现突显了该团队的新型记忆电容器以极低的功耗(在 μW 范围内)运行大型复杂深度学习模型的潜力。
“我们相信下一代人机界面将在很大程度上依赖于自动语音识别(ASR)，”Demasius 说。“这不仅包括唤醒词检测，还包括更复杂的算法，如语音到文本的转换。目前 ASR 主要在云端完成，但边缘处理在数据保护等方面具有优势。 ”
如果语音识别技术进一步改进，语音最终可能成为用户与计算机和其他电子设备进行交流的主要方式。然而，如果没有具有数十亿参数的基于神经网络的大型模型，这种改进将很难或不可能实现。因此，可以有效实施这些模型的新设备，例如 Demasius 及其同事开发的设备，可以在实现人工智能 (AI) 的全部潜力方面发挥关键作用。
“我们成立了一家初创公司，以促进这种卓越的技术，”德马修斯说。“SEMRON 的愿景是在非常小的外形尺寸上启用这些大型人工神经网络，并通过电池电源甚至能量收集为这些算法供电，例如在耳塞或任何其他可穿戴设备上。”
由 Demasius 及其同事创立的初创公司 SEMRON 已经申请了多项与语音识别深度学习模型相关的专利。未来，该团队计划开发更多基于神经网络的模型，同时还试图通过提高效率和设备密度来扩大他们设计的基于记忆电容器的系统。
“我们不断为与此相关的任何主题申请专利，”德马修斯说。“我们的最终目标是让每台设备都能在设备上承载大量的 AI 功能，我们还设想了很多训练或深度学习模型架构的方法。尖峰神经网络和基于变压器的神经网络只是一些例子。一个优势是我们可以支持所有这些方法，但当然需要不断研究以跟上该领域的所有新概念。”
标签：
免责声明：本文由用户上传，如有侵权请联系删除！