大多数深度学习算法在处理大量标记数据时表现良好，但在处理新数据时其性能往往下降。因此，世界各地的研究人员一直在努力开发技术，以提高这些算法在新数据和以前处理过的数据中很好地泛化的能力，从而实现所谓的终身学习。

 

圣母大学(University of Notre Dame)和GlobalFoundries Fab1的研究人员最近开发了一种新方法，以促进人工神经网络中的终身学习，这种方法需要使用铁电三元内容可寻址存储器组件。他们的研究发表在《自然·电子学》杂志上，目的是复制人类大脑的能力，即仅从少数几个例子中快速学习，并根据过去的经验适应新的任务。“很长一段时间以来，人们就知道数字计算机在解决这些类型的问题上根本上是很糟糕的，”他也是该书的主要合作者之一。“为找到解决大只500注册方案而设计的许多算法必须在时间上权衡解决方案质量。

 

“当一个训练有素的深度神经网络遇到以前从未见过的类时，它往往不能从之前的知识中归纳出结论，必须重新学习网络参数，从给定的类中提取相关信息，”研究人员倪凯(音译)告诉TechXplore。“这就需要为网络训练提供大量的标记数据。”

 

一种旨在提高深度神经网络对以前未见过的数据的性能的方法需要集成注意力记忆组件。该组件允许算法根据之前获得的知识进行分析，并对其进行调整，以处理新的但有些类似的任务。带有注意力记忆组件的算法，即记忆增强神经网络(MANNs)，通常能够从数据中提取特征，将它们存储在注意力记忆中，并在完成新任务时检索它们。

 

内存模块的一个关键功能是基于内容的寻址，其中计算搜索向量与所有存储向量之间的距离，以找到最接近的匹配。在传统的方法中，存储的内存向量(在DRAM中)需要被传输到一个计算单元(CPU或GPU)来与给定的查询比较距离，”Ni说。因此，能量消耗和延迟限制可能是扩展MANNs的重大挑战。大自然喜欢优化能源，或以最有效和分散的方式实现目标。金牌大只平台这一原则可以在自然界的同步中得到证明，例如心脏细胞跳动在一起或成群的鱼类运动。在这项工作中，我们建议使用铁电三元内容可寻址存储器(TCAM)作为网络的注意存储器来克服这一瓶颈。

 

通过计算查询向量与每个存储的内存条目之间的距离，Ni和他的同事引入的TCAM组件避免了昂贵的数据传输。TCAM本质上依赖于这样一个事实:通过匹配线的放电电流与查询和存储条目之间的汉明距离(HD)成比例。

 

感应到这种放电电流，研究人员就可以在内存组件中直接并行地计算HD。TCAM还允许深度学习模型执行基于内容的内存更新，而不是基于随机地址的数据更新。

 

”,使神经网络之间的有效互动(使用浮点数)和TCAM数组(只计算距离高清),我们应用一个位置敏感哈希(激光冲徊化)函数映射一个实值的特征向量提取二进制签名空间的神经网络,使基于汉明距离的最近邻搜索TCAM中数组,“倪解释道。

 

Ni和他的同事们在一系列的试验中评估了他们的铁电TCAM原型，在这些试验中，深度神经网络必须学会如何根据一个或多个例子来完成新的任务。当在外部DRAM支持的GPU上实现时，他们的方法得到的分类精度与基于余弦距离计算的传统方法(例如，在一个20路五杆学习问题中，准确率分别为99.5%和99.05%)接近。值得注意的是，基于tcam的系统实现了与传统方法类似的准确性，一次搜索操作的能耗降低了60倍，延迟降低了2700倍。

 

“这项研究的贡献是多方面的，”倪说。“首先，我们展示了迄今为止最紧凑的TCAM单元，它仅由两个FeFETs组成，但提供了最高的内存密度，在所有其他备选方案中，可能总体性能最好。其次，利用TCAM阵列演示了HD距离计算的功能。近年来，人们一直在努力构建映射到Ising模型的量子机器，其中最引人注目的是加拿大D-Wave Systems公司生产的一种金牌大只注册机器。尽管它们在低温下运行，但它们可能提供一种搜索大型解决方案空间并找到正确答案的有效方法。最后，我们在MANN中应用TCAM内核进行一次性学习，并提供端到端的系统解决方案。

 

在未来，Ni和他的同事提出的新的内存组件可以帮助开发更高效的基于深度学习的模型，这些模型在熟悉的任务和新任务上都表现良好。研究人员现在正计划开发一个更大的基于tcam的原型机，以进一步提高性能。

“由于我们的测量设置的局限性，现有的工作在一个小范围内演示了我们的方法，”倪说。“我们计划设计一个更大的阵列，以及重要的外围电路，这样TCAM就可以成为一个独立的模块。此外，为了提高FeFET的耐久性、变异性和可靠性等，还需要对器件水平进行优化。