优步人工智能和开放人工智能的研究人员提出了一种新的神经架构搜索方法，包括评估数百个人工智能模型，以识别最佳表现者。在预印的论文中，他们声称他们的技术被称为合成培养皿(合成培养皿)，它可以加快计算量最大的噪声控制协会步骤，并以比以前的方法更高的精度预测模型性能。
噪声控制协会通过测试候选模型的整体性能而无需手动微调，消除了任务的顶层模型体系结构。但是这需要大量的计算和数据，这意味着最好的架构将在可用的资源范围内进行训练。合成培养皿从生物学的角度解决了这个问题：它使用候选架构创建小模型，并使用生成的数据样本对其进行评估，使相对性能代表整体性能。
研究人员解释说："生物学中的"体外"(试管)实验背后的整体动机是，在更简单可控的环境中，研究解释更复杂系统中吸引人们注意力的现象的关键因素。""本文讨论了是否有可能通过创建一种新的替代方法来提高噪声控制协会的计算效率，这种方法可以受益于小型化训练，并且仍然可以扩展到现场评估的分布范围之外。我们可以使用机器学习来学习数据，这样对所学数据的[体系结构]训练就可以产生表明[体系结构]实际性能的性能。"
合成培养皿只需少量的性能评估和训练，就可以"极快"地测试新架构。初始评估用于训练培养皿模型，通过现成的噪声控制协会方法生成一组架构。然后，一个训练有素的培养皿模型预测新架构的相对性能，并选择一组架构进行性能评估。
重复此过程，直到噪声控制协会方法确定最佳体系结构。
在一台配备了20个英伟达1080钛显卡（用于地面训练和评估)和MacBook(用于推理)的个人电脑上进行的实验中，研究人员试图确定合成培养皿在宾夕法尼亚树银行数据集上的表现。这是一种流行的语言建模和噪声控制协会基准测试。从拥有2700万个参数（变量)的真实模型开始合成培养皿生成了100个新架构，并评估了前20个架构。
研究人员表示，在搜索的最后，他们的技术在性能上找到了一个"有竞争力"的模型，可以通过常规噪声控制协会找到，并将种子模型的复杂度从2700万个参数（变量)降低到140个参数。他们还报告说，合成培养皿只需要原始网络连接存储的十分之一的计算量，当两者的计算量相同时，它们的性能超过了原始网络连接存储。
"通过以这种方式搜索架构，作为关于某些主题或因素如何影响最终结果的问题，我们获得了一个有趣的优势，即预测模型不再是一个黑盒。相反，它实际上包含了它试图预测的更大世界的一个关键部分。"合著者写道[B]因为微观模型包含了真实网络的一部分（因此可以测试关于其功能的各种假设),所以预测基于高度相关的先验基础，它们的结果比空白黑盒模型更准确。"
标签：
免责声明：本文由用户上传，如有侵权请联系删除！