在过去的10年里，表现最好的artificial-intelligence系统------比如智能手机上的语音识别器或谷歌最新的自动翻译------都是由一种叫做"深度学习"的技术产生的
深度学习实际上是一种被称为神经网络的人工智能方法的新名称，这种方法已经流行了70多年。1944年，芝加哥大学的两位研究人员沃伦·麦卡洛和沃尔特·皮茨首次提出了神经网络，他们于1952年搬到麻省理工学院，成为有时被称为第一个认知科学部门的创始成员。
神经网络是神经科学和计算机科学的一个主要研究领域，直到1969年，根据计算机科学的传说，它们被麻省理工学院数学家马文·明斯基和西摩·帕佩特杀死，一年后他们将成为麻省理工学院新人工智能实验室的联合主任。
这种技术在20世纪80年代复兴，在新世纪的第一个十年再次黯然失色，在第二个十年像重磅炸弹一样卷土重来，主要是由于图形芯片处理能力的提高。
麻省理工学院尤金·麦克德莫特脑和认知科学教授、麻省理工学院麦戈文脑研究所研究员、麻省理工学院脑、心智和机器中心主任托马索·波焦说："有一种观点认为，科学中的想法有点像病毒的流行。""显然有五六种基本的流感病毒株，显然每一种都有大约25年的时间。人们被感染了，他们会产生免疫反应，所以他们在接下来的25年内不会被感染。然后是新一代，他们准备好被同一种病毒株感染。在科学中，人们爱上一个想法，对它感到兴奋，把它锤死，然后免疫------他们厌倦了。所以思想应该有同样的周期性！"
重量问题
神经网络是一种进行机器学习的方法，在这种方法中，计算机通过分析训练示例来学习执行一些任务。通常，这些示例已经提前手工标记。例如，一个物体识别系统可能会输入数千张汽车、房屋、咖啡杯等标记图像，它会在图像中找到与特定标签一致相关的视觉模式。
神经网络松散地以人脑为模型，由数千甚至数百万个密集相互连接的简单处理节点组成。今天的大多数神经网络被组织成节点层，它们是"前馈的"，这意味着数据只在一个方向上通过它们移动。一个单独的节点可能连接到它下面层的几个节点，它从那里接收数据，以及它上面层的几个节点，它向那里发送数据。
对于每个传入连接，节点将分配一个称为"权重"的数字。当网络处于活动状态时，节点在其每个连接上接收不同的数据项------不同的数字------并将其乘以相关的权重。然后它将结果乘积相加，产生一个数字。如果该数字低于阈值，则节点不将数据传递到下一层。如果数字超过阈值，则节点"触发"，这在当今的神经网络中通常意味着沿着所有传出连接发送数字------加权输入的总和。
当一个神经网络被训练时，它的所有权重和阈值最初都设置为随机值。训练数据被输入到底层------输入层------并通过后续层，以复杂的方式相乘和相加，直到它最终到达输出层，进行彻底的转换。在训练期间，权重和阈值不断调整，直到具有相同标签的训练数据一致地产生相似的输出。
思想和机器
麦卡洛和皮茨在1944年描述的神经网络有阈值和权重，但它们没有分层排列，研究人员也没有指定任何训练机制。麦卡洛和皮茨展示的是，原则上，神经网络可以计算数字计算机可以计算的任何函数。结果更多的是神经科学而不是计算机科学：重点是表明人脑可以被视为一种计算设备。
神经网络仍然是神经科学研究的有价值的工具。例如，用于调整权重和阈值的特定网络布局或规则复制了人类神经解剖学和认知的观察特征，这表明它们捕捉到了大脑如何处理信息的一些东西。
康奈尔大学心理学家弗兰克·罗森布拉特在1957年演示了第一个可训练的神经网络感知器。感知器的设计很像现代神经网络，只是它只有一层权重和阈值可调，夹在输入和输出层之间。
感知器是心理学和新兴的计算机科学学科的一个活跃研究领域，直到1959年，明斯基和帕佩特出版了一本名为《感知器》的书，该书证明在感知器上执行某些相当常见的计算会非常耗时。
波焦说："当然，如果你采用稍微复杂一点的机器------比如两层------所有这些限制都会消失。"但在当时，这本书对神经网络研究产生了寒蝉效应。
"你必须把这些东西放在历史背景下，"波焦说。"他们在为编程而争论------像Lisp这样的语言。就在几年前，人们还在使用模拟计算机。当时根本不清楚编程是不是一条路。我认为他们有点过火，但像往常一样，事情不是黑白分明的。如果你把这想象成模拟计算和数字计算之间的竞争，他们为当时正确的事情而战。"
周期性
然而，到了20世纪80年代，研究人员已经开发出了修改神经网络权重和阈值的算法，这些算法对于具有多层的网络来说足够有效，消除了明斯基和帕佩特发现的许多限制。该领域迎来了复兴。
但从理智上讲，神经网络有些不令人满意的地方。足够的训练可能会修改网络的设置，使其能够有效地对数据进行分类，但是这些设置是什么意思呢？物体识别器关注什么图像特征，它如何将它们拼凑成汽车、房子和咖啡杯独特的视觉特征？观察单个连接的权重不会回答这个问题。
近年来，计算机科学家已经开始想出巧妙的方法来推导神经网络采用的分析策略。但是在20世纪80年代，网络的策略是不可理解的。所以在世纪之交，神经网络被支持向量机取代，支持向量机是一种机器学习的替代方法，它基于一些非常简洁优雅的数学。
最近神经网络的复兴------深度学习革命------得益于计算机游戏行业。当今视频游戏的复杂图像和快速节奏需要能够跟上步伐的硬件，其结果是图形处理器（GPU），它将数千个相对简单的处理内核打包在一个芯片上。研究人员没过多久就意识到GPU的架构非常像神经网络。
现代图形处理器使20世纪60年代的一层网络和20世纪80年代的两层到三层网络发展成为今天的10层、15层甚至50层网络。这就是"深度学习"中的"深度"所指的------网络层的深度。目前，深度学习是几乎所有artificial-intelligence研究领域中性能最好的系统。
在引擎盖下
网络的不透明性仍然让理论家感到不安，但在这方面也有进展。除了指导大脑、头脑和机器中心（CBMM），波焦还领导该中心的智能理论框架研究项目。最近，波焦和他的CBMM同事发布了一份由三部分组成的神经网络理论研究。
上个月发表在《国际自动化与计算杂志》上的第一部分讨论了深度学习网络可以执行的计算范围，以及深度网络何时比浅网络具有优势。作为CBMM技术报告发布的第二部分和第三部分解决了全局优化问题，或者保证网络找到了最符合其训练数据的设置，以及过度拟合，或者网络变得如此适应其训练数据的细节，以至于无法推广到同一类别的其他实例。
仍然有很多理论问题需要回答，但是CBMM研究人员的工作可以帮助确保神经网络最终打破70年来让它们进进出出的世代循环。