陈永伟/文 神经网络的诞生
1935年的一天，英国哲学家伯特兰·罗素（Bertrand Russel）收到了一封来自美国底特律的信。写信人自称叫沃尔特·皮茨（Walter Pitts），在阅读罗素和其老师怀特海（Alfred North Whitehead）合著的《数学原理》时发现了几处错误，因而特别来信指出。读完信，罗素找来《数学原理》进行了一番核对，发现来信人确实言之有理。于是，他立即向皮茨回信表示了感谢，并邀请皮茨来剑桥大学跟随他攻读研究生。
然而，皮茨并没有接受这个邀请。这并不是因为他过于傲慢，而是因为他当时只有12岁，甚至连高中都还没上。当时，皮茨生活的街区治安并不好，他经常被街头的小混混欺负。在家里，他脾气暴躁的父亲又经常对他拳打脚踢。为了避免挨打，他经常将社区图书馆作为庇护所。那天，他又出于同样的目的来到了图书馆，并偶然发现了书架上的《数学原理》。然后，他奇迹般地只用三天就看完了这部2000页的皇皇巨著，并发现了其中的问题给罗素写了信。
尽管皮茨不能跟随罗素去读研究生，但通过这番通信，两人也算成了熟人。1938年，皮茨听说罗素要去芝加哥讲学，就果断离家出走，来到了芝加哥。在芝加哥大学，皮茨终于见到了自己的笔友。罗素十分高兴，并将他推荐给了在芝加哥任教的著名哲学家鲁道夫·卡尔纳普（Rudolf Carnap）。卡尔纳普把他留在了芝加哥，还为他找了一份清洁工的工作用以维持生计。于是，皮茨就成了芝加哥大学的一位旁听生。
在芝加哥大学期间，皮茨的天才引起了很多人的注意，其中就包括一位叫杰罗姆·莱特文（Jerome Lettvin)的医学院研究生。莱特文对这位神童十分钦佩，不久后又将他介绍给了著名的神经学家沃伦·麦卡洛克（Warren McCuloch）。在麦卡洛克结识皮茨时，他已经42岁，但他却发现自己和这位比自己小25岁的年轻人聊得十分投机——可能，这是因为两人都崇拜莱布尼茨，并且都读过《数学原理》。当时，皮茨在芝加哥没有住所，麦卡洛克就干脆邀请他住到了自己的家中。此后，这对同住一个屋檐下的神经学家和数学神童就经常在一起探讨问题、交流思想。
那段时间，麦卡洛克正在尝试用逻辑运算对大脑进行建模。作为一名神经学家，他在实验中观察到：在大脑中，每个神经元都与其他神经元相连，当神经元兴奋时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某个神经元的电位超过了一个阈值，它就会被激活，即兴奋起来，并向其他神经元发送化学物质。他觉得，这种现象似乎可以和《数学研究》中的逻辑概念联系起来。具体来说，每一个神经元信号就像是一个命题，它们像逻辑门一样运行，接收多种信号的输入，并产生单独的输出信号。通过变更神经元的放电阈值，神经元就可以表现出连接、分离、否定等行为，而它们就正好对应于逻辑中的“与”“或”和“非”。基于这个认识，他想把神经元的运动模式用一个数学模型表示出来。遗憾的是，麦卡洛克本人的数学能力并不强，所以他没能完成这个模型。
麦卡洛克将这个想法告诉了皮茨，希望他可以用自己的数学天才帮助自己。皮茨没有辜负他的希望，一番努力之后，他将麦卡洛克的想法发展成一个数学模型。模型中，神经元被描述成了一个逻辑门，它会将来自周边神经元的信号加权求和，然后将得到的值代入一个非线性函数中，这个函数会根据输入的值来决定神经元究竟是关闭还是打开。通过这样的设定，神经元的法则就被表示成了一个数学模型。虽然这个模型看似十分简单，但通过组合，它可以表达复杂的脑神经活动。麦卡洛克对皮茨的工作十分满意，他很快将这个模型整理成了一篇论文，还让自己的女儿为论文配上了手绘插图。
1943年，这篇名为《神经活动中思想内在性的逻辑演算》（ALogicalCal－
culusofIdeasImmanentinNervousAc－tivity）正式发表，“麦卡洛克—皮茨模型”（简称M-P模型）也因此而被人所知。这个模型，就是神经网络领域的开山之作。直至今天，神经网络的大部分研究都依然以此作为基础。凭着这篇开创性论文，皮茨获得了芝加哥大学的准学士学位——由于他在芝加哥大学没有学籍，所以他并没有能获得正式的学生学位。不过，在当时那个年代，学位并不是一件大不了的事，相比于一纸文凭，那篇开创性的论文更加可以证明皮茨的天赋。
不久之后，皮茨在莱特文的引荐下认识了麻省理工学院的数学家维纳（NorbertWiener）。对于这位年纪轻轻就写出重量级论文的年轻人，维纳也十分欣赏，于是就破格收下他作为自己的博士生。那时，维纳正着手创建“控制论”（Cybernetics），一门旨在用数学的方法描述机器、生命和社会的一般规律的新学科。皮茨顺理成章地成为了他的助手。
维纳的器重，让皮茨感到了前所未有的温暖。但他不知道的是，这其实是他后半生悲剧的开始。几年之后，维纳莫名与皮茨反目，这让一直对维纳敬爱有加的皮茨精神备受打击，从此一蹶不振。关于维纳与皮茨师徒反目的原因，外人并不能确知。有人说维纳躁狂的性格导致了这一切，也有人说，这是由于他们在研究思路上出了分歧。从后来的证据看，后一种说法似乎更有道理，因为在维纳的本来思路中，控制论包括对神经网络的研究，但师徒二人分道扬镳后，这一块内容从维纳的研究版图中被抹去了。无论如何，这场决裂确实毁掉了一个天才，此后，皮茨就终日借酒浇愁，直到二十多年后在贫病交加中孤独死去。
通向魔宫的道路
当皮茨跟随维纳攻读博士时，还有一位比他年轻三岁的学生，名叫奥利弗·塞弗里奇（OliverSelfridge），也在跟随维纳学习。塞弗里奇本来是学习数学的，但在皮茨和莱特文的熏陶之下，他也开始对神经网络感兴趣。几年后，麦卡洛克也来到了麻省理工学院，于是麦卡洛克、皮茨、莱特文和塞弗里奇这四人就经常在一起讨论问题、交流思想。
后来，维纳和皮茨的那场决裂显然波及了塞弗里奇，维纳也因此和他断绝了往来。这导致了塞弗里奇没有能拿到博士学位。不过，凭借着优秀的数学和工程能力，他还是顺利地在麻省理工学院的林肯实验室找到了工作，并参与了第一个扩频系统的建造。在工作之余，他还是热衷于神经网络方面的研究。
1959年，塞弗里奇读到了一篇由他的昔日老友麦卡洛克、皮茨、莱特文，以及另一位智利生物学家马图拉纳（HumbertoMaturana）合写的论文《青蛙的眼睛告诉青蛙的大脑什么》（WhattheFrog’sEyeTellsFrog’sBrain）。这篇文章讲了一个颠覆常识的故事：过去，人们认为眼睛作为感觉器官，只是负责接受信息，信息的处理都是由大脑完成的。但实验表示，眼睛在接收了信息之后，至少进行了部分解释工作，然后再将它传递给大脑。大脑是在此基础之上进一步进行的计算。比如，当青蛙看到有虫子飞过来时，其眼睛就会立即将虫子的信息传递给大脑；而当一般的环境变化时，蛙眼则不会传递任何信息。这表明，蛙眼在接受信息之后，确实会首先对其进行一次识别，然后再决定是否将其传递给大脑。
这篇老友的作品让塞弗里奇大受启发，一个信息识别过程的模型慢慢在他的脑中浮现。不久之后，他就将这个想法整理成了一个模型，并将这个模型起了一个十分耸人听闻的名字——“魔宫模型”（PandemoniumModel，Pande－monium是传说中撒旦的宫殿）。这个模型将信息识别的过程比作了进入魔宫的过程。在通往魔宫的道路上，共有四道门，每一道门后面都站着不同类型的妖魔。在第一道门背后站着的是“图像魔鬼”，它们负责记录和传递输入数据或图像；第二道门背后站的是“特征魔鬼”，它们负责从输入的信息中提取某些特征；第三道门背后站的是“认知魔鬼”，它们负责根据各种特征整理出有用的信息；第四道门背后站的是“决策魔鬼”，它们负责最后确认并输出结果。所有这些“群魔”集中在一起，就可以共同完成对外部信息的识别。以识别手写的单词为例，“图像魔鬼”将负责感知信息；“特征魔鬼”将负责提取出文字中的各种特征，如“弧形”“弯钩”等；“认知魔鬼”将负责根据特征识别出一个个的字母；最后“决策魔鬼”将所有识别出的文字加在一起，就得到了要识别的单词。
当然，所谓的“魔宫”“群魔”，只不过是塞弗里奇为了引起读者注意而故意搞的怪。事实上，这一个个乱舞的群魔完全可以被正式地表述成M-P模型中所刻画的神经元。这样，通往魔宫的道路就变成了一张多层的神经网络。因而，“魔宫模型”实际上第一次向人们展示了用神经网络识别图形和文字信息的方法，而塞弗里奇也因这个成就被后人尊为了“模式识别之父”。
感知机的成与败
“魔宫模型”的提出在理论上揭示了用神经网络来进行模式识别的可能性，那么，人们是否可以用这一原理来制作用以识别图形或文字的机器呢？答案是肯定的。事实上，早在塞弗里奇构建他的“魔宫”之前，就已经有人做出了用神经网络进行图形识别的机器。这个机器就是著名的“感知机”（Percep－tron）。
创造“感知机”的人叫弗兰克·罗森布拉特（FrankRosenblatt），是康奈尔大学的心理学教授。作为一位心理学家，罗森布拉特对脑的构造十分感兴趣。他读过麦卡洛克和皮茨的那篇经典论文，并敏锐地意识到这个神经网络模型可以用来从事图形识别等工作。
为了验证这个想法，罗森布拉特在一台IBM704机器上进行了尝试。具体来说，他根据M-P模型的思路，构建了一个神经网络。这个网络的输入端可以用来读取写有字母的卡片，然后这个神经网络会提取其中的特征信息，对信息进行加工后，机器就会输出其判断的结果。一开始，罗森布拉特的“感知机”运作得并不好，但通过他对模型参数的精心调整，“感知机”的表现就明显改善了。
1958年7月，罗森布拉特在美国国家气象局向人们展示了“感知机”的用处。当计算机成功地识别出了印在卡片上的一个个字母后，在场的观众无不惊叹不已。第二天，罗森布拉特和他的“感知机”就登上了各大报刊的头版。美国海军、美国邮政局等单位也纷纷向罗森布拉特投来了橄榄枝，希望将这项发明用于实践。
所谓“福兮祸之所伏”，当时“感知机”的技术还十分不成熟，这样过度的赞誉对它而言绝不是一件好事。不久之后，它的缺陷就暴露了。人们发现，这台机器只能识别规范印刷的字母，对于手写的字母却无能为力。这意味着，这时的“感知机”至多只是一个华而不实的东西，并无实际的用途。其实，从现在的观点看，“感知机”的最关键问题在于它仅用了一层的神经网络，而没有像“魔宫模型”所建议的那样采用多层神经网络，这极大地限制了“感知机”在处理上的灵活性。本来，如果给罗森布拉特更多的时间，他或许可以想到如何对自己的发明进行改进的办法。但一个人的出现，改变了这一切。这个人就是马文·明斯基（MarvinMinsky）。
在人工智能的历史上，明斯基是一个举足轻重的人物。正是他和约翰·麦卡锡（JohnMcCarthy）等几位教授一起推动了1956年的达特茅斯会议，人工智能才得以成为了一门独立的学科。早年，他也对神经网络很感兴趣，并亲手打造了一台名叫SNARE的机器——这可能是历史上第一个真正的人造神经网络。但很快，他就转变了看法，认为用神经网络这种模仿人脑来创建人工智能的方法是低效的。机器或许更适合用符号和逻辑规则来实现智能。
在看到罗森布拉特的“感知机”爆火后，明斯基写了一本关于神经网络的书，并故意将其命名为《感知机》。在书中，明斯基指出了神经网络的许多不足，例如它无法处理逻辑上的异或关系等，从理论上为感知机宣判了死刑。
虽然明斯基的批评显得很不厚道，但客观地说，这些批评确实指出了当时神经网络的不足之处。罗森布拉特在几次改进失败后，逐步放弃了完善感知机的计划。而随着明斯基和罗森布拉特的争论，刚刚诞生不久的人工智能学科也逐渐分裂成了两大阵营——推崇符号和逻辑的“符号主义”和推崇神经网络的“连接主义”。
1971年，罗森布拉特在一次帆船事故中去世。随着这位标志性人物的意外身故，“连接主义”也进入了漫长的低谷期。
神经网络的再起
罗森布拉特去世后的几十年，符号主义主导了人工智能的发展。在这个学派看来，构建人工智能的关键在于让机器建立起逻辑推理的能力。至于这种能力是用类似人脑的模式实现的，还是按照其他的方式实现的则无关紧要。沿着这个思路，研究者们取得了一系列引人注目的成就，如“逻辑理论家”、启发式搜索、专家系统、知识库和知识图谱等，都是这一研究思路下的产物。与符号主义研究的日渐兴盛形成鲜明对比的是神经网络研究的凋敝。从事这类研究的学者不仅很难申请到经费，甚至在会议宣讲论文时都会被视为是骗子或神棍。
不过，即使在这种恶劣的情形之下，依然有一群连接主义的信徒在默默努力。在他们看来，机器通过模仿大脑来实现人工智能绝非天方夜谭，只不过当前的人们还没有找到其中的奥秘而已。在当时的学界，这群人被戏称为“地下神经网络”。
杰弗里·辛顿（GeoffreyHinton）就是“地下神经网络”的一员。辛顿出生于英国的一个学术世家，其家族曾出过大批知名学者。他的父亲是剑桥大学教授，著名的昆虫学家。不过，家族的荣耀并没有让辛顿的学术之路一帆风顺，恰恰相反，他的前半生可谓是一路蹉跎。
高中时，辛顿从一位同学那里了解到了大脑神经网络的一些知识，从此迷上了这个领域。大学时，他选择了物理专业，却因数学能力不足而转去了哲学系，随后又转到了实验心理学系，最终，又从实验心理学系退学。随后，他干脆离开了学界，干起了木匠。
在做木匠期间，他阅读了加拿大心理学家赫布（DonaldHebb）的《行为组织》（TheOrganizationofBehavior）一书，了解了神经元通过发送电信号彼此联系、传递信息的过程。在这本书的引导下，他对大脑的兴趣被重新点燃了，于是就决心重回学术界。于是，在父亲的帮助之下，他进入了爱丁堡大学，跟随朗吉特—希金斯（ChristopherLonguet-Hig－gins）学习人工智能。朗吉特—希金斯曾是一位出色的理论化学家，被人工智能的理念吸引而转入了这个行业。本来，希金斯他更倾向于连接主义。但在辛顿入学之前他读了明斯基的书，观点转向了符号主义。在这样的背景下，他和辛顿的师徒关系就可想而知了。
1978年，辛顿从爱丁堡大学毕业。但在当时，他很难在英国找到工作，于是不得不远渡重洋来到美国的学界谋生。尽管在美国，连接主义依然处于边缘地位，但相比于英国，这儿的学术环境要相对宽松，这让他得以按照自己的想法，自由地探索神经网络的奥秘。尽管收入微薄、研究条件恶劣，但辛顿凭借自己的努力，在短短几年内就完成了两个重大的成就——“反向传播”（Backpropagation，简称BP）算法和玻尔兹曼机（BoltzmannMachine）。
如前所述，罗森布拉特的“感知机”之所以失败，是由于单层神经网络过于简单，因而它确实如明斯基所说的那样，连“抑或”这样的逻辑运算都不能实现。因而，要提升神经网络的功能，它就必须要多层化。但一旦神经网络多层化了，参数的调整就会成为设计者的噩梦。对于参数较少的单层网络，他们可以很容易地通过试错来完成这一切，但当网络层数和参数变得更多后，全凭经验调整就几乎是不可能的。“反向传播”算法的基本思想来自微积分中的链式法则，这一参数给出了每一个参数的变化与下一层各参数变化之间的关系。借助这层关系，设计者们就可以从最后的输出结果出发，按照从后往前的顺序一层层对参数进行调整。通过这一方法，调参的效率就可以得到大幅度地提升。玻尔兹曼机本质上就是一个两层的神经网络模型。辛顿设计了这个模型，并用反向传播算法调整了它的参数。这样，这个模型就不仅可以用来识别图形，还可以用来完成很多其他的工作。
当辛顿完成了上述工作后，他非常想把这一切及时分享给学界，并告诉大家：神经网络可以做到这些了。他兴奋地来到了人工智能的大会，把自己的论文发给每一个参会者，但却很少有人重视。他也把论文给了明斯基，但明斯基甚至都懒得翻一下论文，走时就把它遗落在了会场。
在那个时代，辛顿的遭遇绝非偶然。但和他类似的连接主义者们并没有因此放弃自己的理念。在他们的努力之下，递归神经网络（RecurrentNeuralNetwork，RNN）、卷积神经网络（Convo－lutionalNeuralNetworks，CNN）等工具被陆续发展出来。这个曾经被宣布已经死亡的学科又正在悄悄复活。
现在，是时候向全世界证明连接主义的价值了，从哪儿跌倒，就从哪儿站起来！当年，“感知机”因未能达到图形识别的预期能力，才被人们认为是失败的产品，那么重新证明神经网络模型能力的复仇战就依然从图形识别开始吧。
连接主义者的“回归秀”发生在2012年的“ImageNet大规模视觉识别竞赛”（简称ILSVRC）上。ILSVRC是由斯坦福大学的华裔教授李飞飞发起的一个挑战项目，是计算机视觉领域最著名的挑战赛之一。在每一年的ILSVRC中，主办方都会由李飞飞教授建立的ImageNet数据集——一个包含有1400万张带有标注的图片的数据集中抽取部分样本，要求参赛者用自己的算法进行识别，最终准确度最高的算法将会胜出。最初两年，ILSVRC的参赛者使用的大多是支持向量机等传统机器学习算法，最终优胜者的识别准确度大多在70%左右。到了2012年的ILSVRC，情况发生了根本性的改变，由辛顿和他的两个学生伊利亚·苏茨克沃（IlyaSutskever）、亚历克斯·克里切夫斯基（AlexKrizhevsky）设计的AlexNet以85%左右的识别准确率一举斩获了当年大赛的优胜，一下子把准确率记录提升了10%以上。
AlexNet是一个八层的神经网络，其中前三层为卷积神经网络层，后三层则为全连接层，整个模型包含65万个神经元，参数量在6千万以上。容易看到，从构架上看，它就是塞弗里奇“魔宫”的一个扩展，只不过原本在塞弗里奇的构想中，“魔宫”只有四道门，而辛顿等人则把它扩建到了有八道门。而65万个神经元，就像魔宫中的群魔一样，守在各道门后。早在数十年前，塞弗里奇就预言，只要参数设定得当，人们就可以顺利地从图形中提炼出其中的信息，就如同魔宫中的群魔在训练之后，就可以提取人的灵魂一样。不过，在塞弗里奇那个时代，人们并没有找到训练这些魔鬼的魔法，因而并没有人真正驯服群魔。而在这个时候，辛顿已经掌握了“反向传播算法”，利用这个“魔法”，他把魔宫中的群魔训练成了强大的魔军。在这支魔军面前，之前被人们认为不可能完成的任务被轻而易举地完成了。
从学科发展的角度看，AlexNet的成功无疑是具有里程碑意义的。它让被人们忽视已久的神经网络重新被人们认识，连接主义在被符号主义压制数十年之后，终于成为了人工智能发展的主流。对于辛顿个人，这一次成功也是一起非常重要的事件。现在，他终于不再会遭人白眼，不再会被人视为三流学者，他的论文开始被人争相阅读，引用量开始成千上万。他，那个曾经的小木匠，成了人工智能领域的英雄！
或许是出于忧虑神经网络这个长期被符号主义者污名化的词不利于传播，辛顿专门为他的研究改名叫深度学习——即用深度神经网络进行学习之意也。而由于对深度学习这个领域的贡献，他本人就被冠上了“深度学习之父”的名号。
学术的反向传播
AlexNet的大获成功让人们看到了深度学习的巨大潜力。由此，大量的人才开始涌入这个领域，大量的资本也开始对其追捧。在这些要素的推动之下，神经网络这个被压抑了几十年的研究领域迎来了前所未有的爆发。从Al－phaGO（阿尔法围棋）战胜人类围棋高手，到AlphaFold（阿尔法折叠）预测上亿的蛋白质组合，再到ChatGPT（人工智能聊天机器人）的横空出世，神经网络不断地向人们证明了自己的实力。现在，神经网络这个工具的用途早已超越了图形识别，而几乎被用在了各行各业。
对于连接主义的信奉者而言，这一切当然是非常值得欣慰的。不过，在巨大的成功背后，还有一个棘手的问题有待回答：现在的神经网络究竟在多大程度上和人脑的神经系统具有相似性？
现在神经网络技术之所以可以被普遍应用，反向传播算法起到了非常关键的作用。但正如我们所见，这个算法的灵感是来自数学而非脑科学。那么，在大脑当中，是否也存在着类似的机制呢？长期以来，即使是最坚定的连接主义者都对此表示了怀疑，甚至连其发明人辛顿都曾考虑过是否应该放弃这个算法。
直到2020年，这个问题才终于有了一个相对明确的答案。那年的《自然评论：神经科学》杂志发表了一篇题为《反向传播和大脑》（
BackpropagationandtheBrain）的论文。论文指出，大脑在学习的过程中，确实会对神经元之间的突触进行调节。大脑在调整的过程中，会根据目标和活动结果的差异来对错误进行编码，并以此指导突触权重的变化。这一切，就好像人们在练习打球时，如果发现球飞得高了，下一次就会自动降低发球的角度和力度，让其更低一些；而如果发现球飞得低了，则会增加发球的角度和力度，让它更高一些一样——只不过，所有的这一切都是在神经元的层面上进行的，并且会通过突触在不同神经元之间传播进行。这种机制几乎是和人工智能领域的反向传播算法如出一辙。更确切地说，这种算法原本就存在于大脑的神经系统当中，只不过原先神经科学家们并没有注意到这个机制，而人工智能专家们的成果则反过来启发人们重新认识了它。
值得一提的是，作为反向传播算法的发现者，辛顿也是这篇论文的作者之一。纵观辛顿的学术生涯，他原本感兴趣的是脑科学，但却阴差阳错地从人工智能出发，再反过来探索人脑的奥秘，这又何尝不是一种学术上的反向传播呢？
从永生回到凡人
从麦卡洛克和皮茨合作提出M-P模型，到“深度学习革命”如今的如火如荼，神经科学学科已经为人工智能学科做出了相当的贡献。那么，在未来，神经科学学科还可以继续给人工智能学科提供更多的灵感和启发吗？答案当然是肯定的。事实上，尽管现在的人工智能在很多方面已经超越了人脑，但在其他的不少方面，人脑依然有着更为优越的表现。比如，在记忆、直觉、情感生成等方面，人脑的表现都远非人工智能可比。从这个意义上看，人工智能可以向人脑学习的地方还有很多。
在人脑的众多优势当中，最为突出的一点是它在学习的效率上要比人造的神经网络高出很多。现在，人们虽然可以训练出参数量巨大的人工智能，其中一些的参数量甚至已经超过了人脑神经元的数量，但这么做的代价却是巨大的。比如，在训练GPT（生成预训练变换器）模型时，OpenAI（开放人工智能公司）就动用了上万张显卡，训练一次的耗电就高达上千兆瓦时。而相比之下，人脑在学习时消耗的能量却非常少。那么，人脑究竟是如何做到这一点的？人工智能是否可以模仿人脑做到这一点？围绕着这两个问题，一个被称为“类脑计算”的全新领域正在蓬勃发展。
在类脑计算的各个技术路线中，由辛顿提出的“凡人计算”（MortalComputation）是一个非常值得关注的方向。这个思想来自一个非常重要的观察，即大脑的运作并非只是单纯的神经元之间的信息传递，它是和其大脑的物理基础紧密相关的。换言之，大脑本身就是一个软硬件一体化的机器，它的软件，即思想不能脱离其硬件存在，如果大脑毁灭了，思维活动也就随之停止了。相比之下，人造的神经网络则是建筑在经典的冯·诺伊曼架构上的，它产生的信息可以脱离硬件存在的，可以从一台机器转移到另一台机器，因而可以说是一种“永生运算”（ImmortalComputation）。听起来，“永生运算”要比“凡人运算”有吸引力得多，但其代价就是，它会需要消耗更多的能量，因为在永生运算中，信息需要不断在存储介质上进行写入和擦除，由此将会产生巨大的能量消耗。如果由此产生的成本超过了硬件成本，那么永生运算在效率上看就不如凡人运算。基于这一认识，辛顿建议未来的人们在构建神经网络时，可以考虑同时仿照人脑，开发更适合它们的一次性硬件。虽然这会让运算失去永生，但考虑到它能节约巨大的能耗，那么这一切依然是值得的。
几十年前，当皮茨刚刚拜入维纳门下时，维纳曾和冯·诺伊曼（JohnvonNeumann）聊起他这位新弟子创造的M-P模型。一开始，冯·诺伊曼觉得这个模型很有意思，觉得它潜力巨大。但随后，他又对维纳表示了忧虑。他担心一旦人们过于将注意力放在神经元的运作问题，对大脑物理结构的关注就可能随之减少，可能让人们忽视了真正重要的东西。当我们重新回看冯·诺伊曼的这段评论，就不得不感叹他的敏锐。现在，神经网络的研究已经证明了其价值，以后相关科学研究的重点可能要重新回到对大脑物理结构的认知上来了。
结语
回顾人工智能数十年的发展史，我们不难发现，它的成功很大程度上来自不同学科之间的相互启迪和相互激发。只有当神经科学、数学、物理学、工程学这些学科之间彼此合作时，人工智能才能得到迅速的发展。而当学者们出于门派之见彼此隔绝，甚至彼此攻击时，学科的发展速度就会减慢。从这个意义上讲，虽然现在连接主义已经成为了人工智能领域绝对的主导思想，但如果研究者们能够抽空读读西蒙（HerbertSimon）、纽厄尔（AllenNewell）等符号主义大师的作品，那他们也一定可以从中找到有益的启发。
传说中，神由于害怕人们合力造出能够通向天庭的巴别塔，所以施法变乱了他们的语言，让他们难以交流。现在的研究者为了突破科学的边界，就必须齐心协力，人为地制造隔阂，是无益于科学，也无益于自己的。
