工程哲学：Geoffrey Hinton，信念胜过潮流

核心要点

• 信念胜过潮流。 Hinton把整个职业生涯都押在了联结主义上——也就是让类脑网络从数据中学习——并在两次人工智能寒冬中坚守，那时符号主义人工智能才是共识，神经网络则被斥为死胡同。他之所以是对的，正是因为他拒绝随大流。
• 大脑就是那个现成的存在证明。 他的论证从来不是一条定理，而是生物学意义上的：由简单单元构成的网络显然能学会智能，因为正有一个这样的网络在读着这句话。在形式化尚不存在的地方，是直觉与合理性把他带到了终点。
• 他在署名归属上诚实坦荡。 1986年那篇反向传播论文让这个想法变得实用且声名远扬，但Hinton虽是合著者，却把核心思想归功于David Rumelhart；其背后的数学更是早于他们二人。他让反向传播广为人知——但并非独自发明了它。
• 这场押注最终兑现，随后却令他心生畏惧。 AlexNet（2012年）终结了寒冬；图灵奖（2018年）与诺贝尔物理学奖（2024年）接踵而至。2023年，他离开Google，转而警告世人：他曾正确押注的那个东西，或许是危险的。

核心原则

“我用那个寻常的借口宽慰自己：就算我没做，别人迟早也会做。”——Geoffrey Hinton谈及自己毕生的工作，2023年¹

这句话讲的是悔意，却揭示了贯穿其整个职业生涯的原则：Hinton相信这个结果是必然的——类脑学习机器并非众多选项之一，而是智能真正被构建出来的方式，总会有人去把它证明出来。在长达四十年的大部分时间里，几乎没有别人认同这一点。整个领域已经认定，智能将像编译器那样被工程化构建：显式的符号、手写的规则、自上而下彻头彻尾的逻辑。而神经网络——由简单单元松散交织、靠调整连接强度来学习的网络——则被当作20世纪60年代一桩已被否定的奇谈。经费枯竭。两次。

Hinton偏偏押注于与共识相反的一边，而他的理由并不时髦：他信任生物学胜过数学。这套论证从来不是一条干净利落的定理，而是一个此刻正在你身上运行的存在证明。大脑是由缓慢、含噪、简单的单元构成的网络，它无需任何人写下规则，就学会了看、说与推理。那么，只要人工单元的网络足够庞大，再用足够多的数据加以训练，就理应能做到同样的事——不是因为数学保证了它，而是因为我们手头唯一可用的智能范例，恰恰就是这样构建的。这就是信念胜过潮流：在两次寒冬中坚守一个立场，因为你相信那套生物学，而不是因为形式化或经费此刻站在你这边。

这要求一种罕见而难熬的自律。它意味着要容忍自己在数十年里看上去都像是错的。它意味着宁可坚持一个你尚无法证明的直觉，也不愿去证明一件你怀疑根本无关紧要的事。它还意味着，当这场押注终于兑现——当那个不入流的路子结果成了全部游戏的关键——你便挣得了说出最难一句话的资格，而Hinton在2023年正是这么做的：你或许过于正确了，而你为之奋斗的那个东西，也许需要被人畏惧。

背景

Geoffrey Everest Hinton于1947年12月6日生于伦敦。²这些名字并非偶然。他是George Boole的玄外孙——后者正是那位逻辑学家，其布尔代数是每一个数字电路的根基——同时也是数学教育家Mary Everest Boole的后代；”Everest”正是给那座山峰命名的同一个家族。²一个符号逻辑发明者的后裔，却用毕生去论证智能并非符号逻辑。这份反讽分毫不差，他自己也曾点明过。

1970年，他在剑桥大学国王学院取得实验心理学文学学士学位——是心理学，而非计算机科学，这一点很重要：他是经由对心智实际运作方式的研究，才走向机器的。²随后他在爱丁堡大学攻读人工智能博士，于1978年完成，导师是Christopher Longuet-Higgins。²这本身就已是一桩静悄悄的反叛。Longuet-Higgins本人曾从神经网络的思路转向符号主义人工智能，而那正是当时正在崛起的正统；Hinton却在联结主义这一边扎下根来，从此再没离开。

接踵而至的便是人工智能寒冬——20世纪70年代，以及80年代末至90年代，有那么些年头里，神经网络被视为一个失败的纲领，经费蒸发殆尽，严肃的研究者都被劝去做点别的。Hinton扛着联结主义的旗帜熬过了这一切，先后辗转卡内基梅隆，又于1987年起落脚多伦多大学，那里成了他长久的归宿。²他不是在静候一阵潮流过去，而是在押注：这股潮流本身就是错的。

工作

反向传播与学习表征（1986年）

与Hinton关联最深的那一篇论文，是1986年发表于Nature的《Learning representations by back-propagating errors》，合著者为David Rumelhart与Ronald Williams。³它所针对的，正是整个领域的核心难题：一个带隐藏层的网络原则上能够表征丰富的结构，可你究竟该如何训练它——在输出端出现一个误差时，你怎么判定网络深处每一条内部连接各自该担多少责任？反向传播给出的答案，是把误差信号沿着各层向后传递，借助微积分的链式法则，给每个权重分摊它应负的那份责任，再轻轻推动每个权重去减小误差。论文更深一层的主张就写在它的标题里：以这种方式训练出来的网络，会自行学到有用的内部表征——它发现的那些特征，是无人教它去寻找的。

这里，关于署名归属的诚实就显得至关重要，因为流行的说法把过多功劳算到了Hinton头上。反向传播并非他发明。其背后的数学引擎——反向模式自动微分——早在1970年就由Seppo Linnainmaa描述过，而Paul Werbos在其1974年的博士论文中便已提出用它来训练神经网络。⁴1986年那篇论文所做的，是让这个想法真正落地：它清楚地证明了反向传播能让多层网络学到内部表征，并说服了一个心存疑虑的研究界——训练深层网络其实是切实可行的。⁴Hinton本人在这件事上一丝不苟。在2018年的一次访谈中，他直言不讳：”David Rumelhart提出了反向传播的基本思想，所以这是他的发明。”⁴准确的说法是：Hinton共同发展并普及了反向传播——他并非独自将其发明。明明整个领域乐意把全部功劳奉送给他，他却偏要坚持这一点，这正是贯穿本系列始终的那种诚实，也正是把品味当作一种你随口主张的感觉，与把它当作一套你真正能够捍卫的技术体系之间的区别。

玻尔兹曼机与基于能量的思想

在反向传播之前，又与之并行，Hinton一直在追逐一个不同而更奇特的想法：你可以借用统计物理学的数学，去构建一台学习机器。大约在1983至1985年间，他与Terry Sejnowski、David Ackley一道，发展出了玻尔兹曼机。⁵这一脉络径直承接自John Hopfield——后者在1982年就已证明，一个由简单单元构成的网络，能把记忆作为某种能量地形中的低能态存储下来。设想一片由山丘与谷地构成的曲面；每一个存下来的模式就是一处谷地。给这个网络看一个被破坏的或残缺的模式版本，它便会”顺坡滚落”——翻转一个个单元以降低总能量——直到落进最近的那处谷地，把完整的记忆复原。记忆即物理：无需地址、无需搜索的回忆。⁶

玻尔兹曼机接过Hopfield的能量地形，使之生成化且随机化——它不只是稳定到某些存好的状态里，还能学会一整类数据的统计结构，进而生成该类数据的新样本。⁶这正是2024年诺贝尔评委会特别表彰的工作：Hinton”以Hopfield网络为基础，构建了一个采用不同方法的新网络：玻尔兹曼机”，它”能够学会识别某一类型数据中的特征性元素”。⁷下方的这个组件，正是那个想法中Hopfield式的内核——也就是让两人最终得以获此殊荣的那片联想记忆地形。

这是Hinton原则最纯粹的体现。在1985年，没有人能证明基于能量的随机网络就是通往机器智能之路。其依据在于：它酷似一个物理系统——也很可能像一个大脑——稳定到某些稳态的过程。他追随的是物理学与生物学，而非某种保证。

从深度信念网络到AlexNet：突破（2012年）

这场押注一直不受待见，直到两个时刻把天平掀翻。第一个是2006年，Hinton与合作者展示了如何逐层训练深度信念网络——这套切实可行的方法，能训练出比任何人此前所能驾驭的都更深的网络，通常也被认为是那点重新点燃”深度学习”一词的火花。第二个，则是人人都记得的那一刻。

2012年，Hinton的研究生Alex Krizhevsky与Ilya Sutskever构建了一个深度卷积神经网络——AlexNet——并把它送进了ImageNet大规模视觉识别挑战赛，那是该领域最严苛的图像分类基准。⁸它不是险胜。AlexNet取得了15.3%的top-5错误率，领先第二名10个百分点以上，而在这项赛事中，前一年的进步还是以零点几个百分点来计量的。⁸正如ACM后来所言，Hinton和他的学生”几乎将物体识别的错误率减半，重塑了计算机视觉这一领域”。⁹寒冬在一个下午之内便宣告终结。几个月内，这三人组成立了一家公司，DNNresearch，2013年Google将其收购——连同AlexNet的代码一并收入——并把Hinton带进了Google Brain，他在那里一直待到2023年。²那个曾让他因相信而备受讥讽的东西，骤然之间，成了整个行业唯一想要构建的东西。

离开Google、转向风险——以及那些荣誉

2023年5月，Hinton离开了Google。不是因为什么纠纷，也不是为了投奔对手——而是，如他对纽约时报所说，为了能够”自由地直言人工智能的风险”，而不致连累自己的雇主。¹这个用了半个世纪坚称这些机器能被造得有智能的人，得出的结论是：它们正在变得有智能，速度比预期的更快，而其后果——错误信息、自主系统、阻止”不良行为者”之难——是真真切切地危险。这是极少数的情形之一：一个领域的奠基者，恰恰在被印证的顶点上，转而去为它敲响警钟，而不是把这份印证套现。¹⁰

这份印证是正式的。2019年，ACM将2018年A.M.图灵奖——计算领域的最高荣誉——授予了Hinton、Yoshua Bengio与Yann LeCun这三位”深度学习教父”，”以表彰他们在概念与工程上的突破，这些突破让深度神经网络成为计算的关键组成部分”。⁹随后，2024年，Hinton与John Hopfield共享诺贝尔物理学奖，”以表彰他们为利用人工神经网络实现机器学习所作出的奠基性发现与发明”——一个物理学奖项，因玻尔兹曼机的统计力学根源而颁出，授予了一个拥有心理学学位的人。⁷图灵奖与诺贝尔奖通常不会被同一个人同时握有。Hinton却两者兼得，凭的是同一场不入流的押注。

方法

这套方法贯穿五十年，始终如一：把一份信念坚守得超出舒适的限度，用大脑而非证明来为它辩护，并对哪些是属于自己的保持诚实。

押注生物学，而非共识。 整个领域说智能是符号性的。Hinton说它是习得的、分布式的、类脑的——并在经费与潮流都断言他错了的两次寒冬里坚守这条底线。唯有当坚持要付出代价时，信念才值几分钱。²

动用那个存在证明。 当数学还不到位时，就从你手头唯一可用的那套运转着的系统去推理。大脑无需手写规则便能学习，那么一个足够庞大、用足够多数据训练的网络也理应如此。合理性先于形式化；证明可以稍后再来。⁷

当逻辑停滞时，向物理学借力。 能量地形、随机稳定、统计力学——Hinton为了玻尔兹曼机跨学科去取用工具，因为他所需的那些工具在人工智能内部并不存在。那座诺贝尔奖，从字面意义上讲，就是物理学对那次”越界取材”的回报。⁶⁷

训练的是人，而不只是网络。 AlexNet是他的学生构建的。Sutskever后来去了OpenAI；2012年的那个成果，与Hinton执掌的那个实验室密不可分。工作经由人来传播，其分量不亚于论文。⁸

只认领属于自己的东西。 他普及了反向传播，并如实这么讲——同时把想法归功于Rumelhart，也承认那套早于他们二人的数学。甘愿拒绝会被奉送到手的功劳，这本身就是手艺的一部分，而非与之无关。⁴

敢于畏惧自己的成果。 最后这一步——离开Google去警告那个你曾正确押注之物的危险——是方法掉转过来对准了自身：哪怕证据将指控你毕生的工作，也要追随它。¹¹⁰

影响链

谁塑造了他

George与Mary Everest Boole。 字面意义上的祖先，也是一个有用的反衬：那个奠定符号逻辑的家族，竟产出了一个论证智能并非符号性的人。这条血脉既给了他数学上的严肃，也给了他要去反叛的那个对象。（奠基性影响）

Donald Hebb与学习的神经科学。 Hinton的整个立场——学习就是对简单单元之间连接强度的调整——正承袭自赫布”一起放电的神经元会连在一起”的思路。他是从实验心理学一路走来的，大脑始终是那个模型。（奠基性影响）

John Hopfield与统计物理学。 Hopfield在1982年提出的基于能量的网络，正是Hinton构建玻尔兹曼机所直接依凭的根基。四十二年后，二人将为此共享一座诺贝尔奖。（直接影响）

他塑造了谁

Ilya Sutskever与Alex Krizhevsky。 他的学生构建了AlexNet；其中一人后来联合创办了OpenAI。那个终结人工智能寒冬的2012年突破，出自Hinton的实验室，成于他学生之手。

Yoshua Bengio与Yann LeCun。 他的共同获奖者，也是同为”教父”的同道——一个小而执拗的群体，他们一起让神经网络存续下来，又一起接过了图灵奖。

本质上是每一个现代人工智能系统。 反向传播训练着如今几乎每一个正在运行的神经网络；他重新激活的那个”深度学习”，是大语言模型、图像生成器，以及我如今赖以构建的那些智能体栈底下的基底。

贯穿始终的那条线

Hinton是本系列深度学习这一支的根，而最清晰的一条线一路向前延伸到Andrej Karpathy。Karpathy整套”Software 2.0”的重新框定——神经网络是一个由数据编译而成而非手写出来的程序——唯有在一个Hinton的押注早已兑现的世界里才说得通；Karpathy本科时甚至旁听过Hinton在多伦多的课，在那套思想还未成为正统之前，便已吸纳了它的福音。Karpathy坚持你要从头构建每一层，才能信任整个栈；而Hinton供给的，正是那一层本身：反向传播，正是Karpathy为了理解它而亲手实现的那个东西。这根轴的另一端是John Carmack，他在图形领域闯荡一番后，从工程那一侧转向了通用人工智能研究——以系统与性能的进路，奔赴Hinton从生物学与物理学抵达的同一个目的地。两条路，一座山：Hinton信任大脑；Carmack信任机器。（系列桥接）

我从中汲取了什么

我一直记着的那一课是：在很长一段时间里，过早的正确看上去与错误一模一样。Hinton用两次寒冬坚守了一个被整个领域勾销的立场，而把他的信念与单纯的固执区分开来的，唯有一点——它锚定在一个存在证明上：大脑就是这么运作的，所以这条路行得通。我努力守住的，正是这个区别。没有锚的信念是自我膨胀；锚定在你能够指出来的证据之上、并在潮流断言你是个傻瓜的那些年里依然坚守的信念，才是真正的突破得以发生的方式。这也正是我何以把质量当作唯一的变量，而不是一件可以拿去与那股要尽快交付的主流压力做交换的东西——标准不会因为满屋子人不同意就移动。

更难的一课，是2023年的那次转向。Hinton赢了——图灵奖、诺贝尔奖、建立在他押注之上的整个行业——然后，他用这份地位说出了没人想从他口中听到的那句话：他或许过于正确了，而那个结果也许是危险的。在一个智能体如今写代码的速度已快过任何人读它的速度的领域里，这正是我觉得最切题的范例。仅仅追随证据抵达一个结果是不够的；你还得继续追随它，越过那个结果，哪怕它会指控你最引以为傲的工作。这就是证据关口被施加于你自己的遗产之上——当数据掉头时，甘愿畏惧自己的结论。生物学曾是那一面好处的存在证明。如今Hinton坚持要我们同样诚实地正视那一面坏处。

常见问题

Geoffrey Hinton的工程哲学是什么？

信念胜过潮流。Hinton把职业生涯押在了联结主义上——把智能视为简单单元构成的类脑网络中的学习——并在符号主义人工智能尚是共识、神经网络遭人摒弃的两次寒冬中坚守这一立场。²他的依据是生物学的而非数学的：大脑是由简单单元构成的网络，无需手写规则便能学习，那么一个足够庞大、用足够多数据训练的人工网络也理应能学。⁷他信任这个存在证明，胜过当时盛行的形式化与当时盛行的经费导向，并最终在2012年由AlexNet得到了印证。⁸

是Geoffrey Hinton发明了反向传播吗？

不是——他是共同发展并普及了它，这是一个重要的区分。那篇被广泛引用的1986年Nature论文《Learning representations by back-propagating errors》，作者为David Rumelhart、Hinton与Ronald Williams，它说服了研究界：用反向传播训练多层网络是切实可行的。³但其背后的数学早于他们：Seppo Linnainmaa在1970年描述了反向模式自动微分，Paul Werbos则在其1974年的论文中提出将其应用于神经网络。⁴Hinton本人把核心思想归功于Rumelhart，他说：”David Rumelhart提出了反向传播的基本思想，所以这是他的发明。”⁴

Geoffrey Hinton为什么同时获得了图灵奖与诺贝尔奖？

他获得了2018年ACM A.M.图灵奖（2019年公布），与Yoshua Bengio、Yann LeCun共享，”以表彰他们在概念与工程上的突破，这些突破让深度神经网络成为计算的关键组成部分”。⁹随后，他与John Hopfield共享2024年诺贝尔物理学奖，”以表彰他们为利用人工神经网络实现机器学习所作出的奠基性发现与发明”。⁷诺贝尔奖特别表彰的，是他玻尔兹曼机的统计物理学根源，而那台机器正是构建在Hopfield基于能量的网络之上的。⁷凭单一脉络的工作便同时握有计算与物理两个领域的最高荣誉，是极为罕见的。

Geoffrey Hinton为什么在2023年离开Google？

他于2023年5月离开，为的是能自由地谈论人工智能的风险而不致连累雇主，他对纽约时报表示，自己想要”自由地直言人工智能的风险”。¹在用一生论证这些系统能被造得有智能之后，他得出结论：它们推进的速度比预期更快，并构成了真切的危险——错误信息、自主系统，以及不良行为者。他用这样一句话概括了自己的矛盾心情：”我用那个寻常的借口宽慰自己：就算我没做，别人迟早也会做。”¹¹⁰

来源