工程哲學：Geoffrey Hinton，信念勝於潮流

重點摘要

• 信念勝於潮流。 在符號式 AI 仍是主流共識、神經網路被斥為死胡同的年代，Hinton 押上了整個職業生涯，賭的是連結主義——讓機器在類腦網路中從資料學習——並挺過了兩次 AI 寒冬。他之所以是對的，正是因為他拒絕跟著領域的風向走。
• 大腦就是現成的存在證明。 他的論據從來不是一條定理，而是生物學的：一個由簡單單元組成的網路顯然能學會智能，因為此刻正有一個這樣的網路在讀這個句子。直覺與可能性帶他走到了形式化尚未抵達之處。
• 他在歸屬問題上誠實以對。 1986 年的反向傳播（backpropagation）論文讓這個想法變得實用而出名，但 Hinton 是共同作者，他把核心構想歸功於 David Rumelhart；其底層數學的起源更早於他們兩人。他讓 backprop 普及——卻不是獨力發明它。
• 這場押注得到了回報，隨後卻令他恐懼。 AlexNet（2012）結束了寒冬；圖靈獎（2018）與諾貝爾物理學獎（2024）接踵而至。2023 年，他離開 Google，警告他當年押對的那個東西可能很危險。

核心原則

「我用那句尋常的藉口安慰自己：就算我沒做，別人也會做。」——Geoffrey Hinton，談他畢生的工作，2023 年¹

這句話說的是悔意，但它揭示了貫穿整段職涯的原則：Hinton 相信這個結果是必然的——類腦學習機器並非眾多選項之一，而是智能真正被建構出來的方式，而且總會有人把它證明出來。在將近四十年裡，幾乎沒有別人同意他。整個領域早已認定，智能會像編譯器那樣被打造出來：明確的符號、手寫的規則、一路到底的邏輯。而神經網路——由簡單單元鬆散交織、透過調整連結強度來學習的網路——則被當成 1960 年代一個聲名掃地的怪玩意。經費枯竭。而且是兩次。

Hinton 偏偏反著共識下注，而且理由一點都不時髦：比起數學，他更信賴生物學。這個論據從來不是一條乾淨的定理，而是一份此刻正在你身上運行的存在證明。大腦是由緩慢、嘈雜、簡單的單元組成的網路，它在沒有任何人寫下規則的情況下，學會了看、說與推理。那麼，一個夠大的人工單元網路，餵以足夠的資料加以訓練，理應也能做到同樣的事——不是因為數學保證了這一點，而是因為我們手上唯一能運作的智能範例，恰恰就是這樣建構出來的。這就是信念勝於潮流：挺過兩次寒冬仍堅守立場，因為你相信那份生物學，而不是因為形式化或經費還站在你這邊。

這份原則所要求的紀律罕見而難熬。它意味著要忍受看起來錯了數十年。它意味著寧可選擇一個你還無法證明的直覺，也不要一個你懷疑根本搔不到癢處的證明。而它也意味著，當這場押注終於有了回報——當不時髦的路線最後變成了整盤棋的全部——你便掙得了說出最難開口那句話的資格，而這正是 Hinton 在 2023 年所做的：你或許太對了，而你為之奮戰的那個東西，可能反而需要被警惕。

時代背景

Geoffrey Everest Hinton 於 1947 年 12 月 6 日生於倫敦。² 這些名字並非偶然。他是 George Boole 的玄外孫——也就是那位以布林代數奠定每一個數位電路基礎的邏輯學家——同時也是數學教育家 Mary Everest Boole 的後裔；那座山所沿用的「Everest」，正是同一個家族的姓氏。² 一個符號邏輯發明者的後代，卻畢生主張智能不是符號邏輯。這份反諷分毫不差，而他自己也曾點出這一點。

1970 年，他在劍橋大學國王學院取得實驗心理學的文學士學位——是心理學，不是電腦科學，這一點很重要：他是透過研究心智究竟如何運作，才走向機器的。² 隨後他在愛丁堡大學攻讀人工智慧博士，1978 年完成，指導教授是 Christopher Longuet-Higgins。² 這本身已是一場無聲的抗命。Longuet-Higgins 自己早已離開神經網路的構想、轉向當時正在崛起為正統的符號式 AI；Hinton 卻在連結主義這一側深掘下去，並就此留守。

接踵而來的是幾段 AI 寒冬——在 1970 年代，以及 1980 年代末到 1990 年代，神經網路被視為一個失敗的研究路線，經費蒸發，認真的研究者都被勸去做別的題目。Hinton 扛著連結主義的大旗熬過了這一切，先後待過卡內基美隆大學，並自 1987 年起落腳多倫多大學，那裡成了他長年的居所。² 他不是在等一陣潮流過去，而是在賭這股潮流根本就是錯的。

主要工作

反向傳播與學習表徵（1986）

與 Hinton 最緊密相連的那篇論文，是 1986 年發表於《Nature》、與 David Rumelhart 和 Ronald Williams 合著的〈Learning representations by back-propagating errors〉。³ 它所處理的問題，正是整個領域的核心難題：一個帶有隱藏層的網路原則上能表徵豐富的結構，但你要怎麼訓練它——在輸出端出現誤差時，你要如何判定網路深處每一條內部連結各該負多少責任？反向傳播的解法，是把誤差訊號沿著各層往回送，利用微積分的連鎖律，替每一個權重分派它那一份責任，再微調每一個權重以縮小誤差。這篇論文更深一層的主張就寫在標題裡：用這種方式訓練的網路，會自行學會有用的內部表徵——它會發現沒有人教它去找的特徵。

在這裡，對歸屬問題的誠實格外重要，因為流行的說法把太多功勞算在 Hinton 頭上。他並沒有發明反向傳播。其底層的數學引擎——反向模式自動微分——早在 1970 年就由 Seppo Linnainmaa 描述過，而 Paul Werbos 也在他 1974 年的博士論文中提出用它來訓練神經網路。⁴ 1986 年那篇論文真正做到的，是讓這個想法落了地：它清楚地展示了 backprop 能讓多層網路學會內部表徵，並說服了原本抱持懷疑的研究界，相信訓練深層網路確實可行。⁴ Hinton 本人對此一絲不苟。在 2018 年的一次訪談中，他直白地說：「反向傳播的基本構想是 David Rumelhart 提出來的，所以那是他的發明。」⁴ 準確的說法是，Hinton 共同開發並普及了反向傳播——他並非獨力發明它。在整個領域都樂於把全部功勞奉送給他時，他偏偏堅持這一點，這份誠實貫穿了整個系列，也正是把品味當成可以隨口宣稱的氛圍，與把它當成你真能站得住腳去捍衛的技術系統，兩者之間的差別。

波茲曼機與能量基礎的構想

在 backprop 之前，也與它並行，Hinton 還在追逐一個更不一樣、也更怪異的想法：你可以借用統計物理的數學來打造一台學習機器。大約在 1983 至 1985 年間，他與 Terry Sejnowski、David Ackley 一同開發出了波茲曼機（Boltzmann machine）。⁵ 這條脈絡直接承接自 John Hopfield，他在 1982 年證明了一個由簡單單元構成的網路，能把記憶儲存為一片地景中的低能量狀態。想像一片由丘陵與山谷構成的曲面；每一個儲存的模式就是一道山谷。給網路看一個被破壞或不完整的模式版本，它便會「滾下坡」——翻轉各個單元以降低總能量——直到沉降進最近的那道山谷，重新取回完整的記憶。記憶即物理：無需位址、無需搜尋的回想。⁶

波茲曼機接過了 Hopfield 的能量地景，並讓它變得能生成且帶隨機性——它不只是沉降進已儲存的狀態，更能學會一整類資料的統計結構，進而生成這類資料的全新範例。⁶ 這正是 2024 年諾貝爾委員會所特別點名的工作：Hinton「以 Hopfield 網路為基礎，打造了一個採用不同方法的新網路：波茲曼機」，它「能學會辨識某一類資料中的特徵性元素」。⁷ 下方的互動元件，正是這個構想中 Hopfield 式的核心——也就是兩人最終共同獲獎的那片聯想記憶地景。

這是 Hinton 那項原則最純粹的展現。在 1985 年，沒有人能證明以能量為基礎的隨機網路是通往機器智能的道路。它的正當性在於：它酷似一個物理系統——也很可能酷似一個大腦——沉降進穩定狀態的方式。他追隨的是物理與生物學，而不是某種保證。

從深度信念網路到 AlexNet：突破（2012）

這場押注一直不受歡迎，直到兩個時刻讓天秤傾斜。第一個是 2006 年，Hinton 與合作者展示了如何逐層訓練深度信念網路（deep belief networks）——一套能訓練出比任何人都更深之網路的實用配方，也通常被視為讓「深度學習」一詞復活的火種。第二個，則是人人都記得的那一刻。

2012 年，Hinton 的研究生 Alex Krizhevsky 與 Ilya Sutskever 打造了一個深度卷積神經網路——AlexNet——並把它送進 ImageNet 大規模視覺辨識挑戰賽，那是該領域最艱難的影像分類基準。⁸ 它不是險勝。AlexNet 交出了 15.3% 的 top-5 錯誤率，領先第二名超過 10 個百分點，而在這項競賽中，前一年的進步幅度還是以零點幾個百分點來計量的。⁸ 一如 ACM 後來所言，Hinton 與他的學生「幾乎把物件辨識的錯誤率砍了一半，重新形塑了電腦視覺領域」。⁹ 寒冬在一個下午之間結束了。短短數月內，這三人組成立了一家公司——DNNresearch——並在 2013 年由 Google 收購，連同 AlexNet 的程式碼一併納入，把 Hinton 帶進了 Google Brain，他在那裡一直待到 2023 年。² 他曾因相信而被訕笑的那個東西，霎時間成了整個產業唯一想打造的東西。

離開 Google 與轉向風險警示——以及那些榮耀

2023 年 5 月，Hinton 離開了 Google。不是因為爭執，也不是要去投靠對手——而是，如他向《紐約時報》所說的，為了能夠「自由地公開談論 AI 的風險」，又不至於牽連到他的雇主。¹ 這個花了半個世紀堅稱機器能被造得有智能的人，得出的結論是：它們正以快過預期的速度變得有智能，而其後果——錯誤訊息、自主系統、阻止「不良行為者」的困難——是真切而危險的。一個領域的奠基者，竟在被印證到達頂點之時轉而提醒世人提防它，而非把這份印證兌現，這是極為罕見的情況之一。¹⁰

這份印證是正式的。2019 年，ACM 把 2018 年的 A.M. 圖靈獎——計算領域的最高榮譽——頒給了 Hinton、Yoshua Bengio 與 Yann LeCun 這三位「深度學習教父」，「以表彰他們在概念與工程上的突破，使深度神經網路成為計算的關鍵組成部分」。⁹ 接著，2024 年，Hinton 與 John Hopfield 共享諾貝爾物理學獎，「以表彰他們在基礎上的發現與發明，使以人工神經網路進行的機器學習成為可能」——這是一座物理學獎，頒給的是波茲曼機那源自統計力學的根基，而得主卻是一位擁有心理學學位的人。⁷ 圖靈獎與諾貝爾獎通常不會落在同一個人身上。Hinton 兩者兼得，靠的是同一場不時髦的押注。

方法

這套方法在五十年間始終如一：把一份信念守得比舒服更久，用大腦而非證明來支撐它，並對哪些是自己的東西保持誠實。

押注生物學，而非共識。 領域說智能是符號式的。Hinton 卻說它是學來的、是分散式的、是類腦的——並在經費與潮流都判他出局的兩次寒冬裡守住這條線。信念唯有在守住它要付出代價時，才有任何價值。²

動用存在證明。 當數學還沒到位，就從你手上唯一能運作的那個系統來推理。大腦無需手寫規則就能學習，那麼一個夠大、又餵以足夠資料的網路理應也能。可能性先於形式化；證明可以稍後再來。⁷

邏輯卡住時，向物理借力。 能量地景、隨機沉降、統計力學——Hinton 之所以跨越學科去打造波茲曼機，是因為他所需的工具在 AI 內部並不存在。那座諾貝爾獎，字面意義上，就是物理學對這次跨界借用的回報。⁶⁷

訓練人，而不只是訓練網路。 AlexNet 是他的學生打造的。Sutskever 後來去了 OpenAI；2012 年的成果，與 Hinton 所主持的實驗室密不可分。這份工作既透過論文傳播，也同樣透過人傳播。⁸

只認領屬於自己的。 他普及了反向傳播，也如此明說——並把這個構想歸功於 Rumelhart，承認那早於他們兩人的數學。願意拒絕一份會被奉送到手的功勞，是這門手藝的一部分，而非與之無關。⁴

願意去恐懼自己的成果。 最後那一步——離開 Google 去警告他當年押對之物的危險——是把這套方法反過來指向自身：即使證據起訴的是你畢生的工作，仍要追隨它。¹¹⁰

影響鏈

是誰形塑了他

George 與 Mary Everest Boole。 字面上就是他的血脈，也是一個有用的對照：那個奠定符號邏輯的家族，產出了一個主張智能並非符號式的人。這份血脈既給了他數學上的嚴肅，也給了他可以反叛的對象。（形塑性影響）

Donald Hebb 與學習的神經科學。 Hinton 的整套立場——學習就是調整簡單單元之間連結強度的過程——源自赫布式「一同激發的細胞會連在一起」的思想。他是從實驗心理學一路走來的，而大腦始終是那個模型。（形塑性影響）

John Hopfield 與統計物理。 Hopfield 在 1982 年提出、以能量為基礎的網路，正是 Hinton 用來搭建波茲曼機的直接根基。四十二年後，兩人將為此共享一座諾貝爾獎。（直接影響）

是他形塑了誰

Ilya Sutskever 與 Alex Krizhevsky。 他的學生打造了 AlexNet；其中一人後來共同創辦了 OpenAI。那場終結 AI 寒冬的 2012 年突破，出自 Hinton 的實驗室，成於他學生之手。

Yoshua Bengio 與 Yann LeCun。 他的共同得獎者，也是同為「教父」的夥伴——一個人數不多、卻倔強無比的群體，一起讓神經網路存活了下來，又一起接下了圖靈獎。

幾乎每一個現代 AI 系統。 反向傳播訓練著今天幾乎每一個運行中的神經網路；他所復活的「深度學習」，正是大型語言模型、影像生成器，以及我如今所建構之代理框架（agent stack）底下的基底。

貫串始終的那條線

Hinton 是本系列深度學習這條分支的根，而最清晰的一條線，向前延伸到了 Andrej Karpathy。Karpathy 那整套「Software 2.0」的重新框定——主張神經網路是一個從資料編譯而來、而非用手寫出來的程式——只有在一個 Hinton 的押注早已得到回報的世界裡才說得通；Karpathy 本人在多倫多念大學部時，甚至旁聽過 Hinton 的課，在這套福音尚未成為正統之前就把它吸收了進去。Karpathy 堅持要從零打造每一層、好讓你信得過整個堆疊，而 Hinton 供給的正是那一層本身：反向傳播，就是 Karpathy 親手實作來理解它的那個東西。這條軸線的另一端是 John Carmack，他在一段圖形學的職涯之後，從工程這一側轉向了 AGI 研究——用系統與效能的取徑，奔向 Hinton 從生物學與物理出發所抵達的同一個目的地。通往同一座山的兩條路：Hinton 信賴大腦；Carmack 信賴機器。（系列銜接）

我從中汲取了什麼

我一直記著的教訓是：在很長一段時間裡，太早正確看起來和錯誤一模一樣。Hinton 花了兩次寒冬守著一個整個領域都已勾銷的立場，而把他的信念與單純的固執分開來的，唯一一樣東西，就是它錨定在一份存在證明上——大腦就是這樣運作的，所以這條路行得通。這個區別，正是我試圖緊抓不放的。沒有錨點的信念是自我；錨定在你能指得出來的證據之上、在潮流說你是個傻瓜的那些年裡依然堅守的信念，才是真正的突破得以發生的方式。這也正是我之所以把品質當成唯一的變數、而不是一個可以拿來與那股「趕快出貨」的當令壓力相權衡之物的同一個理由——標準不會因為滿屋子人不同意就移動。

更難的那個教訓，是 2023 年的轉向。Hinton 贏了——圖靈獎、諾貝爾獎、整個建立在他押注之上的產業——然後他用這份地位，說出了沒有人想從他口中聽到的那句話：他或許太對了，而這個結果可能很危險。在一個代理如今寫程式碼的速度已快過任何人讀得完的速度的領域裡，這是我覺得最切身相關的範例。光是追隨證據抵達一個結果還不夠；你得在抵達結果之後仍繼續追隨它，即便它起訴的是你最引以為傲的工作。這就是把證據門檻套用在你自己的傳承之上——當資料翻轉時，願意去恐懼你自己的結論。生物學曾是那道光明面的存在證明。如今 Hinton 堅持的是：我們要以同樣的誠實去正視陰暗面。

常見問題

Geoffrey Hinton 的工程哲學是什麼？

信念勝於潮流。Hinton 把職業生涯押在連結主義上——也就是把智能看成由簡單單元組成之類腦網路中的學習——並在符號式 AI 仍是主流共識、神經網路被斥退的年代裡，挺過兩次 AI 寒冬守住這個立場。² 他的論據是生物學的、而非數學的：大腦是一個由簡單單元構成的網路，無需手寫規則就能學習，所以一個夠大、又餵以足夠資料加以訓練的人工網路，理應也能學習。⁷ 他信賴那份存在證明，勝過當令的形式化與當令的經費，最終在 2012 年由 AlexNet 印證了他是對的。⁸

Geoffrey Hinton 發明了反向傳播嗎？

沒有——他是共同開發並普及了它，而這是一個重要的區別。那篇被廣泛引用的 1986 年《Nature》論文〈Learning representations by back-propagating errors〉，由 David Rumelhart、Hinton 與 Ronald Williams 合著，說服了研究界相信用反向傳播訓練多層網路是可行的。³ 但其底層的數學早於他們：Seppo Linnainmaa 在 1970 年描述了反向模式自動微分，而 Paul Werbos 在他 1974 年的論文中提出把它應用於神經網路。⁴ Hinton 本人把核心構想歸功於 Rumelhart，說：「反向傳播的基本構想是 David Rumelhart 提出來的，所以那是他的發明。」⁴

Geoffrey Hinton 為什麼同時拿下圖靈獎與諾貝爾獎？

他獲頒 2018 年的 ACM A.M. 圖靈獎（2019 年公布），與 Yoshua Bengio 及 Yann LeCun 共享，「以表彰他們在概念與工程上的突破，使深度神經網路成為計算的關鍵組成部分」。⁹ 隨後他與 John Hopfield 共享 2024 年的諾貝爾物理學獎，「以表彰他們在基礎上的發現與發明，使以人工神經網路進行的機器學習成為可能」。⁷ 這座諾貝爾獎所特別肯定的，是他那建立在 Hopfield 能量基礎網路之上、波茲曼機所源自的統計物理根基。⁷ 同一條研究路線同時拿下計算與物理兩個領域的最高榮譽，是極其罕見的。

Geoffrey Hinton 為什麼在 2023 年離開 Google？

他在 2023 年 5 月離職，為的是能自由談論 AI 的風險，又不至於牽連到他的雇主，他向《紐約時報》表示他想要「自由地公開談論 AI 的風險」。¹ 在窮盡一生主張這些系統能被造得有智能之後，他得出的結論是：它們推進的速度快過預期，並帶來真切的危險——錯誤訊息、自主系統，以及不良行為者。他用這句話總結了自己的矛盾心情：「我用那句尋常的藉口安慰自己：就算我沒做，別人也會做。」¹¹⁰

資料來源