工程哲學：李飛飛，資料是根基

重點摘要

• 真正的突破是資料集，而非模型。 整整十年，這個領域不斷調校演算法，理所當然地假設更好的模型才是瓶頸。李飛飛押下了相反的賭注：缺失的關鍵成分是規模化的資料。她構想並主導了ImageNet——約1,400萬張人工標註的影像，橫跨超過20,000個類別，依WordNet的概念階層組織，並由數以萬計的Amazon Mechanical Turk工作者完成標註。³⁴
• AlexNet靠她的資料贏得勝利。 當一個深度卷積網路在2012年的ImageNet挑戰賽中以壓倒性姿態勝出——15.3%的top-5錯誤率，領先亞軍超過十個百分點——這驗證了以資料為核心的論點。演算法早已存在多年；改變的是它終於有了足夠的、對的資料可供學習。⁴⁵
• AI必須以人為本。 李飛飛的第二項原則是：AI「毫無人造可言」——它由人類打造，面向人類運作，並影響人類的生活。她共同創辦了史丹佛HAI（2019年）與AI4ALL（2017年），將這份信念制度化。⁶⁷⁸
• 從移民到創辦人。 她1976年生於北京，十六歲時來到紐澤西，求學普林斯頓期間經營家中的乾洗店，取得物理學學士與加州理工學院博士學位，如今領導World Labs——一家打造能理解3D世界之模型的空間智慧新創公司。¹²¹⁰

核心原則

「我們對AI的假設必須以資料驅動，而以資料為核心正是那個對的假設。」——李飛飛，談ImageNet背後的那場賭注⁹

在2000年代的大部分時間裡，機器學習的主流直覺是改良模型：更聰明的架構、更好的最佳化器、更銳利的特徵提取器。資料則被當成一個固定而平凡的背景，演算法在這個背景前彼此較勁。李飛飛的核心舉動，正是把這個階層顛倒過來。她主張，演算法其實並不是真正的瓶頸——資料才是。要推進機器的感知能力，方法並非在區區數千個樣本上不斷打磨模型，而是給它多出好幾個數量級的、對的樣本，讓它像孩子一樣去學習這個世界：藉由接觸足夠多的它。⁹

這個類比並非裝飾，它本身就是論證。沒有人是靠著列舉規則來教孩子看東西的。孩子是在浸潤於一股視覺經驗的洪流中學習的——數以百萬計對物體、場景、臉孔的瞥見——直到視覺世界的結構就此定型。李飛飛賭的是：學習演算法需要的是同一樣東西——不是更好的老師，而是一道遠遠更龐大、更豐富的樣本之流。於是她做了這個領域一直迴避的那件不光鮮卻浩大的事。她親手打造了那道洪流。³

這項原則一句話便能說盡：資料是根基，而AI必須以人為本。 前半句是一個工程主張——智慧源自在足夠多的、對的資料上學習，而供給這份資料的人，塑造了整個領域所能成就的事。後半句則是關於目的的主張。李飛飛堅持，AI不是什麼外來的異力；它是人類的造物，而它唯一的正當理由，就是它造福於人。她喜歡這樣告訴她的學生：「AI毫無人造可言」——「它由人類打造，意在面向人類運作，並影響人類的生活與人類社會。」⁶ 她藉由打造一個資料集、而非一個模型，賦予了這個領域一雙眼睛——接著用之後的十年，堅持讓那雙眼睛始終朝向人類的福祉。

背景脈絡

李飛飛1976年生於北京。¹ 她十二歲時，父親移民到紐澤西州的帕西帕尼；她與母親在她十六歲那年隨後抵達，當時幾乎不會說英語。¹² 這家人在美國的立足點，是一間乾洗店，而李飛飛便在店裡幫忙——整個高中的週末，以及大學期間回家的多數週末，一邊協助打理生意、記帳，一邊讀書。¹² 這是個值得記住的細節：這位日後將統籌起計算史上規模數一數二的標註行動的人，是在櫃檯後處理別人的衣物時，學會了營運的紀律。

她拿著獎學金進入普林斯頓，於1999年取得物理學學士，其中有一段時間還遠端經營著家裡的生意。¹² 是物理，而非電腦科學——一門訓練人在雜亂現象底下尋找那條簡單定律的學問，而這恰恰是她日後施用於視覺領域的那股直覺。她接著前往加州理工學院讀研究所，2001年取得電機工程碩士、2005年取得博士，研究方向落在神經科學與電腦視覺的交會處。¹

到了她任教普林斯頓、隨後轉往史丹佛（2009年）之時，她已吸納了一個與所屬領域格格不入的信念：前進的道路，不是在小型資料集上做出更好的模型，而是一個沒人願意去打造的、規模激增的資料集。¹⁴ 之後的一切——ImageNet、那場挑戰賽、以人為本的轉向、那家新創公司——都是這一個逆勢賭注的步步推演。

她的工作

ImageNet：賦予這個領域一雙眼睛（2009年）

要體會李飛飛這場賭注最乾淨俐落的方式，就是觀察：當你固定住一個模型、卻不斷增長它的訓練資料時，會發生什麼。分類器並沒有變得更聰明——演算法毫無改動——但它眼中的世界，卻隨著你餵入的每一個標註樣本而愈發清晰。下方的元件讓這件事變得可觸可感：先從寥寥幾個點開始，同一個模型只能猜出一條粗糙而錯誤的邊界；再加入愈來愈多的標註資料，它便能描摹出真正的形狀，準確度一路朝著上限攀升。這就是ImageNet論點的微縮版。

這段歷史是具體的，而功勞的歸屬也至關重要。李飛飛構想了這個專案，並於大約2006至2007年間、在普林斯頓任職時著手投入，她與WordNet共同創造者Christiane Fellbaum合作，運用WordNet的概念階層作為資料集的組織骨幹。⁴ ImageNet斬釘截鐵地是一項由她領導的團隊成果：那篇里程碑式的論文〈ImageNet: A Large-Scale Hierarchical Image Database〉於2009年的CVPR發表，作者為Jia Deng、Wei Dong、Richard Socher、Li-Jia Li、Kai Li，以及李飛飛（列於最後，作為資深作者）。³ 那個重塑了整個領域的資料集版本，成長至約1,400萬張人工標註的影像、橫跨超過20,000個類別——完整的ImageNet-21K版本，涵蓋了21,841個類別中的14,197,122張影像。⁴

工程上的難題並不是模型；而是標註。要人工標註一千四百萬張影像，遠非任何一個研究團隊所能承擔，於是李飛飛的團隊轉向了Amazon Mechanical Turk，在2008年7月至2010年4月間，將工作分派給167個國家、約49,000名工作者，篩選了超過1.6億張候選影像，並為每一張留用的影像多次標註以確保品質。⁴ 那項後勤上的壯舉——以行星級的規模群眾外包感知能力——正是她的貢獻所在。任何人都能提出「用更多資料」。但是李飛飛打造了讓這件事成真的整套機制。

ILSVRC與2012年AlexNet的驗證

光有資料集，什麼也證明不了；你得讓這個領域真正用上它。於是從2010年到2017年，李飛飛的團隊舉辦了ImageNet大規模視覺辨識挑戰賽（ILSVRC）——一場以標準化的1,000類別子集為基礎的年度競賽，訓練影像約128萬張、驗證影像50,000張、測試影像100,000張。⁴ 這場挑戰賽，把ImageNet變成了一個共享的基準與排行榜，成為近十年間電腦視覺研究的引力中心。

驗證在2012年9月30日到來。一個深度卷積神經網路——AlexNet，出自Geoffrey Hinton在多倫多的實驗室——以15.3%的top-5錯誤率贏得挑戰賽，領先亞軍超過10.8個百分點。⁴⁵ 那道差距，正是現代AI時代的樞紐。但常被忽略的一點是它為何能夠成真：卷積架構並非新事物，基於梯度的訓練也並非新事物。真正新的，是有史以來第一次，存在著一個夠大、夠豐富的資料集，讓一個深度網路得以從中學習，而不至於淪為單純的死記硬背。李飛飛供給了那個缺失的關鍵成分。正如她自己的學生日後所量化的，即便是人類在ImageNet上的準確度，也是來之不易的——Andrej Karpathy在李飛飛門下攻讀博士、並主持了這場挑戰賽的人類基準實驗，他估計唯有全神貫注，人類的top-5錯誤率才能落在約5.1%。⁵ 機器如今正在逼近一道連人都難以企及的標準。

這是整個系列中，對以資料為核心之論點最乾淨俐落的一次例證。那個獲勝的演算法，屬於Geoffrey Hinton的傳承，而卷積架構則承襲自Yann LeCun的LeNet。然而，少了李飛飛的資料，這兩者在2012年都無法獲勝。模型與資料，是同一場突破的兩半——而整整十年，這個領域始終固定住了錯誤的那一半。

以人為本的AI與史丹佛HAI

在把一隻更強大的眼睛交到這個領域手中之後，李飛飛把職業生涯的下一階段，用來操心這隻眼睛該朝向何方。她的框架看似簡單得近乎天真：AI並不是一股恰巧降臨在人類身上的外來力量；它是一項人類的創造，而其目的就是造福人類。「我常告訴我的學生，別被『人工智慧』這個名字給誤導了——它毫無人造可言，」她寫道。「AI由人類打造，意在面向人類運作，並終將影響人類的生活與人類社會。」⁶

2019年3月，她將這份信念制度化，與哲學家暨史丹佛前教務長John Etchemendy共同創辦了史丹佛以人為本人工智慧研究院（HAI），並擔任創始共同主任。⁷ HAI的使命——推進AI的研究、教育、政策與實踐，以改善人類處境——正是對一個常常孤立地最佳化能力之領域，所刻意設下的制衡力量。這與驅使我把品味視為一套技術系統、而非一種感覺的，是同一股直覺：這份工作究竟是為了什麼的問題，並不軟性，也不會排在工程之後。它本身就是工程的一部分。

AI4ALL、Google Cloud、《我所看見的世界》與World Labs

以李飛飛這般地位的研究者而言，她的職業生涯異常地廣闊，而每一個篇章，都表達著同樣的這兩項原則。2017年，她共同創辦了AI4ALL，一個致力於提升AI領域多元性的非營利組織——這是將「以人為本」直接施用於由誰來打造這些系統這個問題之上。⁸ 在2017年1月至2018年秋天從史丹佛休假期間，她出任Google Cloud的AI/ML首席科學家暨副總裁，把從研究到產品的轉譯帶進了業界。¹

2023年，她出版了一本回憶錄《我所看見的世界》，這本書被Barack Obama列入閱讀清單，並獲《金融時報》選為年度好書之一——「一半回憶錄，一半科學」，在同一冊書中講述了這位移民科學家與那場以資料為核心的賭注。⁹ 而2024年9月，她與Justin Johnson、Christoph Lassner、Ben Mildenhall共同創辦了World Labs——一家空間智慧新創公司——打造能夠感知、生成、並對3D世界進行推理的基礎「世界模型」，背後有約10億美元的資金支持。¹⁰ 這條貫穿的脈絡精確無比：ImageNet賦予機器靜態的視覺；World Labs則是她押在賦予機器空間理解之上的賭注——那是下一種、也更艱難的「看見」。

她的方法

李飛飛的方法，從乾洗店的櫃檯到空間智慧的實驗室始終如一：找出每個人都在忽略的那道約束，打造那件能夠移除它的不光鮮之物，並讓這份工作始終朝向人。

攻擊資料，而不只是模型。 當一個領域卡住時，問問瓶頸究竟真的是演算法，還是演算法所必須學習的那份資料。李飛飛最具代表性的舉動，就是去懷疑資料——然後，以浩大無比的後勤代價，打造出那個證明此事的資料集。³⁴

從一個已經解決問題的領域，借用既有結構。 ImageNet並沒有發明自己的分類法；它站在了WordNet那套人類概念階層之上。當一個已知的結構契合於問題時，就把它編碼進來，而不是重新發明——這與LeCun把平移不變性烘焙進卷積之中，是同一股直覺。³⁴

讓這個領域用上你的工作。 一個塵封在抽屜裡的資料集，改變不了任何事。ILSVRC挑戰賽把ImageNet變成了一個帶有排行榜的共享基準，而這才是真正推動了研究社群的東西。⁴

以問題所要求的規模進行群眾外包。 要標註一千四百萬張影像，對單一實驗室而言是不可能的，於是李飛飛建立了一條橫跨數萬名工作者的標註流程。那個營運上的解決方案，正是她的科學貢獻。⁴

不斷追問：這是為了什麼。 在李飛飛看來，沒有人類目的的能力，是不完整的工程。HAI與AI4ALL並不是被拴附在研究之上的慈善；它們是這套方法的延伸——把那道追問工作是否值得存在的Steve測試，施用於一整個領域之上。⁶⁷⁸

影響鏈

是誰塑造了她

Christiane Fellbaum與WordNet。 ImageNet的組織骨幹是WordNet那套概念階層，而李飛飛是在與WordNet共同創造者Christiane Fellbaum的直接合作下打造出這個資料集的。人類語言的分類法，成了機器視覺的骨架。（直接影響）

認知科學的學習觀。 李飛飛的核心類比——一個模型應該像孩子那樣、藉由接觸足夠多的世界來學習視覺——源自她在加州理工學院、在神經科學與電腦視覺接縫處所受的訓練。押注於資料而非規則，正是押注於生物感知實際上是如何發展的。（形塑性影響）

一位物理學家的直覺。 她大學時受的訓練是物理，而非電腦科學——一門在雜亂現象底下尋找簡單結構的學科。願意相信「更多的、對的資料」是這個領域的一條定律、而非一個蠻力取巧之法，正是一種屬於物理學家的篤定。（形塑性影響）

她塑造了誰

現代電腦視覺。 每一個在ImageNet上訓練或預訓練的視覺系統——而這在近十年間，實際上等於是它們的全部——都繼承了李飛飛的資料。她不只是對這個領域有所貢獻；她供給了它賴以學習的基底。

深度學習時代本身。 AlexNet在2012年的勝利，這個最常被引用為現代AI浪潮起點的事件，跑在她的資料集上、發生在她的挑戰賽裡。那場突破中以資料為核心的那一半，是屬於她的。

一整個世代的研究者。 透過她在史丹佛的實驗室，她指導了一批日後成為各自領域核心人物的學生，其中包括Andrej Karpathy；而透過AI4ALL，她則致力於拓寬究竟誰能夠參與打造這個領域。

貫穿的脈絡

李飛飛是本系列深度學習這條分支的資料之根，而她與相鄰人物的連結異常地直接而具體。Geoffrey Hinton的實驗室打造了在2012年贏得ImageNet的那個演算法，而Yann LeCun則設計了那個演算法所承襲的卷積架構——但AlexNet跑在李飛飛的資料上。模型與資料集，是同一個事件的兩半，而多年來，這個領域始終在打磨模型，殊不知那個資料集才是那個尚未存在的東西。向前的脈絡，延伸到她自己的博士生Andrej Karpathy，他主持了ILSVRC的人類準確度基準，日後又提出了「Software 2.0」——把一個網路視為一支從資料編譯而來的程式，而這正是李飛飛那場賭注的自然推廣：智慧的來處，是資料，而非程式碼。LeCun說，去學習這個世界；Hinton說，這台學習機器是行得通的；李飛飛則說：這就是供你學習的世界，去吧。（系列橋樑）

我從中學到了什麼

我從李飛飛身上記取的一課是：那不光鮮的根基，往往才是真正的突破。這個領域花了十年在模型上一較高下，因為模型正是那聰明勁兒看起來棲身之處——而那個把這個領域推得最遠的人，靠的卻是打造一個資料集，那與其說是演算法上的洞見，不如說是一場營運上的耐力之舉。這重新排序了我的直覺。如今當某件事卡住時，我會先問：瓶頸究竟是我想動手的那個聰明部分，還是我一直在迴避的那個無聊部分——資料、標註，那個沒人想去打造的根基。這與證據門檻是同一種紀律：不是問「最有趣、最值得最佳化的是什麼」，而是問「真正的約束究竟是什麼」。

第二課更艱難，也更安靜。李飛飛賦予了這個領域一項真正更強大的能力，然後用之後的十年，堅持讓它對人負起責任——創辦HAI、創辦AI4ALL，一再重申：一件由人類為人類而造之物，毫無人造可言。那並不是工程的尾聲；那正是工程之所以存在的理由，而這也恰恰是為什麼我堅持品質是唯一的變數，以及那道Steve測試——這值得存在嗎？——是一個你要對能力本身發問的問題，而不只是對表面的打磨發問。李飛飛打造了那雙眼睛，然後確保它們始終朝向人類的福祉。那道根基，以及那道根基是為了什麼。

常見問題

李飛飛的工程哲學是什麼？

資料是根基，而AI必須以人為本。李飛飛最具代表性的賭注是：機器感知的瓶頸不在模型，而在資料——智慧源自在足夠多的、對的樣本上學習，正如孩子藉由經驗學會看東西。她以構想並主導ImageNet付諸行動，那是一個約1,400萬張影像的標註資料集。³⁴ 她的第二項原則是：AI是一項為了造福人類的人類造物——「它毫無人造可言」——這一點她透過史丹佛HAI與AI4ALL予以制度化。⁶⁷⁸

ImageNet是什麼？李飛飛是獨自打造它的嗎？

ImageNet是一個大規模的標註影像資料庫，成為現代電腦視覺的奠基性訓練集——約1,400萬張人工標註的影像，橫跨超過20,000個類別，依WordNet的概念階層組織，並透過Amazon Mechanical Turk完成標註。⁴ 李飛飛構想並主導了這個專案，但它是一項團隊成果：2009年的CVPR論文〈ImageNet: A Large-Scale Hierarchical Image Database〉的作者為Jia Deng、Wei Dong、Richard Socher、Li-Jia Li、Kai Li，以及李飛飛（作為資深作者），而WordNet這套骨幹，則來自與WordNet共同創造者Christiane Fellbaum的合作。³⁴

ImageNet是如何引領了深度學習的浪潮？

從2010年到2017年，李飛飛的團隊舉辦了ImageNet大規模視覺辨識挑戰賽（ILSVRC），一場以1,000類別子集為基礎的年度競賽。⁴ 2012年9月30日，深度卷積網路AlexNet以15.3%的top-5錯誤率勝出——領先亞軍超過10.8個百分點——這個事件被廣泛視為現代AI時代的起點。⁴⁵ 關鍵之處在於，那個卷積演算法早已存在；真正新的，是一個大到足以供它學習的資料集。缺失的關鍵成分，是資料，而非模型。⁴

李飛飛現在在做什麼？

在共同創辦史丹佛HAI（2019年）與AI4ALL（2017年）、出任Google Cloud的AI/ML首席科學家（2017至2018年），並於2023年出版回憶錄《我所看見的世界》之後，李飛飛於2024年9月共同創辦了World Labs。¹⁷⁸⁹ World Labs是一家空間智慧新創公司，打造能夠感知、生成、並對3D世界進行推理的基礎「世界模型」——這是她押在機器感知下一道前沿上的賭注，背後有約10億美元的資金支持。¹⁰

來源