Filozofia inżynierska: Fei-Fei Li, dane są fundamentem

Najważniejsze wnioski

• Przełomem był zbiór danych, a nie model. Przez dekadę dziedzina dostrajała algorytmy, zakładając, że to lepsze modele stanowią wąskie gardło. Fei-Fei Li postawiła odwrotną tezę: że brakującym składnikiem są dane na ogromną skalę. To ona wymyśliła i poprowadziła ImageNet — około 14 milionów ręcznie opisanych obrazów w ponad 20 000 kategorii, uporządkowanych według hierarchii WordNet i opatrzonych adnotacjami przez dziesiątki tysięcy pracowników Amazon Mechanical Turk.³⁴
• AlexNet wygrał dzięki jej danym. Gdy głęboka sieć splotowa zmiażdżyła konkurs ImageNet w 2012 roku — 15,3% błędu top-5, z przewagą ponad dziesięciu punktów nad drugim miejscem — potwierdziło to tezę skoncentrowaną na danych. Algorytm istniał od lat; zmieniło się to, że w końcu miał wystarczająco dużo właściwych danych, by się na nich uczyć.⁴⁵
• AI musi być skoncentrowana na człowieku. Druga zasada Li głosi, że nie ma „nic sztucznego” w sztucznej inteligencji: jest tworzona przez ludzi, działa wobec ludzi i wpływa na ludzkie życie. Współzałożyła Stanford HAI (2019) oraz AI4ALL (2017), by nadać temu przekonaniu wymiar instytucjonalny.⁶⁷⁸
• Od imigrantki do założycielki. Urodzona w Pekinie w 1976 roku, przyjechała do New Jersey w wieku szesnastu lat, prowadziła rodzinną pralnię chemiczną przez całe studia w Princeton, uzyskała licencjat z fizyki oraz doktorat w Caltech, a obecnie kieruje World Labs — startupem z dziedziny inteligencji przestrzennej, budującym modele rozumiejące trójwymiarowy świat.¹²¹⁰

Zasada

„Nasza hipoteza dotycząca sztucznej inteligencji musi być oparta na danych, a podejście skoncentrowane na danych było właściwą hipotezą.” — Fei-Fei Li, o stawce stojącej za ImageNet⁹

Przez większość pierwszej dekady XXI wieku dominującym instynktem w uczeniu maszynowym było ulepszanie modelu: sprytniejsza architektura, lepszy optymalizator, ostrzejszy ekstraktor cech. Dane traktowano jak stałe, skromne tło, na którym konkurowały algorytmy. Kluczowym posunięciem Fei-Fei Li było odwrócenie tej hierarchii. Twierdziła, że to nie algorytmy są prawdziwym wąskim gardłem — lecz dane. Drogą do rozwoju percepcji maszynowej nie było dalsze szlifowanie modelu na kilku tysiącach przykładów, ale dostarczenie mu o rzędy wielkości więcej właściwych przykładów i pozwolenie, by uczył się świata tak, jak robi to dziecko: poprzez doświadczanie go w wystarczającej ilości.⁹

Analogia nie była ozdobnikiem; była samym argumentem. Nikt nie uczy dziecka widzieć poprzez wyliczanie reguł. Dziecko uczy się, zanurzając się w potoku wizualnych doświadczeń — milionach mignięć przedmiotów, scen, twarzy — aż struktura wizualnego świata układa się na swoim miejscu. Zakład Li polegał na tym, że algorytm uczący potrzebuje tego samego: nie lepszego nauczyciela, lecz znacznie większego i bogatszego strumienia przykładów. Zrobiła więc tę nieefektowną, ogromną rzecz, której dziedzina unikała. Zbudowała ten strumień.³

Oto ta zasada w jednym zdaniu: dane są fundamentem, a AI musi być skoncentrowana na człowieku. Pierwsza połowa to twierdzenie inżynierskie — inteligencja wyłania się z uczenia na wystarczającej ilości właściwych danych, a ten, kto te dane dostarcza, kształtuje to, co dziedzina może osiągnąć. Druga połowa to twierdzenie o celu. Li podkreśla, że AI nie jest jakąś obcą siłą; jest ludzkim wytworem, a jej jedynym usprawiedliwieniem jest to, że służy ludziom. „Nie ma nic sztucznego w AI”, lubi mówić swoim studentom; „jest tworzona przez ludzi, ma działać [dla] ludzi i wpływa na ludzkie życie oraz ludzkie społeczeństwo.”⁶ Dała dziedzinie jej oczy, budując zbiór danych, a nie model — a następnie spędziła kolejną dekadę, nalegając, by te oczy pozostały skierowane na ludzkie dobro.

Kontekst

Fei-Fei Li urodziła się w Pekinie w 1976 roku.¹ Jej ojciec wyemigrował do Parsippany w stanie New Jersey, gdy miała dwanaście lat; ona i jej matka dołączyli, gdy miała szesnaście, przybywając niemal bez znajomości angielskiego.¹² Amerykańskim przyczółkiem rodziny była pralnia chemiczna, a Li w niej pracowała — w weekendy przez całe liceum i przez większość weekendów, gdy wracała do domu ze studiów, pomagając prowadzić interes i pilnując ksiąg podczas nauki.¹² To szczegół warty zapamiętania: osoba, która później miała pokierować jedną z największych operacji etykietowania w historii informatyki, dyscypliny operacyjnej nauczyła się za ladą, obsługując cudze pranie.

Trafiła do Princeton dzięki stypendium i uzyskała licencjat z fizyki w 1999 roku, przez część tego czasu prowadząc rodzinny interes zdalnie.¹² Fizyka, nie informatyka — szkoła wypatrywania prostego prawa pod spodem chaotycznych zjawisk, a to dokładnie ten instynkt, który później zastosowała do widzenia. Przeniosła się do Caltech na studia magisterskie, uzyskując magisterium z inżynierii elektrycznej w 2001 roku oraz doktorat w 2005, pracując na styku neuronauki i widzenia komputerowego.¹

Zanim dołączyła do kadry Princeton, a następnie Stanford (2009), przyswoiła sobie przekonanie, które szło pod prąd jej dziedziny: że drogą naprzód nie jest lepszy model na małym zbiorze danych, lecz radykalnie większy zbiór, którego nikt nie był gotów zbudować.¹⁴ Wszystko, co nastąpiło później — ImageNet, konkurs, zwrot ku człowiekowi, startup — jest rozwinięciem tego jednego przeciwnego nurtowi zakładu.

Dzieło

ImageNet: jak dziedzina dostała oczy (2009)

Najczystszym sposobem, by poczuć zakład Li, jest obserwowanie tego, co dzieje się, gdy utrzymuje się model w stałej postaci, a rozszerza jego dane treningowe. Klasyfikator nie staje się sprytniejszy — algorytm pozostaje niezmieniony — ale jego obraz świata wyostrza się z każdym opisanym przykładem, którym się go karmi. Poniższy widżet czyni to namacalnym: zacznij od garstki punktów, a ten sam model zgaduje grubą, błędną granicę; dodawaj coraz więcej opisanych danych, a wykreśli on prawdziwy kształt, zaś jego trafność wspina się ku górnemu pułapowi. To teza ImageNet w miniaturze.

Historia jest konkretna, a kwestia autorstwa ma znaczenie. Li wymyśliła projekt i zaczęła pracować nad pomysłem około lat 2006–2007, jeszcze w Princeton, współpracując ze współtwórczynią WordNet Christiane Fellbaum, by wykorzystać hierarchię pojęć WordNet jako organizujący szkielet zbioru danych.⁴ ImageNet był zdecydowanie zespołowym przedsięwzięciem, którym kierowała: przełomowa praca „ImageNet: A Large-Scale Hierarchical Image Database”, zaprezentowana na CVPR 2009, miała za autorów Jia Denga, Wei Donga, Richarda Sochera, Li-Jia Li, Kai Li oraz Li (wymienioną jako ostatnia, jako autorka seniorka).³ Wersja zbioru danych, która przekształciła dziedzinę, urosła do około 14 milionów ręcznie opisanych obrazów w ponad 20 000 kategorii — pełne wydanie ImageNet-21K obejmuje 14 197 122 obrazy w 21 841 klasach.⁴

Problemem inżynierskim nie był model; było nim etykietowanie. Ręczne opisanie czternastu milionów obrazów przekraczało możliwości jakiejkolwiek grupy badawczej, więc zespół Li zwrócił się ku Amazon Mechanical Turk, rozdzielając pracę między około 49 000 pracowników w 167 krajach w okresie od lipca 2008 do kwietnia 2010, filtrując ponad 160 milionów kandydujących obrazów i etykietując każdy zachowany obraz wielokrotnie dla zapewnienia jakości.⁴ Ten logistyczny wyczyn — pozyskiwanie percepcji w trybie crowdsourcingu na planetarną skalę — był wkładem. Każdy mógł zaproponować „użyjmy więcej danych”. Li zbudowała aparat, który to urzeczywistnił.

ILSVRC i walidacja przez AlexNet w 2012 roku

Sam zbiór danych niczego nie dowodzi; trzeba sprawić, by dziedzina go użyła. Tak więc od 2010 do 2017 roku grupa Li prowadziła ImageNet Large Scale Visual Recognition Challenge (ILSVRC) — coroczny konkurs na znormalizowanym podzbiorze 1000 kategorii, z około 1,28 miliona obrazów treningowych, 50 000 obrazów walidacyjnych i 100 000 obrazów testowych.⁴ Konkurs zamienił ImageNet we wspólny punkt odniesienia i tablicę wyników — grawitacyjne centrum badań nad widzeniem komputerowym przez większą część dekady.

Walidacja nadeszła 30 września 2012 roku. Głęboka splotowa sieć neuronowa — AlexNet, z laboratorium Geoffreya Hintona w Toronto — wygrała konkurs ze wskaźnikiem błędu top-5 wynoszącym 15,3%, z przewagą ponad 10,8 punktu procentowego nad drugim miejscem.⁴⁵ Ten margines jest zawiasem współczesnej ery AI. Lecz często pomijaną kwestią jest to, dlaczego było to możliwe: architektura splotowa nie była nowa, a trening oparty na gradiencie nie był nowy. Nowe było to, że po raz pierwszy istniał zbiór danych dostatecznie duży i bogaty, by głęboka sieć mogła się na nim uczyć, nie zapamiętując po prostu. Li dostarczyła brakujący składnik. Jak później miał to ująć liczbowo jej własny student, nawet ludzka trafność na ImageNet jest z trudem wywalczona — Andrej Karpathy, który robił doktorat pod kierunkiem Li i prowadził eksperymenty z ludzkim punktem odniesienia w konkursie, oszacował ludzki błąd top-5 na około 5,1%, i to dopiero przy skoncentrowanym wysiłku.⁵ Maszyny zbliżały się teraz do poprzeczki, która jest wyzwaniem nawet dla ludzi.

To najczystsza ilustracja tezy skoncentrowanej na danych w całej serii. Zwycięski algorytm należał do linii Geoffreya Hintona, a architektura splotowa wywodzi się z LeNet Yanna LeCuna. Lecz żaden z nich nie wygrałby w 2012 roku bez danych Li. Model i dane to dwie połowy jednego przełomu — a przez dekadę dziedzina trzymała w stałej postaci niewłaściwą połowę.

Skoncentrowana na człowieku AI i Stanford HAI

Wręczywszy dziedzinie potężniejsze oko, Li poświęciła kolejny etap swojej kariery trosce o to, na co jest ono skierowane. Jej ujęcie jest zwodniczo proste: AI nie jest zewnętrzną siłą, która przydarza się ludzkości; jest ludzkim tworem, którego celem jest ludzkie dobro. „Często mówię moim studentom, by nie dali się zwieść nazwie »sztuczna inteligencja« — nie ma w niej nic sztucznego”, napisała. „AI jest tworzona przez ludzi, ma działać przez ludzi i ostatecznie wpływać na ludzkie życie oraz ludzkie społeczeństwo.”⁶

W marcu 2019 roku nadała temu przekonaniu wymiar instytucjonalny, współzakładając Stanford Institute for Human-Centered Artificial Intelligence (HAI) wraz z filozofem i byłym prorektorem Stanford Johnem Etchemendym, pełniąc funkcję jego współdyrektora założyciela.⁷ Misja HAI — rozwijanie badań, edukacji, polityki i praktyki AI w celu poprawy ludzkiego losu — jest celową przeciwwagą dla dziedziny, która często optymalizuje możliwości w izolacji. To ten sam instynkt, który skłania mnie, by traktować gust jako system techniczny, a nie jako przeczucie: pytanie o to, czemu praca ma służyć, nie jest miękkie i nie pojawia się dopiero po inżynierii. Jest częścią inżynierii.

AI4ALL, Google Cloud, „The Worlds I See” i World Labs

Kariera Li jest niezwykle szeroka jak na badaczkę jej formatu, a każdy rozdział wyraża te same dwie zasady. W 2017 roku współzałożyła AI4ALL, organizację non-profit działającą na rzecz zwiększenia różnorodności w AI — bezpośrednie zastosowanie zasady „skoncentrowania na człowieku” do pytania o to, kto buduje te systemy.⁸ Na urlopie naukowym ze Stanford, między styczniem 2017 a jesienią 2018, pełniła funkcję głównej naukowczyni ds. AI/ML oraz wiceprezeski w Google Cloud, przenosząc przekładanie badań na produkt do przemysłu.¹

W 2023 roku opublikowała pamiętnik „The Worlds I See”, który Barack Obama umieścił na swojej liście lektur, a Financial Times wymienił wśród najlepszych książek roku — „w połowie pamiętnik, w połowie nauka”, historia imigrantki-naukowczyni i zakładu skoncentrowanego na danych w jednym tomie.⁹ A we wrześniu 2024 roku współzałożyła World Labs, startup z dziedziny inteligencji przestrzennej — wraz z Justinem Johnsonem, Christophem Lassnerem i Benem Mildenhallem — budujący fundamentowe „modele świata”, które postrzegają, generują i rozumują o trójwymiarowym świecie, wsparty finansowaniem rzędu około 1 miliarda dolarów.¹⁰ Wątek przewodni jest precyzyjny: ImageNet dał maszynom statyczne widzenie; World Labs to jej zakład o obdarzenie ich rozumieniem przestrzennym — kolejnym, trudniejszym rodzajem widzenia.

Metoda

Metoda Li jest spójna od lady w pralni chemicznej po laboratorium inteligencji przestrzennej: znaleźć ograniczenie, które wszyscy ignorują, zbudować tę nieefektowną rzecz, która je usuwa, i utrzymywać pracę skierowaną na ludzi.

Atakuj dane, nie tylko model. Gdy dziedzina utknie, zapytaj, czy wąskim gardłem jest naprawdę algorytm, czy też dane, na których algorytm musi się uczyć. Definiującym posunięciem Li było podejrzewanie danych — a następnie zbudowanie, ogromnym kosztem logistycznym, zbioru danych, który to udowodnił.³⁴

Zapożycz strukturę z dziedziny, która już ją rozwiązała. ImageNet nie wymyślił własnej taksonomii; oparł się na hierarchii ludzkich pojęć WordNet. Gdy znana struktura pasuje do problemu, zakoduj ją, zamiast wymyślać na nowo — to ten sam instynkt, który stoi za wbudowaniem przez LeCuna niezmienniczości względem przesunięcia w splot.³⁴

Spraw, by dziedzina użyła twojej pracy. Zbiór danych w szufladzie niczego nie zmienia. Konkurs ILSVRC zamienił ImageNet we wspólny punkt odniesienia z tablicą wyników, a to właśnie poruszyło społeczność badawczą.⁴

Wykorzystaj crowdsourcing na skalę, jakiej wymaga problem. Etykietowanie czternastu milionów obrazów było niemożliwe dla jednego laboratorium, więc Li zbudowała potok adnotacji obejmujący dziesiątki tysięcy pracowników. Rozwiązanie operacyjne było naukowym wkładem.⁴

Wciąż pytaj, czemu to ma służyć. Możliwości pozbawione ludzkiego celu są, w ujęciu Li, niekompletną inżynierią. HAI i AI4ALL nie są filantropią przykręconą do badań; są rozszerzeniem metody — test Steve’a tego, czy praca zasługuje na istnienie, zastosowany do całej dziedziny.⁶⁷⁸

Łańcuch wpływów

Kto ją ukształtował

Christiane Fellbaum i WordNet. Organizującym szkieletem ImageNet jest hierarchia pojęć WordNet, a Li zbudowała zbiór danych w bezpośredniej współpracy ze współtwórczynią WordNet Christiane Fellbaum. Taksonomia ludzkiego języka stała się szkieletem widzenia maszynowego. (Wpływ bezpośredni)

Kognitywistyczne ujęcie uczenia się. Centralna analogia Li — że model powinien uczyć się widzenia tak, jak robi to dziecko, poprzez ekspozycję na wystarczającą część świata — wywodzi się z jej formacji na szwie neuronauki i widzenia komputerowego w Caltech. Zakład o dane ponad regułami to zakład o to, jak faktycznie rozwija się biologiczna percepcja. (Wpływ formacyjny)

Instynkt fizyczki. Jej studia licencjackie były z fizyki, nie z informatyki — to dyscyplina wypatrywania prostej struktury pod spodem chaotycznych zjawisk. Gotowość, by uwierzyć, że „więcej właściwych danych” jest prawem dziedziny, a nie chwytem siłowym, to rodzaj pewności właściwy fizykowi. (Wpływ formacyjny)

Kogo ona ukształtowała

Współczesne widzenie komputerowe. Każdy system widzenia trenowany lub wstępnie trenowany na ImageNet — czyli, w praktyce, wszystkie przez dekadę — dziedziczy dane Li. Nie tylko wniosła wkład w dziedzinę; dostarczyła podłoże, na którym się uczyła.

Sama era głębokiego uczenia. Zwycięstwo AlexNet w 2012 roku, wydarzenie najczęściej przywoływane jako początek współczesnego boomu AI, działało na jej zbiorze danych i wewnątrz jej konkursu. Skoncentrowana na danych połowa tego przełomu jest jej.

Całe pokolenie badaczy. Poprzez swoje laboratorium na Stanford kierowała studentami, którzy sami stali się centralnymi postaciami, w tym Andrejem Karpathym, a poprzez AI4ALL pracowała nad poszerzeniem tego, kto w ogóle może budować tę dziedzinę.

Wątek przewodni

Li jest korzeniem danych w gałęzi głębokiego uczenia tej serii, a powiązanie z jej sąsiadami jest niezwykle dosłowne. Laboratorium Geoffreya Hintona zbudowało algorytm, który wygrał ImageNet w 2012 roku, a Yann LeCun zaprojektował architekturę splotową, z której ten algorytm się wywodzi — lecz AlexNet działał na danych Li. Model i zbiór danych to dwie połowy jednego wydarzenia, a przez lata dziedzina szlifowała model, podczas gdy to właśnie zbioru danych jeszcze nie było. Linia w przód biegnie do Andreja Karpathy’ego, jej własnego doktoranta, który prowadził pomiar ludzkiej trafności w ILSVRC, a później ukuł termin „Software 2.0” — ideę sieci jako programu skompilowanego z danych, co jest naturalnym uogólnieniem zakładu Li, że to dane, a nie kod, są źródłem inteligencji. LeCun mówi: ucz się świata; Hinton mówi: maszyna ucząca działa; Li mówi: oto świat, z którego masz się uczyć, teraz ruszaj. (Most serii)

Co z tego wynoszę

Lekcją, którą zachowuję od Li, jest to, że nieefektowny fundament często bywa faktycznym przełomem. Dziedzina spędziła dekadę, konkurując na modelach, ponieważ to w modelach zdaje się mieszkać spryt — a osoba, która posunęła dziedzinę najdalej, zrobiła to, budując zbiór danych, co było aktem operacyjnej wytrwałości bardziej niż algorytmicznego olśnienia. To przeporządkowuje moje instynkty. Gdy coś utyka, pytam teraz najpierw, czy wąskim gardłem jest ta sprytna część, nad którą chcę pracować, czy ta nudna część, której unikam — dane, etykietowanie, fundament, którego nikt nie chce budować. To ta sama dyscyplina, co bramka dowodów: nie „co jest najciekawszą rzeczą do optymalizacji”, lecz „co jest faktycznym ograniczeniem”.

Druga lekcja jest trudniejsza i cichsza. Li dała dziedzinie autentycznie potężniejszą zdolność, a następnie spędziła kolejną dekadę, nalegając, by pozostała ona odpowiedzialna wobec ludzi — zakładając HAI, zakładając AI4ALL, powtarzając, że nie ma nic sztucznego w czymś, co ludzie tworzą dla ludzi. To nie jest koda do inżynierii; to powód jej istnienia, co jest dokładnie tym, dlaczego utrzymuję, że jakość jest jedyną zmienną oraz że test Steve’a — czy to zasługuje na istnienie? — jest pytaniem, które zadajesz samym możliwościom, a nie tylko wykończeniu. Li zbudowała oczy, a potem zadbała, by pozostały skierowane na ludzkie dobro. Fundament — i to, czemu fundament ma służyć.

FAQ

Na czym polega filozofia inżynierska Fei-Fei Li?

Dane są fundamentem, a AI musi być skoncentrowana na człowieku. Definiującym zakładem Li było to, że wąskim gardłem w percepcji maszynowej jest nie model, lecz dane — że inteligencja wyłania się z uczenia na wystarczającej ilości właściwych przykładów, tak jak dziecko uczy się widzieć poprzez doświadczenie. Zadziałała w myśl tej zasady, wymyślając i prowadząc ImageNet, opisany zbiór liczący około 14 milionów obrazów.³⁴ Jej druga zasada głosi, że AI jest ludzkim wytworem dla ludzkiego dobra — „nie ma w niej nic sztucznego” — co zinstytucjonalizowała poprzez Stanford HAI oraz AI4ALL.⁶⁷⁸

Czym jest ImageNet i czy Fei-Fei Li zbudowała go sama?

ImageNet to wielkoskalowa, opisana baza obrazów, która stała się fundamentowym zbiorem treningowym dla współczesnego widzenia komputerowego — około 14 milionów ręcznie opisanych obrazów w ponad 20 000 kategorii, uporządkowanych według hierarchii pojęć WordNet i opatrzonych etykietami za pośrednictwem Amazon Mechanical Turk.⁴ Li wymyśliła i poprowadziła projekt, ale było to przedsięwzięcie zespołowe: praca z CVPR 2009 „ImageNet: A Large-Scale Hierarchical Image Database” miała za autorów Jia Denga, Wei Donga, Richarda Sochera, Li-Jia Li, Kai Li oraz Fei-Fei Li (jako autorkę seniorkę), a szkielet WordNet powstał ze współpracy ze współtwórczynią WordNet Christiane Fellbaum.³⁴

Jak ImageNet doprowadził do boomu głębokiego uczenia?

Od 2010 do 2017 roku grupa Li prowadziła ImageNet Large Scale Visual Recognition Challenge (ILSVRC), coroczny konkurs na podzbiorze 1000 kategorii.⁴ 30 września 2012 roku głęboka sieć splotowa AlexNet wygrała ze wskaźnikiem błędu top-5 wynoszącym 15,3% — z przewagą ponad 10,8 punktu nad drugim miejscem — wydarzenie powszechnie traktowane jako początek współczesnej ery AI.⁴⁵ Rozstrzygającą kwestią jest to, że splotowy algorytm już istniał; nowy był zbiór danych dostatecznie duży, by mógł się na nim uczyć. To dane, a nie model, były brakującym składnikiem.⁴

Czym Fei-Fei Li zajmuje się obecnie?

Po współzałożeniu Stanford HAI (2019) oraz AI4ALL (2017), pełnieniu funkcji głównej naukowczyni ds. AI/ML w Google Cloud (2017–2018) i opublikowaniu w 2023 roku pamiętnika „The Worlds I See”, Li współzałożyła World Labs we wrześniu 2024 roku.¹⁷⁸⁹ World Labs to startup z dziedziny inteligencji przestrzennej, budujący fundamentowe „modele świata”, które postrzegają, generują i rozumują o trójwymiarowym świecie — jej zakład o kolejną granicę percepcji maszynowej, wsparty finansowaniem rzędu około 1 miliarda dolarów.¹⁰

Źródła