Filozofia inżynierska: Geoffrey Hinton, przekonanie ponad modę

Najważniejsze wnioski
- Przekonanie ponad modę. Hinton postawił całą swoją karierę na koneksjonizmie — uczeniu się na podstawie danych w sieciach wzorowanych na mózgu — przez dwie zimy AI, gdy konsensusem było symboliczne AI, a sieci neuronowe odrzucano jako ślepą uliczkę. Miał rację, bo odmówił podążania za dziedziną.
- Mózg jest dowodem istnienia. Jego argument nigdy nie był twierdzeniem. Był biologiczny: sieć prostych jednostek w sposób oczywisty uczy się inteligencji, bo właśnie taka sieć czyta to zdanie. Intuicja i prawdopodobieństwo poniosły go tam, gdzie formalizmu jeszcze nie było.
- Jest uczciwy w kwestii autorstwa. Praca o propagacji wstecznej z 1986 roku uczyniła ten pomysł praktycznym i głośnym, lecz Hinton był jej współautorem i przypisuje kluczową ideę Davidowi Rumelhartowi; leżąca u podstaw matematyka jest starsza od nich obu. Spopularyzował propagację wsteczną — nie wynalazł jej samodzielnie.
- Zakład się opłacił, a potem go przeraził. AlexNet (2012) zakończył zimy; potem przyszła Nagroda Turinga (2018) i Nagroda Nobla z fizyki (2024). W 2023 roku odszedł z Google, by ostrzec, że to, co do czego miał rację, może być niebezpieczne.
Zasada
„Pocieszam się zwykłą wymówką: gdybym ja tego nie zrobił, zrobiłby to ktoś inny.” — Geoffrey Hinton o dziele swojego życia, 20231
To zdanie dotyczy żalu, lecz odsłania zasadę leżącą u podstaw całej kariery: Hinton wierzył, że wynik był nieunikniony — że maszyny uczące się na wzór mózgu nie były jedną z wielu możliwości, ale sposobem, w jaki inteligencja faktycznie powstaje, i że ktoś zawsze miał to udowodnić. Przez większość czterdziestu lat niemal nikt inny się z tym nie zgadzał. Dziedzina zdecydowała, że inteligencję zaprojektuje się tak, jak projektuje się kompilator: jawne symbole, ręcznie pisane reguły, logika na każdym poziomie. Sieci neuronowe — luźne sploty prostych jednostek, które uczą się przez dostrajanie sił połączeń — traktowano jako zdyskredytowaną ciekawostkę z lat sześćdziesiątych. Finansowanie wyschło. Dwukrotnie.
Hinton mimo to postawił przeciw konsensusowi i zrobił to z niemodnego powodu: ufał biologii bardziej niż matematyce. Argument nigdy nie był czystym twierdzeniem. Był dowodem istnienia, który właśnie teraz uruchamiasz. Mózg to sieć powolnych, zaszumionych, prostych jednostek, a uczy się widzieć, mówić i rozumować, choć nikt nie pisze dla niego reguł. Zatem dostatecznie duża sieć sztucznych jednostek, wytrenowana na wystarczającej ilości danych, powinna umieć to samo — nie dlatego, że matematyka to gwarantowała, lecz dlatego, że jedyny działający przykład inteligencji, jaki mamy, jest zbudowany dokładnie w ten sposób. To właśnie przekonanie ponad modę: trzymanie się stanowiska przez dwie zimy, bo wierzy się w biologię, a nie dlatego, że formalizm albo agencja finansująca jeszcze się z tobą zgadza.
Dyscyplina, której to wymaga, jest rzadka i niewygodna. Oznacza tolerowanie tego, że przez dekady wygląda się na osobę w błędzie. Oznacza przedkładanie intuicji, której jeszcze nie potrafisz udowodnić, nad dowód czegoś, co podejrzewasz, że jest nie na temat. I oznacza, że gdy zakład w końcu się opłaca — gdy niemodne podejście okazuje się całą grą — zyskujesz prawo, by powiedzieć rzecz najtrudniejszą ze wszystkich, co Hinton uczynił w 2023 roku: że być może miałeś zbyt dużo racji i że to, o co walczyłeś, może wymagać strachu.
Kontekst
Geoffrey Everest Hinton urodził się 6 grudnia 1947 roku w Londynie.2 Te nazwiska nie są przypadkowe. Jest praprawnukiem George’a Boole’a — logika, którego algebra Boole’a stanowi fundament każdego układu cyfrowego — oraz Mary Everest Boole, nauczycielki matematyki; „Everest” to ta sama rodzina, od której góra wzięła swoją nazwę.2 Człowiek wywodzący się od wynalazcy logiki symbolicznej spędził życie, dowodząc, że inteligencja nie jest logiką symboliczną. Ironia jest dokładna, a on sam ją zauważył.
W 1970 roku uzyskał licencjat z psychologii eksperymentalnej w King’s College w Cambridge — psychologii, nie informatyki, co ma znaczenie: do maszyn dotarł poprzez badanie tego, jak naprawdę działają umysły.2 Następnie obronił doktorat ze sztucznej inteligencji na Uniwersytecie w Edynburgu, ukończony w 1978 roku, pod opieką Christophera Longueta-Higginsa.2 Był to już cichy akt buntu. Sam Longuet-Higgins odszedł od idei sieci neuronowych w stronę symbolicznego AI, które było wschodzącą ortodoksją; Hinton okopał się po stronie koneksjonistycznej i tam pozostał.
To, co nastąpiło później, to zimy AI — okresy w latach siedemdziesiątych oraz ponownie pod koniec lat osiemdziesiątych i w latach dziewięćdziesiątych, gdy sieci neuronowe uważano za nieudany program, finansowanie wyparowało, a poważnym badaczom doradzano, by zajęli się czymś innym. Hinton niósł sztandar koneksjonizmu przez to wszystko, przechodząc przez Carnegie Mellon, a od 1987 roku przez Uniwersytet w Toronto, który stał się jego długim domem.2 Nie przeczekiwał mody. Zakładał się, że moda jest w błędzie.
Dzieło
Propagacja wsteczna i uczenie reprezentacji (1986)
Pojedynczą pracą najczęściej kojarzoną z Hintonem jest „Learning representations by back-propagating errors”, opublikowana w Nature w 1986 roku wraz z Davidem Rumelhartem i Ronaldem Williamsem.3 Problem, którym się zajmowała, to centralny problem całej dziedziny: sieć z warstwami ukrytymi może w zasadzie reprezentować bogatą strukturę, ale jak ją wytrenować — jak zdecydować, mając błąd na wyjściu, jaką część winy ponosi każde wewnętrzne połączenie głęboko w sieci? Propagacja wsteczna odpowiada na to, przesyłając sygnał błędu wstecz przez warstwy, wykorzystując regułę łańcuchową rachunku różniczkowego do przypisania każdej wadze jej udziału w odpowiedzialności, a następnie korygując każdą wagę tak, by zmniejszyć błąd. Głębsze twierdzenie tej pracy, zawarte w tytule, mówi, że sieć wytrenowana w ten sposób sama uczy się użytecznych wewnętrznych reprezentacji — odkrywa cechy, których nikt jej nie kazał szukać.
Tu liczy się uczciwość w kwestii autorstwa, bo popularna opowieść przypisuje Hintonowi zbyt wiele. Nie wynalazł propagacji wstecznej. Automatyczne różniczkowanie w trybie wstecznym — silnik matematyczny leżący u jej podstaw — zostało opisane przez Seppo Linnainmaę w 1970 roku, a Paul Werbos zaproponował wykorzystanie go do trenowania sieci neuronowych w swojej rozprawie doktorskiej z 1974 roku.4 Praca z 1986 roku sprawiła natomiast, że pomysł chwycił: wyraźnie pokazała, że propagacja wsteczna pozwala sieciom wielowarstwowym uczyć się wewnętrznych reprezentacji, i przekonała sceptyczną społeczność badawczą, że trenowanie głębokich sieci jest faktycznie praktyczne.4 Sam Hinton jest w tej kwestii skrupulatny. W wywiadzie z 2018 roku powiedział wprost: „David Rumelhart wpadł na podstawowy pomysł propagacji wstecznej, więc to jego wynalazek.”4 Trafne stwierdzenie brzmi tak: Hinton współtworzył i spopularyzował propagację wsteczną — nie wynalazł jej samodzielnie. To, że upiera się przy tym, gdy dziedzina chętnie przyznałaby mu wyłączną zasługę, jest tą samą uczciwością, która przewija się przez całą tę serię — różnicą między smakiem jako klimatem, który deklarujesz, a systemem technicznym, którego naprawdę możesz bronić.
Maszyny Boltzmanna i idea oparta na energii
Przed propagacją wsteczną, a także równolegle z nią, Hinton gonił za inną, dziwniejszą ideą: że można zapożyczyć matematykę fizyki statystycznej, by zbudować maszynę uczącą się. Wraz z Terrym Sejnowskim i Davidem Ackleyem, około 1983–1985, opracował maszynę Boltzmanna.5 Rodowód biegnie wprost przez Johna Hopfielda, który w 1982 roku pokazał, że sieć prostych jednostek może przechowywać wspomnienia jako stany o niskiej energii w pewnym krajobrazie. Wyobraź sobie powierzchnię wzgórz i dolin; każdy zapamiętany wzorzec to dolina. Pokaż sieci uszkodzoną lub częściową wersję wzorca, a ona „stacza się w dół” — przerzucając jednostki tak, by obniżyć całkowitą energię — aż osiądzie w najbliższej dolinie i odtworzy kompletne wspomnienie. Pamięć jako fizyka: przywołanie bez adresu i bez przeszukiwania.6
Maszyna Boltzmanna wzięła krajobraz energetyczny Hopfielda i uczyniła go generatywnym oraz stochastycznym — nie tylko osiada w przechowywanych stanach, lecz potrafi nauczyć się statystycznej struktury całej klasy danych, a następnie generować jej nowe przykłady.6 To właśnie tę pracę wyróżnił komitet noblowski w 2024 roku: Hinton „wykorzystał sieć Hopfielda jako fundament nowej sieci, która stosuje inną metodę: maszyny Boltzmanna”, która „potrafi nauczyć się rozpoznawać charakterystyczne elementy w danym typie danych”.7 Widżet poniżej to rdzeń tej idei w stylu Hopfielda — krajobraz pamięci skojarzeniowej, za który obaj zostali ostatecznie uhonorowani.
To najczystszy wyraz zasady Hintona. W 1985 roku nikt nie potrafił udowodnić, że stochastyczne sieci oparte na energii są drogą do inteligencji maszynowej. Uzasadnieniem było to, że przypomina to sposób, w jaki układ fizyczny — i prawdopodobnie mózg — osiada w stabilnych stanach. Podążał za fizyką i biologią, a nie za gwarancją.

Od głębokich sieci przekonań do AlexNet: przełom (2012)
Zakład pozostawał niepopularny, dopóki dwa momenty nie przechyliły szali. Pierwszym był rok 2006, gdy Hinton i jego współpracownicy pokazali, jak trenować głębokie sieci przekonań warstwa po warstwie — praktyczny przepis na trenowanie sieci głębszych, niż komukolwiek dotąd się udawało, oraz iskra, której zwykle przypisuje się ożywienie terminu „uczenie głębokie”. Drugim był ten, który wszyscy pamiętają.
W 2012 roku doktoranci Hintona, Alex Krizhevsky i Ilya Sutskever, zbudowali głęboką splotową sieć neuronową — AlexNet — i zgłosili ją do ImageNet Large Scale Visual Recognition Challenge, najtrudniejszego w dziedzinie benchmarku klasyfikacji obrazów.8 Nie wygrała nieznacznie. AlexNet odnotował współczynnik błędu top-5 na poziomie 15,3%, o ponad 10 punktów procentowych przed drugim miejscem, w konkursie, w którym ubiegłoroczne postępy mierzono w ułamkach procenta.8 Jak ujęło to później ACM, Hinton i jego studenci „niemal o połowę zmniejszyli współczynnik błędu rozpoznawania obiektów i przekształcili dziedzinę widzenia komputerowego”.9 Zimy skończyły się w jedno popołudnie. W ciągu kilku miesięcy trójka założyła firmę DNNresearch, a w 2013 roku Google ją przejął — wraz z kodem AlexNet — wprowadzając Hintona do Google Brain, gdzie pozostał aż do 2023 roku.2 To, za co go wyśmiewano, że w to wierzy, stało się nagle jedyną rzeczą, którą cała branża chciała budować.
Odejście z Google i zwrot ku ryzyku — oraz wyróżnienia
W maju 2023 roku Hinton odszedł z Google. Nie z powodu sporu i nie po to, by dołączyć do rywala — lecz, jak powiedział New York Timesowi, by móc „swobodnie wypowiadać się o zagrożeniach związanych z AI”, tak by nie odbijało się to na jego pracodawcy.1 Człowiek, który spędził pół wieku, upierając się, że te maszyny da się uczynić inteligentnymi, doszedł do wniosku, że stają się inteligentne szybciej, niż się spodziewano, i że konsekwencje — dezinformacja, systemy autonomiczne, trudność powstrzymania „złych aktorów” — są naprawdę niebezpieczne. To jeden z rzadkich przypadków, gdy twórca dziedziny zwraca się ku przestrzeganiu przed nią u szczytu swojego potwierdzenia, zamiast je spieniężyć.10
Potwierdzenie jest formalne. W 2019 roku ACM przyznało Hintonowi, Yoshui Bengio i Yannowi LeCunowi — „ojcom chrzestnym uczenia głębokiego” — Nagrodę Turinga ACM A.M. za rok 2018, najwyższe wyróżnienie w informatyce, „za przełomy koncepcyjne i inżynierskie, które uczyniły głębokie sieci neuronowe kluczowym składnikiem informatyki”.9 Następnie, w 2024 roku, Hinton podzielił się Nagrodą Nobla z fizyki z Johnem Hopfieldem „za fundamentalne odkrycia i wynalazki umożliwiające uczenie maszynowe za pomocą sztucznych sieci neuronowych” — nagrodę z fizyki, przyznaną za korzenie maszyny Boltzmanna sięgające mechaniki statystycznej, człowiekowi z dyplomem z psychologii.7 Turing i Nobel zwykle nie należą do tej samej osoby. Hinton ma oba, za ten sam niemodny zakład.

Metoda
Metoda jest spójna przez pięćdziesiąt lat: trzymaj przekonanie dłużej, niż jest to wygodne, uzasadniaj je mózgiem, a nie dowodem, i pozostań uczciwy co do tego, co jest twoje.
Stawiaj na biologię, nie na konsensus. Dziedzina mówiła, że inteligencja jest symboliczna. Hinton mówił, że jest wyuczona, rozproszona i wzorowana na mózgu — i trzymał tę linię przez dwie zimy, gdy zarówno finansowanie, jak i moda twierdziły, że się myli. Przekonanie jest cokolwiek warte tylko wtedy, gdy jego utrzymanie coś cię kosztuje.2
Korzystaj z dowodu istnienia. Gdy matematyki jeszcze nie ma, rozumuj na podstawie jedynego działającego układu, jaki masz. Mózg uczy się bez ręcznie pisanych reguł, więc dostatecznie duża sieć wytrenowana na wystarczającej ilości danych też powinna. Prawdopodobieństwo przed formalizmem; dowód może przyjść później.7
Zapożyczaj z fizyki, gdy logika utyka. Krajobrazy energetyczne, stochastyczne osiadanie, mechanika statystyczna — Hinton sięgnął ponad granice dyscyplin po maszynę Boltzmanna, bo narzędzi, których potrzebował, nie było wewnątrz AI. Nobel był, dosłownie, nagrodą fizyki za ten najazd.67
Trenuj ludzi, nie tylko sieć. AlexNet zbudowali jego studenci. Sutskever trafił do OpenAI; wynik z 2012 roku jest nierozłączny z laboratorium, którym kierował Hinton. Praca propaguje się przez ludzi w równym stopniu co przez artykuły.8
Przypisuj sobie tylko to, co twoje. Spopularyzował propagację wsteczną i mówi to wprost — a kluczową ideę przypisuje Rumelhartowi i uznaje matematykę starszą od nich obu. Gotowość, by odmówić zasługi, którą by ci wręczono, jest częścią rzemiosła, a nie czymś od niego oddzielonym.4
Bądź gotów bać się własnego wyniku. Ostatni ruch — odejście z Google, by ostrzegać przed niebezpieczeństwem czegoś, co do czego miałeś rację — to metoda obrócona przeciw sobie samej: podążaj za dowodami, nawet gdy obciążają one dzieło twojego życia.110
Łańcuch wpływów
Kto go ukształtował
George i Mary Everest Boole. Dosłownie jego przodkowie, a zarazem użyteczny kontrast: rodzina, która ufundowała logikę symboliczną, wydała człowieka, który dowodził, że inteligencja nie jest symboliczna. Rodowód dał mu zarówno matematyczną powagę, jak i coś, przeciw czemu można się buntować. (Wpływ formacyjny)
Donald Hebb i neuronauka uczenia. Całe stanowisko Hintona — że uczenie się to dostrajanie sił połączeń między prostymi jednostkami — wywodzi się z hebbowskiego myślenia „komórki, które aktywują się razem, łączą się razem”. Przeszedł przez psychologię eksperymentalną, a mózg zawsze był wzorcem. (Wpływ formacyjny)
John Hopfield i fizyka statystyczna. Oparta na energii sieć Hopfielda z 1982 roku była bezpośrednim fundamentem, na którym Hinton zbudował maszynę Boltzmanna. Czterdzieści dwa lata później obaj podzielili się za nią Noblem. (Wpływ bezpośredni)
Kogo ukształtował
Ilya Sutskever i Alex Krizhevsky. Jego studenci zbudowali AlexNet; jeden z nich współzałożył później OpenAI. Przełom z 2012 roku, który zakończył zimy AI, wyszedł z laboratorium Hintona, w rękach jego studentów.
Yoshua Bengio i Yann LeCun. Jego współlaureaci i koledzy „ojcowie chrzestni” — mała, uparta społeczność, która wspólnie utrzymała sieci neuronowe przy życiu, a potem wspólnie przyjęła Nagrodę Turinga.
Zasadniczo każdy współczesny system AI. Propagacja wsteczna trenuje niemal każdą sieć neuronową działającą dzisiaj; „uczenie głębokie”, które ożywił, jest podłożem dużych modeli językowych, generatorów obrazów i stosów agentowych, które teraz buduję.
Nić przewodnia
Hinton jest korzeniem gałęzi uczenia głębokiego w tej serii, a najwyraźniejsza linia biegnie naprzód ku Andrejowi Karpathy’emu. Cała przeróbka „Software 2.0” Karpathy’ego — że sieć neuronowa to program skompilowany z danych, a nie napisany ręcznie — ma sens tylko w świecie, w którym zakład Hintona już się opłacił; Karpathy nawet jako student licencjacki uczęszczał na zajęcia Hintona w Toronto, chłonąc tę ewangelię, zanim stała się ortodoksją. Tam, gdzie Karpathy upiera się, byś budował każdą warstwę od zera, aby zaufać całemu stosowi, Hinton dostarczył samą warstwę: propagacja wsteczna to rzecz, którą Karpathy implementuje ręcznie, by ją zrozumieć. Drugi koniec tej osi to John Carmack, który po karierze w grafice zwrócił się ku badaniom nad AGI od strony inżynierii — podejście systemowo-wydajnościowe do tego samego celu, do którego Hinton dotarł od biologii i fizyki. Dwie drogi na jedną górę: Hinton ufał mózgowi; Carmack ufa maszynie. (Pomost serii)
Co z tego biorę
Lekcją, którą zatrzymuję, jest to, że posiadanie racji wcześnie wygląda przez długi czas identycznie jak bycie w błędzie. Hinton spędził dwie zimy, trzymając się stanowiska, które cała dziedzina spisała na straty, a jedyną rzeczą oddzielającą jego przekonanie od zwykłego uporu było to, że było ono zakotwiczone w dowodzie istnienia — mózg działa w ten sposób, więc to może zadziałać. To rozróżnienie staram się zachować. Przekonanie bez kotwicy to ego; przekonanie zakotwiczone w dowodach, na które możesz wskazać, utrzymywane przez lata, gdy moda mówi, że jesteś głupcem, to sposób, w jaki dokonują się prawdziwe przełomy. To ten sam powód, dla którego traktuję jakość jako jedyną zmienną, a nie coś, czym można handlować wobec panującej presji, by dowieźć — standard nie przesuwa się dlatego, że sala się nie zgadza.
Trudniejszą lekcją jest zwrot z 2023 roku. Hinton wygrał — Turing, Nobel, cała branża zbudowana na jego zakładzie — a następnie wykorzystał tę pozycję, by powiedzieć rzecz, której nikt od niego nie chciał: że być może miał zbyt dużo racji i że wynik może być niebezpieczny. W dziedzinie agentów, którzy piszą teraz kod szybciej, niż ktokolwiek zdoła go przeczytać, to przykład, który uważam za najbardziej istotny. Nie wystarczy podążać za dowodami do wyniku; trzeba podążać za nimi dalej, poza wynik, nawet gdy obciążają one dzieło, z którego jesteś najbardziej dumny. To bramka dowodów zastosowana do własnego dziedzictwa — gotowość, by bać się własnego wniosku, gdy dane się odwracają. Biologia była dowodem istnienia dla strony pozytywnej. Hinton nalega teraz, byśmy równie uczciwie spojrzeli na stronę negatywną.
FAQ
Na czym polega filozofia inżynierska Geoffreya Hintona?
Przekonanie ponad modę. Hinton postawił swoją karierę na koneksjonizmie — inteligencji jako uczeniu się w wzorowanych na mózgu sieciach prostych jednostek — i trzymał to stanowisko przez dwie zimy AI, gdy konsensusem było symboliczne AI, a sieci neuronowe odrzucano.2 Jego uzasadnienie było biologiczne, a nie matematyczne: mózg jest siecią prostych jednostek, która uczy się bez ręcznie pisanych reguł, więc dostatecznie duża sztuczna sieć wytrenowana na wystarczającej ilości danych też powinna umieć się uczyć.7 Ufał temu dowodowi istnienia bardziej niż panującemu formalizmowi i panującemu finansowaniu, a ostatecznie potwierdził to AlexNet w 2012 roku.8
Czy Geoffrey Hinton wynalazł propagację wsteczną?
Nie — współtworzył ją i spopularyzował, co jest ważnym rozróżnieniem. Szeroko cytowana praca z Nature z 1986 roku „Learning representations by back-propagating errors”, autorstwa Davida Rumelharta, Hintona i Ronalda Williamsa, przekonała społeczność badawczą, że trenowanie sieci wielowarstwowych za pomocą propagacji wstecznej jest praktyczne.3 Leżąca u podstaw matematyka jest jednak starsza: Seppo Linnainmaa opisał automatyczne różniczkowanie w trybie wstecznym w 1970 roku, a Paul Werbos zaproponował zastosowanie go do sieci neuronowych w swojej rozprawie z 1974 roku.4 Sam Hinton przypisuje kluczową ideę Rumelhartowi, mówiąc: „David Rumelhart wpadł na podstawowy pomysł propagacji wstecznej, więc to jego wynalazek.”4
Dlaczego Geoffrey Hinton zdobył zarówno Nagrodę Turinga, jak i Nagrodę Nobla?
Otrzymał Nagrodę Turinga ACM A.M. za rok 2018 (ogłoszoną w 2019), wspólnie z Yoshuą Bengio i Yannem LeCunem, „za przełomy koncepcyjne i inżynierskie, które uczyniły głębokie sieci neuronowe kluczowym składnikiem informatyki”.9 Następnie podzielił się Nagrodą Nobla z fizyki za rok 2024 z Johnem Hopfieldem „za fundamentalne odkrycia i wynalazki umożliwiające uczenie maszynowe za pomocą sztucznych sieci neuronowych”.7 Nobel uznał konkretnie korzenie jego maszyny Boltzmanna sięgające fizyki statystycznej, zbudowanej na opartej na energii sieci Hopfielda.7 Posiadanie obu najwyższych wyróżnień w informatyce i fizyce za jedną linię pracy jest wyjątkowo rzadkie.
Dlaczego Geoffrey Hinton odszedł z Google w 2023 roku?
Odszedł w maju 2023 roku, by swobodnie wypowiadać się o zagrożeniach związanych z AI, tak by nie odbijało się to na jego pracodawcy, mówiąc New York Timesowi, że chce „swobodnie wypowiadać się o zagrożeniach związanych z AI”.1 Po całym życiu spędzonym na dowodzeniu, że te systemy da się uczynić inteligentnymi, doszedł do wniosku, że rozwijają się szybciej, niż się spodziewano, i niosą realne niebezpieczeństwa — dezinformację, systemy autonomiczne i złych aktorów. Swoją ambiwalencję podsumował zdaniem: „Pocieszam się zwykłą wymówką: gdybym ja tego nie zrobił, zrobiłby to ktoś inny.”110
Źródła
-
Cade Metz, „’The Godfather of A.I.’ Leaves Google and Warns of Danger Ahead,” The New York Times, 1 maja 2023, cytowane i udokumentowane w haśle „Geoffrey Hinton,” Wikipedia. Hinton odszedł z Google, by „swobodnie wypowiadać się o zagrożeniach związanych z AI”; o swojej ambiwalencji powiedział: „Pocieszam się zwykłą wymówką: gdybym ja tego nie zrobił, zrobiłby to ktoś inny.” Cytat udokumentowany także w Fortune, 1 maja 2023. ↩↩↩↩↩
-
„Geoffrey Hinton,” Wikipedia. Geoffrey Everest Hinton, urodzony 6 grudnia 1947 roku w Londynie; praprawnuk George’a Boole’a i Mary Everest Boole; licencjat z psychologii eksperymentalnej, King’s College, Cambridge (1970); doktorat ze sztucznej inteligencji, Uniwersytet w Edynburgu (1978), pod opieką Christophera Longueta-Higginsa; stanowiska w Carnegie Mellon i na Uniwersytecie w Toronto (od 1987); Google Brain 2013–2023; odejście ogłoszone w maju 2023. ↩↩↩↩↩↩↩↩
-
David E. Rumelhart, Geoffrey E. Hinton i Ronald J. Williams, „Learning representations by back-propagating errors,” Nature 323 (1986): 533–536, doi:10.1038/323533a0. Cytowanie i znaczenie udokumentowane także w haśle „Geoffrey Hinton,” Wikipedia. ↩↩
-
O autorstwie propagacji wstecznej: Seppo Linnainmaa opisał automatyczne różniczkowanie w trybie wstecznym w 1970 roku, a Paul Werbos zaproponował zastosowanie go do sieci neuronowych w swojej rozprawie doktorskiej z 1974 roku; praca Rumelharta-Hintona-Williamsa z 1986 roku spopularyzowała metodę, a nie ją zapoczątkowała. Zob. „Geoffrey Hinton,” Wikipedia (zauważa, że Hinton był „współautorem często cytowanej pracy opublikowanej w 1986 roku, która spopularyzowała algorytm propagacji wstecznej… choć nie byli oni pierwszymi, którzy zaproponowali to podejście”) oraz Jürgen Schmidhuber, „Who Invented Backpropagation?”. Własne przypisanie Hintona — „David Rumelhart wpadł na podstawowy pomysł propagacji wstecznej, więc to jego wynalazek” — jest udokumentowane w tym samym haśle Wikipedii. ↩↩↩↩↩↩
-
David H. Ackley, Geoffrey E. Hinton i Terrence J. Sejnowski, „A Learning Algorithm for Boltzmann Machines,” Cognitive Science 9, nr 1 (1985): 147–169. Opracowanie około 1983–1985; zob. „Boltzmann machine,” Wikipedia oraz „Geoffrey Hinton,” Wikipedia. ↩
-
O krajobrazie energetycznym Hopfielda i maszynie Boltzmanna jako stochastycznym, generatywnym rozszerzeniu: „The Nobel Prize in Physics 2024 – Popular science background,” NobelPrize.org. Sieć Hopfielda przechowuje wzorce jako stany o niskiej energii; przy częściowym lub zaszumionym wejściu osiada w stronę najbliższego przechowywanego wzorca; maszyna Boltzmanna rozszerza to do modelu generatywnego, który wciąż dąży do stanu o minimalnej energii. ↩↩↩
-
„The Nobel Prize in Physics 2024 – Press release” oraz „Summary,” NobelPrize.org. John J. Hopfield i Geoffrey Hinton (Uniwersytet w Toronto), każdy z udziałem 1/2, „za fundamentalne odkrycia i wynalazki umożliwiające uczenie maszynowe za pomocą sztucznych sieci neuronowych”. Hinton „wykorzystał sieć Hopfielda jako fundament nowej sieci, która stosuje inną metodę: maszyny Boltzmanna”, która „potrafi nauczyć się rozpoznawać charakterystyczne elementy w danym typie danych”. ↩↩↩↩↩↩↩
-
„AlexNet,” Wikipedia. Opracowany w 2012 roku przez Alexa Krizhevsky’ego we współpracy z Ilyą Sutskeverem i jego promotorem doktoratu Geoffreyem Hintonem na Uniwersytecie w Toronto; zgłoszony do ImageNet Large Scale Visual Recognition Challenge 30 września 2012 roku; osiągnął współczynnik błędu top-5 na poziomie 15,3%, o ponad 10,8 punktu procentowego przed drugim miejscem; Krizhevsky, Sutskever i Hinton założyli DNNresearch, przejęty przez Google (wraz z kodem źródłowym AlexNet). ↩↩↩↩
-
„Fathers of the Deep Learning Revolution Receive ACM A.M. Turing Award,” ACM za pośrednictwem GlobeNewswire, 27 marca 2019. ACM wskazało Yoshuę Bengio, Geoffreya Hintona i Yanna LeCuna jako laureatów Nagrody Turinga ACM A.M. za rok 2018 „za przełomy koncepcyjne i inżynierskie, które uczyniły głębokie sieci neuronowe kluczowym składnikiem informatyki”. W kwestii AlexNet uzasadnienie zauważa, że Hinton i jego studenci „niemal o połowę zmniejszyli współczynnik błędu rozpoznawania obiektów i przekształcili dziedzinę widzenia komputerowego”. Nagroda udokumentowana także w haśle „Geoffrey Hinton,” Wikipedia. ↩↩↩
-
„The Godfather of A.I.’ just quit Google and says he regrets his life’s work,” Fortune, 1 maja 2023. Odejście Hintona, by mówić o zagrożeniach związanych z AI — dezinformacji, systemach autonomicznych i trudności powstrzymania złych aktorów przed nadużyciem tej technologii. ↩↩↩