← Alle Beitrage

Engineering-Philosophie: Geoffrey Hinton, Überzeugung statt Mode

Geoffrey Hinton, der „Pate des Deep Learning"

Die wichtigsten Erkenntnisse

  • Überzeugung statt Mode. Hinton setzte seine gesamte Laufbahn auf den Konnektionismus – das Lernen aus Daten in gehirnähnlichen Netzen – und zwar durch zwei KI-Winter hindurch, als die symbolische KI als Konsens galt und neuronale Netze als Sackgasse abgetan wurden. Er behielt recht, weil er sich weigerte, dem Fachgebiet zu folgen.
  • Das Gehirn ist der Existenzbeweis. Sein Argument war nie ein Theorem. Es war biologisch: Ein Netz aus einfachen Einheiten lernt offensichtlich Intelligenz, denn genau ein solches liest gerade diesen Satz. Intuition und Plausibilität trugen ihn dorthin, wo der Formalismus noch nicht existierte.
  • Er ist ehrlich, was die Zuschreibung angeht. Die Backpropagation-Arbeit von 1986 machte die Idee praktikabel und berühmt, doch Hinton verfasste sie als Mitautor und schreibt David Rumelhart den Kerngedanken zu; die zugrunde liegende Mathematik ist älter als sie beide. Er machte Backpropagation populär – er hat sie nicht im Alleingang erfunden.
  • Die Wette ging auf und erschreckte ihn dann. AlexNet (2012) beendete die Winter; ein Turing Award (2018) und ein Nobelpreis für Physik (2024) folgten. 2023 verließ er Google, um davor zu warnen, dass genau das, worin er recht behalten hatte, gefährlich sein könnte.

Das Prinzip

„Ich tröste mich mit der üblichen Ausrede: Hätte ich es nicht getan, hätte es jemand anderes getan.” – Geoffrey Hinton über sein Lebenswerk, 20231

Diese Zeile handelt von Reue, doch sie offenbart das Prinzip hinter der gesamten Laufbahn: Hinton hielt das Ergebnis für unvermeidlich – dafür, dass gehirnähnliche Lernmaschinen nicht eine Option unter vielen waren, sondern der Weg, auf dem Intelligenz tatsächlich entsteht, und dass irgendjemand es immer beweisen würde. Über fast vierzig Jahre hinweg stimmte ihm kaum jemand zu. Das Fachgebiet hatte entschieden, dass Intelligenz so konstruiert würde, wie man einen Compiler konstruiert: explizite Symbole, handgeschriebene Regeln, Logik bis ganz nach unten. Neuronale Netze – lose Geflechte aus einfachen Einheiten, die durch Anpassung von Verbindungsstärken lernen – galten als diskreditierte Kuriosität aus den 1960er-Jahren. Die Fördermittel versiegten. Zweimal.

Hinton wettete trotzdem gegen den Konsens, und zwar aus einem unmodischen Grund: Er vertraute der Biologie mehr als der Mathematik. Das Argument war nie ein sauberes Theorem. Es war ein Existenzbeweis, der gerade in Ihnen abläuft. Ein Gehirn ist ein Netz aus langsamen, verrauschten, einfachen Einheiten, und es lernt zu sehen, zu sprechen und zu denken, ohne dass jemand die Regeln aufschreibt. Also sollte ein hinreichend großes Netz aus künstlichen Einheiten, trainiert mit genügend Daten, dasselbe leisten können – nicht weil die Mathematik es garantierte, sondern weil das einzige funktionierende Beispiel für Intelligenz, das wir haben, genau so gebaut ist. Das ist Überzeugung statt Mode: eine Position durch zwei Winter hindurch zu halten, weil man der Biologie glaubt, und nicht, weil der Formalismus oder die Geldgeber einem schon zustimmen.

Die Disziplin, die das erfordert, ist selten und unbequem. Sie bedeutet, jahrzehntelang den Anschein zu ertragen, im Unrecht zu sein. Sie bedeutet, eine Intuition, die man noch nicht beweisen kann, einem Beweis von etwas vorzuziehen, das man für nebensächlich hält. Und sie bedeutet, dass man, wenn die Wette endlich aufgeht – wenn der unmodische Ansatz sich als das ganze Spiel herausstellt –, das Recht erworben hat, das Schwierigste von allem auszusprechen, was Hinton 2023 tat: dass man vielleicht zu sehr recht hatte und dass das, wofür man gekämpft hat, womöglich gefürchtet werden muss.

Kontext

Geoffrey Everest Hinton wurde am 6. Dezember 1947 in London geboren.2 Die Namen sind kein Zufall. Er ist der Ururenkel von George Boole – jenem Logiker, dessen Boolesche Algebra die Grundlage jedes digitalen Schaltkreises bildet – und von Mary Everest Boole, einer Mathematikpädagogin; „Everest” ist dieselbe Familie, die dem Berg seinen Namen gab.2 Ein Mann, der vom Erfinder der symbolischen Logik abstammt, verbrachte sein Leben damit zu argumentieren, dass Intelligenz nicht symbolische Logik ist. Die Ironie ist präzise, und er hat sie selbst angemerkt.

1970 erwarb er am King’s College in Cambridge einen Bachelor of Arts in experimenteller Psychologie – Psychologie, nicht Informatik, und das ist von Bedeutung: Er kam über das Studium der tatsächlichen Funktionsweise des Geistes zu den Maschinen.2 Anschließend promovierte er an der University of Edinburgh in künstlicher Intelligenz, abgeschlossen 1978, betreut von Christopher Longuet-Higgins.2 Das war bereits ein stiller Akt des Widerstands. Longuet-Higgins selbst hatte sich von den Ideen neuronaler Netze ab- und der symbolischen KI zugewandt, die zur aufstrebenden Orthodoxie wurde; Hinton grub sich auf der konnektionistischen Seite ein und blieb dort.

Was folgte, waren die KI-Winter – Zeitspannen in den 1970er-Jahren und erneut Ende der 1980er- und in den 1990er-Jahren, in denen neuronale Netze als gescheitertes Programm galten, die Fördermittel verdampften und ernsthaften Forschern geraten wurde, an etwas anderem zu arbeiten. Hinton trug die konnektionistische Fahne durch all das hindurch und wechselte von Carnegie Mellon und ab 1987 an die University of Toronto, die zu seiner langjährigen Heimat wurde.2 Er saß keine Mode aus. Er wettete darauf, dass die Mode falsch lag.

Das Werk

Backpropagation und das Erlernen von Repräsentationen (1986)

Die mit Hinton am stärksten verbundene Einzelarbeit ist „Learning representations by back-propagating errors”, 1986 in Nature gemeinsam mit David Rumelhart und Ronald Williams veröffentlicht.3 Das Problem, das sie behandelte, ist das zentrale Problem des gesamten Fachgebiets: Ein Netz mit verborgenen Schichten kann im Prinzip reiche Struktur abbilden – doch wie trainiert man es? Wie entscheidet man, gegeben ein Fehler am Ausgang, wie viel Schuld jede einzelne interne Verbindung tief im Netz trägt? Backpropagation beantwortet dies, indem das Fehlersignal rückwärts durch die Schichten geschickt wird; mithilfe der Kettenregel der Analysis wird jedem Gewicht sein Anteil an der Verantwortung zugewiesen und anschließend jedes Gewicht so nachjustiert, dass der Fehler sinkt. Die tiefere Behauptung der Arbeit, schon im Titel, lautet, dass ein so trainiertes Netz von selbst nützliche interne Repräsentationen lernt – es entdeckt Merkmale, nach denen ihm niemand zu suchen aufgetragen hat.

Hier ist Ehrlichkeit bei der Zuschreibung wichtig, denn die populäre Erzählung schreibt Hinton zu viel zu. Er hat Backpropagation nicht erfunden. Das automatische Differenzieren im Rückwärtsmodus – die mathematische Maschine darunter – wurde 1970 von Seppo Linnainmaa beschrieben, und Paul Werbos schlug 1974 in seiner Dissertation vor, es zum Training neuronaler Netze einzusetzen.4 Was die Arbeit von 1986 leistete, war, die Idee ankommen zu lassen: Sie zeigte klar, dass Backpropagation es mehrschichtigen Netzen ermöglichte, interne Repräsentationen zu lernen, und sie überzeugte eine skeptische Forschungsgemeinschaft davon, dass das Training tiefer Netze tatsächlich praktikabel war.4 Hinton selbst ist darin gewissenhaft. In einem Interview von 2018 sagte er unumwunden: „David Rumelhart kam auf die Grundidee der Backpropagation, also ist es seine Erfindung.”4 Die zutreffende Aussage lautet, dass Hinton Backpropagation mitentwickelte und populär machte – er hat sie nicht im Alleingang erfunden. Dass er darauf besteht, obwohl das Fachgebiet ihm bereitwillig die alleinige Anerkennung zuschreiben würde, ist dieselbe Ehrlichkeit, die sich durch diese ganze Reihe zieht, der Unterschied zwischen Geschmack als Behauptung im Bauchgefühl und einem technischen System, das man tatsächlich verteidigen kann.

Boltzmann-Maschinen und die energiebasierte Idee

Vor Backpropagation und parallel dazu verfolgte Hinton eine andere, seltsamere Idee: dass man sich die Mathematik der statistischen Physik ausleihen könne, um eine Lernmaschine zu bauen. Gemeinsam mit Terry Sejnowski und David Ackley entwickelte er um 1983-1985 die Boltzmann-Maschine.5 Die Abstammungslinie verläuft direkt über John Hopfield, der 1982 gezeigt hatte, dass ein Netz aus einfachen Einheiten Erinnerungen als niederenergetische Zustände in einer Landschaft speichern kann. Stellen Sie sich eine Oberfläche aus Hügeln und Tälern vor; jedes gespeicherte Muster ist ein Tal. Zeigt man dem Netz eine beschädigte oder unvollständige Version eines Musters, „rollt” es bergab – indem es Einheiten umkippt, um die Gesamtenergie zu senken –, bis es sich im nächstgelegenen Tal einpendelt und die vollständige Erinnerung wiederherstellt. Gedächtnis als Physik: Abruf ohne Adresse und ohne Suche.6

Die Boltzmann-Maschine nahm Hopfields Energielandschaft und machte sie generativ und stochastisch – sie pendelt sich nicht nur in gespeicherte Zustände ein, sondern kann die statistische Struktur einer ganzen Datenklasse lernen und anschließend neue Beispiele davon erzeugen.6 Das ist die Arbeit, die das Nobelkomitee 2024 hervorhob: Hinton „nutzte das Hopfield-Netz als Grundlage für ein neues Netz, das eine andere Methode verwendet: die Boltzmann-Maschine”, die „lernen kann, charakteristische Elemente in einer bestimmten Datenart zu erkennen”.7 Das Widget unten ist der Hopfield-artige Kern dieser Idee – die Landschaft des assoziativen Gedächtnisses, für die beide Männer letztlich geehrt wurden.

Das ist der reinste Ausdruck von Hintons Prinzip. Niemand konnte 1985 beweisen, dass energiebasierte stochastische Netze der Weg zur Maschinenintelligenz waren. Die Rechtfertigung war, dass es dem ähnelte, wie sich ein physikalisches System – und plausiblerweise ein Gehirn – in stabile Zustände einpendelt. Er folgte der Physik und der Biologie, nicht einer Garantie.

Geoffrey Hinton bei einem Vortrag

Von Deep Belief Nets zu AlexNet: Der Durchbruch (2012)

Die Wette blieb unbeliebt, bis zwei Momente sie zum Kippen brachten. Der erste war 2006, als Hinton und seine Mitarbeiter zeigten, wie man Deep Belief Networks Schicht für Schicht trainiert – ein praktikables Rezept, um Netze tiefer zu trainieren, als es bis dahin jemandem gelungen war, und der Funke, dem üblicherweise die Wiederbelebung des Begriffs „Deep Learning” zugeschrieben wird. Der zweite ist der, an den sich alle erinnern.

2012 bauten Hintons Doktoranden Alex Krizhevsky und Ilya Sutskever ein tiefes faltendes neuronales Netz – AlexNet – und reichten es bei der ImageNet Large Scale Visual Recognition Challenge ein, dem schwersten Bildklassifikations-Benchmark des Fachgebiets.8 Es gewann nicht knapp. AlexNet erzielte eine Top-5-Fehlerrate von 15,3 %, mehr als 10 Prozentpunkte vor dem Zweitplatzierten, in einem Wettbewerb, in dem die Fortschritte des Vorjahres in Bruchteilen eines Prozents gemessen worden waren.8 Wie die ACM später formulierte, „halbierten” Hinton und seine Studenten „die Fehlerrate bei der Objekterkennung nahezu und gestalteten das Feld der Computer Vision um”.9 Die Winter endeten an einem Nachmittag. Innerhalb weniger Monate gründete das Trio ein Unternehmen, DNNresearch, und 2013 übernahm Google es – und mit ihm den AlexNet-Code – und holte Hinton zu Google Brain, wo er bis 2023 blieb.2 Das, wofür er verspottet worden war, war plötzlich das Einzige, was die gesamte Branche bauen wollte.

Der Weggang von Google und die Wendung zum Risiko – und die Ehrungen

Im Mai 2023 verließ Hinton Google. Nicht wegen eines Streits und nicht, um zu einem Konkurrenten zu wechseln – sondern, wie er der New York Times sagte, damit er „frei über die Risiken der KI sprechen” konnte, ohne dass es auf seinen Arbeitgeber zurückfiel.1 Der Mann, der ein halbes Jahrhundert lang darauf beharrt hatte, dass diese Maschinen intelligent gemacht werden könnten, war zu dem Schluss gekommen, dass sie schneller als erwartet intelligent wurden und dass die Folgen – Desinformation, autonome Systeme, die Schwierigkeit, „böswillige Akteure” zu stoppen – wahrhaft gefährlich waren. Es ist einer der seltenen Fälle, in denen ein Begründer eines Fachgebiets sich auf dem Höhepunkt seiner Bestätigung der Mahnung davor zuwendet, anstatt die Bestätigung einzulösen.10

Die Bestätigung ist formell. 2019 verlieh die ACM an Hinton, Yoshua Bengio und Yann LeCun – die „Paten des Deep Learning” – den A.M. Turing Award 2018, die höchste Auszeichnung der Informatik, „für konzeptionelle und technische Durchbrüche, die tiefe neuronale Netze zu einem zentralen Bestandteil der Datenverarbeitung gemacht haben”.9 2024 teilte sich Hinton dann den Nobelpreis für Physik mit John Hopfield „für grundlegende Entdeckungen und Erfindungen, die maschinelles Lernen mit künstlichen neuronalen Netzen ermöglichen” – ein Physikpreis, verliehen für die statistisch-mechanischen Wurzeln der Boltzmann-Maschine, an einen Mann mit einem Psychologieabschluss.7 Turing- und Nobelpreis werden gewöhnlich nicht von derselben Person gehalten. Hinton hält beide, für dieselbe unmodische Wette.

Geoffrey Hinton

Die Methode

Die Methode ist über fünfzig Jahre hinweg konsistent: eine Überzeugung länger halten, als bequem ist, sie über das Gehirn statt über den Beweis rechtfertigen und ehrlich bleiben, was einem selbst gehört.

Auf die Biologie setzen, nicht auf den Konsens. Das Fachgebiet sagte, Intelligenz sei symbolisch. Hinton sagte, sie sei erlernt, verteilt und gehirnähnlich – und hielt diese Linie durch zwei Winter, als sowohl die Fördermittel als auch die Mode sagten, er liege falsch. Eine Überzeugung ist nur dann etwas wert, wenn es einen etwas kostet, an ihr festzuhalten.2

Den Existenzbeweis nutzen. Wenn die Mathematik noch nicht da ist, schließen Sie vom einen funktionierenden System, das Sie haben. Ein Gehirn lernt ohne handgeschriebene Regeln, also sollte ein hinreichend großes Netz, trainiert mit genügend Daten, es auch tun. Plausibilität vor Formalismus; der Beweis kann später kommen.7

Aus der Physik borgen, wenn die Logik stockt. Energielandschaften, stochastisches Einpendeln, statistische Mechanik – Hinton griff über Disziplingrenzen hinweg zur Boltzmann-Maschine, weil die Werkzeuge, die er brauchte, innerhalb der KI nicht existierten. Der Nobelpreis war, im Wortsinn, die Physik, die diesen Raubzug belohnte.67

Die Menschen ausbilden, nicht nur das Netz. AlexNet wurde von seinen Studenten gebaut. Sutskever ging weiter zu OpenAI; das Ergebnis von 2012 ist untrennbar mit dem Labor verbunden, das Hinton leitete. Das Werk pflanzt sich ebenso über Menschen wie über Arbeiten fort.8

Nur beanspruchen, was einem gehört. Er machte Backpropagation populär und sagt es auch – und schreibt Rumelhart die Idee zu und erkennt die Mathematik an, die älter ist als sie beide. Die Bereitschaft, Anerkennung abzulehnen, die einem zugereicht würde, ist Teil des Handwerks, nicht davon getrennt.4

Bereit sein, das eigene Ergebnis zu fürchten. Der letzte Zug – Google zu verlassen, um vor der Gefahr dessen zu warnen, worin man recht hatte – ist die Methode, gegen sich selbst gewandt: der Evidenz folgen, selbst wenn sie das eigene Lebenswerk belastet.110

Einflusskette

Wer ihn prägte

George und Mary Everest Boole. Buchstäblich seine Abstammung und ein nützlicher Gegenpol: Die Familie, die die symbolische Logik begründete, brachte den Mann hervor, der argumentierte, Intelligenz sei nicht symbolisch. Die Abstammungslinie gab ihm zugleich die mathematische Ernsthaftigkeit und das, wogegen er rebellieren konnte. (Prägender Einfluss)

Donald Hebb und die Neurowissenschaft des Lernens. Hintons gesamte Haltung – dass Lernen die Anpassung von Verbindungsstärken zwischen einfachen Einheiten ist – stammt vom Hebb’schen Denken „Zellen, die gemeinsam feuern, verdrahten sich miteinander” ab. Er kam über die experimentelle Psychologie, und das Gehirn war stets das Vorbild. (Prägender Einfluss)

John Hopfield und die statistische Physik. Hopfields energiebasiertes Netz von 1982 war die direkte Grundlage, auf der Hinton die Boltzmann-Maschine baute. Die beiden sollten sich zweiundvierzig Jahre später einen Nobelpreis dafür teilen. (Direkter Einfluss)

Wen er prägte

Ilya Sutskever und Alex Krizhevsky. Seine Studenten bauten AlexNet; einer von ihnen war später Mitbegründer von OpenAI. Der Durchbruch von 2012, der die KI-Winter beendete, kam aus Hintons Labor, durch die Hände seiner Studenten.

Yoshua Bengio und Yann LeCun. Seine Mitpreisträger und Mit-„Paten” – eine kleine, sture Gemeinschaft, die die neuronalen Netze gemeinsam am Leben hielt und dann gemeinsam den Turing Award annahm.

Im Grunde jedes moderne KI-System. Backpropagation trainiert nahezu jedes neuronale Netz, das heute läuft; das „Deep Learning”, das er wiederbelebte, ist das Substrat unter großen Sprachmodellen, Bildgeneratoren und den Agentensystemen, auf denen ich heute aufbaue.

Der rote Faden

Hinton ist die Wurzel des Deep-Learning-Astes dieser Reihe, und die klarste Linie verläuft vorwärts zu Andrej Karpathy. Karpathys gesamte „Software 2.0”-Neudeutung – dass ein neuronales Netz ein Programm ist, das aus Daten kompiliert statt von Hand geschrieben wird – ergibt nur in einer Welt Sinn, in der Hintons Wette bereits aufgegangen ist; Karpathy saß als Student sogar in Hintons Vorlesungen in Toronto und nahm das Evangelium auf, bevor es Orthodoxie war. Wo Karpathy darauf besteht, jede Schicht von Grund auf selbst zu bauen, um dem Stapel zu vertrauen, lieferte Hinton die Schicht selbst: Backpropagation ist genau das, was Karpathy von Hand implementiert, um es zu verstehen. Das andere Ende der Achse ist John Carmack, der sich nach einer Laufbahn in der Grafik von der Ingenieurseite her der AGI-Forschung zuwandte – der system- und leistungsorientierte Weg zu demselben Ziel, das Hinton von Biologie und Physik her erreichte. Zwei Wege auf einen Berg: Hinton vertraute dem Gehirn; Carmack vertraut der Maschine. (Brücke der Reihe)

Was ich daraus mitnehme

Die Lehre, an der ich festhalte, ist, dass früh recht zu haben über lange Zeit identisch aussieht mit Unrecht haben. Hinton verbrachte zwei Winter damit, eine Position zu halten, die das gesamte Fachgebiet abgeschrieben hatte, und das Einzige, was seine Überzeugung von bloßer Sturheit trennte, war, dass sie an einem Existenzbeweis verankert war – das Gehirn funktioniert so, also kann das funktionieren. Diese Unterscheidung ist die, an der ich festzuhalten versuche. Überzeugung ohne Anker ist Ego; Überzeugung, verankert an Evidenz, auf die man zeigen kann, gehalten durch die Jahre, in denen die Mode einen für einen Narren erklärt, ist die Art, wie die wirklichen Durchbrüche geschehen. Es ist derselbe Grund, aus dem ich Qualität als die einzige Variable behandle und nicht als etwas, das gegen den vorherrschenden Druck zu liefern abgewogen werden darf – der Maßstab verschiebt sich nicht, nur weil der Raum anderer Meinung ist.

Die schwierigere Lehre ist die Wendung von 2023. Hinton hatte gewonnen – Turing, Nobel, die gesamte auf seiner Wette aufgebaute Branche – und nutzte dann dieses Ansehen, um das zu sagen, was niemand von ihm wollte: dass er vielleicht zu sehr recht hatte und dass das Ergebnis gefährlich sein könnte. In einem Feld voller Agenten, die inzwischen Code schneller schreiben, als irgendjemand ihn lesen kann, ist das das Beispiel, das ich am relevantesten finde. Es genügt nicht, der Evidenz bis zu einem Ergebnis zu folgen; man muss ihr über das Ergebnis hinaus weiter folgen, selbst wenn sie die Arbeit belastet, auf die man am stolzesten ist. Das ist die Beweisschwelle, angewandt auf das eigene Vermächtnis – die Bereitschaft, die eigene Schlussfolgerung zu fürchten, wenn die Daten sich wenden. Die Biologie war der Existenzbeweis für die Vorteile. Hinton besteht nun darauf, dass wir ebenso ehrlich auf die Kehrseite blicken.

FAQ

Was ist Geoffrey Hintons Engineering-Philosophie?

Überzeugung statt Mode. Hinton setzte seine Laufbahn auf den Konnektionismus – Intelligenz als Lernen in gehirnähnlichen Netzen aus einfachen Einheiten – und hielt diese Position durch zwei KI-Winter, als die symbolische KI der Konsens war und neuronale Netze abgetan wurden.2 Seine Rechtfertigung war biologisch statt mathematisch: Das Gehirn ist ein Netz aus einfachen Einheiten, das ohne handgeschriebene Regeln lernt, also sollte ein hinreichend großes künstliches Netz, trainiert mit genügend Daten, ebenfalls lernen können.7 Er vertraute diesem Existenzbeweis mehr als dem vorherrschenden Formalismus und der vorherrschenden Förderung und wurde schließlich 2012 durch AlexNet bestätigt.8

Hat Geoffrey Hinton Backpropagation erfunden?

Nein – er hat sie mitentwickelt und populär gemacht, was eine wichtige Unterscheidung ist. Die vielzitierte Nature-Arbeit von 1986, „Learning representations by back-propagating errors”, von David Rumelhart, Hinton und Ronald Williams, überzeugte die Forschungsgemeinschaft davon, dass das Training mehrschichtiger Netze mit Backpropagation praktikabel war.3 Doch die zugrunde liegende Mathematik ist älter: Seppo Linnainmaa beschrieb das automatische Differenzieren im Rückwärtsmodus 1970, und Paul Werbos schlug in seiner Dissertation von 1974 vor, es auf neuronale Netze anzuwenden.4 Hinton selbst schreibt Rumelhart den Kerngedanken zu und sagt: „David Rumelhart kam auf die Grundidee der Backpropagation, also ist es seine Erfindung.”4

Warum gewann Geoffrey Hinton sowohl den Turing Award als auch den Nobelpreis?

Er erhielt den ACM A.M. Turing Award 2018 (bekannt gegeben 2019), gemeinsam mit Yoshua Bengio und Yann LeCun, „für konzeptionelle und technische Durchbrüche, die tiefe neuronale Netze zu einem zentralen Bestandteil der Datenverarbeitung gemacht haben”.9 Anschließend teilte er sich den Nobelpreis für Physik 2024 mit John Hopfield „für grundlegende Entdeckungen und Erfindungen, die maschinelles Lernen mit künstlichen neuronalen Netzen ermöglichen”.7 Der Nobelpreis würdigte ausdrücklich die statistisch-physikalischen Wurzeln seiner Boltzmann-Maschine, die auf Hopfields energiebasiertem Netz aufbaute.7 Beide Spitzenauszeichnungen in Informatik und Physik für eine einzige Arbeitslinie zu halten, ist außergewöhnlich selten.

Warum verließ Geoffrey Hinton Google 2023?

Er ging im Mai 2023, um frei über die Risiken der KI zu sprechen, ohne dass es auf seinen Arbeitgeber zurückfiel, und sagte der New York Times, er wolle „frei über die Risiken der KI sprechen”.1 Nach einem Leben, in dem er argumentiert hatte, dass diese Systeme intelligent gemacht werden könnten, war er zu dem Schluss gekommen, dass sie schneller als erwartet voranschritten und reale Gefahren bargen – Desinformation, autonome Systeme und böswillige Akteure. Seine Ambivalenz fasste er mit dem Satz zusammen: „Ich tröste mich mit der üblichen Ausrede: Hätte ich es nicht getan, hätte es jemand anderes getan.”110


Quellen


  1. Cade Metz, „’The Godfather of A.I.’ Leaves Google and Warns of Danger Ahead,” The New York Times, 1. Mai 2023, zitiert und dokumentiert unter „Geoffrey Hinton,” Wikipedia. Hinton verließ Google, um „frei über die Risiken der KI zu sprechen”; zu seiner Ambivalenz sagte er: „Ich tröste mich mit der üblichen Ausrede: Hätte ich es nicht getan, hätte es jemand anderes getan.” Das Zitat ist auch bei Fortune, 1. Mai 2023, dokumentiert. 

  2. „Geoffrey Hinton,” Wikipedia. Geoffrey Everest Hinton, geboren am 6. Dezember 1947 in London; Ururenkel von George Boole und Mary Everest Boole; BA in experimenteller Psychologie, King’s College, Cambridge (1970); Promotion in künstlicher Intelligenz, University of Edinburgh (1978), betreut von Christopher Longuet-Higgins; Positionen an der Carnegie Mellon und der University of Toronto (ab 1987); Google Brain 2013-2023; Weggang im Mai 2023 angekündigt. 

  3. David E. Rumelhart, Geoffrey E. Hinton und Ronald J. Williams, “Learning representations by back-propagating errors,” Nature 323 (1986): 533-536, doi:10.1038/323533a0. Zitat und Bedeutung auch dokumentiert unter „Geoffrey Hinton,” Wikipedia. 

  4. Zur Zuschreibung der Backpropagation: Seppo Linnainmaa beschrieb 1970 das automatische Differenzieren im Rückwärtsmodus, und Paul Werbos schlug in seiner Dissertation von 1974 vor, es auf neuronale Netze anzuwenden; die Arbeit von Rumelhart, Hinton und Williams aus dem Jahr 1986 machte die Methode populär, statt sie zu begründen. Siehe „Geoffrey Hinton,” Wikipedia (mit dem Hinweis, Hinton sei „Mitautor einer vielzitierten, 1986 veröffentlichten Arbeit, die den Backpropagation-Algorithmus populär machte… obwohl sie nicht die Ersten waren, die den Ansatz vorschlugen”) und Jürgen Schmidhuber, „Who Invented Backpropagation?”. Hintons eigene Zuschreibung – „David Rumelhart kam auf die Grundidee der Backpropagation, also ist es seine Erfindung” – ist im selben Wikipedia-Artikel dokumentiert. 

  5. David H. Ackley, Geoffrey E. Hinton und Terrence J. Sejnowski, “A Learning Algorithm for Boltzmann Machines,” Cognitive Science 9, Nr. 1 (1985): 147-169. Entwicklung um 1983-1985; siehe „Boltzmann machine,” Wikipedia und „Geoffrey Hinton,” Wikipedia. 

  6. Zu Hopfields Energielandschaft und der Boltzmann-Maschine als stochastischer, generativer Erweiterung: „The Nobel Prize in Physics 2024 – Popular science background,” NobelPrize.org. Das Hopfield-Netz speichert Muster als niederenergetische Zustände; bei unvollständiger oder verrauschter Eingabe pendelt es sich zum nächstgelegenen gespeicherten Muster ein; die Boltzmann-Maschine erweitert dies zu einem generativen Modell, das weiterhin einen Zustand minimaler Energie anstrebt. 

  7. „The Nobel Prize in Physics 2024 – Press release” und „Summary,” NobelPrize.org. John J. Hopfield und Geoffrey Hinton (University of Toronto), je ein Anteil von 1/2, „für grundlegende Entdeckungen und Erfindungen, die maschinelles Lernen mit künstlichen neuronalen Netzen ermöglichen”. Hinton „nutzte das Hopfield-Netz als Grundlage für ein neues Netz, das eine andere Methode verwendet: die Boltzmann-Maschine”, die „lernen kann, charakteristische Elemente in einer bestimmten Datenart zu erkennen”. 

  8. „AlexNet,” Wikipedia. Entwickelt 2012 von Alex Krizhevsky in Zusammenarbeit mit Ilya Sutskever und seinem Doktorvater Geoffrey Hinton an der University of Toronto; am 30. September 2012 bei der ImageNet Large Scale Visual Recognition Challenge eingereicht; erreichte eine Top-5-Fehlerrate von 15,3 %, mehr als 10,8 Prozentpunkte vor dem Zweitplatzierten; Krizhevsky, Sutskever und Hinton gründeten DNNresearch, das von Google übernommen wurde (samt dem AlexNet-Quellcode). 

  9. „Fathers of the Deep Learning Revolution Receive ACM A.M. Turing Award,” ACM via GlobeNewswire, 27. März 2019. Die ACM benannte Yoshua Bengio, Geoffrey Hinton und Yann LeCun als Träger des ACM A.M. Turing Award 2018 „für konzeptionelle und technische Durchbrüche, die tiefe neuronale Netze zu einem zentralen Bestandteil der Datenverarbeitung gemacht haben”. Zu AlexNet merkt die Würdigung an, Hinton und seine Studenten hätten „die Fehlerrate bei der Objekterkennung nahezu halbiert und das Feld der Computer Vision umgestaltet”. Die Auszeichnung ist auch unter „Geoffrey Hinton,” Wikipedia dokumentiert. 

  10. „The Godfather of A.I.’ just quit Google and says he regrets his life’s work,” Fortune, 1. Mai 2023. Hintons Weggang, um über die Risiken der KI zu sprechen – Desinformation, autonome Systeme und die Schwierigkeit, böswillige Akteure von einem Missbrauch der Technologie abzuhalten. 

Verwandte Beiträge

Engineering-Philosophie: Demis Hassabis – Intelligenz lösen, um alles zu lösen

Demis Hassabis baute allgemeine Intelligenz von Grund auf – Spiele als Bewährungsfeld, Neurowissenschaft als Inspiration…

18 Min. Lesezeit

Engineering-Philosophie: Kyunghyun Cho

Kyunghyun Cho ließ Modelle ihre eigene Kontrollstruktur lernen — Gedächtnis-Gates in der GRU, weiches Alignment in der A…

18 Min. Lesezeit

The Shader Gallery That Lied: Debugging 216 WebGL Presets

A user said the shader playground looked broken. Pixel-readback testing found 30 dead presets, 11 that never compiled, a…

11 Min. Lesezeit