Engineering-Philosophie: Kyunghyun Cho

Die wichtigsten Erkenntnisse

• Er gab rekurrenten Netzen ein gelerntes Speichergatter. Als Erstautor der Arbeit „Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation” von 2014 führte Kyunghyun Cho die Gated Recurrent Unit (GRU) ein – eine vereinfachte gegatterte Zelle, die ein Netz lernen lässt, wie viel seiner Vergangenheit es bei jedem Schritt behalten oder überschreiben soll, und das mit weniger Parametern als das LSTM, mit dem sie konkurriert.¹³
• Er trug dazu bei, die Aufmerksamkeit in die maschinelle Übersetzung zu bringen. Gemeinsam mit Dzmitry Bahdanau (Erstautor) und Yoshua Bengio verfasste Cho „Neural Machine Translation by Jointly Learning to Align and Translate” (2014), das einem Decoder erlaubte, sich weich an jeden Teil des Quelltexts auszurichten, statt den ganzen Satz durch einen einzigen Vektor fester Länge zu zwängen. Dieser Mechanismus ist der direkte Vorfahr des Transformers und jedes modernen großen Sprachmodells.²⁴
• Er ist eine führende Stimme für offene, reproduzierbare Wissenschaft. Cho ist ein aktiver Verfechter der offenen Begutachtung und der sorgfältigen Empirie – ehrliche Vergleichsbasen, Skepsis gegenüber den eigenen Ergebnissen und offen veröffentlichte Forschung –, belegt durch seine Arbeit zur Begutachtung durch Fachkollegen und seine Nutzung offener Plattformen wie OpenReview.⁵⁶
• Von Aalto über NYU bis zum Wirkstoffdesign. 1985 in Südkorea geboren, promovierte er an der Aalto University, absolvierte einen Postdoc bei Yoshua Bengio an der Université de Montréal, kam 2015 an die NYU und war Mitgründer von Prescient Design – heute Teil von Genentech –, das maschinelles Lernen auf den Entwurf von Antikörpern anwendet.¹⁷

Das Prinzip

„Ein RNN kodiert eine Folge von Symbolen in eine Vektorrepräsentation fester Länge, und das andere dekodiert die Repräsentation in eine weitere Folge von Symbolen.” – Kyunghyun Cho et al., über den RNN Encoder-Decoder, den seine spätere Arbeit zu überwachsen lernen würde¹

Der älteste Instinkt im Ingenieurwesen ist es, die Steuerungsstruktur selbst zu entwerfen. Sie entscheiden, welche Eingaben wichtig sind, wie lange das System einen Wert behalten soll, wo in einem Puffer es nachsehen soll. Sie kodieren diese Entscheidungen in die Architektur, und das System erbt Ihre Vermutungen. Chos Gesamtwerk läuft in die andere Richtung. Seine prägenden Beiträge – die Gatter der GRU und die weiche Ausrichtung der Aufmerksamkeit – teilen einen Zug: Hören Sie auf, die Steuerungsstruktur fest zu verdrahten, und lassen Sie das Modell sie lernen. Welchen vergangenen Zustand behalten, welcher Eingabe Beachtung schenken – daraus werden Parameter, die das Netz aus Daten justiert, statt Regeln, die der Entwerfer von Hand festlegt.¹²

Die GRU ist der sauberste Fall. Ein gewöhnliches rekurrentes Netz trägt einen verborgenen Zustand vorwärts und vermischt bei jedem Schritt den alten Zustand mit der neuen Eingabe auf eine feste Weise. Diese feste Mischung ist die Vermutung eines Entwerfers, und sie ist meist falsch: Wichtige Signale aus dem frühen Teil einer Folge werden binnen weniger Schritte zu Rauschen verwässert. Chos gegatterte Einheit ersetzt die Vermutung durch ein gelerntes Gatter – ein kleiner Regler mit Werten zwischen 0 und 1, der pro Schritt und pro Dimension entscheidet, wie viel des alten Speichers zu behalten und wie viel mit der neuen Eingabe zu überschreiben ist.³ Das Netz lernt, wann es festhalten und wann es loslassen soll. Niemand verdrahtet die Speicherpolitik von Hand; die Daten schreiben sie.

Aufmerksamkeit ist dieselbe Idee, angewandt auf das Schauen statt auf das Erinnern. Und es gibt eine zweite Hälfte von Chos Prinzip, die die erste Hälfte ehrlich hält – eine wissenschaftliche Disziplin. Die Art, wie Sie herausfinden, ob ein gelernter Mechanismus tatsächlich hilft, ist nicht Begeisterung; es ist ein fairer Kampf gegen eine starke Vergleichsbasis, Ergebnisse, denen Sie skeptisch gegenüberstehen, bis sie standhalten, und offen veröffentlichte Methoden, damit andere sie reproduzieren können.⁵⁶ Lassen Sie das Modell seine eigene Steuerungsstruktur lernen – und weisen Sie dann ehrlich und offen nach, dass es wirklich funktioniert hat. Die erste Hälfte ist, woher die Kraft kommt. Die zweite Hälfte ist, was die Kraft vertrauenswürdig macht.

Kontext

Kyunghyun Cho wurde 1985 in Südkorea geboren.¹ Seinen Bachelor in Informatik machte er 2009 am KAIST, zog dann für das Aufbaustudium nach Finnland an die Aalto University, erwarb 2011 einen Master in maschinellem Lernen und Data-Mining und 2014 seinen Doctor of Science, betreut von Professor Juha Karhunen (mit Tapani Raiko und Alexander Ilin).¹⁷ Finnland ist eine unwahrscheinliche Wiege für eines der entscheidenden Jahre des Deep Learning, doch das Timing ist der Punkt: Er schloss seine Promotion genau in dem Moment ab, als das Feld im Begriff war, sich zu wenden.

Von Aalto ging er nach Montreal für ein Postdoktoranden-Stipendium bei Yoshua Bengio an der Université de Montréal – das Labor, das später zu MILA werden sollte, damals die dichteste Ansammlung von Deep-Learning-Talent der Welt.¹ Die zwei Arbeiten, die diesen Essay verankern – die GRU und das aufmerksamkeitsbasierte NMT-Modell –, entstanden beide in diesem Zeitfenster 2014, jeweils mit Bengio als Mitautor.¹² Es lohnt innezuhalten, wie schnell das ging: Ein Forscher trifft als Postdoc ein und ist binnen etwa eines Jahres Erstautor der Arbeit, die die GRU einführt, und Mitautor der Arbeit, die die Aufmerksamkeit in die Übersetzung einführt. Beide Ideen liegen heute unter einem großen Teil der funktionierenden KI.

2015 trat er der New York University bei, wo er heute Professor für Informatik und Datenwissenschaft am Courant Institute und am Center for Data Science ist, Glen-de-Vries-Professor für Gesundheitsstatistik und neben Yann LeCun Co-Direktor des Global AI Frontier Lab der NYU.⁷ Von 2017 bis 2020 war er Forschungswissenschaftler bei Facebook AI Research, und – das Kapitel, das zeigt, wie sein Prinzip über die Sprache hinausreicht – Anfang 2021 gründete er Prescient Design mit, ein Start-up für „Lab-in-the-Loop”-Antikörperdesign, das noch im selben Jahr von Genentech übernommen wurde und wo er die Spitzenforschung zur Anwendung generativen maschinellen Lernens auf das Wirkstoffdesign leitete.⁷⁸ Durchweg war er ein lautstarker Fürsprecher offener und reproduzierbarer Wissenschaft.⁵⁶

Das Werk

Die GRU: ein Speicher, den das Netz zu gattern lernt

Um zu spüren, warum das Gattern wichtig ist, beobachten Sie, wie ein rekurrentes Netz versucht, einen wichtigen Wert über eine lange, verrauschte Folge zu tragen. Das Netz liest Schritt für Schritt und hält dabei einen einzigen verborgenen „Speicher”, den es bei jedem Schritt aktualisiert. Früh erscheint ein bewahrenswerter Wert; alles danach ist Rauschen. Ein gewöhnliches RNN vermischt Alt und Neu in einem festen Verhältnis, sodass der frühe Wert binnen weniger Schritte verblasst – am Ende ist er fort. Das ganze Problem besteht darin, dass die Entscheidung behalten oder überschreiben fest verdrahtet war. Das Element unten macht das greifbar: Ein einziges Gatter entscheidet bei jedem Schritt, wie viel des alten Speichers überlebt. Schieben Sie es zu „behalten” und der frühe Wert erreicht das Ende unversehrt; schieben Sie es zu „überschreiben” und er verwäscht fast sofort.

Das ist genau der Hebel, den Chos GRU hinzufügt, nur dass das Netz das Gatter lernt, statt dass Sie es einstellen. In seiner RNN-Encoder-Decoder-Arbeit von 2014 eingeführt, verwendet die GRU zwei gelernte Gatter: ein Aktualisierungsgatter, das steuert, wie viel des vorherigen verborgenen Zustands vorwärtsgetragen oder durch neue Information ersetzt wird, und ein Rücksetzgatter, das entscheidet, wie viel der Vergangenheit den neuen Kandidatenzustand beeinflussen soll.³ Beide haben Werte zwischen 0 und 1 – glatte Regler –, was bedeutet, dass das Ganze differenzierbar und durch Gradientenabstieg trainierbar ist. Das Netz entdeckt aus den Daten, wann es einen Wert lange festhalten und wann es ihn ausspülen soll.³

Der Entwurf ist bewusst sparsam. Er kam zusammen mit dem älteren LSTM von Hochreiter und Schmidhuber auf, das dasselbe Problem des verschwindenden Gradienten mit mehr Maschinerie löst – einem separaten Zellzustand und einem zusätzlichen Ausgabegatter. Der GRU „fehlt ein Kontextvektor oder Ausgabegatter, was zu weniger Parametern als beim LSTM führt”, und doch ist sie über Spracherkennung, Musikmodellierung und Sprachaufgaben hinweg vergleichbar leistungsfähig.³ Das ist der ingenieurtechnische Geschmack, der benannt zu werden verdient: die einfachere Einheit, die die wesentliche Idee einfängt – gelerntes Gattern – ohne die Teile, deren Notwendigkeit Sie nicht beweisen können. Jahrelang waren die GRU und das LSTM die zwei standardmäßigen rekurrenten Zellen in jedem Werkzeugkasten zur Sequenzmodellierung.

Aufmerksamkeit: weiche Ausrichtung und das Ende des Engpasses mit dem festen Vektor

Der RNN Encoder-Decoder hatte einen strukturellen Mangel, und Chos eigene Arbeit benannte ihn: Der Encoder zerquetscht einen ganzen Eingabesatz zu „einer Vektorrepräsentation fester Länge”, und der Decoder muss die gesamte Übersetzung aus diesem einen Vektor rekonstruieren.¹ Für einen kurzen Satz ist das in Ordnung. Für einen langen ist es eine Katastrophe – Sie zwängen einen Absatz durch ein Schlüsselloch, und rekurrente Netze neigen dazu, die Wörter nahe am Ende überzugewichten, während der Anfang verblasst.⁴ Der Engpass ist der Vektor fester Länge selbst.

Die Behebung, in „Neural Machine Translation by Jointly Learning to Align and Translate” (2014/2015) – Dzmitry Bahdanau als Erstautor, mit Cho und Bengio –, bestand darin, den Engpass ganz zu entfernen.² Statt die Quelle in einen Vektor zu komprimieren, behält das Modell eine Repräsentation jedes Quellworts und lässt den Decoder bei jedem Ausgabeschritt eine Menge von Gewichten über sie alle berechnen – eine gelernte weiche Ausrichtung, die besagt: „Um dieses Wort zu erzeugen, schau hauptsächlich hierhin, ein wenig dorthin.”⁴ Der Decoder erhält direkten Zugriff auf jeden Teil der Eingabe, statt sie nur durch einen einzigen zusammengequetschten Zustand zu erreichen.⁴ Entscheidend ist, dass die Ausrichtung nicht von einem Linguisten von Hand vorgegeben wird; sie wird gemeinsam mit der Übersetzung von Anfang bis Ende gelernt. Das Modell entscheidet selbst, wo es hinschauen soll – dasselbe Prinzip wie das Gatter der GRU, nun auf die Aufmerksamkeit statt auf den Speicher angewandt.

Die Linie von dort bis heute ist kurz und tragend. Die weiche Ausrichtung verallgemeinerte sich zur Selbstaufmerksamkeit, und 2017 formalisierte das „Attention Is All You Need” des Transformers die skalierte Skalarprodukt-Aufmerksamkeit und warf die Rekurrenz ganz weg – ein Entwurf, der zur Grundlage von BERT, T5, GPT und der ganzen Generation großer Sprachmodelle wurde.⁴ Moderne LLMs sind in einem wirklichen Sinne hochskalierte und vom umgebenden RNN befreite Aufmerksamkeit. Der Mechanismus, den Cho 2014 mit in die Übersetzung einführte, ist derjenige, auf dem Ihr Chatbot läuft. (Die Zuordnung ist wichtig: Cho ist Erstautor der GRU-Arbeit und ein Mitautor mit Bahdanau und Bengio bei der Aufmerksamkeitsarbeit – er führte die Aufmerksamkeit nicht allein ein.)¹²

Offene und reproduzierbare Wissenschaft

Das zweite Prinzip ist leiser und, in einem zum Hype neigenden Feld, schwieriger. Cho ist ein beständiger Verfechter offener, reproduzierbarer Wissenschaft – Forschung, die im Offenen betrieben und begutachtet wird, mit ehrlichen Vergleichsbasen und einer funktionierenden Skepsis gegenüber den eigenen Ergebnissen.⁵⁶ Er hat offene Plattformen wie OpenReview genutzt und befürwortet und Forschung über die Begutachtung selbst beigetragen, indem er Fragen untersuchte wie etwa, ob die eigenen Einschätzungen der Autoren zu ihren Arbeiten den Begutachtungsprozess informieren können.⁵⁶ Der rote Faden ist, dass ein Ergebnis kein Ergebnis ist, bis es eine Prüfung übersteht, die der Autor nicht kontrolliert hat.

Warum das technisch wichtig ist: Beim Deep Learning ist es ungewöhnlich leicht, sich selbst zu täuschen. Eine neue Architektur wird fast immer eine schwache Vergleichsbasis, einen glücklichen Startwert oder einen unzureichend abgestimmten Konkurrenten schlagen – und die Literatur ist übersät mit „Verbesserungen”, die sich verflüchtigen, sobald jemand der alten Methode einen fairen Kampf gewährt. Die Disziplin, die Cho vorlebt, besteht darin, den eigenen Zugewinn als Artefakt anzunehmen, bis das Gegenteil bewiesen ist, die Vergleichsbasis so hart abzustimmen wie die eigene Methode und offen genug zu veröffentlichen, dass jemand einen widerlegen kann. Es ist das empirische Gewissen, das den Instinkt „lass das Modell es lernen” davor bewahrt, zu „das Modell hat es gelernt, weil ich es so wollte” zu gerinnen.

Maschinelles Lernen für die Wissenschaften: Prescient Design

Das klarste Zeichen dafür, dass Chos Prinzip allgemein und nicht sprachspezifisch ist, liegt darin, wohin er es als Nächstes brachte: zum Wirkstoffdesign. Anfang 2021 gründete er Prescient Design mit, noch im selben Jahr von Genentech übernommen, um eine „Lab-in-the-Loop”-Plattform zum Entwerfen therapeutischer Antikörper zu bauen.⁷⁸ Die Schleife koppelt generative ML-Modelle, Mehrziel-Eigenschaftsprädiktoren und Auswahl durch aktives Lernen mit tatsächlichen Nasslabor-Experimenten in einem iterativen Zyklus – die Modelle schlagen Antikörpervarianten vor, das Labor testet sie, und die Ergebnisse trainieren die Modelle neu.⁸ Über klinisch relevante Zielstrukturen hinweg angewandt, entwarf und testete das System über tausend Varianten und konstruierte Antikörper mit dramatisch stärkerer Bindung als die Ausgangskandidaten.⁸ Die Struktur ist dieselbe, die sich durch alles andere zieht, was er gebaut hat: Entwerfen Sie die Antwort nicht von Hand, bauen Sie ein System, das sie aus Belegen lernt – und schließen Sie die Schleife mit echten Messungen, damit das Lernen ehrlich bleibt.

Die Methode

Lesen Sie quer durch die GRU, die Aufmerksamkeit, das Eintreten für offene Wissenschaft und die Antikörperarbeit, und dieselben Verpflichtungen kehren wieder. Chos Methode ist weniger ein Slogan als eine Reihe beständiger Gewohnheiten.

Machen Sie die Steuerungsstruktur lernbar. Der prägende Zug besteht darin, eine Entscheidung, die Sie normalerweise fest verdrahten würden – wie lange erinnern, wo hinschauen –, in Parameter zu verwandeln, die das Modell aus Daten justiert. Das Gatter der GRU und die Ausrichtung der Aufmerksamkeit sind derselbe Instinkt in zwei Bereichen. Die Lehre reicht weit über Sequenzmodelle hinaus: Wenn Sie sich dabei ertappen, einen Schwellenwert, eine Gewichtung oder eine Routing-Regel zu erraten, fragen Sie, ob das System sie besser lernen könnte, als Sie sie erraten können.¹²

Bevorzugen Sie den einfacheren Mechanismus, der die wesentliche Idee einfängt. Die GRU behält das gelernte Gattern und lässt den Zellzustand und das Ausgabegatter des LSTM fallen, womit sie dessen Leistung mit weniger Parametern erreicht.³ Das ist Minimum Worthy Product auf der Ebene einer neuronalen Zelle – die kleinste Einheit, die die tragende Idee noch trägt, dieselbe Ökonomie der Mittel, die sich durch Sophie Wilsons ARM zieht.

Benennen Sie den Engpass, bevor Sie ihn entfernen. Chos eigene Encoder-Decoder-Arbeit benannte die Beschränkung durch den Vektor fester Länge; die Aufmerksamkeitsarbeit entfernte sie.¹⁴ Die Disziplin besteht darin, den strukturellen Mangel zuerst genau zu benennen – den Absatz durch ein Schlüsselloch –, denn ein scharf benannter Engpass ist halb gelöst. Es ist derselbe Instinkt wie Fei-Fei Lis Entscheidung, die Daten anzugreifen, nicht das Modell: Finden Sie die echte Beschränkung, nicht die bequeme.

Gewähren Sie der Vergleichsbasis einen fairen Kampf. Ehrliche Empirie bedeutet, die Methode, die Sie zu schlagen versuchen, so hart abzustimmen wie die, die Sie vorschlagen, und den eigenen Zugewinn als verdächtig zu behandeln, bis er diese Probe übersteht. Das ist die Beweisschwelle, zu einer Forschungspraxis gemacht – „es hat sich verbessert” ist kein Beweis; „es hat sich gegenüber einer starken, offen reproduzierbaren Vergleichsbasis verbessert” schon.⁵⁶

Arbeiten Sie im Offenen. Offene Begutachtung, offene Plattformen, reproduzierbare Ergebnisse. Der Wert einer Methode ist nicht das, was ihr Autor behauptet, sondern das, was unabhängige Prüfung übersteht – weshalb offen genug zu veröffentlichen, um geprüft werden zu können, Teil des Ingenieurwesens ist und keine Höflichkeit danach. Es ist Qualität als einzige Variable, auf die Wissenschaft selbst angewandt: Das Einzige, was zählt, ist, ob das Ergebnis echt ist.⁵⁶

Einflusskette

Wer ihn prägte

Yoshua Bengio und die MILA-Gruppe. Chos entscheidendes Jahr ereignete sich, während er Postdoc in Bengios Labor in Montreal war, und Bengio war Mitautor sowohl der GRU- als auch der Aufmerksamkeitsarbeit.¹² MILA war die Umgebung, in der die Ideen zu rekurrenten Netzen und maschineller Übersetzung der frühen 2010er am stärksten vorangetrieben wurden, und Chos Arbeit ist untrennbar davon. (Direkter Einfluss)

Juha Karhunen und die Aalto-Schule. Seine Doktorandenausbildung in Aalto unter Juha Karhunen, mit Tapani Raiko und Alexander Ilin, gründete ihn in der Tradition des unüberwachten Lernens und der neuronalen Netze, bevor die Montreal-Jahre ihr ein Übersetzungsziel gaben.¹⁷ (Prägender Einfluss)

Die Abstammungslinie des Deep Learning. Das Problem des verschwindenden Gradienten, das die GRU angeht, und die rekurrenten und faltenden Architekturen, unter denen sie steht, stammen von Geoffrey Hintons und Yann LeCuns jahrzehntelanger Arbeit ab, die belegte, dass tiefe Netze überhaupt trainiert werden können. Cho leitet heute zusammen mit LeCun ein Labor an der NYU.⁷ (Prägender Einfluss)

Wen er prägte

Die moderne Sequenzmodellierung. Jahrelang war die GRU eine der zwei standardmäßigen rekurrenten Zellen – die einfachere Hälfte der GRU/LSTM-Wahl, die jeder Praktiker in NLP, Sprache und Zeitreihen reflexartig traf.³

Der Transformer und die LLM-Ära. Die Aufmerksamkeit, in der von Cho mitverfassten Arbeit in die Übersetzung eingeführt, verallgemeinerte sich zur Selbstaufmerksamkeit, aus der der Transformer gebaut ist – und der Transformer ist das, worauf jedes moderne große Sprachmodell läuft. Der Mechanismus ist einer der folgenreichsten in der Geschichte des Feldes.⁴

Maschinelles Lernen für die Wissenschaften. Über Prescient Design und Genentech half Cho, generatives ML in den Entwurf therapeutischer Antikörper zu treiben – ein Argument dafür, dass das Muster „lerne es aus Belegen, schließe die Schleife mit Messung” in die Biologie ebenso gehört wie in die Sprache.⁸

Der rote Faden

Cho ist das Mechanismus-Scharnier des Deep-Learning-Zweigs dieser Reihe – die Brücke von den Grundlagen zur LLM-Ära. Geoffrey Hinton und Yann LeCun belegten, dass tiefe Netze lernen können; Fei-Fei Li lieferte die Daten, an denen sie lernten. Chos Gattern und Aufmerksamkeit sind der architektonische Schritt, der diese Grundlagen in etwas verwandelte, das Sprache im großen Maßstab bewältigen konnte – und seine Aufmerksamkeitsarbeit fließt direkt in den Transformer, den Andrej Karpathy später eine Generation zu bauen lehren würde und der das moderne LLM antreibt. Wo Hinton sagt die lernende Maschine funktioniert und Li sagt hier ist die Welt zum Lernen, sagt Cho: Lass das Modell seine eigene Steuerungsstruktur lernen – was zu erinnern, wo hinzuschauen – und beweise dann, im Offenen, dass es das tatsächlich getan hat. Der erste Satzteil ist die Linie zum Transformer; der zweite ist das empirische Gewissen, das ihn ehrlich hält – dieselbe Strenge, die Fei-Fei Li zu Vergleichsmaßstäben brachte. (Reihenbrücke)

Was ich daraus mitnehme

Die Lehre, die ich von Cho behalte, ist, aufzuhören, die Entscheidungen fest zu verdrahten, die ein System lernen könnte. Mein Instinkt ist, wie bei den meisten Ingenieuren, mein eigenes Urteil zu kodieren – diesen Schwellenwert, jene Gewichtung, diese Routing-Regel –, weil sich mein Urteil wie der vertrauenswürdige Teil anfühlt. Die GRU und die Aufmerksamkeit sind beide Argumente dafür, dass das Gegenteil oft besser altert: Das Modell wird, gegeben den richtigen Mechanismus und genügend Daten, eine Speicherpolitik oder eine Ausrichtung weit besser lernen, als ich sie erraten würde. Wenn ich mich also dabei ertappe, eine magische Konstante abzustimmen oder eine Verzweigung von Hand zu schreiben, die entscheidet, was wichtig ist, frage ich mich nun, ob ich eine Entscheidung kodiere, die das System stattdessen lernen sollte. Die Kunst liegt nicht darin, die Wahl zu treffen; sie liegt darin, die Struktur zu bauen, die die Wahl lernen lässt.

Die zweite Lehre ist die Disziplin, die die erste davon abhält, mich anzulügen. Ein System sein eigenes Verhalten lernen zu lassen, ist gerade deshalb berauschend, weil es so leicht aussieht, als hätte es funktioniert – die Demo läuft durch, die Kennzahl steigt, und ich will glauben. Chos Ethos der offenen Wissenschaft ist das Gegenmittel: Nehmen Sie an, das eigene Ergebnis sei ein Artefakt, bis es einen fairen Kampf gegen eine starke Vergleichsbasis übersteht, und veröffentlichen Sie es offen genug, dass jemand einen widerlegen kann. Genau deshalb behandle ich die Beweisschwelle als unverhandelbar – „es hat sich verbessert” ist ein Gefühl, „es hat sich gegenüber einer abgestimmten Vergleichsbasis reproduzierbar verbessert” ist ein Beweis. Bauen Sie Systeme, die ihre eigene Steuerungsstruktur lernen, und halten Sie sie dann an einen Beweisstandard, den festzulegen Sie nicht das Recht hatten. Die Kraft und die Ehrlichkeit sind zwei Hälften einer einzigen Praxis.

FAQ

Was ist die GRU (Gated Recurrent Unit)?

Die GRU ist eine Art rekurrenter neuronaler Netzzelle, die Kyunghyun Cho als Erstautor in der Arbeit „Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation” von 2014 einführte.¹ Sie verwendet gelernte Gatter – ein Aktualisierungsgatter und ein Rücksetzgatter, beide mit Werten zwischen 0 und 1 –, um zu steuern, wie viel des vorherigen verborgenen Zustands bei jedem Schritt behalten oder mit neuer Eingabe überschrieben wird. Das lässt das Netz lernen, was es über lange Folgen hinweg erinnern soll, und löst das Problem des verschwindenden Gradienten. Sie ist vergleichbar leistungsfähig wie das LSTM, verwendet aber weniger Parameter, weil sie den separaten Zellzustand und das Ausgabegatter des LSTM weglässt.³

Was trug Kyunghyun Cho zur Aufmerksamkeit und zur neuronalen maschinellen Übersetzung bei?

Cho ist Mitautor – mit Dzmitry Bahdanau (Erstautor) und Yoshua Bengio – von „Neural Machine Translation by Jointly Learning to Align and Translate” (2014), der Arbeit, die den Aufmerksamkeitsmechanismus in die neuronale maschinelle Übersetzung einführte.² Statt einen Quellsatz in einen einzigen Vektor fester Länge zu komprimieren, behält das Modell eine Repräsentation jedes Quellworts und lässt den Decoder bei jedem Ausgabeschritt eine weiche Ausrichtung über sie alle lernen. Dieser Mechanismus verallgemeinerte sich 2017 zur Selbstaufmerksamkeit des Transformers, die die Grundlage moderner großer Sprachmodelle ist.⁴ Separat war Cho Erstautor der Arbeit von 2014, die die GRU einführte.¹

Welchen Encoder-Decoder-Engpass löste die Aufmerksamkeit?

Der ursprüngliche RNN Encoder-Decoder, beschrieben in Chos Arbeit von 2014, kodiert einen ganzen Eingabesatz in „eine Vektorrepräsentation fester Länge”, aus der der Decoder die gesamte Ausgabe rekonstruieren muss.¹ Für lange Sätze ist dieser einzelne Vektor ein Engpass – ein Absatz, durch ein Schlüsselloch gezwängt – und rekurrente Netze neigen dazu, Information vom Anfang der Folge zu verlieren.⁴ Die Aufmerksamkeit entfernte den Engpass, indem sie eine Repräsentation jeder Quellposition behielt und den Decoder direkt jeder von ihnen Beachtung schenken ließ, mit gelernten Gewichten, statt sich auf einen komprimierten Zustand zu verlassen.⁴

Was macht Kyunghyun Cho jetzt?

Cho ist Professor für Informatik und Datenwissenschaft am Courant Institute und am Center for Data Science der NYU, Glen-de-Vries-Professor für Gesundheitsstatistik und Co-Direktor des Global AI Frontier Lab der NYU mit Yann LeCun.⁷ Er gründete 2021 Prescient Design mit – noch im selben Jahr von Genentech übernommen –, wo er die Spitzenforschung zur Anwendung generativen maschinellen Lernens auf das „Lab-in-the-Loop”-Design therapeutischer Antikörper leitete und ML-Modelle mit Nasslabor-Experimenten in einer iterativen Optimierungsschleife koppelte.⁷⁸ Er bleibt ein aktiver Fürsprecher offener und reproduzierbarer Wissenschaft.⁵⁶

Quellen