Filozofia inżynierii: Kyunghyun Cho

Najważniejsze wnioski

• Dał sieciom rekurencyjnym wyuczoną bramkę pamięci. Jako pierwszy autor artykułu z 2014 roku “Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation” Kyunghyun Cho wprowadził bramkowaną jednostkę rekurencyjną (GRU) — uproszczoną komórkę z bramkami, która pozwala sieci uczyć się, ile z przeszłości zachować, a ile nadpisać na każdym kroku, przy mniejszej liczbie parametrów niż konkurująca z nią LSTM.¹³
• Pomógł wprowadzić mechanizm uwagi do tłumaczenia maszynowego. Wspólnie z Dzmitrym Bahdanau (pierwszy autor) i Yoshuą Bengio Cho był współautorem artykułu “Neural Machine Translation by Jointly Learning to Align and Translate” (2014), który pozwolił dekoderowi miękko dopasowywać się do dowolnej części tekstu źródłowego, zamiast wtłaczać całe zdanie przez jeden wektor o stałej długości. Mechanizm ten jest bezpośrednim przodkiem Transformera i każdego współczesnego dużego modelu językowego.²⁴
• Jest czołowym orędownikiem otwartej i odtwarzalnej nauki. Cho aktywnie promuje otwartą recenzję i staranny empiryzm — uczciwe punkty odniesienia, sceptycyzm wobec własnych wyników oraz badania publikowane w otwartym dostępie — co potwierdzają jego prace nad recenzją naukową i korzystanie z otwartych platform takich jak OpenReview.⁵⁶
• Z Aalto przez NYU do projektowania leków. Urodzony w Korei Południowej w 1985 roku, doktoryzował się na Uniwersytecie Aalto, odbył staż podoktorski u Yoshuy Bengio na Université de Montréal, dołączył do NYU w 2015 roku i współzałożył Prescient Design — obecnie część Genentech — stosując uczenie maszynowe do projektowania przeciwciał.¹⁷

Zasada

“Jedna sieć RNN koduje sekwencję symboli w reprezentację wektorową o stałej długości, a druga dekoduje tę reprezentację w inną sekwencję symboli.” – Kyunghyun Cho i in., opisując RNN Encoder-Decoder, który jego późniejsze prace nauczą się przewyższać¹

Najstarszym instynktem inżynierii jest samodzielne projektowanie struktury sterowania. To człowiek decyduje, które wejścia są istotne, jak długo system ma pamiętać daną wartość, gdzie szukać w buforze. Decyzje te zostają zakodowane w architekturze, a system dziedziczy domysły projektanta. Dorobek Cho zmierza w przeciwnym kierunku. Jego najważniejsze osiągnięcia — bramki GRU i miękkie dopasowanie uwagi — łączy jeden ruch: przestań na sztywno kodować strukturę sterowania i pozwól modelowi się jej nauczyć. To, który stan z przeszłości zachować i na które wejście zwrócić uwagę, staje się parametrami, które sieć stroi na podstawie danych, a nie regułami ustalanymi ręcznie przez projektanta.¹²

GRU to przypadek najczystszy. Zwykła sieć rekurencyjna przenosi stan ukryty do przodu i na każdym kroku miesza stary stan z nowym wejściem w stały sposób. To stałe wymieszanie jest domysłem projektanta i zwykle jest błędne: ważne sygnały z początku sekwencji rozmywają się w szumie w ciągu kilku kroków. Bramkowana jednostka Cho zastępuje domysł wyuczoną bramką — niewielkim sterowaniem o wartościach sigmoidalnych, które decyduje, na każdym kroku i dla każdego wymiaru, ile starej pamięci zachować, a ile nadpisać nowym wejściem.³ Sieć uczy się, kiedy się trzymać, a kiedy puścić. Nikt nie koduje ręcznie polityki pamięci; piszą ją dane.

Uwaga to ta sama idea zastosowana do patrzenia, a nie do pamiętania. Istnieje też druga połowa zasady Cho, która zachowuje uczciwość tej pierwszej — dyscyplina naukowca. Sposobem na sprawdzenie, czy wyuczony mechanizm naprawdę pomaga, nie jest entuzjazm; jest nim uczciwa walka z silnym punktem odniesienia, wyniki, wobec których pozostaje się sceptycznym, dopóki się nie potwierdzą, oraz metody publikowane otwarcie, by inni mogli je odtworzyć.⁵⁶ Pozwól modelowi nauczyć się własnej struktury sterowania, a następnie zweryfikuj — uczciwie i otwarcie — że naprawdę zadziałała. Pierwsza połowa to źródło mocy. Druga to to, co czyni tę moc godną zaufania.

Kontekst

Kyunghyun Cho urodził się w Korei Południowej w 1985 roku.¹ Licencjat z informatyki uzyskał na KAIST w 2009 roku, a następnie przeniósł się do Finlandii na studia podyplomowe na Uniwersytecie Aalto, gdzie w 2011 roku zdobył tytuł magistra w dziedzinie uczenia maszynowego i eksploracji danych, a w 2014 roku uzyskał doktorat nauk pod kierunkiem profesora Juhy Karhunena (z Tapanim Raiko i Aleksandrem Ilinem).¹⁷ Finlandia to mało prawdopodobna kolebka jednego z przełomowych lat uczenia głębokiego, ale chodzi właśnie o moment: Cho ukończył doktorat dokładnie wtedy, gdy dziedzina miała się zmienić.

Z Aalto wyjechał do Montrealu na staż podoktorski u Yoshuy Bengio na Université de Montréal — laboratorium, które stało się MILA, najgęstszym skupiskiem talentów uczenia głębokiego na świecie.¹ Dwa artykuły, na których opiera się ten esej — GRU oraz model NMT oparty na uwadze — powstały oba w tej ramie czasowej z 2014 roku, z Bengio jako współautorem każdego z nich.¹² Warto zatrzymać się nad tym, jak szybko to nastąpiło: badacz przybywa jako stażysta podoktorski i w ciągu mniej więcej roku zostaje pierwszym autorem artykułu wprowadzającego GRU oraz współautorem artykułu wprowadzającego uwagę do tłumaczenia. Obie idee leżą dziś u podstaw ogromnej części działającej dzisiaj sztucznej inteligencji.

W 2015 roku dołączył do Uniwersytetu Nowojorskiego, gdzie jest obecnie profesorem informatyki i nauki o danych w Courant Institute oraz Center for Data Science, profesorem statystyki zdrowia imienia Glena de Vriesa, a także współdyrektorem Global AI Frontier Lab przy NYU, u boku Yanna LeCuna.⁷ W latach 2017–2020 był naukowcem w Facebook AI Research, a — w rozdziale pokazującym, że jego zasada sięga poza język — na początku 2021 roku współzałożył Prescient Design, startup zajmujący się projektowaniem przeciwciał w pętli laboratoryjnej, przejęty przez Genentech w tym samym roku, gdzie kierował pionierskimi badaniami nad zastosowaniem generatywnego uczenia maszynowego do projektowania leków.⁷⁸ Przez cały ten czas był głośnym orędownikiem otwartej i odtwarzalnej nauki.⁵⁶

Praca

GRU: pamięć, którą sieć uczy się bramkować

Aby poczuć, dlaczego bramkowanie ma znaczenie, warto przyjrzeć się, jak sieć rekurencyjna próbuje przenieść jedną ważną wartość przez długą, zaszumioną sekwencję. Sieć czyta po jednym kroku naraz, niosąc pojedynczą ukrytą „pamięć”, którą aktualizuje na każdym kroku. Wcześnie pojawia się wartość warta zachowania; wszystko po niej to szum. Zwykła RNN miesza stare i nowe w stałej proporcji, więc wczesna wartość zanika w ciągu kilku kroków — pod koniec jej nie ma. Cały problem polega na tym, że decyzja zachować czy nadpisać była zakodowana na sztywno. Poniższy komponent czyni to namacalnym: pojedyncza bramka decyduje na każdym kroku, ile starej pamięci przetrwa. Przesuń ją w stronę „zachowaj”, a wczesna wartość dotrze do końca nienaruszona; przesuń ją w stronę „nadpisz”, a niemal natychmiast się wypłucze.

To dokładnie dźwignia, którą dodaje GRU Cho, z tą różnicą, że sieć uczy się bramki, zamiast ustawiać ją ręcznie. Wprowadzona w jego artykule o RNN Encoder-Decoder z 2014 roku, GRU używa dwóch wyuczonych bramek: bramki aktualizacji, która kontroluje, ile poprzedniego stanu ukrytego przenieść do przodu, a ile zastąpić nowymi informacjami, oraz bramki resetu, która decyduje, jak bardzo przeszłość ma wpływać na nowy stan kandydujący.³ Obie mają wartości sigmoidalne — gładkie pokrętła pomiędzy 0 a 1 — co oznacza, że całość jest różniczkowalna i daje się trenować metodą spadku gradientu. Sieć odkrywa na podstawie danych, kiedy przetrzymać wartość przez długi czas, a kiedy ją odrzucić.³

Projekt jest świadomie oszczędny. Pojawił się obok starszej LSTM Hochreitera i Schmidhubera, która rozwiązuje ten sam problem zanikającego gradientu większą liczbą mechanizmów — osobnym stanem komórki i dodatkową bramką wyjściową. GRU „nie posiada wektora kontekstu ani bramki wyjściowej, co skutkuje mniejszą liczbą parametrów niż LSTM”, a mimo to osiąga porównywalne wyniki w rozpoznawaniu mowy, modelowaniu muzyki i zadaniach językowych.³ To właśnie inżynierski smak wart nazwania: najprostsza jednostka, która ujmuje istotną ideę — wyuczone bramkowanie — bez części, których potrzeby nie sposób udowodnić. Przez lata GRU i LSTM były dwiema domyślnymi komórkami rekurencyjnymi w każdym zestawie narzędzi do modelowania sekwencji.

Uwaga: miękkie dopasowanie i koniec wąskiego gardła stałego wektora

RNN Encoder-Decoder miał wadę strukturalną, a własny artykuł Cho ją nazwał: koder zgniata całe zdanie wejściowe w „reprezentację wektorową o stałej długości”, a dekoder musi odtworzyć całe tłumaczenie z tego jednego wektora.¹ Dla krótkiego zdania jest to wystarczające. Dla długiego to katastrofa — wtłacza się akapit przez dziurkę od klucza, a sieci rekurencyjne mają skłonność do nadmiernego ważenia słów najbliższych końca, podczas gdy początek zanika.⁴ Wąskim gardłem jest sam wektor o stałej długości.

Rozwiązaniem, w artykule “Neural Machine Translation by Jointly Learning to Align and Translate” (2014/2015) — z Dzmitrym Bahdanau jako pierwszym autorem, wraz z Cho i Bengio — było całkowite usunięcie wąskiego gardła.² Zamiast kompresować tekst źródłowy do jednego wektora, model zachowuje reprezentację każdego słowa źródłowego i pozwala dekoderowi na każdym kroku wyjściowym obliczyć zbiór wag dla nich wszystkich — wyuczone miękkie dopasowanie, które mówi: „aby wytworzyć to słowo, patrz głównie tutaj, a trochę tam”.⁴ Dekoder uzyskuje bezpośredni dostęp do dowolnej części wejścia, zamiast docierać do niej jedynie przez jeden ściśnięty stan.⁴ Co kluczowe, dopasowanie nie jest ręcznie określane przez lingwistę; uczy się go wspólnie z tłumaczeniem, od początku do końca. Model sam decyduje, gdzie patrzeć — ta sama zasada co bramka GRU, teraz zastosowana do uwagi, a nie do pamięci.

Droga stąd do dziś jest krótka i nośna. Miękkie dopasowanie uogólniło się do samouwagi, a w 2017 roku artykuł o Transformerze “Attention Is All You Need” sformalizował skalowaną uwagę iloczynu skalarnego i całkowicie odrzucił rekurencję — projekt, który stał się fundamentem dla BERT, T5, GPT i całego pokolenia dużych modeli językowych.⁴ Współczesne modele LLM są w istotnym sensie uwagą rozwiniętą na dużą skalę i pozbawioną otaczającej ją RNN. Mechanizm, który Cho pomógł wprowadzić do tłumaczenia w 2014 roku, jest tym, na którym działa twój chatbot. (Atrybucja ma znaczenie: Cho jest pierwszym autorem artykułu o GRU i współautorem — z Bahdanau i Bengio — artykułu o uwadze; nie wprowadził uwagi samodzielnie.)¹²

Otwarta i odtwarzalna nauka

Druga zasada jest cichsza i — w dziedzinie podatnej na szum medialny — trudniejsza. Cho jest konsekwentnym orędownikiem otwartej i odtwarzalnej nauki — badań prowadzonych i recenzowanych otwarcie, z uczciwymi punktami odniesienia i roboczym sceptycyzmem wobec własnych wyników.⁵⁶ Korzystał z otwartych platform takich jak OpenReview i je promował, a także prowadził badania nad samą recenzją naukową, analizując pytania w rodzaju: czy własne oceny artykułów dokonywane przez autorów mogą zasilić proces recenzji.⁵⁶ Myślą przewodnią jest to, że wynik nie jest wynikiem, dopóki nie przetrwa kontroli, której autor nie sprawował.

Dlaczego ma to znaczenie technicznie: w uczeniu głębokim wyjątkowo łatwo się oszukać. Nowa architektura niemal zawsze pokona słaby punkt odniesienia, szczęśliwe ziarno losowości lub niedostrojonego konkurenta — a literatura jest zaśmiecona „ulepszeniami”, które wyparowują, gdy ktoś da starej metodzie uczciwą walkę. Dyscyplina, którą Cho uosabia, polega na założeniu, że własny zysk jest artefaktem, dopóki nie udowodni się czegoś innego, na strojeniu punktu odniesienia z taką samą starannością jak własnej metody oraz na publikowaniu na tyle otwarcie, by ktoś mógł wykazać błąd. To empiryczne sumienie, które nie pozwala, by instynkt „pozwól modelowi się tego nauczyć” zwyrodniał w „model się tego nauczył, bo tego chciałem”.

Uczenie maszynowe dla nauk: Prescient Design

Najwyraźniejszym znakiem, że zasada Cho jest ogólna, a nie swoista dla języka, jest to, dokąd ją następnie zaniósł: do projektowania leków. Na początku 2021 roku współzałożył Prescient Design, przejęty przez Genentech w tym samym roku, by zbudować platformę „pętli laboratoryjnej” do projektowania przeciwciał terapeutycznych.⁷⁸ Pętla sprzęga generatywne modele uczenia maszynowego, wielozadaniowe predyktory właściwości oraz selekcję metodą uczenia aktywnego z rzeczywistymi eksperymentami w mokrym laboratorium w cyklu iteracyjnym — modele proponują warianty przeciwciał, laboratorium je testuje, a wyniki ponownie trenują modele.⁸ Zastosowany wobec klinicznie istotnych celów, system zaprojektował i przetestował ponad tysiąc wariantów oraz wytworzył przeciwciała o radykalnie silniejszym wiązaniu niż wyjściowe kandydaty.⁸ Struktura jest tą samą, która przewija się przez wszystko inne, co zbudował: nie projektuj odpowiedzi ręcznie, zbuduj system, który nauczy się jej z dowodów — i zamknij pętlę rzeczywistymi pomiarami, by uczenie pozostało uczciwe.

Metoda

Spójrz przekrojowo na GRU, uwagę, orędownictwo otwartej nauki i pracę nad przeciwciałami, a powracają te same zobowiązania. Metoda Cho jest mniej hasłem niż zbiorem stałych nawyków.

Uczyń strukturę sterowania wyuczalną. Ruchem definiującym jest wzięcie decyzji, którą zwykle zakodowano by na sztywno — jak długo pamiętać, gdzie patrzeć — i przekształcenie jej w parametry, które model stroi na podstawie danych. Bramka GRU i dopasowanie uwagi to ten sam instynkt w dwóch dziedzinach. Lekcja ta przenosi się daleko poza modele sekwencji: gdy złapiesz się na zgadywaniu progu, wagi lub reguły trasowania, warto zapytać, czy system mógłby nauczyć się tego lepiej, niż dałoby się to zgadnąć.¹²

Preferuj prostszy mechanizm, który ujmuje istotną ideę. GRU zachowuje wyuczone bramkowanie i odrzuca stan komórki oraz bramkę wyjściową LSTM, dorównując jej wydajności przy mniejszej liczbie parametrów.³ To produkt minimalny godny na poziomie komórki neuronowej — najmniejsza jednostka, która wciąż niesie nośną ideę, ta sama ekonomia środków, która przewija się przez ARM Sophie Wilson.

Nazwij wąskie gardło, zanim je usuniesz. Własny artykuł Cho o enkoderze-dekoderze nazwał ograniczenie wektora o stałej długości; artykuł o uwadze je usunął.¹⁴ Dyscyplina polega na tym, by najpierw precyzyjnie nazwać wadę strukturalną — akapit przez dziurkę od klucza — bo ostro nazwane wąskie gardło jest w połowie rozwiązane. To ten sam instynkt co decyzja Fei-Fei Li, by zaatakować dane, a nie model: znajdź rzeczywiste ograniczenie, a nie wygodne.

Daj punktowi odniesienia uczciwą walkę. Uczciwy empiryzm oznacza strojenie metody, którą próbujesz pobić, z taką samą starannością jak tej proponowanej, oraz traktowanie własnego zysku jako podejrzanego, dopóki nie przetrwa tej próby. To bramka dowodowa zamieniona w praktykę badawczą — „poprawiło się” nie jest dowodem; „poprawiło się względem silnego, otwarcie odtwarzalnego punktu odniesienia” już nim jest.⁵⁶

Pracuj otwarcie. Otwarta recenzja, otwarte platformy, odtwarzalne wyniki. Wartość metody to nie to, co twierdzi jej autor, lecz to, co przetrwa niezależną kontrolę — dlatego publikowanie na tyle otwarcie, by dało się je sprawdzić, jest częścią inżynierii, a nie uprzejmością po fakcie. To jakość jest jedyną zmienną zastosowane do samej nauki: liczy się jedynie to, czy wynik jest prawdziwy.⁵⁶

Łańcuch wpływów

Kto go ukształtował

Yoshua Bengio i grupa MILA. Przełomowy rok Cho nastąpił podczas stażu podoktorskiego w montrealskim laboratorium Bengio, a Bengio był współautorem zarówno artykułu o GRU, jak i o uwadze.¹² MILA było środowiskiem, w którym idee sieci rekurencyjnych i tłumaczenia maszynowego z początku lat 2010 forsowano najmocniej, a praca Cho jest od niego nieodłączna. (Wpływ bezpośredni)

Juha Karhunen i szkoła Aalto. Jego doktorskie kształcenie w Aalto pod kierunkiem Juhy Karhunena, z Tapanim Raiko i Aleksandrem Ilinem, ugruntowało go w tradycji uczenia nienadzorowanego i sieci neuronowych, zanim lata montrealskie nadały jej cel w postaci tłumaczenia.¹⁷ (Wpływ formacyjny)

Rodowód uczenia głębokiego. Problem zanikającego gradientu, który GRU rozwiązuje, oraz architektury rekurencyjne i konwolucyjne, wśród których się sytuuje, wywodzą się z dziesięcioleci pracy Geoffreya Hintona i Yanna LeCuna, którzy ustalili, że sieci głębokie w ogóle da się trenować. Cho współkieruje obecnie laboratorium NYU z LeCunem.⁷ (Wpływ formacyjny)

Kogo on ukształtował

Współczesne modelowanie sekwencji. Przez lata GRU była jedną z dwóch domyślnych komórek rekurencyjnych — prostszą połową wyboru GRU/LSTM, którego każdy praktyk NLP, mowy i szeregów czasowych dokonywał odruchowo.³

Transformer i era LLM. Uwaga, wprowadzona do tłumaczenia w artykule, którego Cho był współautorem, uogólniła się do samouwagi, z której zbudowany jest Transformer — a Transformer jest tym, na czym działa każdy współczesny duży model językowy.⁴ Ten mechanizm należy do najbardziej brzemiennych w skutki w historii dziedziny.

Uczenie maszynowe dla nauk. Poprzez Prescient Design i Genentech Cho pomógł wepchnąć generatywne uczenie maszynowe w projektowanie przeciwciał terapeutycznych — argument, że wzorzec „naucz się tego z dowodów, zamknij pętlę pomiarem” należy do biologii tak samo jak do języka.⁸

Myśl przewodnia

Cho jest zawiasem mechanizmu w gałęzi uczenia głębokiego tej serii — mostem od fundamentów do ery LLM. Geoffrey Hinton i Yann LeCun ustalili, że sieci głębokie potrafią się uczyć; Fei-Fei Li dostarczyła danych, na których się uczyły. Bramki i uwaga Cho to krok architektoniczny, który zamienił te fundamenty w coś, co potrafi obsłużyć język na dużą skalę — a jego praca nad uwagą wpływa wprost w Transformer, którego Andrej Karpathy nauczy później budować całe pokolenie i który napędza współczesny LLM. Tam, gdzie Hinton mówi maszyna ucząca się działa, a Li mówi oto świat, z którego można się uczyć, Cho mówi: pozwól modelowi nauczyć się własnej struktury sterowania — co pamiętać, na co patrzeć — a następnie udowodnij, otwarcie, że naprawdę to zrobił. Pierwsze zdanie to linia do Transformera; drugie to empiryczne sumienie, które utrzymuje go w uczciwości — ta sama rzetelność, którą Fei-Fei Li wniosła do zbiorów odniesienia. (Most serii)

Co z tego wynoszę

Lekcja, którą zachowuję od Cho, to przestać na sztywno kodować decyzje, których system mógłby się nauczyć. Mój instynkt, jak u większości inżynierów, każe zakodować własny osąd — ten próg, tamtą wagę, tę regułę trasowania — bo własny osąd wydaje się tą godną zaufania częścią. GRU i uwaga to argumenty, że coś przeciwnego często starzeje się lepiej: model, mając właściwy mechanizm i dość danych, nauczy się polityki pamięci lub dopasowania znacznie lepiej, niż dałoby się to zgadnąć. Dlatego gdy łapię się na strojeniu magicznej stałej lub ręcznym pisaniu rozgałęzienia, które decyduje, co jest ważne, pytam teraz, czy nie koduję decyzji, której system powinien się uczyć. Umiejętnością nie jest dokonanie wyboru; jest nią zbudowanie struktury, która pozwala wybór wyuczyć.

Druga lekcja to dyscyplina, która nie pozwala pierwszej mnie okłamywać. Pozwolenie systemowi na nauczenie się własnego zachowania jest upajające właśnie dlatego, że tak łatwo wygląda na działające — demonstracja przechodzi, metryka rośnie, a człowiek chce uwierzyć. Etyka otwartej nauki Cho jest antidotum: załóż, że własny wynik jest artefaktem, dopóki nie przetrwa uczciwej walki z silnym punktem odniesienia, i opublikuj go na tyle otwarcie, by ktoś mógł wykazać błąd. Właśnie dlatego traktuję bramkę dowodową jako niepodlegającą negocjacjom — „poprawiło się” to odczucie, „poprawiło się względem dostrojonego punktu odniesienia, w sposób odtwarzalny” to dowód. Buduj systemy, które uczą się własnej struktury sterowania, a następnie trzymaj je w ryzach standardu dowodu, którego nie ustalałeś. Moc i uczciwość to dwie połowy jednej praktyki.

Najczęściej zadawane pytania

Czym jest GRU (bramkowana jednostka rekurencyjna)?

GRU to rodzaj komórki rekurencyjnej sieci neuronowej, którą Kyunghyun Cho wprowadził jako pierwszy autor w artykule z 2014 roku “Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation”.¹ Wykorzystuje wyuczone bramki — bramkę aktualizacji i bramkę resetu, obie o wartościach sigmoidalnych między 0 a 1 — by kontrolować, ile poprzedniego stanu ukrytego zachować, a ile nadpisać nowym wejściem na każdym kroku. Pozwala to sieci nauczyć się, co zapamiętać w długich sekwencjach, rozwiązując problem zanikającego gradientu. Osiąga wyniki porównywalne z LSTM, używając mniejszej liczby parametrów, ponieważ pomija osobny stan komórki i bramkę wyjściową LSTM.³

Co Kyunghyun Cho wniósł do mechanizmu uwagi i neuronowego tłumaczenia maszynowego?

Cho jest współautorem — wraz z Dzmitrym Bahdanau (pierwszy autor) i Yoshuą Bengio — artykułu “Neural Machine Translation by Jointly Learning to Align and Translate” (2014), który wprowadził mechanizm uwagi do neuronowego tłumaczenia maszynowego.² Zamiast kompresować zdanie źródłowe do jednego wektora o stałej długości, model zachowuje reprezentację każdego słowa źródłowego i pozwala dekoderowi nauczyć się miękkiego dopasowania dla nich wszystkich na każdym kroku wyjściowym. Mechanizm ten uogólnił się do samouwagi Transformera w 2017 roku, która jest fundamentem współczesnych dużych modeli językowych.⁴ Oddzielnie Cho był pierwszym autorem artykułu z 2014 roku, który wprowadził GRU.¹

Jakie wąskie gardło enkodera-dekodera rozwiązała uwaga?

Pierwotny RNN Encoder-Decoder, opisany w artykule Cho z 2014 roku, koduje całe zdanie wejściowe w „reprezentację wektorową o stałej długości”, z której dekoder musi odtworzyć całe wyjście.¹ Dla długich zdań ten jeden wektor jest wąskim gardłem — akapitem wtłoczonym przez dziurkę od klucza — a sieci rekurencyjne mają skłonność do tracenia informacji z początku sekwencji.⁴ Uwaga usunęła wąskie gardło, zachowując reprezentację każdej pozycji źródłowej i pozwalając dekoderowi sięgać bezpośrednio do dowolnej z nich, z wyuczonymi wagami, zamiast polegać na jednym skompresowanym stanie.⁴

Czym Kyunghyun Cho zajmuje się obecnie?

Cho jest profesorem informatyki i nauki o danych w Courant Institute oraz Center for Data Science przy NYU, profesorem statystyki zdrowia imienia Glena de Vriesa, a także współdyrektorem Global AI Frontier Lab przy NYU u boku Yanna LeCuna.⁷ W 2021 roku współzałożył Prescient Design — przejęty przez Genentech w tym samym roku — gdzie kierował pionierskimi badaniami nad zastosowaniem generatywnego uczenia maszynowego do projektowania przeciwciał terapeutycznych w „pętli laboratoryjnej”, sprzęgając modele uczenia maszynowego z eksperymentami w mokrym laboratorium w iteracyjnej pętli optymalizacji.⁷⁸ Pozostaje aktywnym orędownikiem otwartej i odtwarzalnej nauki.⁵⁶

Źródła