← Wszystkie wpisy

Filozofia inżynierska: Jim Keller, tranzystory są za darmo

Jim Keller, architekt CPU

Najważniejsze wnioski

  • Tranzystory są tanie; wąskie gardła są kosztowne. Charakterystyczne posunięcie Kellera, powtarzane przez trzydzieści lat i kilkanaście układów, polega na wydawaniu krzemu, by usunąć to, co stoi na drodze przepustowości – szersze potoki, więcej jednostek wykonawczych, szybsze połączenia – ponieważ tranzystor, którego nie wykorzystano, to tranzystor zmarnowany. Zakład się opłaca, gdy dodatkowy sprzęt utrzymuje zajęte jednostki w pracy zamiast bezczynne.17
  • Zaprojektował architekturę układów stojących za połową komputerów, których Pan/Pani dotyka. Alpha firmy DEC, Athlon (K7) i K8 firmy AMD – gdzie współtworzył zestaw instrukcji x86-64 (AMD64) oraz HyperTransport – następnie Apple A4 i A5 w iPhonie 4 i pierwszym iPadzie, potem odrodzenie AMD w postaci Zen, dalej komputer do jazdy autonomicznej Tesli, wreszcie okres pracy jako SVP w Intelu. Niewielu inżynierów ukształtowało tak wiele linii produktowych.123
  • Prawo Moore’a nie jest martwe – ludzie po prostu przestali liczyć kryjące się pod nim innowacje. Publiczne stanowisko Kellera, prezentowane w wykładach i oficjalnie, głosi, że skalowaniu tranzystorów pozostała jeszcze dekada lub dwie, ponieważ gęstość wynika z tysięcy nawarstwionych innowacji, a nie z jednej sztuczki. Płetwa współczesnego tranzystora wciąż ma ponad sto atomów szerokości; jest jeszcze długa droga w dół.47
  • Od dyplomu z elektrotechniki na Penn State po ewangelistę RISC-V. Urodzony około 1958 roku, elektrotechnika na Pennsylvania State University, a następnie kariera prowadząca przez DEC -> AMD -> Broadcom -> P.A. Semi -> Apple -> AMD -> Tesla -> Intel, a obecnie prezes Tenstorrent, budujący otwarte akceleratory AI na otwartym zestawie instrukcji RISC-V.156

Zasada

„Choć świat sądzi, że prawo Moore’a jest martwe, fabryki i technolodzy uważają, że tak nie jest, i wszyscy ogłosili teraz 10-letnią mapę drogową dla prawa Moore’a.” – Jim Keller4

Większość inżynierów traktuje sprzęt jak stały budżet. Otrzymuje się pewną liczbę tranzystorów, obwiednię mocy, węzeł technologiczny – i optymalizuje się w ich obrębie: tu skraca cykl, tam składa etap, racjonuje krzem. Keller pracuje na odwrót. Tranzystory traktuje jako tani zasób, a wąskie gardło jako ten kosztowny. Jeśli pojedyncza jednostka głodzi resztę maszyny, odpowiedzią rzadko jest uczynienie tej jednostki sprytniejszą; jest nią wydanie większej ilości krzemu – zduplikowanie jej, potokowanie, poszerzenie prowadzącej do niej ścieżki – tak by wąskie gardło zniknęło, a wszystko poniżej pozostało zajęte.7

Określenie, które branża przyczepiła do tego podejścia, brzmi „tranzystory są za darmo”. Nie jest to dosłownie prawdą i Keller o tym wie – krzem kosztuje pieniądze i moc. Sedno tkwi w porównaniu. Czas inżyniera jest rzadki, ryzyko projektowe niebezpieczne, a bezczynna jednostka wykonawcza to czyste marnotrawstwo. W zestawieniu z nimi krańcowy tranzystor jest tym, czego ma się najwięcej, a prawo Moore’a co kilka lat dorzuca kolejne. Zdyscyplinowanym posunięciem jest więc wydanie zasobu obfitego, by oszczędzić te rzadkie. To pojedyncze przeformułowanie – który z zasobów jest naprawdę tani – sprawia, że jego układy bywają szerokie, agresywne i spragnione przepustowości, a nie sprytne i wąskie.17

Tłumaczy to również, dlaczego tak głośno przekonuje, że prawo Moore’a nie jest martwe. Gdyby tranzystory miały przestać tanieć, cała strategia by się zawaliła. Keller wykonuje więc niewdzięczną pracę dowodzenia – na liczbach – że pozostała jeszcze dekada lub dwie skalowania, że „prawo Moore’a” nigdy nie było jedną innowacją, lecz kaskadą tysięcy, z których każda ma własną krzywą malejących zysków, sumujących się w wykładniczy wzrost.7 Wydaj tani zasób, by zlikwidować wąskie gardło, i wciąż dowodź, że tani zasób nadal jest tani. Reszta to szczegóły.

Kontekst

James B. Keller urodził się około 1958 roku i uzyskał licencjat z elektrotechniki na Pennsylvania State University, kończąc studia w 1980 roku.1 To, co nastąpiło później, to jeden z najbardziej nieprawdopodobnych życiorysów w historii branży – nie z powodu jakiegoś pojedynczego układu, lecz dlatego, jak wiele jest tych definiujących całe epoki, i to w firmach, które zwykle są rywalami.

Dołączył do Digital Equipment Corporation w 1982 roku i pozostał tam do 1998, pracując nad VAX 8800, a następnie nad linią Alpha – układami 21164 oraz wykonującym instrukcje poza kolejnością 21264 (EV6) – które były najszybszymi mikroprocesorami swoich czasów.1 W 1998 roku przeszedł do AMD, gdzie pomógł wprowadzić Athlon (K7) i był głównym architektem mikroarchitektury K8. To K8 miało największe znaczenie: Keller współtworzył zestaw instrukcji x86-64 (AMD64), który rozszerzył x86 do 64 bitów, oraz połączenie HyperTransport, spinające ze sobą wiele procesorów. AMD64 stał się 64-bitowym standardem, na którym działa cały świat komputerów osobistych i serwerów, łącznie z Intelem.12

Potem zaczęła się wędrówka. SiByte w 1999 (układy sieciowe MIPS), przejęte przez Broadcom w 2000, gdzie był głównym architektem do 2004; P.A. Semi od 2004 jako wiceprezes ds. inżynierii, budujący niskoenergetyczne procesory mobilne. Apple przejęło P.A. Semi w 2008 roku, a Keller poprowadził projektowanie systemów na układzie A4 i A5 – krzemu wewnątrz iPhone’a 4, iPhone’a 4S, pierwszego iPada i iPada 2. Te układy zasiały program własnego krzemu Apple, linię, która ostatecznie wydała Apple Silicon.13 Wrócił do AMD w 2012 roku, by zaprojektować architekturę Zen – mikroarchitekturę, która wydźwignęła AMD z niemal całkowitej nieistotności do prawdziwej konkurencyjności.1 Potem Tesla od 2016 roku, wiceprezes ds. sprzętu Autopilot, gdzie wraz z Pete’em Bannonem poprowadził komputer Full Self-Driving (FSD); następnie Intel od 2018 do 2020 roku jako starszy wiceprezes ds. inżynierii krzemu.12 Od końca 2020 roku jest w Tenstorrent – najpierw jako CTO, a od 2023 jako prezes – budując akceleratory AI na RISC-V.56

Tym, co spaja całą drogę, nie jest lojalność wobec firmy. Jest nią lojalność wobec metody na tyle przenośnej, by zwyciężać kolejno w DEC, AMD, Apple, Tesli i Intelu.

Praca

Potokowanie i „tranzystory są za darmo”

Zacznijmy od idei, która podpiera wszystko inne, ponieważ to tu intuicja Kellera staje się arytmetyką. Procesor wykonuje instrukcje w krokach – pobiera instrukcję, dekoduje ją, odczytuje jej argumenty, wykonuje obliczenie, zapisuje wynik. Naiwna maszyna prowadzi jedną instrukcję przez wszystkie te kroki do końca, zanim rozpocznie kolejną. Problem w tym, że gdy jednostka arytmetyczna pracuje, sprzęt pobierający i dekodujący stoi bezczynnie; gdy zapisywany jest wynik, niemal cała reszta nic nie robi. Większość kosztownego krzemu pozostaje przez większość czasu wygaszona.

Rozwiązaniem jest potokowanie: rozbicie pracy na etapy i pozwolenie, by się nakładały, jak na linii montażowej. Gdy instrukcja pierwsza jest na etapie arytmetycznym, instrukcja druga jest dekodowana, a trzecia pobierana. Każda instrukcja wciąż wymaga tej samej liczby kroków, ale maszyna teraz kończy jedną co cykl zamiast co pięć, ponieważ żaden etap nie jest nigdy bezczynny. Haczyk polega na tym, że nakładanie pracy kosztuje sprzęt – zatrzaski między etapami, logikę śledzenia zależności, mechanizmy obsługujące przypadki, gdy instrukcja druga potrzebuje wyniku, którego instrukcja pierwsza jeszcze nie wytworzyła. Płaci się tranzystorami, by utrzymać jednostki w pracy.1

Układy Kellera mocno forsują ten zakład. Przejście na superskalarność – wiele jednostek wykonawczych, dzięki czemu kończy się więcej niż jedną instrukcję na cykl – oraz na wykonywanie poza kolejnością – przestawianie instrukcji tak, by zablokowana nie wstrzymywała tych gotowych – jedno i drugie kosztuje sporo krzemu na księgowanie. Alpha 21264 była agresywnym projektem wykonującym poza kolejnością; K7 i K8 firmy AMD były szerokimi maszynami superskalarnymi; Zen jeszcze raz poszerzył ścieżkę.1 W każdym przypadku rozumowanie jest takie samo: jednostki wykonawcze są sednem, bezczynne jednostki to marnotrawstwo, a tranzystory potrzebne do utrzymania ich w pracy są najtańszą rzeczą w budynku. Wydaj krzem, by usunąć wąskie gardło. Taka jest zasada, a potok to jej najprostsza możliwa forma.

Jim Keller przemawiający

Odrodzenie AMD i linia AMD64

Pracą, która najbardziej przekształciła branżę, było K8. Na początku lat 2000 32-bitowej przestrzeni adresowej x86 zaczynało brakować miejsca – 4 GB pamięci stawało się realnym sufitem. Były dwie drogi naprzód. Zakładem Intela, Itanium, było porzucenie x86 i zbudowanie czystej, nowej 64-bitowej architektury, zrywając zgodność z górą istniejącego oprogramowania. Zakładem AMD, którego architekturę poprowadził Keller, było coś przeciwnego: rozszerzyć x86 do 64 bitów, zachowując jednocześnie zdolność uruchamiania całego dotychczasowego 32-bitowego kodu z pełną szybkością. Tym czymś było x86-64, zwane także AMD64.12

Pragmatyczny zakład wygrał zdecydowanie. Oprogramowania nie trzeba było przepisywać; droga aktualizacji była bezbolesna; wydajność starszego kodu nie ucierpiała. AMD64 stał się standardem, a Intel ostatecznie przyjął rozszerzenia AMD, a nie odwrotnie – architektura w praktycznie każdym dzisiejszym procesorze komputera osobistego i serwera to ta, którą wyspecyfikował zespół Kellera. Obok niej HyperTransport dał serwerom Opteron firmy AMD szybki sposób na połączenie wielu procesorów punkt-punkt, atakując wąskie gardło pamięci i połączeń, którego instynkt „tranzystory są za darmo” zawsze poszukuje.12 Gdy Keller wrócił do AMD w 2012 roku, by zaprojektować architekturę Zen, powtórzył ten wzorzec w firmie, która niemal wypadła z wyścigu o wysoką wydajność: szeroki, czysty, modułowy rdzeń, który zniwelował przewagę Intela i ponownie dał AMD wiarygodną linię produktową.1 Dwukrotnie wszedł do AMD i dwukrotnie zostawił je z architekturą, która zdefiniowała jego kolejną dekadę.

Krzem Apple, od podstaw

Rozdział o najdłuższym cieniu jest zarazem najcichszy. Gdy Apple przejęło P.A. Semi w 2008 roku, Keller poprowadził zespół, który zaprojektował A4 – pierwszy własny system na układzie firmy Apple, dostarczony w iPhonie 4 i pierwszym iPadzie w 2010 roku – oraz jego następcę A5, w iPhonie 4S i iPadzie 2.13 Wcześniej Apple kupowało swoje procesory mobilne z półki. A4 było momentem, w którym Apple zdecydowało się przejąć kontrolę nad własnym krzemem, a zespół i dyscyplina, które Keller pomógł ustanowić, stały się fundamentem programu, który dziś wytwarza układy serii A i serii M napędzające każdego iPhone’a, iPada i Maca.

Logika strategiczna to ten sam instynkt przepustowości i kontroli w nowej dziedzinie. Najtwardszym ograniczeniem telefonu jest wydajność na wat: nie da się jej wymusić siłą przy budżecie mocy komputera stacjonarnego. Posiadanie projektu od początku do końca – zamiast godzenia się na uniwersalny podzespół dostawcy – pozwala wydać tranzystory dokładnie tam, gdzie potrzebuje ich obciążenie, i nigdzie indziej. To zasada „tranzystory są za darmo” odwrócona dla baterii: nie „dodawaj krzem swobodnie”, lecz „rozmieść każdy tranzystor rozmyślnie, ponieważ jesteś właścicielem całego projektu”. Linia od A4 do dzisiejszego Apple Silicon i do świadomej sprzętu pracy nad wydajnością, którą rozsławił John Carmack, biegnie prosto przez tę decyzję z 2008 roku.3

Jim Keller

Pierwsze zasady i otwarty sprzęt Tenstorrent

Metodą, która spina te firmy, jest myślenie od pierwszych zasad – gotowość, by odrzucić odziedziczone założenia i zapytać, czego problem naprawdę wymaga. Keller mówi wprost, że architektury gniją: mniej więcej co pięć lat, twierdzi, należy wykonać projekt od zera, zamiast łatać stary, ponieważ przepisany wariant okazuje się zarazem szybszy i mniej skomplikowany niż narosła wersja, którą zastępuje.7 Dyscyplina polega na ciągłym pytaniu, co naprawdę próbuje się zrobić, oczyszczonym z ograniczeń, które były prawdą dwa węzły technologiczne temu, a teraz prawdą nie są.7

Ten instynkt sprawia, że odmawia przyjęcia konsensusu „prawo Moore’a jest martwe”. Jego argument jest mechaniczny, a nie oparty na wierze: gęstość tranzystorów to suma tysięcy niezależnych innowacji, z których każda leży na własnej krzywej malejących zysków, a suma wciąż jest wykładnicza. Płetwa tranzystora FinFET ma dziś ponad sto atomów szerokości; można wyobrazić sobie tranzystor o boku dziesięciu atomów, „milion razy mniejszy”, zanim dotrze się do dna. „Więc nie kończą nam się atomy”, jak to ujmuje.47 Pesymiści, w jego ujęciu, liczą jedną innowację, a pomijają kaskadę.

W Tenstorrent, gdzie jest prezesem, zakład o pierwsze zasady jest instytucjonalny. Firma buduje akceleratory do trenowania i wnioskowania AI na RISC-Votwartym zestawie instrukcji, wolnym od opłat licencyjnych i własnościowej kontroli – i zamierza udostępnić swój stos oprogramowania na zasadach open source oraz licencjonować własność intelektualną swoich CPU i rdzeni AI, a nie tylko sprzedawać układy.56 Publiczne przekonanie Kellera głosi, że „w ciągu najbliższych 5 do 10 lat RISC-V przejmie wszystkie centra danych”.5 Stawka jest taka, że otwarty sprzęt, jak otwarte oprogramowanie przed nim, zwycięża dzięki pierwszym zasadom: obniż bariery, pozwól wielu stronom budować, a otwarty ekosystem prześcignie w innowacjach ten zamknięty. To ten sam człowiek, który uczynił x86 standardem, teraz stawiający na to, że standard powinien być taki, którego nikt nie posiada.

Metoda

Przeczytaj wzdłuż Alphy, AMD64, Zen, A4 i Tenstorrent, a powtarzają się te same posunięcia. Metoda Kellera to mniej slogan, a bardziej zestaw trwałych zobowiązań.

Wydaj tani zasób, by zlikwidować wąskie gardło. Nawykiem definiującym jest rozpoznanie, który zasób jest naprawdę obfity – zwykle tranzystory – i wydanie go swobodnie, by usunąć cokolwiek głodzi przepustowość. Szersze potoki, więcej jednostek, szybsze połączenia. Ogólna lekcja jest przenośna: znajdź zasób, którego masz najwięcej, i wymieniaj go na ten, którego masz najmniej, zamiast racjonować wszystkie po równo. To jakość jest jedyną zmienną na poziomie krzemu – poprawność i przepustowość są celem, a budżet tranzystorów nie jest tym ograniczeniem, za które się go ma.7

Przebuduj od zera według harmonogramu. Mniej więcej co pięć lat wykonaj projekt na nowo, zamiast go łatać, ponieważ odziedziczone założenia kostnieją, a przepisany wariant wychodzi prostszy. Odwaga, by odrzucić działającą, lecz przestarzałą pracę, jest rzadka i nośna – to ten sam instynkt, który pozwala Linusowi Torvaldsowi wyrzucić podsystem, który już nie pasuje.7

Pytaj, czego problem naprawdę wymaga, a nie co zakładał poprzedni projekt. Myślenie od pierwszych zasad oznacza zdzieranie ograniczeń, które były prawdą dwa węzły temu, a teraz prawdą nie są. Dyscyplina polega na ciągłym pytaniu „co naprawdę próbujemy zrobić”, aż odziedziczony balast odpadnie – bramka dowodowa skierowana ku własnym założeniom, a nie ku cudzemu twierdzeniu.7

Rozmieszczaj każdy tranzystor rozmyślnie, gdy budżet jest napięty. Drugą stroną „tranzystory są za darmo” jest telefon: gdy ścianą jest moc, a nie powierzchnia, jest się właścicielem całego projektu, więc można umieścić krzem dokładnie tam, gdzie potrzebuje go obciążenie. Wiedza o tym, w którym reżimie się jest – obfitości czy niedostatku – i projektowanie zgodnie z nim to faktyczna umiejętność, a nie reguła bez wyjątków.3

Postaw na otwartość jako pierwszą zasadę. RISC-V i otwarty stos oprogramowania to zakład, że obniżenie barier pozwoli budować większej liczbie ludzi, a otwarty ekosystem prześcignie w innowacjach ten zamknięty. To rozumowanie minimum godnego produktu zastosowane do całej platformy – dostarcz otwartą rzecz, na której inni mogą budować, a nie zamkniętą rzecz, którą możesz budować tylko ty.56

Łańcuch wpływów

Kto go ukształtował

DEC i kultura Alphy. Keller nauczył się projektowania wysokowydajnego w Digital, na linii Alpha, w organizacji, która ceniła czystą szybkość i agresywne wykonywanie poza kolejnością ponad niemal wszystko inne. Przekonanie, że wydaje się krzem, by wygrać na przepustowości, wykuło się właśnie tam, na najszybszych mikroprocesorach swojej epoki. (Wpływ formujący)

Dirk Meyer i Pete Bannon. Najważniejsza praca Kellera powstawała w partnerstwach – współprojektowanie wykonującego poza kolejnością EV6 dla Alphy z Dirkiem Meyerem, a następnie poprowadzenie komputera FSD Tesli wraz z Pete’em Bannonem, który podążył równoległą ścieżką do programu krzemowego Apple. Te współprace nie są przypadkowe; najtrudniejsze układy to sport zespołowy, a powracający współarchitekci Kellera ukształtowali jego pracę w takim samym stopniu, w jakim on ukształtował ich. (Wpływ bezpośredni)

Samo prawo Moore’a. Cała strategia „tranzystory są za darmo” zależy od tego, by tranzystory wciąż taniały. Światopogląd Kellera jest pochodną obserwacji Gordona Moore’a – dlatego broni jej tak zaciekle. Jeśli kaskada innowacji skalowania ustanie, metoda będzie musiała się zmienić. (Wpływ formujący)

Kogo on ukształtował

Apple Silicon. Zespół i dyscyplina A4 oraz A5, które Keller pomógł postawić na nogi w Apple po przejęciu P.A. Semi, stały się fundamentem programu wytwarzającego dziś każdy układ serii A i serii M. Najbardziej brzemienny w skutki krzem konsumencki ostatniej dekady wywodzi się z decyzji, w której odgrywał kluczową rolę.

Dwa odrodzenia AMD. K8/AMD64 uczyniło z AMD pretendenta na rynku serwerów i ustanowiło 64-bitowy standard, na którym działa świat; Zen wciągnął AMD z powrotem do wyścigu o wysoką wydajność dekadę później. Obie architektury definiowały pozycję konkurencyjną AMD przez lata po jego odejściu.

Ruch RISC-V i otwartego sprzętu. Jako jeden z najbardziej wiarygodnych architektów branży, stawiający publicznie i komercyjnie na otwarte zestawy instrukcji, Keller dodaje wagi argumentowi, że sprzęt może podążyć za oprogramowaniem ku otwartości. Tenstorrent jest tego dowodem.

Spójna nić

Keller jest miejscem, gdzie przewijający się przez tę serię wątek wydawania właściwego zasobu spotyka się z metalem. John Carmack wyciskał niemożliwą wydajność z niezmiennego sprzętu konsumenckiego, rozumiejąc maszynę aż do cyklu; Keller pracuje na warstwie poniżej niego – to on projektuje maszynę, a jego odpowiedzią na wąskie gardło jest nie tylko obejście go kodem, ale dodanie krzemu, który je usuwa. Bjarne Stroustrup zbudował C++ na zasadzie abstrakcji bez narzutu, że nie powinno się płacić za to, czego się nie używa; „tranzystory są za darmo” Kellera to sprzętowe odbicie – wydawaj na to, co utrzymuje maszynę w pracy, nie marnuj niczego na to, co stoi bezczynnie. A tam, gdzie Andrej Karpathy opisuje „Software 2.0”, programy kompilowane z danych, a nie pisane ręcznie, Keller buduje krzem, którego domaga się nowe obciążenie – akceleratory AI na otwartym RISC-V, zaprojektowane od pierwszych zasad dla problemu, pod który dawny uniwersalny CPU nigdy nie był ukształtowany. Carmack mówi: opanuj sprzęt, który ci dano; Stroustrup mówi: nie płać za to, czego nie używasz; Keller mówi: gdy sprzęt jest wąskim gardłem, zbuduj lepszy – i wciąż dowodź, że wciąż są atomy do wydania. (Most serii)

Co z tego biorę

Lekcją, którą zachowuję od Kellera, jest to, by ustalić, który zasób jest naprawdę tani, a potem wydać go bez wyrzutów sumienia. Łatwo jest racjonować wszystko po równo – traktować każde ograniczenie jako wiążące i optymalizować nieśmiało w obrębie ich wszystkich naraz. Nawykiem Kellera jest zauważenie, że jeden zasób jest obfity, a pozostałe rzadkie, i handlowanie twardo w kierunku, na który ta obfitość pozwala. Tranzystory są tanie; bezczynne jednostki i czas inżyniera są kosztowne; więc wydaj tranzystory, by zlikwidować wąskie gardło. W mojej własnej pracy obfitym zasobem rzadko jest krzem – jest nim często moc obliczeniowa, tokeny modelu albo zdolność do taniej regeneracji szkicu. Posunięcie jest takie samo: przestań racjonować to, czego masz najwięcej, i wymierz to w to, co naprawdę cię blokuje.

Druga lekcja to gotowość, by zaczynać od nowa według harmonogramu. Twierdzenie Kellera, że należy przeprojektowywać od zera co kilka lat – ponieważ przepisany wariant wychodzi prostszy niż połatany oryginał – staje w poprzek każdego instynktu ochrony pracy, którą już się wykonało. Ma jednak rację, że założenia kostnieją, że ograniczenia, które kiedyś były prawdą, po cichu przestają nią być, a narosły projekt dźwiga ciężar ich wszystkich. Dyscyplina polega na okresowym pytaniu, czego problem naprawdę wymaga teraz, świeżym okiem, oraz na odwadze, by wyrzucić starą odpowiedź, gdy już nie pasuje. Rzecz, którą zbudowałem rok temu, była zbudowana pod ograniczenia ubiegłego roku. Kariera Kellera to długi argument za tym, że odważne posunięcie – to, które faktycznie wygrywa – polega na zbudowaniu jej ponownie od pierwszych zasad.

FAQ

Jaka jest filozofia inżynierska Jima Kellera?

Wydaj tani zasób, by usunąć wąskie gardło. Keller traktuje tranzystory jako obfite – „tranzystory są za darmo” – a czas inżyniera, ryzyko projektowe i bezczynny sprzęt jako rzeczy kosztowne, więc jego układy wydają krzem swobodnie na szersze potoki, więcej jednostek wykonawczych i szybsze połączenia, by utrzymać wysoką przepustowość.17 Pod spodem leży myślenie od pierwszych zasad: mniej więcej co pięć lat przeprojektuj od zera, zamiast łatać, ponieważ odziedziczone założenia kostnieją, a przepisany wariant wychodzi prostszy.7

Jakie układy zaprojektował Jim Keller?

Niezwykły wachlarz rozciągający się na rywalizujące firmy: procesory Alpha firmy DEC (w tym wykonujący poza kolejnością 21264); Athlon (K7) i K8 firmy AMD, gdzie współtworzył zestaw instrukcji x86-64/AMD64 oraz połączenie HyperTransport; systemy na układzie Apple A4 i A5 stojące za iPhonem 4 i pierwszym iPadem; architektura Zen firmy AMD po jego powrocie w 2012 roku; oraz komputer Full Self-Driving Tesli. Pełnił także funkcję starszego wiceprezesa ds. krzemu w Intelu od 2018 do 2020 roku.123

Dlaczego Jim Keller twierdzi, że prawo Moore’a nie jest martwe?

Ponieważ, w jego ujęciu, gęstość tranzystorów to nie jedna innowacja, lecz suma tysięcy niezależnych, z których każda leży na własnej krzywej malejących zysków, sumujących się w wykładniczy wzrost – a tej sumie wciąż pozostała dekada lub dwie.7 Wskazuje, że fabryki i technolodzy opublikowali 10-letnie mapy drogowe, że płetwa współczesnego tranzystora FinFET wciąż ma ponad sto atomów szerokości i że można wyobrazić sobie tranzystor o boku dziesięciu atomów – milion razy mniejszy. „Więc nie kończą nam się atomy.”47

Czym jest Tenstorrent i co robi tam Jim Keller?

Tenstorrent to firma produkująca układy AI, w której Keller jest prezesem od 2023 roku (wcześniej CTO). Buduje akceleratory do trenowania i wnioskowania AI na otwartym zestawie instrukcji RISC-V, zamierza udostępnić swój stos oprogramowania na zasadach open source oraz licencjonuje własność intelektualną swoich CPU i rdzeni AI obok sprzedaży układów.56 Zakład Kellera głosi, że otwarty sprzęt podąży drogą otwartego oprogramowania ku dominacji – powiedział, że wierzy, iż „w ciągu najbliższych 5 do 10 lat RISC-V przejmie wszystkie centra danych”.5


Źródła


  1. “Jim Keller (engineer),” Wikipedia. Urodzony około 1958 roku; licencjat z elektrotechniki na Pennsylvania State University (1980). Kariera: DEC (1982-1998), praca nad VAX 8800 oraz Alpha 21164 i wykonującym poza kolejnością 21264; AMD (1998), wprowadzenie Athlona (K7) i funkcja głównego architekta mikroarchitektury K8, w tym współtworzenie zestawu instrukcji x86-64 oraz połączenia HyperTransport; SiByte (1999) i Broadcom jako główny architekt po przejęciu w listopadzie 2000 (do 2004); P.A. Semi od 2004 jako wiceprezes ds. inżynierii; Apple od 2008 po przejęciu P.A. Semi, projektowanie systemów na układzie A4 i A5 używanych w iPhonie 4, 4S, iPadzie i iPadzie 2; ponownie AMD (2012-2015), kierowanie rozwojem mikroarchitektur Zen i K12; Tesla (2016-2018) jako wiceprezes ds. inżynierii sprzętu Autopilot; Intel (2018-2020) jako starszy wiceprezes; oraz Tenstorrent od grudnia 2020 (CTO, następnie prezes od stycznia 2023). 

  2. “Jim Keller (engineer),” Wikipedia, potwierdzone przez “Who is Jim Keller and what’s he doing at Tenstorrent?,” Electronic Specifier. Keller był głównym architektem K8 firmy AMD i współtworzył 64-bitowe rozszerzenie x86-64 (AMD64) zestawu x86 oraz połączenie HyperTransport używane do komunikacji wieloprocesorowej; AMD64 stał się 64-bitowym standardem przyjętym następnie w całej branży komputerów osobistych i serwerów. Ten sam profil podsumowuje jego pracę jako architekta stojącego za Apple A4/A5, AMD Zen, układem do jazdy autonomicznej Tesli oraz strategią krzemową Intela. 

  3. “Tesla Autopilot hardware,” Wikipedia, oraz “FSD Chip – Tesla,” WikiChip. Projektowanie komputera Full Self-Driving (FSD) Tesli, wcześniej Autopilot Hardware 3.0, rozpoczęło się w 2016 roku z zespołem kierowanym przez Jima Kellera i Pete’a Bannona; układ wszedł do produkcji pod koniec 2018 / na początku 2019 roku, wytwarzany w procesie 14 nm firmy Samsung. Rola w projektowaniu Apple A4/A5 po przejęciu P.A. Semi jest udokumentowana w profilu Jima Kellera na Wikipedii cytowanym w 1

  4. “Moore’s Law is Not Dead,” kolokwium EECS na UC Berkeley (Jim Keller, 18 września 2019), zrelacjonowane w “Moore’s law is far from death, according to Intel’s Jim Keller,” TweakTown, oraz “I’m Not Dead Yet; Keller Channels Moore,” PC Perspective. Keller: „Choć świat sądzi, że prawo Moore’a jest martwe, fabryki i technolodzy uważają, że tak nie jest, i wszyscy ogłosili teraz 10-letnią mapę drogową dla prawa Moore’a.” Co do skali atomowej zauważa, że płetwa tranzystora FinFET wciąż ma ponad sto atomów szerokości i że można by wyobrazić sobie tranzystor o boku mniej więcej dziesięciu atomów – około miliona razy mniejszy – więc „nie kończą nam się atomy”. 

  5. “Jim Keller on AI, RISC-V, Tenstorrent’s Move to Edge IP,” EE Times. Keller, prezes Tenstorrent, o RISC-V: „Wierzę, że w ciągu najbliższych 5 do 10 lat RISC-V przejmie wszystkie centra danych”, zwłaszcza w obliczeniach naukowych i HPC; Tenstorrent buduje akceleratory do trenowania i wnioskowania AI na otwartej architekturze RISC-V i jest silnym zwolennikiem otwartego sprzętu oraz oprogramowania, zamierzając udostępnić własny stos oprogramowania AI na zasadach open source i licencjonować własność intelektualną swoich CPU oraz rdzeni AI. 

  6. “About Tenstorrent,” Tenstorrent, oraz “Jim Keller (engineer),” Wikipedia. Tenstorrent buduje akceleratory AI i procesory CPU na otwartym zestawie instrukcji RISC-V, z otwartym stosem oprogramowania (w tym Metalium, TT-NN i powiązanym oprzyrządowaniem) oraz modelem licencjonowania własności intelektualnej obok własnych produktów; Keller dołączył jako CTO w grudniu 2020 roku i został prezesem w styczniu 2023 roku. 

  7. “Jim Keller: Moore’s Law, Microprocessors, Abstractions, and First Principles,” Lex Fridman Podcast #70 (luty 2020), transkrypcja przez Happy Scribe. Keller dowodzi, że prawo Moore’a napędza „dosłownie tysiące innowacji”, z których każda ma „własne krzywe malejących zysków”, sumujące się w wykładniczy wzrost; że „nadejdzie kolejne 10 lub 20 lat miniaturyzacji”; że współczesny tranzystor ma w poprzek mniej więcej ponad sto atomów i mógłby skurczyć się ku dziesięciu na dziesięć na dziesięć atomów; że obliczenia mają dobrze rozumiane warstwy abstrakcji „od atomu po centrum danych”; oraz że dobra architektura oznacza okresowe przeprojektowywanie „od zera”, a nie łatanie, ponieważ przepisany wariant wychodzi zarazem szybszy i mniej skomplikowany – nawyk pierwszych zasad polegający na pytaniu, co naprawdę próbuje się zrobić, bez odziedziczonych założeń. 

Powiązane artykuły

Filozofia inżynierii: Sophie Wilson

Sophie Wilson zaprojektowała listę rozkazów ARM — obecną w niemal każdym telefonie na Ziemi — z maleńkim zespołem i bezw…

16 min czytania

Filozofia inżynierii: Yann LeCun

Yann LeCun, pionier uczenia głębokiego i laureat nagrody Turinga, współtworzył splotową sieć neuronową, a teraz stawia n…

16 min czytania

The Shader Gallery That Lied: Debugging 216 WebGL Presets

A user said the shader playground looked broken. Pixel-readback testing found 30 dead presets, 11 that never compiled, a…

11 min czytania