← Tous les articles

La philosophie d'ingénierie de Jim Keller : les transistors sont gratuits

Jim Keller, architecte de processeurs

Points clés

  • Les transistors sont bon marché ; les goulets d’étranglement coûtent cher. Le geste signature de Keller, répété sur trente ans et une douzaine de puces, consiste à dépenser du silicium pour supprimer ce qui fait obstacle au débit – des pipelines plus larges, davantage d’unités d’exécution, une interconnexion plus rapide – car un transistor que vous n’avez pas utilisé est un transistor gaspillé. Le pari est gagnant lorsque le matériel supplémentaire maintient les unités occupées au lieu de les laisser inactives.17
  • Il a conçu l’architecture des puces derrière la moitié de l’informatique que vous touchez. L’Alpha de DEC, les Athlon (K7) et K8 d’AMD – où il a coécrit le jeu d’instructions x86-64 (AMD64) et HyperTransport – puis les Apple A4 et A5 derrière l’iPhone 4 et l’iPad d’origine, puis le retour d’AMD avec Zen, puis l’ordinateur de conduite autonome de Tesla, puis un passage comme SVP chez Intel. Peu d’ingénieurs ont façonné autant de gammes de produits.123
  • La loi de Moore n’est pas morte – les gens ont simplement cessé de compter les innovations qui la sous-tendent. La position publique de Keller, défendue dans des conférences et officiellement, est qu’il reste une décennie ou deux à la miniaturisation des transistors, parce que la densité provient de milliers d’innovations empilées, et non d’une seule astuce. L’aileron d’un transistor moderne fait encore plus de cent atomes de large ; il reste beaucoup de marge vers le bas.47
  • D’un diplôme d’ingénierie électrique de Penn State à évangéliste du RISC-V. Né vers 1958, ingénierie électrique à la Pennsylvania State University, puis une carrière qui a enchaîné DEC -> AMD -> Broadcom -> P.A. Semi -> Apple -> AMD -> Tesla -> Intel, et désormais PDG de Tenstorrent, où il construit des accélérateurs d’IA ouverts sur le jeu d’instructions ouvert RISC-V.156

Le principe

« Alors que le monde croit la loi de Moore morte, les fonderies et les technologues pensent le contraire, et tout le monde a maintenant annoncé une feuille de route de dix ans pour la loi de Moore. » – Jim Keller4

La plupart des ingénieurs traitent le matériel comme un budget fixe. On vous remet un nombre de transistors, une enveloppe de consommation, un nœud de gravure, et vous optimisez à l’intérieur de ces limites – gagner un cycle ici, replier une étape là, rationner le silicium. Keller procède à l’inverse. Il considère les transistors comme la ressource bon marché et le goulet d’étranglement comme la ressource coûteuse. Si une seule unité affame le reste de la machine, la réponse consiste rarement à rendre cette unité plus astucieuse ; elle consiste à dépenser davantage de silicium – la dupliquer, la pipeliner, élargir le chemin qui y mène – afin que le goulet d’étranglement disparaisse et que tout ce qui se trouve en aval reste occupé.7

L’expression que l’industrie accole à cela est « les transistors sont gratuits ». Ce n’est pas littéralement vrai, et Keller le sait – le silicium coûte de l’argent et de l’énergie. Le propos est comparatif. Le temps d’ingénieur est rare, le risque de conception est dangereux, et une unité d’exécution inactive est du pur gaspillage. Face à cela, le transistor marginal est la chose dont vous disposez le plus, et la loi de Moore continue de vous en fournir davantage tous les deux ans. Le geste rigoureux consiste donc à dépenser la ressource abondante pour préserver les rares. Ce simple recadrage – savoir quelle ressource est réellement bon marché – explique pourquoi ses puces tendent à être larges, agressives et avides de débit plutôt qu’astucieuses et étroites.17

Cela explique aussi pourquoi il proclame si fort que la loi de Moore n’est pas morte. Si les transistors étaient sur le point de cesser de devenir moins chers, toute la stratégie s’effondrerait. Keller accomplit donc le travail ingrat de démontrer, chiffres à l’appui, qu’il reste une décennie ou deux de miniaturisation – que la « loi de Moore » n’a jamais été une seule innovation mais une cascade de milliers d’entre elles, chacune avec sa propre courbe de rendement décroissant, dont la somme est une exponentielle.7 Dépenser la ressource bon marché pour éliminer le goulet d’étranglement, et continuer de prouver que la ressource bon marché l’est toujours. Tout le reste n’est que détail.

Contexte

James B. Keller est né vers 1958 et a obtenu une licence en ingénierie électrique de la Pennsylvania State University, diplômé en 1980.1 Ce qui a suivi est l’un des parcours les plus improbables de l’histoire de l’industrie – non pas à cause d’une puce en particulier, mais à cause du nombre de puces marquantes pour leur époque, réparties entre des entreprises qui sont généralement rivales.

Il rejoint Digital Equipment Corporation en 1982 et y reste jusqu’en 1998, travaillant sur le VAX 8800 puis sur la gamme Alpha – le 21164 et le 21264 (EV6) à exécution dans le désordre – qui étaient les microprocesseurs les plus rapides de leur temps.1 En 1998, il passe chez AMD, où il contribue au lancement de l’Athlon (K7) et devient l’architecte principal de la microarchitecture K8. C’est K8 qui a le plus compté : Keller a coécrit le jeu d’instructions x86-64 (AMD64) qui a étendu le x86 à 64 bits, ainsi que l’interconnexion HyperTransport qui reliait plusieurs processeurs entre eux. AMD64 est devenu la norme 64 bits que fait tourner l’ensemble du monde des PC et des serveurs, Intel compris.12

Puis vinrent les pérégrinations. SiByte en 1999 (puces réseau MIPS), rachetée par Broadcom en 2000 où il est architecte en chef jusqu’en 2004 ; P.A. Semi à partir de 2004 comme VP de l’ingénierie, où il conçoit des processeurs mobiles à faible consommation. Apple rachète P.A. Semi en 2008, et Keller dirige la conception des systèmes sur puce A4 et A5 – le silicium à l’intérieur de l’iPhone 4, de l’iPhone 4S, de l’iPad d’origine et de l’iPad 2. Ces puces ont semé le programme de silicium maison d’Apple, la lignée qui a fini par donner Apple Silicon.13 Il revient chez AMD en 2012 pour concevoir l’architecture de Zen, la microarchitecture qui a sorti AMD d’une quasi-insignifiance pour la ramener à une concurrence véritable.1 Puis Tesla à partir de 2016, VP du matériel Autopilot, où lui et Pete Bannon dirigent l’ordinateur Full Self-Driving (FSD) ; puis Intel de 2018 à 2020 comme vice-président senior de l’ingénierie du silicium.12 Depuis la fin de 2020, il est chez Tenstorrent – CTO, puis PDG à partir de 2023 – où il construit des accélérateurs d’IA sur RISC-V.56

Le fil conducteur n’est pas la loyauté envers une entreprise. C’est la loyauté envers une méthode suffisamment transposable pour l’emporter tour à tour chez DEC, AMD, Apple, Tesla et Intel.

Le travail

Le pipelining et « les transistors sont gratuits »

Commençons par l’idée qui sous-tend tout le reste, parce que c’est là que l’instinct de Keller devient arithmétique. Un processeur exécute les instructions par étapes – aller chercher l’instruction, la décoder, lire ses opérandes, faire le calcul, écrire le résultat. La machine naïve fait passer une instruction entièrement par ces étapes avant de commencer la suivante. Le problème, c’est que pendant que l’unité de calcul travaille, le matériel de récupération et de décodage reste inactif ; pendant que le résultat est écrit, presque tout le reste ne fait rien. La majeure partie de votre silicium coûteux est éteinte la plupart du temps.

La solution, c’est le pipelining : découper le travail en étages et les laisser se chevaucher, comme une chaîne de montage. Pendant que l’instruction un est dans l’étage de calcul, l’instruction deux est décodée et l’instruction trois est récupérée. Chaque instruction passe toujours par le même nombre d’étapes, mais la machine en termine désormais une à chaque cycle au lieu d’une toutes les cinq, parce qu’aucun étage n’est jamais inactif. Le hic, c’est que le chevauchement du travail coûte du matériel – des verrous entre les étages, de la logique pour suivre les dépendances, des mécanismes pour gérer les cas où l’instruction deux a besoin d’un résultat que l’instruction un n’a pas encore produit. Vous payez en transistors pour garder les unités occupées.1

Les puces de Keller poussent ce pari à fond. Passer au superscalaire – plusieurs unités d’exécution afin de terminer plus d’une instruction par cycle – et à l’exécution dans le désordre – réordonner les instructions pour qu’une instruction bloquée ne fasse pas obstacle à celles qui sont prêtes – coûte l’une comme l’autre une grande quantité de silicium pour la comptabilité interne. L’Alpha 21264 était une conception agressive à exécution dans le désordre ; les K7 et K8 d’AMD étaient des machines superscalaires larges ; Zen a de nouveau élargi le chemin.1 Dans chaque cas, le raisonnement est le même : les unités d’exécution sont la finalité, les unités inactives sont du gaspillage, et les transistors nécessaires pour les alimenter sont la chose la moins chère du bâtiment. Dépenser du silicium pour supprimer le goulet d’étranglement. Voilà le principe, et le pipeline en est la forme la plus simple possible.

Jim Keller s'exprimant

Le retour d’AMD et la lignée AMD64

Le travail qui a le plus remodelé l’industrie fut K8. Au début des années 2000, l’espace d’adressage 32 bits du x86 arrivait à saturation – les 4 Go de mémoire devenaient un véritable plafond. Deux voies se présentaient. Le pari d’Intel, Itanium, consistait à abandonner le x86 et à construire une nouvelle architecture 64 bits repartant de zéro, rompant la compatibilité avec la montagne de logiciels existants. Le pari d’AMD, dont Keller a dirigé l’architecture, était l’inverse : étendre le x86 à 64 bits tout en le gardant capable de faire tourner à pleine vitesse l’ensemble du code 32 bits existant. C’était x86-64, aussi appelé AMD64.12

Le pari pragmatique l’a emporté de façon décisive. Les logiciels n’avaient pas à être réécrits ; le chemin de mise à niveau était indolore ; les performances sur le code existant ne souffraient pas. AMD64 est devenu la norme, et Intel a fini par adopter les extensions d’AMD plutôt que l’inverse – l’architecture présente dans pratiquement chaque processeur de PC et de serveur aujourd’hui est celle qu’a spécifiée l’équipe de Keller. À ses côtés, HyperTransport a donné aux serveurs Opteron d’AMD un moyen rapide et point à point de relier plusieurs processeurs, s’attaquant au goulet d’étranglement mémoire-et-interconnexion que l’instinct « les transistors sont gratuits » traque toujours.12 Lorsque Keller revient chez AMD en 2012 pour concevoir l’architecture de Zen, il répète le schéma sur une entreprise qui avait failli sortir de la course à la haute performance : un cœur large, propre et modulaire qui a comblé l’écart avec Intel et redonné à AMD une gamme de produits crédible.1 Deux fois il est entré chez AMD et deux fois il en est reparti en y laissant l’architecture qui a défini sa décennie suivante.

Le silicium d’Apple, à partir de zéro

Le chapitre qui projette l’ombre la plus longue est le plus discret. Lorsqu’Apple rachète P.A. Semi en 2008, Keller dirige l’équipe qui conçoit l’A4 – le premier système sur puce maison d’Apple, livré dans l’iPhone 4 et l’iPad d’origine en 2010 – ainsi que son successeur l’A5, dans l’iPhone 4S et l’iPad 2.13 Auparavant, Apple achetait ses processeurs mobiles sur étagère. L’A4 fut le moment où Apple décida de maîtriser son propre silicium, et l’équipe et la discipline que Keller a contribué à instaurer sont devenues le socle du programme qui produit aujourd’hui les puces des séries A et M équipant chaque iPhone, iPad et Mac.

La logique stratégique est le même instinct de débit-et-maîtrise dans un nouveau domaine. La contrainte la plus dure d’un téléphone, c’est la performance par watt : vous ne pouvez pas la forcer brutalement avec un budget énergétique de bureau. Maîtriser la conception de bout en bout – plutôt que d’accepter le composant généraliste d’un fournisseur – vous permet de dépenser vos transistors exactement là où la charge de travail en a besoin et nulle part ailleurs. C’est le principe « les transistors sont gratuits » inversé pour une batterie : non pas « ajouter du silicium librement » mais « placer chaque transistor délibérément, parce que vous maîtrisez l’ensemble de la conception ». La ligne qui va de l’A4 à l’Apple Silicon d’aujourd’hui, et au travail de performance conscient du matériel qu’a rendu célèbre John Carmack, passe en droite ligne par cette décision de 2008.3

Jim Keller

Les premiers principes, et le matériel ouvert de Tenstorrent

La méthode qui relie ces entreprises est le raisonnement à partir des premiers principes – la volonté de jeter les hypothèses héritées et de se demander ce que le problème exige réellement. Keller affirme sans détour que les architectures pourrissent : à peu près tous les cinq ans, soutient-il, vous devriez refaire une conception à partir de zéro plutôt que de rapiécer l’ancienne, parce que la réécriture finit par être à la fois plus rapide et moins compliquée que la version sédimentée qu’elle remplace.7 La discipline consiste à se demander sans cesse ce que vous essayez vraiment de faire, débarrassé des contraintes qui étaient vraies il y a deux nœuds de gravure et ne le sont plus.7

C’est cet instinct qui le pousse à refuser le consensus « la loi de Moore est morte ». Son argument est mécanique, non fondé sur la foi : la densité des transistors est la somme de milliers d’innovations indépendantes, chacune sur sa propre courbe de rendement décroissant, et cette somme reste exponentielle. L’aileron d’un FinFET fait aujourd’hui plus de cent atomes de large ; on pourrait imaginer un transistor de dix atomes de côté, « un million de fois plus petit », avant d’atteindre le plancher. « Donc nous ne sommes pas à court d’atomes », comme il le formule.47 Les pessimistes, selon lui, comptent une seule innovation et passent à côté de la cascade.

Chez Tenstorrent, dont il est le PDG, le pari des premiers principes est institutionnel. L’entreprise construit des accélérateurs d’entraînement et d’inférence d’IA sur RISC-V – le jeu d’instructions ouvert, exempt de frais de licence et de contrôle propriétaire – et entend ouvrir le code de sa pile logicielle et concéder sous licence la propriété intellectuelle de ses cœurs de CPU et d’IA, et pas seulement vendre des puces.56 La conviction publique de Keller est que « dans les 5 à 10 prochaines années, RISC-V va s’emparer de tous les centres de données ».5 Le pari est que le matériel ouvert, comme le logiciel ouvert avant lui, l’emporte par les premiers principes : abaissez les barrières, laissez de nombreux acteurs construire, et l’écosystème ouvert innovera plus vite que le fermé. C’est le même homme qui a fait du x86 la norme et qui parie désormais que la norme devrait être une que personne ne possède.

La méthode

Parcourez l’Alpha, AMD64, Zen, l’A4 et Tenstorrent, et les mêmes gestes reviennent. La méthode de Keller tient moins d’un slogan que d’un ensemble d’engagements permanents.

Dépenser la ressource bon marché pour éliminer le goulet d’étranglement. L’habitude déterminante consiste à repérer quelle ressource est réellement abondante – généralement les transistors – et à la dépenser librement pour supprimer tout ce qui affame le débit. Des pipelines plus larges, davantage d’unités, une interconnexion plus rapide. La leçon générale se transpose : trouvez la ressource dont vous disposez le plus et échangez-la contre celle dont vous disposez le moins, plutôt que de toutes les rationner à parts égales. C’est la qualité est la seule variable à l’échelle du silicium – la correction et le débit sont l’objectif, et le budget de transistors n’est pas la contrainte que vous croyez.7

Tout reconstruire à partir de zéro selon un calendrier. À peu près tous les cinq ans, refaites la conception plutôt que de la rapiécer, parce que les hypothèses héritées se calcifient et que la réécriture en ressort plus simple. Le courage de jeter un travail fonctionnel mais daté est rare et porteur – le même instinct qui permet à Linus Torvalds de jeter un sous-système qui ne convient plus.7

Se demander ce que le problème exige réellement, et non ce que la dernière conception supposait. Le raisonnement à partir des premiers principes consiste à dépouiller les contraintes qui étaient vraies il y a deux nœuds de gravure et ne le sont plus. La discipline est de se demander sans cesse « qu’essayons-nous vraiment de faire » jusqu’à ce que le bagage hérité tombe – la barrière des preuves pointée vers vos propres hypothèses plutôt que vers l’affirmation de quelqu’un d’autre.7

Placer chaque transistor délibérément quand le budget est serré. Le revers de « les transistors sont gratuits », c’est le téléphone : quand le mur, c’est la consommation et non la surface, vous maîtrisez l’ensemble de la conception afin de placer le silicium exactement là où la charge de travail en a besoin. Savoir dans quel régime vous vous trouvez – abondance ou rareté – et concevoir en conséquence, voilà la véritable compétence, et non une règle universelle.3

Parier sur l’ouverture comme premier principe. RISC-V et une pile logicielle ouverte sont un pari : abaisser les barrières permet à davantage de gens de construire, et l’écosystème ouvert innove plus vite que le fermé. C’est le raisonnement du produit minimum digne appliqué à une plateforme entière – livrer la chose ouverte sur laquelle d’autres peuvent construire, plutôt que la chose fermée que vous seul pouvez bâtir.56

Chaîne d’influence

Qui l’a façonné

DEC et la culture Alpha. Keller a appris la conception haute performance chez Digital, sur la gamme Alpha, dans une organisation qui prisait la vitesse brute et l’exécution agressive dans le désordre par-dessus presque tout. La conviction qu’on dépense du silicium pour l’emporter sur le débit s’y est forgée, sur les microprocesseurs les plus rapides de leur époque. (Influence formatrice)

Dirk Meyer et Pete Bannon. Le travail le plus important de Keller est né de partenariats – la co-conception de l’EV6 à exécution dans le désordre de l’Alpha avec Dirk Meyer, puis la direction de l’ordinateur FSD de Tesla aux côtés de Pete Bannon, qui a suivi un chemin parallèle jusqu’au programme de silicium d’Apple. Ces collaborations ne sont pas accessoires ; les puces les plus difficiles sont des sports d’équipe, et les co-architectes récurrents de Keller ont façonné le travail autant qu’il a façonné le leur. (Influence directe)

La loi de Moore elle-même. Toute la stratégie « les transistors sont gratuits » dépend du fait que les transistors continuent de devenir moins chers. La vision du monde de Keller découle de l’observation de Gordon Moore – ce qui explique qu’il la défende avec tant d’ardeur. Si la cascade d’innovations de miniaturisation s’arrête, la méthode doit changer. (Influence formatrice)

Qui il a façonné

Apple Silicon. L’équipe et la discipline de l’A4 et de l’A5 que Keller a contribué à mettre sur pied chez Apple après le rachat de P.A. Semi sont devenues le socle du programme qui produit aujourd’hui chaque puce des séries A et M. Le silicium grand public le plus déterminant de la dernière décennie remonte à une décision à laquelle il fut central.

Les deux retours d’AMD. K8/AMD64 a fait d’AMD un prétendant sur le marché des serveurs et a établi la norme 64 bits que fait tourner le monde ; Zen a ramené AMD dans la course à la haute performance une décennie plus tard. Les deux architectures ont défini la position concurrentielle d’AMD pendant des années après son départ.

Le mouvement RISC-V et du matériel ouvert. En tant que l’un des architectes les plus crédibles de l’industrie à parier publiquement et commercialement sur les jeux d’instructions ouverts, Keller donne du poids à l’argument selon lequel le matériel peut suivre le logiciel sur la voie de l’ouverture. Tenstorrent en est la démonstration.

Le fil conducteur

Keller est l’endroit où le fil de cette série sur le fait de dépenser la bonne ressource rencontre le métal. John Carmack arrachait des performances impossibles à un matériel grand public figé en comprenant la machine jusqu’au cycle près ; Keller travaille la couche en dessous de lui – il conçoit la machine, et sa réponse à un goulet d’étranglement n’est pas seulement de coder pour le contourner mais d’ajouter le silicium qui l’élimine. Bjarne Stroustrup a bâti le C++ sur le principe de l’abstraction sans surcoût, l’idée qu’on ne devrait pas payer pour ce qu’on n’utilise pas ; le « les transistors sont gratuits » de Keller en est le miroir matériel – dépenser sur ce qui garde la machine occupée, ne rien gaspiller sur ce qui reste inactif. Et là où Andrej Karpathy décrit le « Software 2.0 », des programmes compilés à partir de données plutôt qu’écrits à la main, Keller construit le silicium que la nouvelle charge de travail exige – des accélérateurs d’IA sur RISC-V ouvert, conçus à partir des premiers principes pour un problème que l’ancien CPU généraliste n’a jamais été taillé pour résoudre. Carmack dit : maîtrisez le matériel qu’on vous donne ; Stroustrup dit : ne payez pas pour ce que vous n’utilisez pas ; Keller dit : quand le matériel est le goulet d’étranglement, construisez-en un meilleur – et continuez de prouver qu’il reste des atomes à dépenser. (Pont de série)

Ce que j’en retiens

La leçon que je garde de Keller est de découvrir quelle ressource est réellement bon marché, puis de la dépenser sans culpabilité. Il est facile de tout rationner à parts égales – de traiter chaque contrainte comme contraignante et d’optimiser timidement à l’intérieur de toutes à la fois. L’habitude de Keller est de remarquer qu’une ressource est abondante et que les autres sont rares, et d’échanger fermement dans la direction que cette abondance autorise. Les transistors sont bon marché ; les unités inactives et le temps d’ingénieur coûtent cher ; alors on dépense des transistors pour éliminer le goulet d’étranglement. Dans mon propre travail, la ressource abondante est rarement le silicium – c’est souvent le calcul, ou les tokens d’un modèle, ou la capacité de régénérer un brouillon à moindre coût. Le geste est le même: cessez de rationner ce dont vous disposez le plus, et dirigez-le vers ce qui vous bloque réellement.

La seconde leçon, c’est la volonté de tout recommencer selon un calendrier. L’affirmation de Keller selon laquelle vous devriez reconcevoir à partir de zéro tous les quelques années – parce que la réécriture en ressort plus simple que l’original rapiécé – va à l’encontre de tout instinct de protéger un travail déjà accompli. Mais il a raison : les hypothèses se calcifient, des contraintes autrefois vraies cessent discrètement de l’être, et la conception sédimentée porte le poids de toutes. La discipline est de se demander périodiquement ce que le problème exige réellement maintenant, d’un œil neuf, et d’avoir le cran de jeter l’ancienne réponse quand elle ne convient plus. La chose que j’ai construite l’an dernier a été construite pour les contraintes de l’an dernier. La carrière de Keller est un long plaidoyer en faveur de l’idée que le geste courageux – celui qui l’emporte réellement – est de la reconstruire à partir des premiers principes.

FAQ

Quelle est la philosophie d’ingénierie de Jim Keller ?

Dépenser la ressource bon marché pour supprimer le goulet d’étranglement. Keller traite les transistors comme abondants – « les transistors sont gratuits » – et le temps d’ingénieur, le risque de conception et le matériel inactif comme les choses coûteuses, si bien que ses puces dépensent librement du silicium en pipelines plus larges, davantage d’unités d’exécution et une interconnexion plus rapide pour maintenir un débit élevé.17 En dessous se trouve le raisonnement à partir des premiers principes : à peu près tous les cinq ans, reconcevoir à partir de zéro plutôt que rapiécer, parce que les hypothèses héritées se calcifient et que la réécriture en ressort plus simple.7

Quelles puces Jim Keller a-t-il conçues ?

Une gamme remarquable répartie entre des entreprises rivales : les processeurs Alpha de DEC (dont le 21264 à exécution dans le désordre) ; les Athlon (K7) et K8 d’AMD, où il a coécrit le jeu d’instructions x86-64/AMD64 et l’interconnexion HyperTransport ; les systèmes sur puce Apple A4 et A5 derrière l’iPhone 4 et l’iPad d’origine ; l’architecture Zen d’AMD à son retour en 2012 ; et l’ordinateur Full Self-Driving de Tesla. Il a également exercé comme vice-président senior du silicium chez Intel de 2018 à 2020.123

Pourquoi Jim Keller affirme-t-il que la loi de Moore n’est pas morte ?

Parce que, selon lui, la densité des transistors n’est pas une seule innovation mais la somme de milliers d’innovations indépendantes, chacune sur sa propre courbe de rendement décroissant, dont la somme est une exponentielle – et que cette somme a encore une décennie ou deux devant elle.7 Il souligne que les fonderies et les technologues ont publié des feuilles de route de dix ans, que l’aileron d’un FinFET moderne fait encore plus de cent atomes de large, et qu’on pourrait imaginer un transistor de dix atomes de côté – un million de fois plus petit. « Donc nous ne sommes pas à court d’atomes. »47

Qu’est-ce que Tenstorrent et qu’y fait Jim Keller ?

Tenstorrent est une entreprise de puces d’IA où Keller est PDG depuis 2023 (CTO auparavant). Elle construit des accélérateurs d’entraînement et d’inférence d’IA sur le jeu d’instructions ouvert RISC-V, entend ouvrir le code de sa pile logicielle, et concède sous licence la propriété intellectuelle de ses cœurs de CPU et d’IA en plus de vendre des puces.56 Le pari de Keller est que le matériel ouvert suivra le chemin du logiciel ouvert vers la domination – il a déclaré croire que « dans les 5 à 10 prochaines années, RISC-V va s’emparer de tous les centres de données ».5


Sources


  1. « Jim Keller (engineer), » Wikipedia. Né vers 1958 ; licence en ingénierie électrique de la Pennsylvania State University (1980). Carrière : DEC (1982-1998), travaillant sur le VAX 8800 et sur l’Alpha 21164 et le 21264 à exécution dans le désordre ; AMD (1998), lançant l’Athlon (K7) et servant comme architecte principal de la microarchitecture K8, dont la coécriture du jeu d’instructions x86-64 et de l’interconnexion HyperTransport ; SiByte (1999) et Broadcom comme architecte en chef après son rachat en novembre 2000 (jusqu’en 2004) ; P.A. Semi à partir de 2004 comme VP de l’ingénierie ; Apple à partir de 2008 après son rachat de P.A. Semi, concevant les SoC A4 et A5 utilisés dans l’iPhone 4, le 4S, l’iPad et l’iPad 2 ; AMD de nouveau (2012-2015), dirigeant le développement des microarchitectures Zen et K12 ; Tesla (2016-2018) comme VP de l’ingénierie du matériel Autopilot ; Intel (2018-2020) comme vice-président senior ; et Tenstorrent à partir de décembre 2020 (CTO, puis PDG à partir de janvier 2023). 

  2. « Jim Keller (engineer), » Wikipedia, corroboré par « Who is Jim Keller and what’s he doing at Tenstorrent ?, » Electronic Specifier. Keller fut l’architecte principal du K8 d’AMD et coécrivit l’extension 64 bits x86-64 (AMD64) du x86 ainsi que l’interconnexion HyperTransport utilisée pour la communication multiprocesseur ; AMD64 est devenu la norme 64 bits ensuite adoptée dans toute l’industrie du PC et des serveurs. Le même profil résume son travail comme architecte derrière les A4/A5 d’Apple, AMD Zen, la puce de conduite autonome de Tesla et la stratégie silicium d’Intel. 

  3. « Tesla Autopilot hardware, » Wikipedia, et « FSD Chip – Tesla, » WikiChip. La conception de l’ordinateur Full Self-Driving (FSD) de Tesla, anciennement Autopilot Hardware 3.0, a débuté en 2016 avec une équipe dirigée par Jim Keller et Pete Bannon ; la puce est entrée en production fin 2018 / début 2019, fabriquée sur le procédé 14 nm de Samsung. Le rôle de conception des A4/A5 d’Apple à la suite du rachat de P.A. Semi est documenté dans le profil Wikipedia de Jim Keller cité en 1

  4. « Moore’s Law is Not Dead, » colloque de l’EECS à UC Berkeley (Jim Keller, 18 septembre 2019), tel que rapporté dans « Moore’s law is far from death, according to Intel’s Jim Keller, » TweakTown, et « I’m Not Dead Yet ; Keller Channels Moore, » PC Perspective. Keller : « Alors que le monde croit la loi de Moore morte, les fonderies et les technologues pensent le contraire, et tout le monde a maintenant annoncé une feuille de route de dix ans pour la loi de Moore. » Sur l’échelle atomique, il note que l’aileron d’un FinFET fait encore plus de cent atomes de large et qu’on pourrait imaginer un transistor d’environ dix atomes de côté – à peu près un million de fois plus petit – de sorte que « nous ne sommes pas à court d’atomes ». 

  5. « Jim Keller on AI, RISC-V, Tenstorrent’s Move to Edge IP, » EE Times. Keller, PDG de Tenstorrent, à propos de RISC-V : « Ma conviction, c’est que dans les 5 à 10 prochaines années, RISC-V va s’emparer de tous les centres de données », en particulier pour le calcul scientifique et le HPC ; Tenstorrent construit des accélérateurs d’entraînement et d’inférence d’IA sur l’architecture ouverte RISC-V et est un fervent partisan du matériel et du logiciel open source, entendant ouvrir le code de sa propre pile logicielle d’IA et concéder sous licence la propriété intellectuelle de ses cœurs de CPU et d’IA. 

  6. « About Tenstorrent, » Tenstorrent, et « Jim Keller (engineer), » Wikipedia. Tenstorrent construit des accélérateurs d’IA et des CPU sur le jeu d’instructions ouvert RISC-V, avec une pile logicielle open source (dont Metalium, TT-NN et l’outillage associé) et un modèle de licence de propriété intellectuelle aux côtés de ses propres produits ; Keller l’a rejointe comme CTO en décembre 2020 et en est devenu PDG en janvier 2023. 

  7. « Jim Keller : Moore’s Law, Microprocessors, Abstractions, and First Principles, » Lex Fridman Podcast #70 (février 2020), transcription via Happy Scribe. Keller soutient que la loi de Moore est portée par « littéralement des milliers d’innovations », chacune avec « ses propres courbes de rendement décroissant », dont la somme est une exponentielle ; que « les 10 ou 20 prochaines années de miniaturisation vont se produire » ; qu’un transistor moderne fait à peu près une centaine d’atomes et plus de large et pourrait rétrécir vers dix-par-dix-par-dix atomes ; que l’informatique possède des couches d’abstraction bien comprises « de l’atome au centre de données » ; et qu’une bonne architecture signifie reconcevoir périodiquement « à partir de zéro » plutôt que rapiécer, parce que la réécriture en ressort à la fois plus rapide et moins compliquée – l’habitude des premiers principes consistant à se demander ce que l’on essaie vraiment de faire, sans hypothèses héritées. 

Articles connexes

Philosophie de l'ingénierie : Sophie Wilson

Sophie Wilson a conçu le jeu d'instructions ARM — présent aujourd'hui dans presque chaque téléphone de la planète — avec…

21 min de lecture

Philosophie de l'ingénierie : Roberto Ierusalimschy

Roberto Ierusalimschy a conçu Lua autour d'un seul principe — des mécanismes, pas des règles imposées — un langage petit…

24 min de lecture

The Shader Gallery That Lied: Debugging 216 WebGL Presets

A user said the shader playground looked broken. Pixel-readback testing found 30 dead presets, 11 that never compiled, a…

11 min de lecture