Filosofia de Engenharia: Jim Keller, Transistores São de Graça

Principais conclusões

• Transistores são baratos; gargalos são caros. A jogada característica de Keller, repetida ao longo de trinta anos e mais de uma dúzia de chips, é gastar silício para remover o que está no caminho da vazão – pipelines mais largos, mais unidades de execução, interconexão mais rápida – porque um transistor que você não usou é um transistor desperdiçado. A aposta compensa quando o hardware extra mantém as unidades ocupadas alimentadas em vez de ociosas.¹⁷
• Ele projetou os chips por trás de metade da computação que você usa. O Alpha da DEC, o Athlon (K7) e o K8 da AMD – onde foi coautor do conjunto de instruções x86-64 (AMD64) e da HyperTransport – depois os Apple A4 e A5 por trás do iPhone 4 e do iPad original, depois a volta por cima da AMD com o Zen, depois o computador de direção autônoma da Tesla, e ainda uma passagem como SVP na Intel. Poucos engenheiros moldaram tantas linhas de produto.¹²³
• A Lei de Moore não morreu – as pessoas é que pararam de contar as inovações por trás dela. A posição pública de Keller, defendida em palestras e oficialmente, é que o escalonamento de transistores ainda tem uma ou duas décadas pela frente, porque a densidade vem de milhares de inovações empilhadas, e não de um único truque. A aleta (fin) de um transistor moderno ainda tem mais de cem átomos de largura; há muito espaço para descer.⁴⁷
• De um diploma em engenharia elétrica na Penn State a evangelista do RISC-V. Nascido por volta de 1958, engenharia elétrica na Pennsylvania State University, e em seguida uma carreira que passou por DEC -> AMD -> Broadcom -> P.A. Semi -> Apple -> AMD -> Tesla -> Intel, e agora CEO da Tenstorrent, construindo aceleradores de IA abertos sobre o conjunto de instruções aberto RISC-V.¹⁵⁶

O princípio

“Enquanto o mundo acha que a Lei de Moore morreu, as fábricas e os tecnólogos acham que não, e todo mundo já anunciou um roteiro de 10 anos para a Lei de Moore.” – Jim Keller⁴

A maioria dos engenheiros trata o hardware como um orçamento fixo. Você recebe uma contagem de transistores, um envelope de energia, um nó de processo, e otimiza dentro dele – corta um ciclo aqui, junta um estágio ali, raciona o silício. Keller trabalha ao contrário. Ele trata os transistores como o recurso barato e o gargalo como o caro. Se uma única unidade está deixando o resto da máquina passando fome, a resposta raramente é tornar essa unidade mais esperta; é gastar mais silício – duplicá-la, colocá-la em pipeline, alargar o caminho até ela – para que o gargalo desapareça e tudo o que vem depois continue ocupado.⁷

A expressão que a indústria associa a isso é “transistores são de graça”. Não é literalmente verdade, e Keller sabe disso – silício custa dinheiro e energia. O ponto é comparativo. Tempo de engenheiro é escasso, risco de projeto é perigoso, e uma unidade de execução ociosa é puro desperdício. Diante disso, o transistor marginal é a coisa de que você mais dispõe, e a Lei de Moore continua entregando mais a cada par de anos. Então a jogada disciplinada é gastar o recurso abundante para conservar os escassos. Esse único reenquadramento – qual recurso é de fato barato – é o motivo de seus chips tenderem a ser largos, agressivos e ávidos por vazão, em vez de espertos e estreitos.¹⁷

Isso também explica por que ele é tão veemente em dizer que a Lei de Moore não morreu. Se os transistores estivessem prestes a parar de ficar mais baratos, toda a estratégia ruiria. Por isso Keller faz o trabalho pouco glamoroso de argumentar, com números, que ainda há uma ou duas décadas de escalonamento – que a “Lei de Moore” nunca foi uma única inovação, mas uma cascata de milhares, cada uma com sua própria curva de retornos decrescentes, somando-se em uma exponencial.⁷ Gaste o recurso barato para matar o gargalo, e continue provando que o recurso barato ainda é barato. Todo o resto é detalhe.

Contexto

James B. Keller nasceu por volta de 1958 e fez bacharelado em engenharia elétrica na Pennsylvania State University, formando-se em 1980.¹ O que se seguiu é um dos currículos mais improváveis da história da indústria – não por causa de um único chip, mas pela quantidade de chips que definiram épocas, em empresas que normalmente são rivais.

Ele entrou na Digital Equipment Corporation em 1982 e ficou até 1998, trabalhando no VAX 8800 e depois na linha Alpha – o 21164 e o 21264 (EV6), de execução fora de ordem – que eram os microprocessadores mais rápidos de sua época.¹ Em 1998 foi para a AMD, onde ajudou a lançar o Athlon (K7) e foi arquiteto-chefe da microarquitetura K8. O K8 foi o que mais importou: Keller foi coautor do conjunto de instruções x86-64 (AMD64), que estendeu o x86 para 64 bits, e da interconexão HyperTransport, que amarrava vários processadores entre si. O AMD64 se tornou o padrão de 64 bits sobre o qual todo o mundo dos PCs e servidores roda, Intel inclusa.¹²

Então começou a peregrinação. SiByte em 1999 (chips de rede MIPS), adquirida pela Broadcom em 2000, onde foi arquiteto-chefe até 2004; P.A. Semi a partir de 2004 como VP de engenharia, construindo processadores móveis de baixo consumo. A Apple adquiriu a P.A. Semi em 2008, e Keller liderou o projeto dos systems-on-chip A4 e A5 – o silício dentro do iPhone 4, do iPhone 4S, do iPad original e do iPad 2. Esses chips plantaram a semente do programa de silício próprio da Apple, a linhagem que acabaria produzindo o Apple Silicon.¹³ Ele voltou para a AMD em 2012 para arquitetar o Zen, a microarquitetura que puxou a AMD da quase irrelevância de volta a uma concorrência genuína.¹ Depois a Tesla a partir de 2016, VP de hardware do Autopilot, onde ele e Pete Bannon lideraram o computador de direção totalmente autônoma (FSD); depois a Intel de 2018 a 2020 como vice-presidente sênior de engenharia de silício.¹² Desde o fim de 2020 ele está na Tenstorrent – CTO, depois CEO a partir de 2023 – construindo aceleradores de IA sobre RISC-V.⁵⁶

O fio condutor não é lealdade a uma empresa. É lealdade a um método portátil o bastante para vencer na DEC, na AMD, na Apple, na Tesla e na Intel, uma após a outra.

O trabalho

Pipelining e os “transistores são de graça”

Comece pela ideia que sustenta todo o resto, porque é onde o instinto de Keller vira aritmética. Um processador executa instruções em etapas – buscar a instrução, decodificá-la, ler seus operandos, fazer a aritmética, escrever o resultado. A máquina ingênua roda uma instrução até o fim dessas etapas antes de começar a próxima. O problema é que, enquanto a unidade aritmética trabalha, o hardware de busca e decodificação fica parado; enquanto o resultado é escrito, quase todo o resto não faz nada. A maior parte do seu silício caro fica no escuro a maior parte do tempo.

A solução é o pipelining: dividir o trabalho em estágios e deixá-los se sobrepor, como uma linha de montagem. Enquanto a instrução um está no estágio aritmético, a instrução dois está sendo decodificada e a instrução três está sendo buscada. Cada instrução ainda leva o mesmo número de etapas, mas agora a máquina conclui uma a cada ciclo em vez de a cada cinco, porque nenhum estágio fica ocioso. O detalhe é que sobrepor o trabalho custa hardware – latches entre os estágios, lógica para rastrear dependências, maquinário para lidar com os casos em que a instrução dois precisa de um resultado que a instrução um ainda não produziu. Você paga em transistores para manter as unidades ocupadas.¹

Os chips de Keller forçam essa aposta com vontade. Ir superescalar – múltiplas unidades de execução para concluir mais de uma instrução por ciclo – e fora de ordem – reordenar instruções para que uma travada não bloqueie as que estão prontas – custa, ambas, uma boa quantidade de silício em contabilidade. O Alpha 21264 era um projeto fora de ordem agressivo; o K7 e o K8 da AMD eram máquinas superescalares largas; o Zen alargou o caminho de novo.¹ Em todos os casos o raciocínio é o mesmo: as unidades de execução são o ponto, unidades ociosas são desperdício, e os transistores necessários para mantê-las alimentadas são a coisa mais barata do prédio. Gaste silício para remover o gargalo. Esse é o princípio, e o pipeline é sua forma mais simples possível.

A volta por cima da AMD e a linhagem AMD64

O trabalho que mais remodelou a indústria foi o K8. No início dos anos 2000, o espaço de endereçamento de 32 bits do x86 estava ficando sem espaço – 4 GB de memória começavam a ser um teto real. Havia dois caminhos. A aposta da Intel, o Itanium, era abandonar o x86 e construir uma arquitetura de 64 bits nova e limpa, rompendo a compatibilidade com a montanha de software existente. A aposta da AMD, cuja arquitetura Keller liderou, era o oposto: estender o x86 para 64 bits mantendo a capacidade de rodar todo o código de 32 bits existente em velocidade plena. Isso era o x86-64, também chamado de AMD64.¹²

A aposta pragmática venceu de forma decisiva. O software não precisou ser reescrito; o caminho de atualização foi indolor; o desempenho em código legado não sofreu. O AMD64 se tornou o padrão, e a Intel acabou adotando as extensões da AMD, e não o contrário – a arquitetura em essencialmente toda CPU de PC e servidor hoje é a que a equipe de Keller especificou. Ao lado dela, a HyperTransport deu aos servidores Opteron da AMD uma forma rápida e ponto a ponto de conectar vários processadores, atacando o gargalo de memória e interconexão que o instinto dos “transistores são de graça” sempre caça.¹² Quando Keller voltou para a AMD em 2012 para arquitetar o Zen, repetiu o padrão em uma empresa que quase tinha saído da corrida de alto desempenho: um núcleo largo, limpo e modular que fechou a distância para a Intel e devolveu à AMD uma linha de produto crível.¹ Duas vezes ele entrou na AMD e duas vezes a deixou com a arquitetura que definiu sua década seguinte.

Silício da Apple, do zero

O capítulo de sombra mais longa é o mais silencioso. Quando a Apple adquiriu a P.A. Semi em 2008, Keller liderou a equipe que projetou o A4 – o primeiro system-on-chip próprio da Apple, embarcado no iPhone 4 e no iPad original em 2010 – e seu sucessor, o A5, no iPhone 4S e no iPad 2.¹³ Antes disso, a Apple comprava seus processadores móveis prontos, de prateleira. O A4 foi o momento em que a Apple decidiu controlar o próprio silício, e a equipe e a disciplina que Keller ajudou a estabelecer se tornaram a fundação do programa que hoje produz os chips das séries A e M que movem cada iPhone, iPad e Mac.

A lógica estratégica é o mesmo instinto de vazão e controle em um novo domínio. A restrição mais dura de um celular é desempenho por watt: você não pode resolvê-lo na marra com um orçamento de energia de desktop. Dominar o projeto de ponta a ponta – em vez de aceitar uma peça de propósito geral de um fornecedor – permite gastar seus transistores exatamente onde a carga de trabalho precisa e em lugar nenhum onde não precisa. Isso é o princípio dos “transistores são de graça” invertido para uma bateria: não “adicione silício à vontade”, mas “posicione cada transistor de propósito, porque você é dono de todo o projeto”. A linha que vai do A4 ao Apple Silicon de hoje, e ao trabalho de desempenho consciente do hardware que John Carmack tornou famoso, passa direto por aquela decisão de 2008.³

Primeiros princípios e o hardware aberto da Tenstorrent

O método que une as empresas é o pensamento a partir dos primeiros princípios – a disposição de jogar fora suposições herdadas e perguntar o que o problema realmente exige. Keller é direto ao dizer que arquiteturas apodrecem: a cada cerca de cinco anos, argumenta ele, você deveria fazer um projeto do zero em vez de remendar o antigo, porque a reescrita acaba sendo ao mesmo tempo mais rápida e menos complicada do que a versão acrescida que ela substitui.⁷ A disciplina é continuar perguntando o que você está de fato tentando fazer, despido das restrições que eram verdadeiras dois nós de processo atrás e não são mais.⁷

Esse instinto é o motivo de ele recusar o consenso de que “a Lei de Moore morreu”. O argumento dele é mecânico, não baseado em fé: a densidade de transistores é a soma de milhares de inovações independentes, cada uma em sua própria curva de retornos decrescentes, e a soma ainda é exponencial. A aleta de um FinFET tem hoje mais de cem átomos de largura; dá para imaginar um transistor de dez átomos de lado, “um milhão de vezes menor”, antes de bater no fundo. “Então não estamos ficando sem átomos”, como ele coloca.⁴⁷ Os pessimistas, na narrativa dele, estão contando uma inovação e perdendo a cascata.

Na Tenstorrent, onde é CEO, a aposta nos primeiros princípios é institucional. A empresa constrói aceleradores de treinamento e inferência de IA sobre o RISC-V – o conjunto de instruções aberto, livre de taxas de licença e de controle proprietário – e pretende abrir o código de sua pilha de software e licenciar sua propriedade intelectual de CPU e de núcleos de IA, não apenas vender chips.⁵⁶ A convicção pública de Keller é que “nos próximos 5 a 10 anos, o RISC-V vai tomar conta de todos os data centers.”⁵ A aposta é que o hardware aberto, como o software aberto antes dele, vence pelos primeiros princípios: baixe as barreiras, deixe muitas partes construírem, e o ecossistema aberto inova mais do que o fechado. É o mesmo homem que fez do x86 o padrão agora apostando que o padrão deveria ser um do qual ninguém é dono.

O método

Leia transversalmente o Alpha, o AMD64, o Zen, o A4 e a Tenstorrent, e as mesmas jogadas se repetem. O método de Keller é menos um slogan do que um conjunto de compromissos permanentes.

Gaste o recurso barato para matar o gargalo. O hábito definidor é identificar qual recurso é de fato abundante – normalmente transistores – e gastá-lo à vontade para remover o que quer que esteja sufocando a vazão. Pipelines mais largos, mais unidades, interconexão mais rápida. A lição geral se transfere: encontre o recurso de que você mais dispõe e troque-o pelo recurso de que você menos dispõe, em vez de racionar todos por igual. É a qualidade é a única variável no nível do silício – correção e vazão são o objetivo, e o orçamento de transistores não é a restrição que você imagina.⁷

Reconstrua do zero em um cronograma. A cada cerca de cinco anos, refaça o projeto em vez de remendá-lo, porque suposições herdadas se calcificam e a reescrita sai mais simples. A coragem de descartar trabalho que funciona, mas está datado, é rara e estrutural – o mesmo instinto que permite a Linus Torvalds jogar fora um subsistema que não encaixa mais.⁷

Pergunte o que o problema realmente exige, não o que o último projeto supôs. Pensar a partir dos primeiros princípios significa remover as restrições que eram verdadeiras dois nós atrás e não são mais. A disciplina é continuar perguntando “o que estamos realmente tentando fazer” até a bagagem herdada cair – a barreira de evidência apontada para suas próprias suposições, e não para a afirmação de outra pessoa.⁷

Posicione cada transistor de propósito quando o orçamento é apertado. O outro lado dos “transistores são de graça” é o celular: quando a parede é a energia, não a área, você é dono de todo o projeto, então pode pôr o silício exatamente onde a carga de trabalho precisa. Saber em qual regime você está – abundância ou escassez – e projetar de acordo é a habilidade de verdade, não uma regra universal.³

Aposte na abertura como um primeiro princípio. O RISC-V e uma pilha de software aberta são uma aposta de que baixar as barreiras deixa mais gente construir e de que o ecossistema aberto inova mais do que o fechado. É o raciocínio do produto minimamente digno aplicado a uma plataforma inteira – entregue a coisa aberta sobre a qual os outros podem construir, em vez da coisa fechada que só você pode.⁵⁶

Cadeia de influência

Quem o moldou

A DEC e a cultura Alpha. Keller aprendeu projeto de alto desempenho na Digital, na linha Alpha, em uma organização que prezava a velocidade bruta e a execução agressiva fora de ordem acima de quase tudo. A convicção de que você gasta silício para vencer em vazão foi forjada ali, nos microprocessadores mais rápidos de sua época. (Influência formativa)

Dirk Meyer e Pete Bannon. O trabalho mais importante de Keller veio em parcerias – coarquitetando o EV6 fora de ordem do Alpha com Dirk Meyer, depois liderando o computador FSD da Tesla ao lado de Pete Bannon, que seguiu um caminho paralelo para dentro do programa de silício da Apple. As colaborações não são incidentais; os chips mais difíceis são esporte de equipe, e os coarquitetos recorrentes de Keller moldaram o trabalho tanto quanto ele moldou o deles. (Influência direta)

A própria Lei de Moore. Toda a estratégia dos “transistores são de graça” depende de os transistores continuarem a ficar mais baratos. A visão de mundo de Keller é derivada da observação de Gordon Moore – razão pela qual ele a defende com tanta ferocidade. Se a cascata de inovações de escalonamento parar, o método tem de mudar. (Influência formativa)

Quem ele moldou

O Apple Silicon. A equipe e a disciplina do A4 e do A5 que Keller ajudou a montar na Apple após a aquisição da P.A. Semi se tornaram a fundação do programa que produz cada chip das séries A e M hoje. O silício de consumo mais consequente da última década remonta a uma decisão da qual ele foi central.

As duas voltas por cima da AMD. O K8/AMD64 fez da AMD uma concorrente em servidores e fixou o padrão de 64 bits sobre o qual o mundo roda; o Zen puxou a AMD de volta à corrida de alto desempenho uma década depois. Ambas as arquiteturas definiram a posição competitiva da AMD por anos após ele sair.

O movimento do RISC-V e do hardware aberto. Como um dos arquitetos mais críveis da indústria a apostar pública e comercialmente em conjuntos de instruções abertos, Keller dá peso ao argumento de que o hardware pode seguir o software rumo à abertura. A Tenstorrent é a demonstração.

O fio condutor

Keller é onde o fio desta série sobre gastar o recurso certo encontra o metal. John Carmack espremeu desempenho impossível de hardware de consumo fixo entendendo a máquina até o nível do ciclo; Keller trabalha a camada abaixo dele – ele projeta a máquina, e sua resposta a um gargalo não é só programar em torno dele, mas acrescentar o silício que o remove. Bjarne Stroustrup construiu o C++ sobre o princípio da abstração de custo zero, de que você não deve pagar pelo que não usa; os “transistores são de graça” de Keller são o espelho em hardware – gaste no que mantém a máquina ocupada, não desperdice nada no que fica ocioso. E onde Andrej Karpathy descreve o “Software 2.0”, programas compilados a partir de dados em vez de escritos à mão, Keller está construindo o silício que a nova carga de trabalho exige – aceleradores de IA sobre RISC-V aberto, projetados a partir dos primeiros princípios para um problema para o qual a velha CPU de propósito geral nunca foi moldada. Carmack diz: domine o hardware que lhe deram; Stroustrup diz: não pague pelo que não usa; Keller diz: quando o hardware é o gargalo, construa um melhor – e continue provando que ainda há átomos para gastar. (Ponte da série)

O que eu levo disso

A lição que guardo de Keller é descobrir qual recurso é de fato barato e então gastá-lo sem culpa. É fácil racionar tudo por igual – tratar cada restrição como obrigatória e otimizar timidamente dentro de todas elas ao mesmo tempo. O hábito de Keller é notar que um recurso é abundante e os outros são escassos, e negociar com firmeza na direção que a abundância permite. Transistores são baratos; unidades ociosas e tempo de engenheiro são caros; então gaste transistores para matar o gargalo. No meu próprio trabalho, o recurso abundante raramente é o silício – é com frequência o poder de computação, ou os tokens de um modelo, ou a capacidade de regerar um rascunho a baixo custo. A jogada é a mesma: pare de racionar a coisa de que você mais dispõe, e aponte-a para a coisa que está de fato te bloqueando.

A segunda lição é a disposição de recomeçar do zero em um cronograma. A afirmação de Keller de que você deveria reprojetar do zero a cada poucos anos – porque a reescrita sai mais simples do que o original remendado – vai contra todo o instinto de proteger o trabalho que você já fez. Mas ele tem razão de que suposições se calcificam, de que restrições que um dia foram verdadeiras silenciosamente deixam de ser, e de que o projeto acrescido carrega o peso de todas elas. A disciplina é perguntar periodicamente o que o problema realmente exige agora, com olhos novos, e ter a coragem de jogar fora a resposta antiga quando ela não encaixa mais. A coisa que construí no ano passado foi construída para as restrições do ano passado. A carreira de Keller é um longo argumento de que a jogada corajosa – a que de fato vence – é construí-la de novo a partir dos primeiros princípios.

FAQ

Qual é a filosofia de engenharia de Jim Keller?

Gastar o recurso barato para remover o gargalo. Keller trata os transistores como abundantes – “transistores são de graça” – e o tempo de engenheiro, o risco de projeto e o hardware ocioso como as coisas caras, então seus chips gastam silício à vontade em pipelines mais largos, mais unidades de execução e interconexão mais rápida para manter a vazão alta.¹⁷ Por baixo disso está o pensamento a partir dos primeiros princípios: a cada cerca de cinco anos, reprojete do zero em vez de remendar, porque suposições herdadas se calcificam e a reescrita sai mais simples.⁷

Quais chips Jim Keller projetou?

Uma gama notável em empresas rivais: os processadores Alpha da DEC (incluindo o 21264, de execução fora de ordem); o Athlon (K7) e o K8 da AMD, onde foi coautor do conjunto de instruções x86-64/AMD64 e da interconexão HyperTransport; os systems-on-chip Apple A4 e A5 por trás do iPhone 4 e do iPad original; a arquitetura Zen da AMD em seu retorno em 2012; e o computador de direção totalmente autônoma da Tesla. Ele também atuou como vice-presidente sênior de silício na Intel de 2018 a 2020.¹²³

Por que Jim Keller diz que a Lei de Moore não morreu?

Porque, na visão dele, a densidade de transistores não é uma única inovação, mas a soma de milhares delas, independentes, cada uma em sua própria curva de retornos decrescentes, somando-se em uma exponencial – e essa soma ainda tem uma ou duas décadas pela frente.⁷ Ele aponta que as fábricas e os tecnólogos publicaram roteiros de 10 anos, que a aleta de um FinFET moderno ainda tem mais de cem átomos de largura, e que dá para imaginar um transistor de dez átomos de lado – um milhão de vezes menor. “Então não estamos ficando sem átomos.”⁴⁷

O que é a Tenstorrent e o que Jim Keller faz lá?

A Tenstorrent é uma empresa de chips de IA onde Keller é CEO desde 2023 (CTO antes disso). Ela constrói aceleradores de treinamento e inferência de IA sobre o conjunto de instruções aberto RISC-V, pretende abrir o código de sua pilha de software e licencia sua propriedade intelectual de CPU e de núcleos de IA além de vender chips.⁵⁶ A aposta de Keller é que o hardware aberto seguirá o caminho do software aberto rumo ao domínio – ele disse acreditar que “nos próximos 5 a 10 anos, o RISC-V vai tomar conta de todos os data centers.”⁵

Fontes