Filosofia de engenharia: Geoffrey Hinton, convicção acima da moda

Principais conclusões

• Convicção acima da moda. Hinton apostou a carreira inteira no conexionismo – aprender a partir de dados em redes parecidas com o cérebro – ao longo de dois invernos da IA, quando a IA simbólica era o consenso e as redes neurais eram descartadas como um beco sem saída. Ele estava certo porque se recusou a seguir a área.
• O cérebro é a prova de existência. Seu argumento nunca foi um teorema. Era biológico: uma rede de unidades simples obviamente aprende inteligência, porque uma delas está lendo esta frase agora. A intuição e a plausibilidade o levaram até onde o formalismo ainda não existia.
• Ele é honesto quanto à autoria. O artigo de 1986 sobre backpropagation tornou a ideia prática e famosa, mas Hinton foi coautor e credita a David Rumelhart a ideia central; a matemática por trás é anterior aos dois. Ele popularizou o backprop – não o inventou sozinho.
• A aposta deu certo e, depois, o assustou. A AlexNet (2012) encerrou os invernos; vieram um Prêmio Turing (2018) e um Prêmio Nobel de Física (2024). Em 2023 ele deixou o Google para alertar que aquilo sobre o qual estivera certo pode ser perigoso.

O princípio

“Eu me consolo com a desculpa de sempre: se eu não tivesse feito, alguém faria.” – Geoffrey Hinton, sobre o trabalho de sua vida, 2023¹

Essa frase é sobre arrependimento, mas revela o princípio que sustenta toda a carreira: Hinton acreditava que o resultado era inevitável – que máquinas de aprendizado parecidas com o cérebro não eram uma opção entre muitas, mas a forma como a inteligência de fato se constrói, e que alguém, mais cedo ou mais tarde, iria prová-lo. Por quase quarenta anos, quase ninguém concordou. A área tinha decidido que a inteligência seria projetada como se projeta um compilador: símbolos explícitos, regras escritas à mão, lógica até a raiz. As redes neurais – malhas frouxas de unidades simples que aprendem ajustando a força das conexões – eram tratadas como uma curiosidade desacreditada dos anos 1960. O financiamento secou. Duas vezes.

Mesmo assim, Hinton apostou contra o consenso, e o fez por uma razão fora de moda: confiava mais na biologia do que na matemática. O argumento nunca foi um teorema limpo. Era uma prova de existência que você está rodando neste exato momento. O cérebro é uma rede de unidades simples, lentas e ruidosas, e ele aprende a ver, falar e raciocinar sem que ninguém escreva as regras. Logo, uma rede suficientemente grande de unidades artificiais, treinada com dados suficientes, deveria ser capaz de fazer o mesmo – não porque a matemática garantisse, mas porque o único exemplo funcional de inteligência que temos é construído exatamente assim. Isso é convicção acima da moda: sustentar uma posição ao longo de dois invernos porque você acredita na biologia, e não porque o formalismo ou o financiamento ainda lhe dão razão.

A disciplina que isso exige é rara e desconfortável. Significa tolerar parecer errado por décadas. Significa preferir uma intuição que você ainda não consegue provar à prova de algo que você suspeita ser irrelevante. E significa que, quando a aposta finalmente dá certo – quando a abordagem fora de moda se revela o jogo inteiro –, você ganhou o direito de dizer a coisa mais difícil de todas, o que Hinton fez em 2023: que você talvez tenha estado certo demais, e que aquilo pelo qual lutou talvez precise ser temido.

Contexto

Geoffrey Everest Hinton nasceu em 6 de dezembro de 1947, em Londres.² Os nomes não são acidentais. Ele é tataraneto de George Boole – o lógico cuja álgebra booleana é a base de todo circuito digital – e de Mary Everest Boole, educadora matemática; “Everest” vem da mesma família que deu nome à montanha.² Um homem descendente do inventor da lógica simbólica passou a vida argumentando que a inteligência não é lógica simbólica. A ironia é exata, e ele mesmo já a apontou.

Em 1970, ele se formou em psicologia experimental pelo King’s College, em Cambridge – psicologia, não ciência da computação, o que importa: ele chegou às máquinas pelo estudo de como as mentes realmente funcionam.² Depois fez um doutorado em inteligência artificial na Universidade de Edimburgo, concluído em 1978, sob a orientação de Christopher Longuet-Higgins.² Isso já era um ato silencioso de rebeldia. O próprio Longuet-Higgins havia se afastado das ideias de redes neurais em direção à IA simbólica, que era a ortodoxia em ascensão; Hinton se enterrou no lado conexionista e ali permaneceu.

O que veio depois foram os invernos da IA – períodos nos anos 1970 e, de novo, no fim dos anos 1980 e nos anos 1990, em que as redes neurais eram consideradas um programa fracassado, o financiamento evaporava e pesquisadores sérios eram aconselhados a trabalhar em outra coisa. Hinton carregou a bandeira conexionista por tudo isso, passando por Carnegie Mellon e, a partir de 1987, pela Universidade de Toronto, que se tornou seu lar de longa data.² Ele não estava esperando uma moda passar. Estava apostando que a moda estava errada.

O trabalho

Backpropagation e o aprendizado de representações (1986)

O artigo mais associado a Hinton é “Learning representations by back-propagating errors”, publicado na Nature em 1986 com David Rumelhart e Ronald Williams.³ O problema que ele abordava é o problema central de toda a área: uma rede com camadas ocultas pode, em princípio, representar estruturas ricas, mas como treiná-la – como decidir, dado um erro na saída, quanto cada conexão interna lá no fundo da rede teve de culpa? O backpropagation responde a isso enviando o sinal de erro de volta pelas camadas, usando a regra da cadeia do cálculo para atribuir a cada peso sua parcela de responsabilidade e, então, ajustando cada peso para reduzir o erro. A afirmação mais profunda do artigo, expressa em seu título, é que uma rede treinada dessa forma aprende, sozinha, representações internas úteis – ela descobre características que ninguém mandou procurar.

Aqui a honestidade quanto à autoria importa, porque a versão popular dá crédito demais a Hinton. Ele não inventou o backpropagation. A diferenciação automática em modo reverso – o motor matemático por trás dele – foi descrita por Seppo Linnainmaa em 1970, e Paul Werbos propôs usá-la para treinar redes neurais em sua tese de doutorado de 1974.⁴ O que o artigo de 1986 fez foi fazer a ideia pegar: demonstrou com clareza que o backprop permitia que redes de múltiplas camadas aprendessem representações internas, e convenceu uma comunidade de pesquisa cética de que treinar redes profundas era, de fato, viável.⁴ O próprio Hinton é escrupuloso quanto a isso. Numa entrevista de 2018, disse sem rodeios: “David Rumelhart teve a ideia básica do backpropagation, então a invenção é dele.”⁴ A afirmação correta é que Hinton codesenvolveu e popularizou o backpropagation – não o inventou sozinho. O fato de insistir nisso, quando a área de bom grado lhe daria o crédito exclusivo, é a mesma honestidade que percorre toda esta série, a diferença entre tratar o bom gosto como uma vibe que você afirma e um sistema técnico que você consegue de fato defender.

Máquinas de Boltzmann e a ideia baseada em energia

Antes do backprop, e em paralelo a ele, Hinton perseguia uma ideia diferente e mais estranha: a de que era possível tomar emprestada a matemática da física estatística para construir uma máquina de aprendizado. Com Terry Sejnowski e David Ackley, por volta de 1983-1985, ele desenvolveu a máquina de Boltzmann.⁵ A linhagem passa diretamente por John Hopfield, que em 1982 mostrara que uma rede de unidades simples podia armazenar memórias como estados de baixa energia em uma paisagem. Imagine uma superfície de colinas e vales; cada padrão armazenado é um vale. Mostre à rede uma versão corrompida ou parcial de um padrão, e ela “desce o morro” – invertendo unidades para reduzir a energia total – até se acomodar no vale mais próximo e recuperar a memória completa. Memória como física: recuperação sem endereço e sem busca.⁶

A máquina de Boltzmann pegou a paisagem de energia de Hopfield e a tornou generativa e estocástica – ela não apenas se acomoda em estados armazenados, mas pode aprender a estrutura estatística de toda uma classe de dados e, então, gerar novos exemplos dela.⁶ Foi este o trabalho destacado pelo comitê do Nobel de 2024: Hinton “usou a rede de Hopfield como base para uma nova rede que emprega um método diferente: a máquina de Boltzmann”, que “pode aprender a reconhecer elementos característicos em um determinado tipo de dado.”⁷ O widget abaixo é o núcleo, no estilo Hopfield, dessa ideia – a paisagem de memória associativa pela qual ambos foram, no fim, homenageados.

Esta é a expressão mais pura do princípio de Hinton. Ninguém podia provar, em 1985, que redes estocásticas baseadas em energia eram o caminho para a inteligência das máquinas. A justificativa era que aquilo lembrava a forma como um sistema físico – e, plausivelmente, um cérebro – se acomoda em estados estáveis. Ele seguiu a física e a biologia, não uma garantia.

Das deep belief nets à AlexNet: o avanço (2012)

A aposta seguiu impopular até dois momentos virarem o jogo. O primeiro foi 2006, quando Hinton e colaboradores mostraram como treinar deep belief networks camada por camada – uma receita prática para treinar redes mais profundas do que qualquer um havia conseguido, e a fagulha geralmente creditada por reviver o termo “deep learning”. O segundo é o que todo mundo lembra.

Em 2012, os alunos de pós-graduação de Hinton, Alex Krizhevsky e Ilya Sutskever, construíram uma rede neural convolucional profunda – a AlexNet – e a inscreveram no ImageNet Large Scale Visual Recognition Challenge, o benchmark de classificação de imagens mais difícil da área.⁸ Ela não venceu por pouco. A AlexNet registrou uma taxa de erro top-5 de 15,3%, mais de 10 pontos percentuais à frente do segundo colocado, numa competição em que os ganhos do ano anterior tinham sido medidos em frações de ponto.⁸ Como a ACM colocaria mais tarde, Hinton e seus alunos “quase reduziram pela metade a taxa de erro no reconhecimento de objetos e remodelaram o campo da visão computacional.”⁹ Os invernos terminaram em uma tarde. Em poucos meses, o trio fundou uma empresa, a DNNresearch, e em 2013 o Google a adquiriu – junto com o código da AlexNet –, trazendo Hinton para o Google Brain, onde ficou até 2023.² Aquilo pelo qual fora ridicularizado por acreditar era, de repente, a única coisa que toda a indústria queria construir.

Deixar o Google e a virada para o risco – e as honrarias

Em maio de 2023, Hinton deixou o Google. Não por causa de uma briga, nem para entrar num rival – mas, como contou ao New York Times, para poder “falar livremente sobre os riscos da IA” sem que isso recaísse sobre o empregador.¹ O homem que passara meio século insistindo que essas máquinas podiam se tornar inteligentes concluíra que elas estavam se tornando inteligentes mais rápido do que o esperado, e que as consequências – desinformação, sistemas autônomos, a dificuldade de barrar “agentes mal-intencionados” – eram genuinamente perigosas. É um dos casos raros de um fundador de uma área que passa a alertar contra ela, no auge de ser vindicado, em vez de capitalizar a vindicação.¹⁰

A vindicação é formal. Em 2019, a ACM concedeu a Hinton, Yoshua Bengio e Yann LeCun – os “padrinhos do deep learning” – o Prêmio Turing A.M. de 2018, a maior honraria da computação, “por avanços conceituais e de engenharia que tornaram as redes neurais profundas um componente crítico da computação.”⁹ Depois, em 2024, Hinton dividiu o Prêmio Nobel de Física com John Hopfield “por descobertas e invenções fundamentais que possibilitam o aprendizado de máquina com redes neurais artificiais” – um prêmio de física, concedido pelas raízes em mecânica estatística da máquina de Boltzmann, a um homem com um diploma de psicologia.⁷ Turing e Nobel não costumam pertencer à mesma pessoa. Hinton tem os dois, pela mesma aposta fora de moda.

O método

O método é consistente ao longo de cinquenta anos: sustentar uma convicção por mais tempo do que é confortável, justificá-la pelo cérebro e não pela prova, e ser honesto sobre o que é seu.

Aposte na biologia, não no consenso. A área dizia que a inteligência era simbólica. Hinton dizia que era aprendida, distribuída e parecida com o cérebro – e sustentou essa linha ao longo de dois invernos em que tanto o financiamento quanto a moda diziam que ele estava errado. A convicção só vale alguma coisa quando custa algo mantê-la.²

Use a prova de existência. Quando a matemática ainda não está disponível, raciocine a partir do único sistema funcional que você tem. Um cérebro aprende sem regras escritas à mão, então uma rede grande o suficiente, treinada com dados suficientes, também deveria aprender. Plausibilidade antes do formalismo; a prova pode vir depois.⁷

Empreste da física quando a lógica empaca. Paisagens de energia, acomodação estocástica, mecânica estatística – Hinton buscou em outras disciplinas as ferramentas para a máquina de Boltzmann porque elas não existiam dentro da IA. O Nobel foi, literalmente, a física recompensando essa incursão.⁶⁷

Forme as pessoas, não só a rede. A AlexNet foi construída por seus alunos. Sutskever seguiu para a OpenAI; o resultado de 2012 é inseparável do laboratório que Hinton dirigia. O trabalho se propaga tanto pelas pessoas quanto pelos artigos.⁸

Reivindique apenas o que é seu. Ele popularizou o backpropagation e diz isso – e credita a Rumelhart a ideia e reconhece a matemática que antecede os dois. A disposição de recusar um crédito que lhe seria entregue faz parte do ofício, não é algo à parte dele.⁴

Esteja disposto a temer o próprio resultado. O movimento final – deixar o Google para alertar sobre o perigo daquilo sobre o qual você estava certo – é o método voltado contra si mesmo: siga a evidência mesmo quando ela condena o trabalho de sua vida.¹¹⁰

Cadeia de influência

Quem o moldou

George e Mary Everest Boole. Literalmente sua ascendência, e um contraponto útil: a família que fundou a lógica simbólica produziu o homem que argumentou que a inteligência não é simbólica. A linhagem lhe deu tanto a seriedade matemática quanto algo contra o qual se rebelar. (Influência formativa)

Donald Hebb e a neurociência do aprendizado. Toda a postura de Hinton – a de que o aprendizado é o ajuste da força das conexões entre unidades simples – descende do pensamento hebbiano de “neurônios que disparam juntos se conectam juntos”. Ele veio da psicologia experimental, e o cérebro sempre foi o modelo. (Influência formativa)

John Hopfield e a física estatística. A rede baseada em energia de Hopfield, de 1982, foi a base direta sobre a qual Hinton construiu a máquina de Boltzmann. Os dois dividiriam um Nobel por isso quarenta e dois anos depois. (Influência direta)

Quem ele moldou

Ilya Sutskever e Alex Krizhevsky. Seus alunos construíram a AlexNet; um deles seguiu para cofundar a OpenAI. O avanço de 2012 que encerrou os invernos da IA saiu do laboratório de Hinton, pelas mãos de seus alunos.

Yoshua Bengio e Yann LeCun. Seus colegas de prêmio e companheiros “padrinhos” – uma comunidade pequena e teimosa que manteve as redes neurais vivas juntos e depois aceitou o Prêmio Turing juntos.

Essencialmente todo sistema moderno de IA. O backpropagation treina quase toda rede neural em funcionamento hoje; o “deep learning” que ele reviveu é o substrato sob os grandes modelos de linguagem, os geradores de imagem e as arquiteturas de agentes sobre as quais eu construo agora.

O fio condutor

Hinton é a raiz do ramo de deep learning desta série, e a linha mais clara segue adiante até Andrej Karpathy. Toda a releitura de Karpathy em torno do “Software 2.0” – a de que uma rede neural é um programa compilado a partir de dados em vez de escrito à mão – só faz sentido num mundo em que a aposta de Hinton já deu certo; Karpathy, aliás, assistiu às aulas de Hinton em Toronto quando era graduando, absorvendo o evangelho antes de ele virar ortodoxia. Onde Karpathy insiste que você construa cada camada do zero para confiar na pilha, Hinton forneceu a própria camada: o backpropagation é a coisa que Karpathy implementa à mão para entendê-la. A outra ponta do eixo é John Carmack, que, depois de uma carreira em computação gráfica, voltou-se para a pesquisa em AGI pelo lado da engenharia – a abordagem de sistemas e desempenho rumo ao mesmo destino que Hinton alcançou pela biologia e pela física. Dois caminhos para a mesma montanha: Hinton confiou no cérebro; Carmack confia na máquina. (Ponte da série)

O que eu tiro disto

A lição que guardo é que estar certo cedo demais é, por muito tempo, indistinguível de estar errado. Hinton passou dois invernos sustentando uma posição que a área inteira havia descartado, e a única coisa que separava sua convicção da mera teimosia era estar ancorada numa prova de existência – o cérebro funciona assim, então isto pode funcionar. É essa distinção que eu tento manter. Convicção sem âncora é ego; convicção ancorada em evidência que você consegue apontar, mantida durante os anos em que a moda diz que você é um tolo, é como os avanços reais acontecem. É a mesma razão pela qual eu trato a qualidade como a única variável, e não algo a ser negociado contra a pressão dominante para entregar – o padrão não se move só porque a sala discorda.

A lição mais difícil é a virada de 2023. Hinton venceu – Turing, Nobel, a indústria inteira construída sobre sua aposta – e então usou esse prestígio para dizer aquilo que ninguém queria ouvir dele: que ele talvez tenha estado certo demais, e que o resultado pode ser perigoso. Num campo de agentes que agora escrevem código mais rápido do que qualquer um consegue ler, esse é o exemplo que considero mais relevante. Não basta seguir a evidência até um resultado; você tem que continuar seguindo-a para além do resultado, mesmo quando ela condena o trabalho do qual você mais se orgulha. Isso é a barreira da evidência aplicada ao próprio legado – a disposição de temer a própria conclusão quando os dados viram. A biologia foi a prova de existência para o lado positivo. Hinton agora insiste que olhemos com a mesma honestidade para o lado negativo.

FAQ

Qual é a filosofia de engenharia de Geoffrey Hinton?

Convicção acima da moda. Hinton apostou a carreira no conexionismo – a inteligência como aprendizado em redes parecidas com o cérebro, feitas de unidades simples – e sustentou essa posição ao longo de dois invernos da IA, quando a IA simbólica era o consenso e as redes neurais eram descartadas.² Sua justificativa era biológica, e não matemática: o cérebro é uma rede de unidades simples que aprende sem regras escritas à mão, então uma rede artificial grande o suficiente, treinada com dados suficientes, também deveria conseguir aprender.⁷ Ele confiou nessa prova de existência mais do que no formalismo dominante e no financiamento dominante, e acabou sendo vindicado pela AlexNet em 2012.⁸

Geoffrey Hinton inventou o backpropagation?

Não – ele o codesenvolveu e o popularizou, o que é uma distinção importante. O muito citado artigo de 1986 na Nature, “Learning representations by back-propagating errors”, de David Rumelhart, Hinton e Ronald Williams, convenceu a comunidade de pesquisa de que treinar redes de múltiplas camadas com backpropagation era viável.³ Mas a matemática subjacente é anterior a eles: Seppo Linnainmaa descreveu a diferenciação automática em modo reverso em 1970, e Paul Werbos propôs aplicá-la a redes neurais em sua tese de 1974.⁴ O próprio Hinton credita a Rumelhart a ideia central, dizendo: “David Rumelhart teve a ideia básica do backpropagation, então a invenção é dele.”⁴

Por que Geoffrey Hinton ganhou tanto o Prêmio Turing quanto o Prêmio Nobel?

Ele recebeu o Prêmio Turing A.M. da ACM de 2018 (anunciado em 2019), dividido com Yoshua Bengio e Yann LeCun, “por avanços conceituais e de engenharia que tornaram as redes neurais profundas um componente crítico da computação.”⁹ Depois dividiu o Prêmio Nobel de Física de 2024 com John Hopfield “por descobertas e invenções fundamentais que possibilitam o aprendizado de máquina com redes neurais artificiais.”⁷ O Nobel reconheceu especificamente as raízes em física estatística de sua máquina de Boltzmann, construída sobre a rede baseada em energia de Hopfield.⁷ Ter ambas as maiores honrarias da computação e da física por uma única linha de trabalho é excepcionalmente raro.

Por que Geoffrey Hinton deixou o Google em 2023?

Ele saiu em maio de 2023 para falar livremente sobre os riscos da IA sem que isso recaísse sobre o empregador, dizendo ao New York Times que queria “falar livremente sobre os riscos da IA.”¹ Depois de uma vida argumentando que esses sistemas podiam se tornar inteligentes, concluíra que eles estavam avançando mais rápido do que o esperado e representavam perigos reais – desinformação, sistemas autônomos e agentes mal-intencionados. Resumiu sua ambivalência com a frase: “Eu me consolo com a desculpa de sempre: se eu não tivesse feito, alguém faria.”¹¹⁰

Fontes