Philosophie d'ingénierie : Geoffrey Hinton, la conviction contre la mode

Points clés

• La conviction contre la mode. Hinton a misé toute sa carrière sur le connexionnisme – apprendre à partir des données dans des réseaux inspirés du cerveau – à travers deux hivers de l’IA, à une époque où l’IA symbolique faisait consensus et où les réseaux de neurones étaient écartés comme une impasse. Il avait raison parce qu’il a refusé de suivre le domaine.
• Le cerveau est la preuve d’existence. Son argument n’a jamais été un théorème. Il était biologique : un réseau d’unités simples apprend manifestement l’intelligence, puisque l’un d’eux est en train de lire cette phrase. L’intuition et la plausibilité l’ont porté là où le formalisme n’existait pas encore.
• Il est honnête sur l’attribution. L’article de 1986 sur la rétropropagation a rendu l’idée pratique et célèbre, mais Hinton l’a coécrit et attribue l’idée centrale à David Rumelhart ; les mathématiques sous-jacentes sont antérieures à eux deux. Il a popularisé la rétropropagation – il ne l’a pas inventée à lui seul.
• Le pari a payé, puis l’a effrayé. AlexNet (2012) a mis fin aux hivers ; un prix Turing (2018) et un prix Nobel de physique (2024) ont suivi. En 2023, il a quitté Google pour avertir que ce sur quoi il avait eu raison pourrait être dangereux.

Le principe

« Je me console avec l’excuse habituelle : si je ne l’avais pas fait, quelqu’un d’autre l’aurait fait. » – Geoffrey Hinton, à propos de l’œuvre de sa vie, 2023¹

Cette phrase parle de regret, mais elle révèle le principe qui sous-tend toute la carrière : Hinton croyait que le résultat était inévitable – que les machines apprenantes inspirées du cerveau n’étaient pas une option parmi d’autres, mais la manière dont l’intelligence se construit réellement, et que quelqu’un finirait toujours par le démontrer. Pendant la majeure partie de quarante ans, presque personne d’autre n’était d’accord. Le domaine avait décidé que l’intelligence serait conçue comme on conçoit un compilateur : des symboles explicites, des règles écrites à la main, de la logique de bout en bout. Les réseaux de neurones – des toiles lâches d’unités simples qui apprennent en ajustant la force de leurs connexions – étaient traités comme une curiosité discréditée des années 1960. Les financements se sont taris. Deux fois.

Hinton a parié contre le consensus malgré tout, et il l’a fait pour une raison peu en vogue : il faisait davantage confiance à la biologie qu’aux mathématiques. L’argument n’a jamais été un théorème net. C’était une preuve d’existence que vous exécutez en ce moment même. Un cerveau est un réseau d’unités simples, lentes et bruitées, et il apprend à voir, à parler et à raisonner sans que personne n’en écrive les règles. Donc un réseau suffisamment vaste d’unités artificielles, entraîné sur suffisamment de données, devrait pouvoir faire de même – non pas parce que les mathématiques le garantissaient, mais parce que le seul exemple fonctionnel d’intelligence dont nous disposons est construit exactement ainsi. Voilà la conviction contre la mode : tenir une position à travers deux hivers parce que l’on croit à la biologie, et non parce que le formalisme ou les financements vous donnent encore raison.

La discipline que cela exige est rare et inconfortable. Elle suppose de tolérer d’avoir l’air d’avoir tort pendant des décennies. Elle suppose de préférer une intuition que l’on ne peut pas encore prouver à la preuve de quelque chose que l’on soupçonne d’être hors sujet. Et elle implique que, lorsque le pari finit par payer – quand l’approche démodée se révèle être l’enjeu tout entier –, on a gagné la légitimité de dire la chose la plus difficile de toutes, ce que Hinton a fait en 2023 : que l’on a peut-être eu trop raison, et que la chose pour laquelle on s’est battu pourrait devoir être crainte.

Contexte

Geoffrey Everest Hinton est né le 6 décembre 1947 à Londres.² Les noms ne sont pas anodins. Il est l’arrière-arrière-petit-fils de George Boole – le logicien dont l’algèbre booléenne est le fondement de tout circuit numérique – et de Mary Everest Boole, pédagogue en mathématiques ; « Everest » renvoie à la même famille qui a donné son nom à la montagne.² Un homme descendant de l’inventeur de la logique symbolique a passé sa vie à soutenir que l’intelligence n’est pas de la logique symbolique. L’ironie est parfaite, et il l’a lui-même relevée.

Il a obtenu une licence de psychologie expérimentale au King’s College de Cambridge en 1970 – de la psychologie, pas de l’informatique, ce qui compte : il est venu aux machines par l’étude du fonctionnement réel de l’esprit.² Il a ensuite préparé un doctorat en intelligence artificielle à l’université d’Édimbourg, achevé en 1978, sous la direction de Christopher Longuet-Higgins.² C’était déjà un acte de défi discret. Longuet-Higgins s’était lui-même éloigné des idées sur les réseaux de neurones pour se tourner vers l’IA symbolique, qui était l’orthodoxie montante ; Hinton s’est arc-bouté du côté connexionniste et y est resté.

Ce qui a suivi, ce sont les hivers de l’IA – des périodes, dans les années 1970 puis de nouveau à la fin des années 1980 et dans les années 1990, où les réseaux de neurones étaient considérés comme un programme raté, où les financements s’évaporaient et où l’on conseillait aux chercheurs sérieux de travailler sur autre chose. Hinton a porté l’étendard connexionniste à travers tout cela, passant par Carnegie Mellon puis, à partir de 1987, par l’université de Toronto, qui est devenue son port d’attache durable.² Il n’attendait pas qu’une mode passe. Il pariait que la mode avait tort.

L’œuvre

Rétropropagation et apprentissage des représentations (1986)

L’article le plus souvent associé à Hinton est « Learning representations by back-propagating errors », publié dans Nature en 1986 avec David Rumelhart et Ronald Williams.³ Le problème qu’il aborde est le problème central de tout le domaine : un réseau doté de couches cachées peut en principe représenter une structure riche, mais comment l’entraîner – comment décider, étant donné une erreur en sortie, quelle part de responsabilité revient à chaque connexion interne enfouie dans le réseau ? La rétropropagation y répond en renvoyant le signal d’erreur en arrière à travers les couches, à l’aide de la règle de dérivation en chaîne du calcul différentiel, pour attribuer à chaque poids sa part de responsabilité, puis en ajustant chaque poids afin de réduire l’erreur. L’affirmation plus profonde de l’article, contenue dans son titre, est qu’un réseau entraîné de cette manière apprend de lui-même des représentations internes utiles – il découvre des caractéristiques que personne ne lui a dit de chercher.

C’est ici que l’honnêteté sur l’attribution importe, car le récit populaire crédite Hinton à l’excès. Il n’a pas inventé la rétropropagation. La différentiation automatique en mode inverse – le moteur mathématique qui la sous-tend – a été décrite par Seppo Linnainmaa en 1970, et Paul Werbos a proposé de l’utiliser pour entraîner des réseaux de neurones dans sa thèse de doctorat de 1974.⁴ Ce que l’article de 1986 a accompli, c’est de faire aboutir l’idée : il a démontré clairement que la rétropropagation permettait à des réseaux multicouches d’apprendre des représentations internes, et il a convaincu une communauté de recherche sceptique que l’entraînement de réseaux profonds était réellement praticable.⁴ Hinton lui-même est scrupuleux à ce sujet. Dans un entretien de 2018, il a dit sans détour : « David Rumelhart a eu l’idée de base de la rétropropagation, c’est donc son invention. »⁴ L’énoncé exact est que Hinton a codéveloppé et popularisé la rétropropagation – il ne l’a pas inventée à lui seul. Qu’il insiste là-dessus, alors que le domaine lui en attribuerait volontiers le mérite exclusif, relève de la même honnêteté qui traverse toute cette série, la différence entre le goût comme posture que l’on affirme et comme système technique que l’on peut réellement défendre.

Les machines de Boltzmann et l’idée fondée sur l’énergie

Avant la rétropropagation, et en parallèle, Hinton poursuivait une idée différente et plus étrange : on pouvait emprunter les mathématiques de la physique statistique pour construire une machine apprenante. Avec Terry Sejnowski et David Ackley, vers 1983-1985, il a mis au point la machine de Boltzmann.⁵ La filiation passe directement par John Hopfield, qui avait montré en 1982 qu’un réseau d’unités simples pouvait stocker des souvenirs sous forme d’états de basse énergie dans un paysage. Imaginez une surface de collines et de vallées ; chaque motif stocké est une vallée. Présentez au réseau une version corrompue ou partielle d’un motif, et il « dévale la pente » – en faisant basculer des unités pour abaisser l’énergie totale – jusqu’à se stabiliser dans la vallée la plus proche et retrouver le souvenir complet. La mémoire comme physique : un rappel sans adresse et sans recherche.⁶

La machine de Boltzmann a repris le paysage énergétique de Hopfield et l’a rendu génératif et stochastique – elle ne fait pas que se stabiliser dans des états stockés, elle peut apprendre la structure statistique de toute une classe de données puis en générer de nouveaux exemples.⁶ C’est le travail que le comité Nobel a distingué en 2024 : Hinton « a utilisé le réseau de Hopfield comme fondement d’un nouveau réseau qui emploie une méthode différente : la machine de Boltzmann », qui « peut apprendre à reconnaître des éléments caractéristiques dans un type de données donné ».⁷ Le composant ci-dessous est le cœur, à la manière de Hopfield, de cette idée – le paysage de mémoire associative pour lequel les deux hommes ont finalement été honorés.

C’est l’expression la plus pure du principe de Hinton. Personne ne pouvait prouver, en 1985, que les réseaux stochastiques fondés sur l’énergie étaient la voie vers l’intelligence des machines. La justification était que cela ressemblait à la façon dont un système physique – et plausiblement un cerveau – se stabilise dans des états stables. Il a suivi la physique et la biologie, et non une garantie.

Des réseaux de croyances profonds à AlexNet : la percée (2012)

Le pari est resté impopulaire jusqu’à ce que deux moments le fassent basculer. Le premier, ce fut en 2006, lorsque Hinton et ses collaborateurs ont montré comment entraîner des réseaux de croyances profonds couche par couche – une recette pratique pour entraîner des réseaux plus profonds que tout ce qu’on avait réussi jusque-là, et l’étincelle généralement créditée d’avoir relancé le terme « apprentissage profond ». Le second est celui dont tout le monde se souvient.

En 2012, les étudiants en doctorat de Hinton, Alex Krizhevsky et Ilya Sutskever, ont construit un réseau de neurones convolutif profond – AlexNet – et l’ont inscrit à l’ImageNet Large Scale Visual Recognition Challenge, le test de référence de classification d’images le plus difficile du domaine.⁸ Il n’a pas gagné de justesse. AlexNet a affiché un taux d’erreur top-5 de 15,3 %, soit plus de 10 points de pourcentage devant le deuxième, dans un concours où les gains de l’année précédente s’étaient mesurés en fractions de pour cent.⁸ Comme l’ACM l’a formulé plus tard, Hinton et ses étudiants « ont presque divisé par deux le taux d’erreur de la reconnaissance d’objets et ont remodelé le champ de la vision par ordinateur ».⁹ Les hivers ont pris fin en un après-midi. En quelques mois, le trio a fondé une entreprise, DNNresearch, et en 2013 Google l’a rachetée – avec le code d’AlexNet –, faisant entrer Hinton chez Google Brain, où il est resté jusqu’en 2023.² Ce qu’on lui avait reproché de croire était, soudain, la seule chose que toute l’industrie voulait construire.

Quitter Google et le tournant du risque – et les distinctions

En mai 2023, Hinton a quitté Google. Non à la suite d’un différend, et non pour rejoindre un concurrent – mais, comme il l’a confié au New York Times, pour pouvoir « s’exprimer librement sur les risques de l’IA » sans que cela rejaillisse sur son employeur.¹ L’homme qui avait passé un demi-siècle à soutenir que ces machines pouvaient être rendues intelligentes avait conclu qu’elles le devenaient plus vite que prévu, et que les conséquences – désinformation, systèmes autonomes, difficulté d’arrêter les « acteurs malveillants » – étaient véritablement dangereuses. C’est l’un des rares cas où un fondateur d’un domaine se tourne pour le mettre en garde, au sommet de sa reconnaissance, plutôt que de monnayer cette reconnaissance.¹⁰

La reconnaissance est officielle. En 2019, l’ACM a décerné à Hinton, Yoshua Bengio et Yann LeCun – les « parrains de l’apprentissage profond » – le prix A.M. Turing 2018, la plus haute distinction de l’informatique, « pour des percées conceptuelles et techniques qui ont fait des réseaux de neurones profonds une composante essentielle de l’informatique ».⁹ Puis, en 2024, Hinton a partagé le prix Nobel de physique avec John Hopfield « pour des découvertes et des inventions fondamentales qui permettent l’apprentissage automatique avec des réseaux de neurones artificiels » – un prix de physique, décerné pour les racines de mécanique statistique de la machine de Boltzmann, à un homme titulaire d’un diplôme de psychologie.⁷ Le Turing et le Nobel ne sont habituellement pas détenus par la même personne. Hinton détient les deux, pour le même pari démodé.

La méthode

La méthode est constante sur cinquante ans : tenir une conviction plus longtemps qu’il n’est confortable de le faire, la justifier par le cerveau plutôt que par la preuve, et rester honnête sur ce qui vous appartient.

Pariez sur la biologie, pas sur le consensus. Le domaine affirmait que l’intelligence était symbolique. Hinton affirmait qu’elle était apprise, distribuée et inspirée du cerveau – et il a tenu cette ligne à travers deux hivers, alors que les financements comme la mode lui donnaient tort. Une conviction ne vaut quelque chose que lorsqu’il vous en coûte de la garder.²

Servez-vous de la preuve d’existence. Quand les mathématiques ne sont pas encore au rendez-vous, raisonnez à partir du seul système fonctionnel dont vous disposez. Un cerveau apprend sans règles écrites à la main, donc un réseau suffisamment vaste, entraîné sur suffisamment de données, le devrait aussi. La plausibilité avant le formalisme ; la preuve peut venir plus tard.⁷

Empruntez à la physique quand la logique cale. Paysages énergétiques, stabilisation stochastique, mécanique statistique – Hinton a puisé dans d’autres disciplines pour la machine de Boltzmann, parce que les outils dont il avait besoin n’existaient pas au sein de l’IA. Le Nobel a été, littéralement, la physique récompensant ce raid.⁶⁷

Formez les gens, pas seulement le réseau. AlexNet a été construit par ses étudiants. Sutskever a ensuite rejoint OpenAI ; le résultat de 2012 est indissociable du laboratoire que Hinton dirigeait. L’œuvre se propage autant par les personnes que par les articles.⁸

Ne revendiquez que ce qui vous appartient. Il a popularisé la rétropropagation et le dit – et il attribue l’idée à Rumelhart tout en reconnaissant les mathématiques qui les précèdent tous deux. La volonté de refuser un mérite qu’on vous tendrait fait partie du métier, elle n’en est pas séparée.⁴

Soyez prêt à craindre votre propre résultat. Le dernier geste – quitter Google pour avertir du danger de la chose sur laquelle on a eu raison – est la méthode retournée contre elle-même : suivre les preuves même lorsqu’elles accablent l’œuvre de votre vie.¹¹⁰

Chaîne d’influence

Qui l’a façonné

George et Mary Everest Boole. Littéralement son ascendance, et un repoussoir utile : la famille qui a fondé la logique symbolique a produit l’homme qui a soutenu que l’intelligence n’est pas symbolique. La lignée lui a donné à la fois le sérieux mathématique et la chose contre laquelle se rebeller. (Influence formatrice)

Donald Hebb et la neuroscience de l’apprentissage. Toute la position de Hinton – selon laquelle l’apprentissage est l’ajustement de la force des connexions entre unités simples – descend de la pensée hebbienne, « des cellules qui s’activent ensemble se connectent ensemble ». Il est venu par la psychologie expérimentale, et le cerveau a toujours été le modèle. (Influence formatrice)

John Hopfield et la physique statistique. Le réseau fondé sur l’énergie de Hopfield, en 1982, a été le fondement direct sur lequel Hinton a bâti la machine de Boltzmann. Les deux partageraient un Nobel à ce titre quarante-deux ans plus tard. (Influence directe)

Ceux qu’il a façonnés

Ilya Sutskever et Alex Krizhevsky. Ses étudiants ont construit AlexNet ; l’un d’eux a ensuite cofondé OpenAI. La percée de 2012 qui a mis fin aux hivers de l’IA est sortie du laboratoire de Hinton, des mains de ses étudiants.

Yoshua Bengio et Yann LeCun. Ses colauréats et autres « parrains » – une petite communauté obstinée qui a maintenu ensemble les réseaux de neurones en vie, puis a accepté ensemble le prix Turing.

Pour ainsi dire tous les systèmes d’IA modernes. La rétropropagation entraîne presque tous les réseaux de neurones en fonctionnement aujourd’hui ; l’« apprentissage profond » qu’il a relancé est le substrat sous les grands modèles de langage, les générateurs d’images et les piles d’agents sur lesquelles je construis désormais.

Le fil conducteur

Hinton est la racine de la branche apprentissage profond de cette série, et la ligne la plus claire mène en avant à Andrej Karpathy. Tout le recadrage « Software 2.0 » de Karpathy – l’idée qu’un réseau de neurones est un programme compilé à partir des données plutôt qu’écrit à la main – n’a de sens que dans un monde où le pari de Hinton a déjà payé ; Karpathy a même assisté aux cours de Hinton à Toronto lorsqu’il était étudiant de premier cycle, absorbant l’évangile avant qu’il ne devienne orthodoxie. Là où Karpathy insiste pour que vous construisiez chaque couche à partir de zéro afin de faire confiance à la pile, Hinton a fourni la couche elle-même : la rétropropagation est la chose que Karpathy implémente à la main pour la comprendre. L’autre extrémité de l’axe, c’est John Carmack, qui, après une carrière dans le graphisme, s’est tourné vers la recherche sur l’AGI par le versant de l’ingénierie – l’approche systèmes-et-performance vers la même destination que Hinton a atteinte par la biologie et la physique. Deux routes vers une seule montagne : Hinton faisait confiance au cerveau ; Carmack fait confiance à la machine. (Pont de série)

Ce que j’en retiens

La leçon que je garde, c’est qu’avoir raison tôt ressemble à s’y méprendre, pendant longtemps, au fait d’avoir tort. Hinton a passé deux hivers à tenir une position que le domaine tout entier avait enterrée, et la seule chose qui séparait sa conviction d’une simple obstination, c’est qu’elle était arrimée à une preuve d’existence – le cerveau fonctionne ainsi, donc cela peut fonctionner. Cette distinction est celle que j’essaie de garder. La conviction sans ancrage est de l’ego ; la conviction arrimée à des preuves que l’on peut désigner du doigt, tenue durant les années où la mode vous traite d’idiot, voilà comment surviennent les véritables percées. C’est la même raison pour laquelle je traite la qualité comme la seule variable et non comme une chose que l’on troque contre la pression ambiante à livrer – le standard ne bouge pas parce que la salle n’est pas d’accord.

La leçon la plus difficile, c’est le tournant de 2023. Hinton a gagné – le Turing, le Nobel, toute une industrie bâtie sur son pari – puis il a utilisé cette légitimité pour dire ce que personne n’attendait de lui : qu’il avait peut-être eu trop raison, et que le résultat pourrait être dangereux. Dans un domaine peuplé d’agents qui écrivent désormais du code plus vite que quiconque ne peut le lire, c’est l’exemple que je trouve le plus pertinent. Il ne suffit pas de suivre les preuves jusqu’à un résultat ; il faut continuer à les suivre au-delà du résultat, même quand elles accablent l’œuvre dont on est le plus fier. C’est la barrière de la preuve appliquée à votre propre héritage – la volonté de craindre votre propre conclusion quand les données se retournent. La biologie était la preuve d’existence pour le potentiel positif. Hinton insiste désormais pour que nous regardions tout aussi honnêtement le revers.

FAQ

Quelle est la philosophie d’ingénierie de Geoffrey Hinton ?

La conviction contre la mode. Hinton a misé sa carrière sur le connexionnisme – l’intelligence comme apprentissage dans des réseaux d’unités simples inspirés du cerveau – et a tenu cette position à travers deux hivers de l’IA, alors que l’IA symbolique faisait consensus et que les réseaux de neurones étaient écartés.² Sa justification était biologique plutôt que mathématique : le cerveau est un réseau d’unités simples qui apprend sans règles écrites à la main, donc un réseau artificiel suffisamment vaste, entraîné sur suffisamment de données, devrait pouvoir apprendre lui aussi.⁷ Il a fait davantage confiance à cette preuve d’existence qu’au formalisme dominant et aux financements dominants, et il a finalement été conforté par AlexNet en 2012.⁸

Geoffrey Hinton a-t-il inventé la rétropropagation ?

Non – il l’a codéveloppée et popularisée, ce qui est une distinction importante. L’article de Nature de 1986 souvent cité, « Learning representations by back-propagating errors », de David Rumelhart, Hinton et Ronald Williams, a convaincu la communauté de recherche que l’entraînement de réseaux multicouches par rétropropagation était praticable.³ Mais les mathématiques sous-jacentes les précèdent : Seppo Linnainmaa a décrit la différentiation automatique en mode inverse en 1970, et Paul Werbos a proposé de l’appliquer aux réseaux de neurones dans sa thèse de 1974.⁴ Hinton lui-même attribue l’idée centrale à Rumelhart, déclarant : « David Rumelhart a eu l’idée de base de la rétropropagation, c’est donc son invention. »⁴

Pourquoi Geoffrey Hinton a-t-il remporté à la fois le prix Turing et le prix Nobel ?

Il a reçu le prix A.M. Turing 2018 de l’ACM (annoncé en 2019), partagé avec Yoshua Bengio et Yann LeCun, « pour des percées conceptuelles et techniques qui ont fait des réseaux de neurones profonds une composante essentielle de l’informatique ».⁹ Il a ensuite partagé le prix Nobel de physique 2024 avec John Hopfield « pour des découvertes et des inventions fondamentales qui permettent l’apprentissage automatique avec des réseaux de neurones artificiels ».⁷ Le Nobel a spécifiquement reconnu les racines de physique statistique de sa machine de Boltzmann, bâtie sur le réseau fondé sur l’énergie de Hopfield.⁷ Détenir ces deux plus hautes distinctions, en informatique et en physique, pour une seule ligne de travaux, est exceptionnellement rare.

Pourquoi Geoffrey Hinton a-t-il quitté Google en 2023 ?

Il est parti en mai 2023 pour parler librement des risques de l’IA sans que cela rejaillisse sur son employeur, déclarant au New York Times qu’il voulait « s’exprimer librement sur les risques de l’IA ».¹ Après une vie passée à soutenir que ces systèmes pouvaient être rendus intelligents, il avait conclu qu’ils progressaient plus vite que prévu et présentaient de réels dangers – désinformation, systèmes autonomes et acteurs malveillants. Il a résumé son ambivalence par cette phrase : « Je me console avec l’excuse habituelle : si je ne l’avais pas fait, quelqu’un d’autre l’aurait fait. »¹¹⁰

Sources