Filosofía de ingeniería: Geoffrey Hinton, la convicción por encima de la moda

Ideas clave

• Convicción por encima de la moda. Hinton apostó toda su carrera al conexionismo —aprender de los datos en redes inspiradas en el cerebro— a lo largo de dos inviernos de la IA, cuando la IA simbólica era el consenso y las redes neuronales se descartaban como un callejón sin salida. Tuvo razón porque se negó a seguir al campo.
• El cerebro es la prueba de existencia. Su argumento nunca fue un teorema. Era biológico: una red de unidades simples obviamente aprende a ser inteligente, porque hay una leyendo esta frase ahora mismo. La intuición y la plausibilidad lo llevaron a donde el formalismo todavía no existía.
• Es honesto sobre la autoría. El artículo de 1986 sobre la retropropagación volvió la idea práctica y famosa, pero Hinton lo coescribió y atribuye a David Rumelhart la idea central; las matemáticas de fondo son anteriores a ambos. Popularizó la retropropagación, no la inventó él solo.
• La apuesta dio frutos y luego lo asustó. AlexNet (2012) puso fin a los inviernos; le siguieron un Premio Turing (2018) y un Premio Nobel de Física (2024). En 2023 dejó Google para advertir que aquello en lo que tenía razón podría ser peligroso.

El principio

“Me consuelo con la excusa de siempre: si yo no lo hubiera hecho, alguien más lo habría hecho.” – Geoffrey Hinton, sobre la obra de su vida, 2023¹

Esa frase habla del arrepentimiento, pero revela el principio que subyace a toda la carrera: Hinton creía que el resultado era inevitable —que las máquinas que aprenden como el cerebro no eran una opción más entre muchas, sino la forma en que realmente se construye la inteligencia, y que tarde o temprano alguien iba a demostrarlo—. Durante casi cuarenta años casi nadie estuvo de acuerdo. El campo había decidido que la inteligencia se diseñaría igual que se diseña un compilador: símbolos explícitos, reglas escritas a mano, lógica hasta el fondo. Las redes neuronales —tramas sueltas de unidades simples que aprenden ajustando la fuerza de sus conexiones— se trataban como una curiosidad desacreditada de los años sesenta. La financiación se secó. Dos veces.

Hinton apostó contra el consenso de todos modos, y lo hizo por una razón poco a la moda: confiaba más en la biología que en las matemáticas. El argumento nunca fue un teorema limpio. Era una prueba de existencia que estás ejecutando ahora mismo. El cerebro es una red de unidades lentas, ruidosas y simples, y aprende a ver, hablar y razonar sin que nadie escriba las reglas. Así que una red de unidades artificiales lo bastante grande, entrenada con suficientes datos, debería poder hacer lo mismo: no porque las matemáticas lo garantizaran, sino porque el único ejemplo de inteligencia que funciona y que tenemos está construido exactamente así. Eso es convicción por encima de la moda: sostener una postura a lo largo de dos inviernos porque crees en la biología, no porque el formalismo o la financiación te den aún la razón.

La disciplina que esto exige es rara e incómoda. Significa tolerar tener pinta de equivocado durante décadas. Significa preferir una intuición que todavía no puedes probar a la demostración de algo que sospechas que es irrelevante. Y significa que, cuando la apuesta por fin da frutos —cuando el enfoque poco a la moda resulta ser todo el juego—, te has ganado la autoridad para decir lo más difícil de todo, que es lo que Hinton hizo en 2023: que quizá tuviste demasiada razón, y que aquello por lo que luchaste tal vez deba temerse.

Contexto

Geoffrey Everest Hinton nació el 6 de diciembre de 1947 en Londres.² Los nombres no son casuales. Es tataranieto de George Boole —el lógico cuya álgebra de Boole es la base de todo circuito digital— y de Mary Everest Boole, educadora matemática; “Everest” es la misma familia que dio nombre a la montaña.² Un hombre descendiente del inventor de la lógica simbólica dedicó su vida a sostener que la inteligencia no es lógica simbólica. La ironía es exacta, y él mismo la ha señalado.

Obtuvo una licenciatura en psicología experimental en King’s College, Cambridge, en 1970 —psicología, no ciencias de la computación, lo cual importa: llegó a las máquinas a través del estudio de cómo funcionan realmente las mentes—.² Después hizo un doctorado en inteligencia artificial en la Universidad de Edimburgo, terminado en 1978, bajo la dirección de Christopher Longuet-Higgins.² Esto ya era un callado acto de desafío. El propio Longuet-Higgins se había alejado de las ideas de redes neuronales hacia la IA simbólica, que era la ortodoxia en ascenso; Hinton se afianzó en el lado conexionista y allí se quedó.

Lo que siguió fueron los inviernos de la IA: tramos en los años setenta y de nuevo a finales de los ochenta y en los noventa en que las redes neuronales se consideraban un programa fracasado, la financiación se evaporaba y a los investigadores serios se les aconsejaba trabajar en otra cosa. Hinton llevó la bandera conexionista a lo largo de todo ello, pasando por Carnegie Mellon y, desde 1987, por la Universidad de Toronto, que se convirtió en su hogar durante mucho tiempo.² No estaba esperando a que pasara una moda. Estaba apostando a que la moda estaba equivocada.

La obra

La retropropagación y el aprendizaje de representaciones (1986)

El artículo más asociado con Hinton es “Learning representations by back-propagating errors”, publicado en Nature en 1986 junto con David Rumelhart y Ronald Williams.³ El problema que abordaba es el problema central de todo el campo: una red con capas ocultas puede en principio representar una estructura rica, pero ¿cómo la entrenas? Es decir, dado un error en la salida, ¿cómo decides cuánta culpa tuvo cada conexión interna en la profundidad de la red? La retropropagación responde a esto enviando la señal de error hacia atrás a través de las capas, usando la regla de la cadena del cálculo para asignar a cada peso su cuota de responsabilidad, y luego ajustando cada peso para reducir el error. La afirmación más profunda del artículo, presente en su título, es que una red entrenada así aprende por sí sola representaciones internas útiles: descubre características que nadie le dijo que buscara.

Aquí la honestidad sobre la autoría importa, porque la historia popular le da demasiado crédito a Hinton. Él no inventó la retropropagación. La diferenciación automática en modo inverso —el motor matemático que la sustenta— la describió Seppo Linnainmaa en 1970, y Paul Werbos propuso usarla para entrenar redes neuronales en su tesis doctoral de 1974.⁴ Lo que hizo el artículo de 1986 fue lograr que la idea cuajara: demostró con claridad que la retropropagación permitía a las redes de varias capas aprender representaciones internas, y convenció a una comunidad investigadora escéptica de que entrenar redes profundas era de hecho práctico.⁴ El propio Hinton es escrupuloso con esto. En una entrevista de 2018 dijo sin rodeos: “David Rumelhart tuvo la idea básica de la retropropagación, así que es su invención.”⁴ La afirmación precisa es que Hinton codesarrolló y popularizó la retropropagación; no la inventó él solo. Que insista en ello, cuando el campo le entregaría con gusto el crédito en exclusiva, es la misma honestidad que recorre toda esta serie, la diferencia entre el buen gusto como una vibra que afirmas y un sistema técnico que de verdad puedes defender.

Las máquinas de Boltzmann y la idea basada en energía

Antes de la retropropagación, y en paralelo a ella, Hinton perseguía una idea distinta y más extraña: que se podían tomar prestadas las matemáticas de la física estadística para construir una máquina que aprende. Junto con Terry Sejnowski y David Ackley, hacia 1983-1985, desarrolló la máquina de Boltzmann.⁵ El linaje pasa directamente por John Hopfield, quien en 1982 había demostrado que una red de unidades simples podía almacenar recuerdos como estados de baja energía en un paisaje. Imagina una superficie de colinas y valles; cada patrón almacenado es un valle. Muéstrale a la red una versión corrupta o parcial de un patrón, y “rueda cuesta abajo” —invirtiendo unidades para bajar la energía total— hasta que se asienta en el valle más cercano y recupera el recuerdo completo. La memoria como física: recordar sin dirección y sin búsqueda.⁶

La máquina de Boltzmann tomó el paisaje de energía de Hopfield y lo volvió generativo y estocástico: no solo se asienta en estados almacenados, sino que puede aprender la estructura estadística de toda una clase de datos y luego generar nuevos ejemplos de ella.⁶ Este es el trabajo que el comité del Nobel destacó en 2024: Hinton “usó la red de Hopfield como base para una nueva red que emplea un método diferente: la máquina de Boltzmann”, que “puede aprender a reconocer elementos característicos en un tipo de datos dado.”⁷ El widget de abajo es el núcleo de tipo Hopfield de esa idea: el paisaje de memoria asociativa por el que ambos fueron finalmente honrados.

Esta es la expresión más pura del principio de Hinton. Nadie podía probar, en 1985, que las redes estocásticas basadas en energía fueran el camino hacia la inteligencia de las máquinas. La justificación era que se parecía a cómo un sistema físico —y, plausiblemente, un cerebro— se asienta en estados estables. Siguió la física y la biología, no una garantía.

De las redes de creencia profunda a AlexNet: el avance decisivo (2012)

La apuesta siguió siendo impopular hasta que dos momentos la inclinaron. El primero fue 2006, cuando Hinton y sus colaboradores mostraron cómo entrenar redes de creencia profunda capa por capa: una receta práctica para entrenar redes más profundas de lo que nadie había logrado, y la chispa a la que suele atribuirse el resurgimiento del término “aprendizaje profundo”. El segundo es el que todos recuerdan.

En 2012, los estudiantes de posgrado de Hinton, Alex Krizhevsky e Ilya Sutskever, construyeron una red neuronal convolucional profunda —AlexNet— y la presentaron en el ImageNet Large Scale Visual Recognition Challenge, el punto de referencia más difícil del campo en clasificación de imágenes.⁸ No ganó por poco. AlexNet registró una tasa de error top-5 del 15,3 %, más de 10 puntos porcentuales por delante del segundo clasificado, en un concurso donde las mejoras del año anterior se habían medido en fracciones de un punto porcentual.⁸ Como lo planteó después la ACM, Hinton y sus estudiantes “casi redujeron a la mitad la tasa de error en el reconocimiento de objetos y reconfiguraron el campo de la visión por computadora.”⁹ Los inviernos terminaron en una sola tarde. En cuestión de meses, el trío formó una empresa, DNNresearch, y en 2013 Google la adquirió —y con ella el código de AlexNet—, incorporando a Hinton a Google Brain, donde permaneció hasta 2023.² Aquello por lo que lo habían ridiculizado por creer era, de pronto, lo único que toda la industria quería construir.

Dejar Google y el giro hacia el riesgo, y los honores

En mayo de 2023, Hinton dejó Google. No por una disputa, ni para unirse a un rival, sino, como le dijo al New York Times, para poder “hablar libremente sobre los riesgos de la IA” sin que eso recayera sobre su empleador.¹ El hombre que pasó medio siglo insistiendo en que estas máquinas podían volverse inteligentes había concluido que se estaban volviendo inteligentes más rápido de lo esperado, y que las consecuencias —la desinformación, los sistemas autónomos, la dificultad de detener a los “malos actores”— eran genuinamente peligrosas. Es uno de los raros casos de un fundador de un campo que se vuelve a advertir contra él, en la cima de su reivindicación, en lugar de cobrarla.¹⁰

La reivindicación es formal. En 2019, la ACM otorgó a Hinton, Yoshua Bengio y Yann LeCun —los “padrinos del aprendizaje profundo”— el Premio Turing A.M. de 2018, el mayor honor de la computación, “por los avances conceptuales y de ingeniería que han convertido a las redes neuronales profundas en un componente crítico de la computación.”⁹ Luego, en 2024, Hinton compartió el Premio Nobel de Física con John Hopfield “por los descubrimientos e invenciones fundamentales que hacen posible el aprendizaje automático con redes neuronales artificiales”: un premio de física, concedido por las raíces de mecánica estadística de la máquina de Boltzmann, a un hombre con un título en psicología.⁷ El Turing y el Nobel no suelen estar en manos de la misma persona. Hinton tiene ambos, por la misma apuesta poco a la moda.

El método

El método es consistente a lo largo de cincuenta años: sostener una convicción más tiempo del que resulta cómodo, justificarla por el cerebro en lugar de por la demostración, y ser honesto sobre lo que es tuyo.

Apuesta por la biología, no por el consenso. El campo decía que la inteligencia era simbólica. Hinton decía que era aprendida, distribuida y parecida al cerebro, y mantuvo esa línea a lo largo de dos inviernos en que tanto la financiación como la moda decían que estaba equivocado. La convicción solo vale algo cuando te cuesta algo mantenerla.²

Usa la prueba de existencia. Cuando las matemáticas aún no están ahí, razona a partir del único sistema que funciona y que tienes. El cerebro aprende sin reglas escritas a mano, así que una red lo bastante grande entrenada con suficientes datos también debería. La plausibilidad antes que el formalismo; la demostración puede llegar después.⁷

Toma prestado de la física cuando la lógica se atasca. Paisajes de energía, asentamiento estocástico, mecánica estadística: Hinton cruzó las fronteras de las disciplinas para la máquina de Boltzmann porque las herramientas que necesitaba no existían dentro de la IA. El Nobel fue, literalmente, la física recompensando esa incursión.⁶⁷

Forma a las personas, no solo a la red. AlexNet la construyeron sus estudiantes. Sutskever pasó luego a OpenAI; el resultado de 2012 es inseparable del laboratorio que dirigía Hinton. El trabajo se propaga a través de las personas tanto como a través de los artículos.⁸

Reclama solo lo que es tuyo. Popularizó la retropropagación y lo dice, y atribuye la idea a Rumelhart y reconoce las matemáticas que preceden a ambos. La disposición a rechazar un crédito que te entregarían es parte del oficio, no algo aparte.⁴

Está dispuesto a temer tu propio resultado. El movimiento final —dejar Google para advertir sobre el peligro de aquello en lo que tenías razón— es el método vuelto sobre sí mismo: seguir la evidencia incluso cuando acusa la obra de tu vida.¹¹⁰

Cadena de influencia

Quién lo formó

George y Mary Everest Boole. Literalmente su ascendencia, y un contraste útil: la familia que fundó la lógica simbólica produjo al hombre que sostuvo que la inteligencia no es simbólica. El linaje le dio tanto la seriedad matemática como aquello contra lo que rebelarse. (Influencia formativa)

Donald Hebb y la neurociencia del aprendizaje. Toda la postura de Hinton —que el aprendizaje es el ajuste de la fuerza de las conexiones entre unidades simples— desciende del pensamiento hebbiano de “las neuronas que se activan juntas se conectan juntas”. Llegó a través de la psicología experimental, y el cerebro fue siempre el modelo. (Influencia formativa)

John Hopfield y la física estadística. La red basada en energía de Hopfield, de 1982, fue la base directa sobre la que Hinton construyó la máquina de Boltzmann. Los dos compartirían un Nobel por ello cuarenta y dos años después. (Influencia directa)

A quién formó él

Ilya Sutskever y Alex Krizhevsky. Sus estudiantes construyeron AlexNet; uno de ellos pasó a cofundar OpenAI. El avance de 2012 que puso fin a los inviernos de la IA salió del laboratorio de Hinton, de las manos de sus estudiantes.

Yoshua Bengio y Yann LeCun. Sus colaureados y compañeros “padrinos”: una comunidad pequeña y testaruda que mantuvo vivas las redes neuronales juntos y luego aceptó el Premio Turing juntos.

Esencialmente todo sistema moderno de IA. La retropropagación entrena casi todas las redes neuronales que funcionan hoy; el “aprendizaje profundo” que él revivió es el sustrato bajo los grandes modelos de lenguaje, los generadores de imágenes y las arquitecturas de agentes sobre las que construyo ahora.

El hilo conductor

Hinton es la raíz de la rama del aprendizaje profundo de esta serie, y la línea más clara corre hacia adelante hasta Andrej Karpathy. Todo el replanteamiento de Karpathy en torno al “Software 2.0” —que una red neuronal es un programa compilado a partir de datos en lugar de escrito a mano— solo tiene sentido en un mundo donde la apuesta de Hinton ya había dado frutos; Karpathy incluso asistió de oyente a las clases de Hinton en Toronto siendo estudiante de pregrado, absorbiendo el evangelio antes de que fuera ortodoxia. Donde Karpathy insiste en que construyas cada capa desde cero para confiar en la pila, Hinton aportó la capa misma: la retropropagación es eso que Karpathy implementa a mano para entenderlo. El otro extremo del eje es John Carmack, quien tras una carrera en gráficos se volcó a la investigación en AGI desde el lado de la ingeniería: el enfoque de sistemas y rendimiento hacia el mismo destino al que Hinton llegó desde la biología y la física. Dos rutas hacia una misma montaña: Hinton confió en el cerebro; Carmack confía en la máquina. (Puente de la serie)

Lo que me llevo de esto

La lección que conservo es que tener razón pronto se ve idéntico, durante mucho tiempo, a estar equivocado. Hinton pasó dos inviernos sosteniendo una postura que todo el campo había descartado, y lo único que separaba su convicción de la mera terquedad era que estaba anclada a una prueba de existencia: el cerebro funciona así, luego esto puede funcionar. Esa distinción es la que intento conservar. La convicción sin ancla es ego; la convicción anclada a una evidencia que puedes señalar, sostenida a lo largo de los años en que la moda dice que eres un necio, es como ocurren los verdaderos avances. Es la misma razón por la que trato la calidad como la única variable y no como algo que se negocia frente a la presión imperante por publicar: el estándar no se mueve porque la sala esté en desacuerdo.

La lección más difícil es el giro de 2023. Hinton ganó —Turing, Nobel, toda una industria construida sobre su apuesta— y luego usó esa autoridad para decir lo que nadie quería de él: que quizá tuvo demasiada razón, y que el resultado podría ser peligroso. En un campo de agentes que ahora escriben código más rápido de lo que cualquiera puede leerlo, ese es el ejemplo que me parece más pertinente. No basta con seguir la evidencia hasta un resultado; tienes que seguir siguiéndola más allá del resultado, incluso cuando acusa el trabajo del que más orgulloso estás. Eso es la puerta de la evidencia aplicada a tu propio legado: la disposición a temer tu propia conclusión cuando los datos cambian de rumbo. La biología fue la prueba de existencia de lo positivo. Hinton insiste ahora en que miremos con la misma honestidad lo negativo.

Preguntas frecuentes

¿Cuál es la filosofía de ingeniería de Geoffrey Hinton?

La convicción por encima de la moda. Hinton apostó su carrera al conexionismo —la inteligencia como aprendizaje en redes de unidades simples inspiradas en el cerebro— y mantuvo esa postura a lo largo de dos inviernos de la IA, cuando la IA simbólica era el consenso y las redes neuronales se descartaban.² Su justificación era biológica más que matemática: el cerebro es una red de unidades simples que aprende sin reglas escritas a mano, así que una red artificial lo bastante grande entrenada con suficientes datos también debería poder aprender.⁷ Confió en esa prueba de existencia por encima del formalismo y la financiación imperantes, y al final quedó reivindicado por AlexNet en 2012.⁸

¿Inventó Geoffrey Hinton la retropropagación?

No: la codesarrolló y la popularizó, lo cual es una distinción importante. El muy citado artículo de Nature de 1986, “Learning representations by back-propagating errors”, de David Rumelhart, Hinton y Ronald Williams, convenció a la comunidad investigadora de que entrenar redes de varias capas con retropropagación era práctico.³ Pero las matemáticas subyacentes son anteriores a ellos: Seppo Linnainmaa describió la diferenciación automática en modo inverso en 1970, y Paul Werbos propuso aplicarla a las redes neuronales en su tesis de 1974.⁴ El propio Hinton atribuye la idea central a Rumelhart, al decir: “David Rumelhart tuvo la idea básica de la retropropagación, así que es su invención.”⁴

¿Por qué ganó Geoffrey Hinton tanto el Premio Turing como el Premio Nobel?

Recibió el Premio Turing A.M. de la ACM de 2018 (anunciado en 2019), compartido con Yoshua Bengio y Yann LeCun, “por los avances conceptuales y de ingeniería que han convertido a las redes neuronales profundas en un componente crítico de la computación.”⁹ Luego compartió el Premio Nobel de Física de 2024 con John Hopfield “por los descubrimientos e invenciones fundamentales que hacen posible el aprendizaje automático con redes neuronales artificiales.”⁷ El Nobel reconoció específicamente las raíces de física estadística de su máquina de Boltzmann, construida sobre la red basada en energía de Hopfield.⁷ Tener ambos máximos honores en computación y en física por una sola línea de trabajo es excepcionalmente raro.

¿Por qué dejó Geoffrey Hinton Google en 2023?

Se fue en mayo de 2023 para hablar libremente sobre los riesgos de la IA sin que eso recayera sobre su empleador, al decirle al New York Times que quería “hablar libremente sobre los riesgos de la IA.”¹ Tras toda una vida sosteniendo que estos sistemas podían volverse inteligentes, había concluido que avanzaban más rápido de lo esperado y planteaban peligros reales: desinformación, sistemas autónomos y malos actores. Resumió su ambivalencia con la frase: “Me consuelo con la excusa de siempre: si yo no lo hubiera hecho, alguien más lo habría hecho.”¹¹⁰

Fuentes