Filosofía de la ingeniería: Kyunghyun Cho

Puntos clave

• Le dio a las redes recurrentes una compuerta de memoria aprendida. Como primer autor del artículo de 2014 “Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation,” Kyunghyun Cho introdujo la unidad recurrente con compuertas (GRU): una celda con compuertas simplificada que permite a la red aprender cuánto de su pasado conservar y cuánto sobrescribir en cada paso, con menos parámetros que la LSTM con la que rivaliza.¹³
• Ayudó a llevar la atención a la traducción automática. Junto con Dzmitry Bahdanau (primer autor) y Yoshua Bengio, Cho coescribió “Neural Machine Translation by Jointly Learning to Align and Translate” (2014), que permitió a un decodificador alinearse de forma suave con cualquier parte del origen en lugar de exprimir la oración entera a través de un único vector de longitud fija. Ese mecanismo es el antepasado directo del Transformer y de todos los grandes modelos de lenguaje modernos.²⁴
• Es una voz destacada en favor de la ciencia abierta y reproducible. Cho ha sido un promotor activo de la revisión abierta y del empirismo cuidadoso: referencias de comparación honestas, escepticismo hacia los propios resultados e investigación publicada en abierto, documentado a través de su trabajo sobre la revisión por pares y su uso de plataformas abiertas como OpenReview.⁵⁶
• De Aalto a la NYU y al diseño de fármacos. Nacido en Corea del Sur en 1985, hizo su doctorado en la Universidad Aalto, realizó un posdoctorado con Yoshua Bengio en la Université de Montréal, se incorporó a la NYU en 2015 y cofundó Prescient Design —ahora parte de Genentech— aplicando el aprendizaje automático al diseño de anticuerpos.¹⁷

El principio

“Una RNN codifica una secuencia de símbolos en una representación vectorial de longitud fija, y la otra decodifica la representación en otra secuencia de símbolos.” – Kyunghyun Cho y otros, describiendo el RNN Encoder-Decoder que su trabajo posterior aprendería a superar¹

El instinto más antiguo de la ingeniería es diseñar tú mismo la estructura de control. Tú decides qué entradas importan, cuánto tiempo debe recordar el sistema un valor, dónde mirar en un búfer. Codificas esas decisiones en la arquitectura, y el sistema hereda tus conjeturas. La obra de Cho va en la dirección contraria. Sus contribuciones definitorias —las compuertas de la GRU y la alineación suave de la atención— comparten un mismo movimiento: deja de fijar a mano la estructura de control y deja que el modelo la aprenda. Qué estado pasado conservar, a qué entrada atender: eso pasa a ser parámetros que la red ajusta a partir de los datos en lugar de reglas que el diseñador fija a mano.¹²

La GRU es el caso más nítido. Una red recurrente simple arrastra un estado oculto hacia adelante y, en cada paso, mezcla el estado antiguo con la nueva entrada de una forma fija. Esa mezcla fija es una conjetura del diseñador, y suele estar equivocada: señales importantes del inicio de una secuencia quedan diluidas en ruido en unos pocos pasos. La unidad con compuertas de Cho reemplaza la conjetura por una compuerta aprendida: un pequeño control con valores sigmoides que decide, por paso y por dimensión, cuánto de la memoria antigua conservar frente a cuánto sobrescribir con la nueva entrada.³ La red aprende cuándo aferrarse y cuándo soltar. Nadie codifica a mano la política de memoria; la escriben los datos.

La atención es la misma idea aplicada a mirar en lugar de a recordar. Y hay una segunda mitad del principio de Cho que mantiene honesta a la primera: la disciplina de un científico. La forma de averiguar si un mecanismo aprendido realmente ayuda no es el entusiasmo; es una pelea justa contra una referencia de comparación fuerte, resultados de los que desconfías hasta que se sostienen, y métodos publicados en abierto para que otros puedan reproducirlos.⁵⁶ Deja que el modelo aprenda su propia estructura de control y luego verifica, con honestidad y en abierto, que de verdad funcionó. La primera mitad es de donde sale la potencia. La segunda es lo que hace que esa potencia sea confiable.

Contexto

Kyunghyun Cho nació en Corea del Sur en 1985.¹ Cursó su licenciatura en ciencias de la computación en el KAIST en 2009, después se mudó a Finlandia para estudiar el posgrado en la Universidad Aalto, donde obtuvo un máster en aprendizaje automático y minería de datos en 2011 y su Doctorado en Ciencias en 2014, supervisado por el profesor Juha Karhunen (con Tapani Raiko y Alexander Ilin).¹⁷ Finlandia es una cuna improbable para uno de los años decisivos del aprendizaje profundo, pero el momento es justamente la clave: terminó su doctorado exactamente cuando el campo estaba a punto de dar el giro.

De Aalto pasó a Montreal para una estancia posdoctoral con Yoshua Bengio en la Université de Montréal, el laboratorio que se convertiría en MILA, la mayor concentración de talento en aprendizaje profundo del mundo.¹ Los dos artículos que anclan este ensayo —la GRU y el modelo de NMT basado en atención— surgieron ambos de aquella ventana de 2014, con Bengio como coautor en cada uno.¹² Vale la pena detenerse en lo rápido que fue: un investigador llega como posdoctorando y, en aproximadamente un año, es primer autor del artículo que introduce la GRU y coautor del artículo que lleva la atención a la traducción. Ambas ideas se asientan hoy bajo una fracción enorme de la IA en funcionamiento.

En 2015 se incorporó a la Universidad de Nueva York, donde ahora es profesor de ciencias de la computación y ciencia de datos en el Courant Institute y el Center for Data Science, titular de la cátedra Glen de Vries de Estadística de la Salud y codirector del Global AI Frontier Lab de la NYU junto a Yann LeCun.⁷ Entre 2017 y 2020 fue científico investigador en Facebook AI Research y —el capítulo que muestra su principio alcanzando más allá del lenguaje— a principios de 2021 cofundó Prescient Design, una startup de diseño de anticuerpos con laboratorio en el ciclo adquirida por Genentech ese mismo año, donde lideró investigación de frontera aplicando el aprendizaje automático generativo al diseño de fármacos.⁷⁸ A lo largo de todo ello, ha sido un defensor declarado de la ciencia abierta y reproducible.⁵⁶

El trabajo

La GRU: una memoria que la red aprende a regular con compuertas

Para sentir por qué importan las compuertas, observa a una red recurrente intentar arrastrar un valor importante a lo largo de una secuencia larga y ruidosa. La red lee un paso a la vez, sosteniendo una única “memoria” oculta que actualiza en cada paso. Pronto aparece un valor que vale la pena conservar; todo lo que viene después es ruido. Una RNN simple mezcla lo viejo y lo nuevo en una proporción fija, así que el valor temprano se desvanece en unos pocos pasos: al final, ha desaparecido. El problema entero es que la decisión de conservar frente a sobrescribir estaba fijada a mano. El componente de abajo lo hace tangible: una sola compuerta decide, en cada paso, cuánto sobrevive de la memoria antigua. Deslízala hacia “conservar” y el valor temprano llega intacto al final; deslízala hacia “sobrescribir” y se borra casi de inmediato.

Esa es exactamente la palanca que añade la GRU de Cho, salvo que la red aprende la compuerta en lugar de fijarla tú. Introducida en su artículo de 2014 sobre el RNN Encoder-Decoder, la GRU usa dos compuertas aprendidas: una compuerta de actualización que controla cuánto del estado oculto anterior arrastrar hacia adelante frente a reemplazarlo con información nueva, y una compuerta de reinicio que decide cuánto del pasado debe influir en el nuevo estado candidato.³ Ambas tienen valores sigmoides —perillas suaves entre 0 y 1—, lo que significa que todo el conjunto es diferenciable y entrenable por descenso de gradiente. La red descubre, a partir de los datos, cuándo sostener un valor durante mucho tiempo y cuándo descartarlo.³

El diseño es conscientemente económico. Llegó junto a la antigua LSTM de Hochreiter y Schmidhuber, que resuelve el mismo problema del gradiente que se desvanece con más maquinaria: un estado de celda aparte y una compuerta de salida adicional. La GRU “carece de vector de contexto o compuerta de salida, lo que resulta en menos parámetros que la LSTM,” y sin embargo rinde de forma comparable en reconocimiento de voz, modelado de música y tareas de lenguaje.³ Ese es el buen gusto en ingeniería que vale la pena nombrar: la unidad más simple que captura la idea esencial —el control aprendido con compuertas— sin las partes que no puedes demostrar que necesitas. Durante años, la GRU y la LSTM fueron las dos celdas recurrentes por defecto en cada caja de herramientas de modelado de secuencias.

Atención: alineación suave y el fin del cuello de botella del vector fijo

El RNN Encoder-Decoder tenía un defecto estructural, y el propio artículo de Cho lo nombró: el codificador aplasta una oración de entrada entera en “una representación vectorial de longitud fija,” y el decodificador debe reconstruir toda la traducción a partir de ese único vector.¹ Para una oración corta eso está bien. Para una larga es una catástrofe: estás forzando un párrafo a través del ojo de una cerradura, y las redes recurrentes tienden a sobreponderar las palabras más cercanas al final mientras el principio se desvanece.⁴ El cuello de botella es el propio vector de longitud fija.

La solución, en “Neural Machine Translation by Jointly Learning to Align and Translate” (2014/2015) —con Dzmitry Bahdanau como primer autor, junto a Cho y Bengio— fue eliminar el cuello de botella por completo.² En lugar de comprimir el origen en un vector, el modelo conserva una representación de cada palabra del origen y deja que el decodificador, en cada paso de salida, calcule un conjunto de pesos sobre todas ellas: una alineación suave aprendida que dice “para producir esta palabra, mira sobre todo aquí, un poco allá.”⁴ El decodificador obtiene acceso directo a cualquier parte de la entrada en lugar de alcanzarla solo a través de un único estado exprimido.⁴ Y, algo crucial, la alineación no la especifica a mano un lingüista; se aprende conjuntamente con la traducción, de extremo a extremo. El modelo decide por sí mismo dónde mirar: el mismo principio que la compuerta de la GRU, ahora aplicado a la atención en lugar de a la memoria.

La línea desde ahí hasta hoy es corta y portante. La alineación suave se generalizó en autoatención, y en 2017 el artículo del Transformer “Attention Is All You Need” formalizó la atención por producto punto escalado y desechó la recurrencia por completo: un diseño que se convirtió en el cimiento de BERT, T5, GPT y toda la generación de grandes modelos de lenguaje.⁴ Los LLM modernos son, en un sentido real, atención escalada y despojada de la RNN a su alrededor. El mecanismo que Cho ayudó a introducir en la traducción en 2014 es aquel sobre el que corre tu chatbot. (La atribución importa: Cho es primer autor del artículo de la GRU y coautor con Bahdanau y Bengio del artículo de la atención; no introdujo la atención en solitario.)¹²

Ciencia abierta y reproducible

El segundo principio es más callado y, en un campo propenso a la exageración, más difícil. Cho ha sido un defensor constante de la ciencia abierta y reproducible: investigación realizada y revisada en abierto, con referencias de comparación honestas y un escepticismo operativo hacia los propios resultados.⁵⁶ Ha usado y promovido plataformas abiertas como OpenReview, y ha aportado investigación sobre la propia revisión por pares, estudiando preguntas como si las evaluaciones que los autores hacen de sus propios artículos pueden informar el proceso de revisión.⁵⁶ El hilo conductor es que un resultado no es un resultado hasta que sobrevive a un escrutinio que el autor no controló.

Por qué importa técnicamente: en el aprendizaje profundo es inusualmente fácil engañarse a uno mismo. Una arquitectura nueva casi siempre vencerá a una referencia débil, a una semilla afortunada o a un competidor mal ajustado, y la literatura está plagada de “mejoras” que se evaporan cuando alguien le da al método antiguo una pelea justa. La disciplina que Cho encarna es asumir que tu propia ganancia es un artefacto hasta que se demuestre lo contrario, ajustar la referencia de comparación con tanto empeño como ajustas tu método y publicar de forma suficientemente abierta como para que alguien pueda demostrar que te equivocas. Es la conciencia empírica que evita que el instinto de “deja que el modelo lo aprenda” se agrie en “el modelo lo aprendió porque yo quería que lo hiciera.”

Aprendizaje automático para las ciencias: Prescient Design

La señal más clara de que el principio de Cho es general, no específico del lenguaje, es hacia dónde lo llevó después: el diseño de fármacos. A principios de 2021 cofundó Prescient Design, adquirida por Genentech ese año, para construir una plataforma con “laboratorio en el ciclo” destinada a diseñar anticuerpos terapéuticos.⁷⁸ El ciclo acopla modelos generativos de aprendizaje automático, predictores de propiedades multitarea y selección por aprendizaje activo con experimentos reales de laboratorio húmedo en un ciclo iterativo: los modelos proponen variantes de anticuerpos, el laboratorio las prueba y los resultados reentrenan los modelos.⁸ Aplicado a través de dianas clínicamente relevantes, el sistema diseñó y probó más de mil variantes y obtuvo anticuerpos con una afinidad de unión drásticamente más fuerte que los candidatos iniciales.⁸ La estructura es la misma que atraviesa todo lo demás que ha construido: no diseñes a mano la respuesta, construye un sistema que la aprenda a partir de la evidencia, y cierra el ciclo con mediciones reales para que el aprendizaje siga siendo honesto.

El método

Recorre la GRU, la atención, la defensa de la ciencia abierta y el trabajo con anticuerpos, y reaparecen los mismos compromisos. El método de Cho es menos un eslogan que un conjunto de hábitos permanentes.

Haz que la estructura de control sea aprendible. El movimiento definitorio es tomar una decisión que normalmente fijarías a mano —cuánto tiempo recordar, dónde mirar— y convertirla en parámetros que el modelo ajusta a partir de los datos. La compuerta de la GRU y la alineación de la atención son el mismo instinto en dos dominios. La lección se transfiere mucho más allá de los modelos de secuencias: cuando te descubras adivinando un umbral, una ponderación o una regla de enrutamiento, pregúntate si el sistema podría aprenderlo mejor de lo que tú puedes adivinarlo.¹²

Prefiere el mecanismo más simple que capture la idea esencial. La GRU conserva el control aprendido con compuertas y descarta el estado de celda y la compuerta de salida de la LSTM, igualando su rendimiento con menos parámetros.³ Eso es el producto mínimo digno al nivel de una celda neuronal: la unidad más pequeña que aún carga la idea portante, la misma economía de medios que recorre el ARM de Sophie Wilson.

Nombra el cuello de botella antes de eliminarlo. El propio artículo encoder-decoder de Cho nombró la limitación del vector de longitud fija; el artículo de la atención la eliminó.¹⁴ La disciplina es enunciar primero el defecto estructural con precisión —el párrafo a través del ojo de una cerradura— porque un cuello de botella nombrado con nitidez está medio resuelto. Es el mismo instinto que la decisión de Fei-Fei Li de atacar los datos, no el modelo: encuentra la restricción real, no la conveniente.

Dale a la referencia de comparación una pelea justa. El empirismo honesto significa ajustar el método que intentas vencer con tanto empeño como el que propones, y tratar tu propia ganancia como sospechosa hasta que sobreviva a esa prueba. Esto es la puerta de evidencia convertida en práctica de investigación: “mejoró” no es prueba; “mejoró frente a una referencia de comparación fuerte y reproducible en abierto” sí lo es.⁵⁶

Trabaja en abierto. Revisión abierta, plataformas abiertas, resultados reproducibles. El valor de un método no es lo que afirma su autor sino lo que sobrevive al escrutinio independiente, y por eso publicar de forma suficientemente abierta como para poder ser comprobado es parte de la ingeniería, no una cortesía posterior. Es la calidad es la única variable aplicada a la ciencia misma: lo único que cuenta es si el resultado es real.⁵⁶

Cadena de influencia

Quiénes lo formaron

Yoshua Bengio y el grupo de MILA. El año decisivo de Cho ocurrió como posdoctorando en el laboratorio de Bengio en Montreal, y Bengio coescribió tanto el artículo de la GRU como el de la atención.¹² MILA fue el entorno donde se empujaban con más fuerza las ideas de redes recurrentes y traducción automática de comienzos de la década de 2010, y el trabajo de Cho es inseparable de él. (Influencia directa)

Juha Karhunen y la escuela de Aalto. Su formación doctoral en Aalto bajo Juha Karhunen, con Tapani Raiko y Alexander Ilin, lo asentó en la tradición del aprendizaje no supervisado y las redes neuronales antes de que los años de Montreal le dieran un objetivo de traducción.¹⁷ (Influencia formativa)

El linaje del aprendizaje profundo. El problema del gradiente que se desvanece que aborda la GRU, y las arquitecturas recurrentes y convolucionales entre las que se sitúa, descienden de las décadas de trabajo de Geoffrey Hinton y Yann LeCun al establecer que las redes profundas pueden entrenarse en absoluto. Cho ahora codirige un laboratorio de la NYU con LeCun.⁷ (Influencia formativa)

A quiénes formó él

El modelado de secuencias moderno. Durante años la GRU fue una de las dos celdas recurrentes por defecto: la mitad más simple de la elección GRU/LSTM que todo profesional de PLN, voz y series temporales hacía por reflejo.³

El Transformer y la era de los LLM. La atención, introducida en la traducción en el artículo que Cho coescribió, se generalizó en la autoatención sobre la que está construido el Transformer, y el Transformer es aquello sobre lo que corre todo gran modelo de lenguaje moderno.⁴ El mecanismo es uno de los más trascendentales en la historia del campo.

El aprendizaje automático para las ciencias. A través de Prescient Design y Genentech, Cho ayudó a empujar el aprendizaje automático generativo hacia el diseño de anticuerpos terapéuticos, un argumento de que el patrón de “apréndelo a partir de la evidencia, cierra el ciclo con la medición” pertenece a la biología tanto como al lenguaje.⁸

El hilo conductor

Cho es la bisagra del mecanismo de la rama de aprendizaje profundo de esta serie: el puente de los fundamentos a la era de los LLM. Geoffrey Hinton y Yann LeCun establecieron que las redes profundas pueden aprender; Fei-Fei Li suministró los datos sobre los que aprendieron. Las compuertas y la atención de Cho son el paso arquitectónico que convirtió esos fundamentos en algo capaz de manejar el lenguaje a escala, y su trabajo sobre la atención fluye directamente hacia el Transformer que Andrej Karpathy enseñaría más tarde a construir a toda una generación y que impulsa el LLM moderno. Donde Hinton dice la máquina de aprendizaje funciona y Li dice aquí está el mundo del que aprender, Cho dice: deja que el modelo aprenda su propia estructura de control —qué recordar, a qué mirar— y luego demuestra, en abierto, que de verdad lo hizo. La primera cláusula es la línea hacia el Transformer; la segunda es la conciencia empírica que lo mantiene honesto, el mismo rigor que Fei-Fei Li aportó a los conjuntos de referencia. (Puente de la serie)

Lo que me llevo de esto

La lección que conservo de Cho es dejar de fijar a mano las decisiones que un sistema podría aprender. Mi instinto, como el de la mayoría de los ingenieros, es codificar mi propio juicio —este umbral, aquella ponderación, esta regla de enrutamiento— porque mi juicio se siente como la parte confiable. La GRU y la atención son, ambas, argumentos de que lo contrario suele envejecer mejor: el modelo, dado el mecanismo adecuado y suficientes datos, aprenderá una política de memoria o una alineación mucho mejor de lo que yo adivinaría. Así que cuando me sorprendo ajustando una constante mágica o escribiendo a mano una bifurcación que decide qué importa, ahora me pregunto si estoy codificando una decisión que el sistema debería estar aprendiendo. La habilidad no es tomar la decisión; es construir la estructura que deja que la decisión se aprenda.

La segunda lección es la disciplina que evita que la primera me mienta. Dejar que un sistema aprenda su propio comportamiento es embriagador precisamente porque parece haber funcionado con demasiada facilidad: la demostración pasa, la métrica sube y quiero creerlo. La ética de ciencia abierta de Cho es el antídoto: asume que tu propio resultado es un artefacto hasta que sobreviva a una pelea justa contra una referencia de comparación fuerte, y publícalo de forma suficientemente abierta como para que alguien pueda demostrar que te equivocas. Por eso exactamente trato la puerta de evidencia como innegociable: “mejoró” es un sentimiento, “mejoró frente a una referencia ajustada, de forma reproducible” es prueba. Construye sistemas que aprendan su propia estructura de control y luego somételos a un estándar de prueba que tú no llegaste a fijar. La potencia y la honestidad son dos mitades de una misma práctica.

Preguntas frecuentes

¿Qué es la GRU (unidad recurrente con compuertas)?

La GRU es un tipo de celda de red neuronal recurrente que Kyunghyun Cho introdujo como primer autor en el artículo de 2014 “Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation.”¹ Usa compuertas aprendidas —una compuerta de actualización y una compuerta de reinicio, ambas con valores sigmoides entre 0 y 1— para controlar cuánto del estado oculto anterior conservar frente a cuánto sobrescribir con la nueva entrada en cada paso. Esto permite a la red aprender qué recordar a lo largo de secuencias largas, resolviendo el problema del gradiente que se desvanece. Rinde de forma comparable a la LSTM mientras usa menos parámetros, porque omite el estado de celda y la compuerta de salida separados de la LSTM.³

¿Qué aportó Kyunghyun Cho a la atención y a la traducción automática neuronal?

Cho es coautor —junto con Dzmitry Bahdanau (primer autor) y Yoshua Bengio— de “Neural Machine Translation by Jointly Learning to Align and Translate” (2014), el artículo que introdujo el mecanismo de atención en la traducción automática neuronal.² En lugar de comprimir una oración de origen en un único vector de longitud fija, el modelo conserva una representación de cada palabra del origen y deja que el decodificador aprenda una alineación suave sobre todas ellas en cada paso de salida. Ese mecanismo se generalizó en la autoatención del Transformer en 2017, que es el cimiento de los grandes modelos de lenguaje modernos.⁴ Por separado, Cho fue primer autor del artículo de 2014 que introdujo la GRU.¹

¿Qué cuello de botella del encoder-decoder resolvió la atención?

El RNN Encoder-Decoder original, descrito en el artículo de Cho de 2014, codifica una oración de entrada entera en “una representación vectorial de longitud fija,” a partir de la cual el decodificador debe reconstruir toda la salida.¹ Para oraciones largas, ese único vector es un cuello de botella —un párrafo forzado a través del ojo de una cerradura— y las redes recurrentes tienden a perder información del inicio de la secuencia.⁴ La atención eliminó el cuello de botella al conservar una representación de cada posición del origen y dejar que el decodificador atendiera directamente a cualquiera de ellas, con pesos aprendidos, en lugar de depender de un único estado comprimido.⁴

¿Qué hace Kyunghyun Cho ahora?

Cho es profesor de ciencias de la computación y ciencia de datos en el Courant Institute y el Center for Data Science de la NYU, titular de la cátedra Glen de Vries de Estadística de la Salud y codirector del Global AI Frontier Lab de la NYU con Yann LeCun.⁷ Cofundó Prescient Design en 2021 —adquirida por Genentech ese año—, donde lideró investigación de frontera aplicando el aprendizaje automático generativo al diseño de anticuerpos terapéuticos con “laboratorio en el ciclo,” acoplando modelos de aprendizaje automático con experimentos de laboratorio húmedo en un ciclo iterativo de optimización.⁷⁸ Sigue siendo un defensor activo de la ciencia abierta y reproducible.⁵⁶

Fuentes