Filosofia de engenharia: Kyunghyun Cho

Principais conclusões

• Ele deu às redes recorrentes uma porta de memória aprendida. Como primeiro autor do artigo de 2014 “Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation,” Kyunghyun Cho apresentou a unidade recorrente com portas (GRU) — uma célula com portas simplificada que permite à rede aprender quanto do seu passado manter e quanto sobrescrever a cada passo, com menos parâmetros do que a LSTM com a qual rivaliza.¹³
• Ele ajudou a levar a atenção para a tradução automática. Junto com Dzmitry Bahdanau (primeiro autor) e Yoshua Bengio, Cho foi coautor de “Neural Machine Translation by Jointly Learning to Align and Translate” (2014), que permitiu a um decodificador alinhar-se de forma suave a qualquer parte da origem em vez de espremer a frase inteira por um único vetor de comprimento fixo. Esse mecanismo é o ancestral direto do Transformer e de todo modelo de linguagem de grande porte moderno.²⁴
• Ele é uma voz de destaque a favor da ciência aberta e reproduzível. Cho tem sido um defensor ativo da revisão aberta e do empirismo cuidadoso — referências de comparação honestas, ceticismo diante dos próprios resultados e pesquisa publicada em aberto — algo documentado por seu trabalho sobre a revisão por pares e por seu uso de plataformas abertas como o OpenReview.⁵⁶
• De Aalto à NYU e ao design de fármacos. Nascido na Coreia do Sul em 1985, fez o doutorado na Universidade Aalto, realizou um pós-doutorado com Yoshua Bengio na Université de Montréal, ingressou na NYU em 2015 e cofundou a Prescient Design — hoje parte da Genentech — aplicando aprendizado de máquina ao design de anticorpos.¹⁷

O princípio

“Uma RNN codifica uma sequência de símbolos em uma representação vetorial de comprimento fixo, e a outra decodifica a representação em outra sequência de símbolos.” – Kyunghyun Cho e outros, descrevendo o RNN Encoder-Decoder que seu trabalho posterior aprenderia a superar¹

O instinto mais antigo da engenharia é projetar você mesmo a estrutura de controle. Você decide quais entradas importam, por quanto tempo o sistema deve lembrar um valor, onde olhar em um buffer. Você codifica essas decisões na arquitetura, e o sistema herda os seus palpites. A obra de Cho corre na direção contrária. Suas contribuições definidoras — as portas da GRU e o alinhamento suave da atenção — compartilham um único movimento: pare de fixar manualmente a estrutura de controle e deixe o modelo aprendê-la. Qual estado passado manter, a qual entrada atender — isso passa a ser parâmetros que a rede ajusta a partir dos dados, e não regras que o projetista fixa à mão.¹²

A GRU é o caso mais nítido. Uma rede recorrente simples carrega um estado oculto adiante e, a cada passo, mistura o estado antigo com a nova entrada de uma forma fixa. Essa mistura fixa é um palpite do projetista, e normalmente está errada: sinais importantes do início de uma sequência se diluem em ruído em poucos passos. A unidade com portas de Cho substitui o palpite por uma porta aprendida — um pequeno controle com valores sigmoides que decide, por passo e por dimensão, quanto da memória antiga manter em vez de quanto sobrescrever com a nova entrada.³ A rede aprende quando segurar e quando soltar. Ninguém codifica à mão a política de memória; quem a escreve são os dados.

A atenção é a mesma ideia aplicada a olhar em vez de a lembrar. E há uma segunda metade do princípio de Cho que mantém a primeira honesta — a disciplina de um cientista. A maneira de descobrir se um mecanismo aprendido realmente ajuda não é o entusiasmo; é uma luta justa contra uma referência de comparação forte, resultados dos quais você desconfia até que se sustentem e métodos publicados em aberto para que outros possam reproduzi-los.⁵⁶ Deixe o modelo aprender a própria estrutura de controle — e então verifique, com honestidade e em aberto, que ele de fato funcionou. A primeira metade é de onde vem a potência. A segunda é o que torna essa potência confiável.

Contexto

Kyunghyun Cho nasceu na Coreia do Sul em 1985.¹ Fez bacharelado em ciência da computação no KAIST em 2009, depois se mudou para a Finlândia para a pós-graduação na Universidade Aalto, onde obteve o mestrado em aprendizado de máquina e mineração de dados em 2011 e o Doutorado em Ciências em 2014, orientado pelo professor Juha Karhunen (com Tapani Raiko e Alexander Ilin).¹⁷ A Finlândia é um berço improvável para um dos anos decisivos do aprendizado profundo, mas o momento é justamente o ponto: ele terminou o doutorado exatamente quando o campo estava prestes a virar.

De Aalto, foi para Montreal para um estágio de pós-doutorado com Yoshua Bengio na Université de Montréal — o laboratório que se tornaria o MILA, então a maior concentração de talento em aprendizado profundo do mundo.¹ Os dois artigos que ancoram este ensaio — a GRU e o modelo de NMT baseado em atenção — surgiram ambos daquela janela de 2014, com Bengio como coautor de cada um.¹² Vale a pena parar para notar como isso foi rápido: um pesquisador chega como pós-doc e, em cerca de um ano, é primeiro autor do artigo que apresenta a GRU e coautor do artigo que leva a atenção para a tradução. Ambas as ideias hoje estão por baixo de uma fração enorme da IA em funcionamento.

Em 2015 ele ingressou na Universidade de Nova York, onde agora é professor de ciência da computação e ciência de dados no Courant Institute e no Center for Data Science, professor titular Glen de Vries de Estatística da Saúde e codiretor do Global AI Frontier Lab da NYU ao lado de Yann LeCun.⁷ Entre 2017 e 2020 foi cientista pesquisador no Facebook AI Research e — o capítulo que mostra seu princípio alcançando para além da linguagem — no início de 2021 cofundou a Prescient Design, uma startup de design de anticorpos com laboratório no ciclo adquirida pela Genentech naquele mesmo ano, onde liderou pesquisa de fronteira aplicando aprendizado de máquina generativo ao design de fármacos.⁷⁸ Em todo esse percurso, foi um defensor declarado da ciência aberta e reproduzível.⁵⁶

O trabalho

A GRU: uma memória que a rede aprende a controlar por portas

Para sentir por que as portas importam, observe uma rede recorrente tentar carregar um valor importante ao longo de uma sequência longa e ruidosa. A rede lê um passo de cada vez, mantendo uma única “memória” oculta que atualiza a cada passo. Logo aparece um valor que vale a pena manter; tudo depois dele é ruído. Uma RNN simples mistura o antigo e o novo em uma proporção fixa, então o valor inicial se esvai em poucos passos — no fim, ele já se foi. O problema inteiro é que a decisão de manter versus sobrescrever estava fixada à mão. O componente abaixo torna isso tangível: uma única porta decide, a cada passo, quanto da memória antiga sobrevive. Deslize-a para “manter” e o valor inicial chega intacto ao fim; deslize-a para “sobrescrever” e ele se dissolve quase de imediato.

Essa é exatamente a alavanca que a GRU de Cho acrescenta, exceto que a rede aprende a porta em vez de você defini-la. Apresentada em seu artigo de 2014 sobre o RNN Encoder-Decoder, a GRU usa duas portas aprendidas: uma porta de atualização, que controla quanto do estado oculto anterior carregar adiante em vez de substituí-lo por informações novas, e uma porta de redefinição, que decide quanto do passado deve influenciar o novo estado candidato.³ Ambas têm valores sigmoides — botões suaves entre 0 e 1 —, o que significa que a coisa toda é diferenciável e treinável por descida de gradiente. A rede descobre, a partir dos dados, quando segurar um valor por muito tempo e quando descartá-lo.³

O design é conscientemente econômico. Ele chegou ao lado da LSTM mais antiga de Hochreiter e Schmidhuber, que resolve o mesmo problema do gradiente que se esvai com mais maquinário — um estado de célula separado e uma porta de saída adicional. A GRU “não tem um vetor de contexto nem uma porta de saída, resultando em menos parâmetros do que a LSTM,” e ainda assim tem desempenho comparável em reconhecimento de fala, modelagem de música e tarefas de linguagem.³ Esse é o bom gosto em engenharia que vale a pena nomear: a unidade mais simples que captura a ideia essencial — o controle aprendido por portas — sem as partes cuja necessidade você não consegue provar. Por anos, a GRU e a LSTM foram as duas células recorrentes padrão em todo conjunto de ferramentas de modelagem de sequências.

Atenção: alinhamento suave e o fim do gargalo do vetor fixo

O RNN Encoder-Decoder tinha um defeito estrutural, e o próprio artigo de Cho o nomeou: o codificador esmaga uma frase de entrada inteira em “uma representação vetorial de comprimento fixo,” e o decodificador precisa reconstruir a tradução inteira a partir desse único vetor.¹ Para uma frase curta, tudo bem. Para uma longa, é uma catástrofe — você está forçando um parágrafo por um buraco de fechadura, e as redes recorrentes tendem a sobrevalorizar as palavras mais próximas do fim enquanto o início desaparece.⁴ O gargalo é o próprio vetor de comprimento fixo.

A solução, em “Neural Machine Translation by Jointly Learning to Align and Translate” (2014/2015) — com Dzmitry Bahdanau como primeiro autor, junto a Cho e Bengio — foi remover o gargalo por completo.² Em vez de comprimir a origem em um vetor, o modelo mantém uma representação de cada palavra da origem e deixa o decodificador, a cada passo de saída, calcular um conjunto de pesos sobre todas elas — um alinhamento suave aprendido que diz “para produzir esta palavra, olhe principalmente aqui, um pouco ali.”⁴ O decodificador obtém acesso direto a qualquer parte da entrada em vez de alcançá-la apenas por um único estado espremido.⁴ E, de modo crucial, o alinhamento não é especificado à mão por um linguista; ele é aprendido conjuntamente com a tradução, de ponta a ponta. O modelo decide por si mesmo onde olhar — o mesmo princípio da porta da GRU, agora aplicado à atenção em vez de à memória.

A linha de lá até hoje é curta e estrutural. O alinhamento suave se generalizou em autoatenção, e em 2017 o artigo do Transformer “Attention Is All You Need” formalizou a atenção por produto escalar escalonado e descartou a recorrência por completo — um design que se tornou o alicerce de BERT, T5, GPT e de toda a geração de modelos de linguagem de grande porte.⁴ Os LLMs modernos são, em um sentido real, atenção ampliada e despida da RNN ao seu redor. O mecanismo que Cho ajudou a apresentar à tradução em 2014 é aquele sobre o qual seu chatbot roda. (A atribuição importa: Cho é primeiro autor do artigo da GRU e coautor, com Bahdanau e Bengio, do artigo da atenção — ele não apresentou a atenção sozinho.)¹²

Ciência aberta e reproduzível

O segundo princípio é mais silencioso e, em um campo propenso ao exagero, mais difícil. Cho tem sido um defensor constante da ciência aberta e reproduzível — pesquisa conduzida e revisada em aberto, com referências de comparação honestas e um ceticismo prático diante dos próprios resultados.⁵⁶ Ele usou e defendeu plataformas abertas como o OpenReview e contribuiu com pesquisa sobre a própria revisão por pares, estudando questões como se as avaliações que os autores fazem dos próprios artigos podem informar o processo de revisão.⁵⁶ O fio condutor é que um resultado não é um resultado até sobreviver a um escrutínio que o autor não controlou.

Por que isso importa tecnicamente: no aprendizado profundo é incomumente fácil enganar a si mesmo. Uma arquitetura nova quase sempre vencerá uma referência fraca, uma semente de sorte ou um concorrente mal ajustado — e a literatura está cheia de “melhorias” que evaporam quando alguém dá ao método antigo uma luta justa. A disciplina que Cho encarna é supor que o seu próprio ganho é um artefato até prova em contrário, ajustar a referência de comparação com tanto empenho quanto você ajusta o seu método e publicar de forma aberta o bastante para que alguém possa provar que você está errado. É a consciência empírica que impede que o instinto de “deixe o modelo aprender” azede em “o modelo aprendeu porque eu quis que ele aprendesse.”

Aprendizado de máquina para as ciências: Prescient Design

O sinal mais claro de que o princípio de Cho é geral, e não específico da linguagem, é para onde ele o levou em seguida: o design de fármacos. No início de 2021 ele cofundou a Prescient Design, adquirida pela Genentech naquele ano, para construir uma plataforma com “laboratório no ciclo” voltada ao design de anticorpos terapêuticos.⁷⁸ O ciclo acopla modelos generativos de aprendizado de máquina, preditores de propriedades multitarefa e seleção por aprendizado ativo a experimentos reais de laboratório molhado em um ciclo iterativo — os modelos propõem variantes de anticorpos, o laboratório as testa e os resultados retreinam os modelos.⁸ Aplicado a alvos clinicamente relevantes, o sistema projetou e testou mais de mil variantes e produziu anticorpos com ligação drasticamente mais forte do que os candidatos iniciais.⁸ A estrutura é a mesma que atravessa tudo o mais que ele construiu: não projete a resposta à mão, construa um sistema que a aprenda a partir de evidências — e feche o ciclo com medições reais para que o aprendizado continue honesto.

O método

Olhe transversalmente para a GRU, a atenção, a defesa da ciência aberta e o trabalho com anticorpos, e os mesmos compromissos reaparecem. O método de Cho é menos um lema do que um conjunto de hábitos permanentes.

Torne a estrutura de controle aprendível. O movimento definidor é pegar uma decisão que você normalmente fixaria à mão — por quanto tempo lembrar, onde olhar — e transformá-la em parâmetros que o modelo ajusta a partir dos dados. A porta da GRU e o alinhamento da atenção são o mesmo instinto em dois domínios. A lição se transfere muito além dos modelos de sequência: quando você se pegar adivinhando um limiar, uma ponderação ou uma regra de roteamento, pergunte se o sistema poderia aprendê-la melhor do que você consegue adivinhá-la.¹²

Prefira o mecanismo mais simples que captura a ideia essencial. A GRU mantém o controle aprendido por portas e descarta o estado de célula e a porta de saída da LSTM, igualando seu desempenho com menos parâmetros.³ Isso é o produto mínimo digno no nível de uma célula neural — a menor unidade que ainda carrega a ideia estrutural, a mesma economia de meios que atravessa o ARM de Sophie Wilson.

Nomeie o gargalo antes de removê-lo. O próprio artigo encoder-decoder de Cho nomeou a limitação do vetor de comprimento fixo; o artigo da atenção a removeu.¹⁴ A disciplina é enunciar primeiro o defeito estrutural com precisão — o parágrafo pelo buraco de fechadura — porque um gargalo nomeado com nitidez está meio resolvido. É o mesmo instinto da decisão de Fei-Fei Li de atacar os dados, não o modelo: encontre a restrição real, não a conveniente.

Dê à referência de comparação uma luta justa. O empirismo honesto significa ajustar o método que você tenta vencer com tanto empenho quanto o que você propõe, e tratar o seu próprio ganho como suspeito até que ele sobreviva a esse teste. Isto é a barreira da evidência transformada em prática de pesquisa — “melhorou” não é evidência; “melhorou contra uma referência de comparação forte e reproduzível em aberto” é.⁵⁶

Trabalhe em aberto. Revisão aberta, plataformas abertas, resultados reproduzíveis. O valor de um método não é o que seu autor afirma, mas o que sobrevive ao escrutínio independente — e é por isso que publicar de forma aberta o bastante para ser verificado é parte da engenharia, não uma cortesia depois dela. É a qualidade é a única variável aplicada à própria ciência: a única coisa que conta é se o resultado é real.⁵⁶

Cadeia de influência

Quem o moldou

Yoshua Bengio e o grupo do MILA. O ano decisivo de Cho aconteceu como pós-doc no laboratório de Bengio em Montreal, e Bengio foi coautor tanto do artigo da GRU quanto do da atenção.¹² O MILA foi o ambiente onde as ideias de rede recorrente e tradução automática do início dos anos 2010 estavam sendo empurradas com mais força, e o trabalho de Cho é inseparável dele. (Influência direta)

Juha Karhunen e a escola de Aalto. Sua formação de doutorado em Aalto sob Juha Karhunen, com Tapani Raiko e Alexander Ilin, o fundamentou na tradição do aprendizado não supervisionado e das redes neurais antes que os anos de Montreal lhe dessem um alvo de tradução.¹⁷ (Influência formativa)

A linhagem do aprendizado profundo. O problema do gradiente que se esvai que a GRU enfrenta, e as arquiteturas recorrentes e convolucionais entre as quais ela se situa, descendem das décadas de trabalho de Geoffrey Hinton e Yann LeCun ao estabelecer que redes profundas podem ser treinadas, de modo algum trivial. Cho hoje codirige um laboratório da NYU com LeCun.⁷ (Influência formativa)

Quem ele moldou

A modelagem de sequências moderna. Por anos a GRU foi uma das duas células recorrentes padrão — a metade mais simples da escolha GRU/LSTM que todo profissional de PLN, fala e séries temporais fazia por reflexo.³

O Transformer e a era dos LLMs. A atenção, apresentada à tradução no artigo do qual Cho foi coautor, generalizou-se na autoatenção da qual o Transformer é construído — e o Transformer é aquilo sobre o que todo modelo de linguagem de grande porte moderno roda.⁴ O mecanismo é um dos mais consequentes na história do campo.

O aprendizado de máquina para as ciências. Por meio da Prescient Design e da Genentech, Cho ajudou a empurrar o aprendizado de máquina generativo para o design de anticorpos terapêuticos, um argumento de que o padrão de “aprenda-a a partir de evidências, feche o ciclo com a medição” pertence à biologia tanto quanto à linguagem.⁸

O fio condutor

Cho é a dobradiça do mecanismo no ramo de aprendizado profundo desta série — a ponte dos fundamentos à era dos LLMs. Geoffrey Hinton e Yann LeCun estabeleceram que redes profundas podem aprender; Fei-Fei Li forneceu os dados sobre os quais elas aprenderam. As portas e a atenção de Cho são o passo arquitetônico que transformou esses fundamentos em algo capaz de lidar com a linguagem em escala — e seu trabalho de atenção flui diretamente para o Transformer que Andrej Karpathy ensinaria depois uma geração a construir e que alimenta o LLM moderno. Onde Hinton diz a máquina de aprendizado funciona e Li diz eis o mundo do qual aprender, Cho diz: deixe o modelo aprender a própria estrutura de controle — o que lembrar, para onde olhar — e então prove, em aberto, que ele realmente o fez. A primeira oração é a linha até o Transformer; a segunda é a consciência empírica que o mantém honesto — o mesmo rigor que Fei-Fei Li trouxe às referências de comparação. (Ponte da série)

O que eu tiro disso

A lição que guardo de Cho é parar de fixar à mão as decisões que um sistema poderia aprender. Meu instinto, como o da maioria dos engenheiros, é codificar o meu próprio julgamento — este limiar, aquela ponderação, esta regra de roteamento — porque o meu julgamento parece a parte confiável. A GRU e a atenção são, ambas, argumentos de que o oposto frequentemente envelhece melhor: o modelo, dado o mecanismo certo e dados suficientes, aprenderá uma política de memória ou um alinhamento muito melhor do que eu adivinharia. Então, quando me pego ajustando uma constante mágica ou escrevendo à mão um desvio que decide o que importa, agora pergunto se estou codificando uma decisão que o sistema deveria estar aprendendo. A habilidade não é fazer a escolha; é construir a estrutura que deixa a escolha ser aprendida.

A segunda lição é a disciplina que impede a primeira de mentir para mim. Deixar um sistema aprender o próprio comportamento é inebriante justamente porque tão facilmente parece ter funcionado — a demonstração passa, a métrica sobe e eu quero acreditar. A ética de ciência aberta de Cho é o antídoto: suponha que o seu próprio resultado é um artefato até que ele sobreviva a uma luta justa contra uma referência de comparação forte, e publique-o de forma aberta o bastante para que alguém possa provar que você está errado. É exatamente por isso que trato a barreira da evidência como inegociável — “melhorou” é uma sensação, “melhorou contra uma referência ajustada, de forma reproduzível” é evidência. Construa sistemas que aprendam a própria estrutura de controle e então os submeta a um padrão de prova que você não pôde definir. A potência e a honestidade são duas metades de uma só prática.

Perguntas frequentes

O que é a GRU (unidade recorrente com portas)?

A GRU é um tipo de célula de rede neural recorrente que Kyunghyun Cho apresentou como primeiro autor no artigo de 2014 “Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation.”¹ Ela usa portas aprendidas — uma porta de atualização e uma porta de redefinição, ambas com valores sigmoides entre 0 e 1 — para controlar quanto do estado oculto anterior manter em vez de quanto sobrescrever com a nova entrada a cada passo. Isso permite à rede aprender o que lembrar ao longo de sequências longas, resolvendo o problema do gradiente que se esvai. Ela tem desempenho comparável ao da LSTM usando menos parâmetros, porque omite o estado de célula e a porta de saída separados da LSTM.³

O que Kyunghyun Cho contribuiu para a atenção e a tradução automática neural?

Cho é coautor — com Dzmitry Bahdanau (primeiro autor) e Yoshua Bengio — de “Neural Machine Translation by Jointly Learning to Align and Translate” (2014), o artigo que apresentou o mecanismo de atenção à tradução automática neural.² Em vez de comprimir uma frase de origem em um único vetor de comprimento fixo, o modelo mantém uma representação de cada palavra da origem e deixa o decodificador aprender um alinhamento suave sobre todas elas a cada passo de saída. Esse mecanismo se generalizou na autoatenção do Transformer em 2017, que é o alicerce dos modelos de linguagem de grande porte modernos.⁴ Separadamente, Cho foi primeiro autor do artigo de 2014 que apresentou a GRU.¹

Que gargalo do encoder-decoder a atenção resolveu?

O RNN Encoder-Decoder original, descrito no artigo de Cho de 2014, codifica uma frase de entrada inteira em “uma representação vetorial de comprimento fixo,” a partir da qual o decodificador precisa reconstruir toda a saída.¹ Para frases longas, esse único vetor é um gargalo — um parágrafo forçado por um buraco de fechadura — e as redes recorrentes tendem a perder informação do início da sequência.⁴ A atenção removeu o gargalo mantendo uma representação de cada posição da origem e deixando o decodificador atender diretamente a qualquer uma delas, com pesos aprendidos, em vez de depender de um único estado comprimido.⁴

O que Kyunghyun Cho está fazendo agora?

Cho é professor de ciência da computação e ciência de dados no Courant Institute e no Center for Data Science da NYU, professor titular Glen de Vries de Estatística da Saúde e codiretor do Global AI Frontier Lab da NYU com Yann LeCun.⁷ Ele cofundou a Prescient Design em 2021 — adquirida pela Genentech naquele ano — onde liderou pesquisa de fronteira aplicando aprendizado de máquina generativo ao design de anticorpos terapêuticos com “laboratório no ciclo,” acoplando modelos de aprendizado de máquina a experimentos de laboratório molhado em um ciclo iterativo de otimização.⁷⁸ Ele continua sendo um defensor ativo da ciência aberta e reproduzível.⁵⁶

Fontes