Filosofia de engenharia: Fei-Fei Li, os dados são a fundação

Principais lições

• O conjunto de dados foi a grande virada, não o modelo. Por uma década, a área ajustou algoritmos partindo do pressuposto de que modelos melhores eram o gargalo. Fei-Fei Li fez a aposta contrária: a de que o ingrediente que faltava era dados em escala. Ela concebeu e liderou o ImageNet – cerca de 14 milhões de imagens rotuladas à mão em mais de 20.000 categorias, organizadas sobre a hierarquia do WordNet e anotadas por dezenas de milhares de trabalhadores do Amazon Mechanical Turk.³⁴
• A AlexNet venceu graças aos dados dela. Quando uma rede convolucional profunda arrasou no desafio ImageNet de 2012 – 15,3% de erro top-5, mais de dez pontos à frente do segundo colocado –, isso validou a tese centrada em dados. O algoritmo existia havia anos; o que mudou foi que ele finalmente teve dados certos em quantidade suficiente para aprender.⁴⁵
• A IA precisa ser centrada no ser humano. O segundo princípio de Li é que não há “nada de artificial” na IA: ela é construída por humanos, comporta-se diante de humanos e impacta vidas humanas. Ela cofundou o Stanford HAI (2019) e o AI4ALL (2017) para tornar essa convicção institucional.⁶⁷⁸
• De imigrante a fundadora. Nascida em Pequim em 1976, chegou a Nova Jersey aos dezesseis anos, tocou a lavanderia da família durante os anos em Princeton, formou-se bacharel em física e doutorou-se na Caltech, e hoje lidera a World Labs, uma startup de inteligência espacial que constrói modelos capazes de compreender o mundo em 3D.¹²¹⁰

O princípio

“Nossa hipótese sobre a I.A. precisa ser orientada por dados, e centrar-se nos dados era a hipótese certa.” – Fei-Fei Li, sobre a aposta por trás do ImageNet⁹

Durante a maior parte dos anos 2000, o instinto dominante em machine learning era aprimorar o modelo: uma arquitetura mais engenhosa, um otimizador melhor, um extrator de características mais afiado. Os dados eram tratados como um pano de fundo fixo e modesto contra o qual os algoritmos competiam. O movimento central de Fei-Fei Li foi inverter essa hierarquia. Ela argumentou que os algoritmos não eram, na verdade, o gargalo – os dados eram. O caminho para avançar a percepção das máquinas não era continuar polindo o modelo com alguns milhares de exemplos, mas dar a ele ordens de magnitude a mais dos exemplos certos e deixá-lo aprender o mundo como uma criança aprende: encontrando o suficiente dele.⁹

A analogia não era decorativa; era o próprio argumento. Ninguém ensina uma criança a enxergar enumerando regras. A criança aprende mergulhada em uma torrente de experiência visual – milhões de vislumbres de objetos, cenas, rostos – até que a estrutura do mundo visual se assente. A aposta de Li era que um algoritmo de aprendizado precisava da mesma coisa: não de um professor melhor, mas de um fluxo de exemplos imensamente maior e mais rico. Então ela fez a coisa nada glamorosa e enorme que a área vinha evitando. Ela construiu o fluxo.³

Eis o princípio em uma linha: os dados são a fundação, e a IA precisa ser centrada no ser humano. A primeira metade é uma afirmação de engenharia – a inteligência emerge do aprendizado sobre dados certos em quantidade suficiente, e quem fornece esses dados molda o que a área é capaz de fazer. A segunda metade é uma afirmação sobre propósito. Li insiste que a IA não é uma força alienígena qualquer; é um artefato humano, e sua única justificativa é beneficiar as pessoas. “Não há nada de artificial na IA”, ela costuma dizer aos seus alunos; “ela é feita por humanos, destina-se a se comportar [em prol dos] humanos e impacta as vidas humanas e a sociedade humana.”⁶ Ela deu olhos à área construindo um conjunto de dados, não um modelo – e depois passou a década seguinte insistindo para que esses olhos permanecessem voltados ao bem humano.

Contexto

Fei-Fei Li nasceu em Pequim em 1976.¹ Seu pai emigrou para Parsippany, Nova Jersey, quando ela tinha doze anos; ela e a mãe o seguiram quando ela tinha dezesseis, chegando praticamente sem saber inglês.¹² O ponto de apoio da família nos Estados Unidos foi uma lavanderia, e Li trabalhou nela – nos fins de semana durante o ensino médio e na maioria dos fins de semana em que voltava da faculdade, ajudando a tocar o negócio e cuidando da contabilidade enquanto estudava.¹² É um detalhe que vale a pena guardar: a pessoa que mais tarde comandaria uma das maiores operações de rotulagem da história da computação aprendeu disciplina operacional atrás de um balcão, processando a roupa lavada dos outros.

Ela foi para Princeton com bolsa de estudos e se formou bacharel em física em 1999, tocando o negócio da família remotamente durante parte desse período.¹² Física, não ciência da computação – uma formação em buscar a lei simples por trás de fenômenos bagunçados, que é precisamente o instinto que ela aplicaria mais tarde à visão. Ela foi para a Caltech fazer a pós-graduação, obtendo um mestrado em engenharia elétrica em 2001 e um doutorado em 2005, trabalhando na interseção entre neurociência e visão computacional.¹

Quando ingressou no corpo docente de Princeton e depois de Stanford (2009), ela já havia absorvido uma convicção que ia na contramão de sua área: a de que o caminho à frente não era um modelo melhor sobre um conjunto de dados pequeno, mas um conjunto de dados radicalmente maior que ninguém tinha se disposto a construir.¹⁴ Tudo o que se segue – o ImageNet, o desafio, a virada centrada no ser humano, a startup – é o desdobramento dessa única aposta contracorrente.

O trabalho

ImageNet: dando olhos à área (2009)

A forma mais limpa de sentir a aposta de Li é observar o que acontece quando você mantém um modelo fixo e amplia seus dados de treinamento. O classificador não fica mais engenhoso – o algoritmo permanece inalterado –, mas sua imagem do mundo se torna mais nítida a cada exemplo rotulado que você lhe fornece. O widget abaixo torna isso tangível: comece com um punhado de pontos e o mesmo modelo chuta uma fronteira grosseira e errada; adicione cada vez mais dados rotulados e ele traça a forma verdadeira, com sua precisão subindo em direção ao teto. Esta é a tese do ImageNet em miniatura.

A história é concreta, e a atribuição importa. Li concebeu o projeto e começou a trabalhar na ideia por volta de 2006-2007, ainda em Princeton, colaborando com Christiane Fellbaum, cocriadora do WordNet, para usar a hierarquia de conceitos do WordNet como espinha dorsal organizadora do conjunto de dados.⁴ O ImageNet foi enfaticamente um esforço de equipe que ela liderou: o artigo histórico, “ImageNet: A Large-Scale Hierarchical Image Database”, apresentado na CVPR 2009, foi assinado por Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li e a própria Li (listada por último, como autora sênior).³ A versão do conjunto de dados que remodelou a área cresceu até cerca de 14 milhões de imagens anotadas à mão em mais de 20.000 categorias – o lançamento completo do ImageNet-21K compreende 14.197.122 imagens em 21.841 classes.⁴

O problema de engenharia não era o modelo; era a rotulagem. Anotar à mão quatorze milhões de imagens estava além de qualquer grupo de pesquisa, então a equipe de Li recorreu ao Amazon Mechanical Turk, distribuindo o trabalho entre cerca de 49.000 trabalhadores em 167 países, entre julho de 2008 e abril de 2010, filtrando mais de 160 milhões de imagens candidatas e rotulando cada imagem retida várias vezes para garantir qualidade.⁴ Esse feito logístico – terceirizar a percepção em massa em escala planetária – era a contribuição. Qualquer um poderia ter proposto “usar mais dados”. Li construiu o aparato que tornou isso real.

A ILSVRC e a validação da AlexNet em 2012

Um conjunto de dados, sozinho, não prova nada; você precisa fazer a área usá-lo. Então, de 2010 a 2017, o grupo de Li conduziu o ImageNet Large Scale Visual Recognition Challenge (ILSVRC) – uma competição anual sobre um subconjunto padronizado de 1.000 categorias, com cerca de 1,28 milhão de imagens de treinamento, 50.000 imagens de validação e 100.000 imagens de teste.⁴ O desafio transformou o ImageNet em um benchmark compartilhado e em um placar de líderes, o centro gravitacional da pesquisa em visão computacional durante quase uma década.

A validação chegou em 30 de setembro de 2012. Uma rede neural convolucional profunda – a AlexNet, do laboratório de Geoffrey Hinton em Toronto – venceu o desafio com uma taxa de erro top-5 de 15,3%, mais de 10,8 pontos percentuais à frente do segundo colocado.⁴⁵ Essa margem é a dobradiça da era moderna da IA. Mas o ponto frequentemente ignorado é por que isso foi possível: a arquitetura convolucional não era nova, e o treinamento baseado em gradiente não era novo. O que era novo é que, pela primeira vez, havia um conjunto de dados grande e rico o suficiente para uma rede profunda aprender sem simplesmente decorar. Li havia fornecido o ingrediente que faltava. Como a própria aluna dela viria a quantificar mais tarde, até a precisão humana no ImageNet é arduamente conquistada – Andrej Karpathy, que fez o doutorado sob orientação de Li e conduziu os experimentos de benchmark humano do desafio, estimou um erro humano top-5 de cerca de 5,1% apenas com esforço concentrado.⁵ As máquinas agora se aproximavam de um patamar que cobra caro até das pessoas.

Esta é a ilustração mais limpa da tese centrada em dados em toda a série. O algoritmo que venceu pertencia à linhagem de Geoffrey Hinton, e a arquitetura convolucional descende da LeNet de Yann LeCun. Mas nenhum dos dois teria vencido em 2012 sem os dados de Li. O modelo e os dados são duas metades de uma mesma virada – e por uma década a área tinha mantido fixa a metade errada.

IA centrada no ser humano e o Stanford HAI

Tendo entregado à área um olho mais poderoso, Li passou a fase seguinte da carreira preocupada com a direção para onde esse olho apontava. Seu enquadramento é enganosamente simples: a IA não é uma força externa que acontece à humanidade; é uma criação humana cujo propósito é o benefício humano. “Costumo dizer aos meus alunos para não se deixarem enganar pelo nome ‘inteligência artificial’ – não há nada de artificial nela”, escreveu ela. “A I.A. é feita por humanos, destinada a se comportar por meio dos humanos e, em última análise, a impactar as vidas humanas e a sociedade humana.”⁶

Em março de 2019, ela tornou essa convicção institucional, cofundando o Stanford Institute for Human-Centered Artificial Intelligence (HAI) com o filósofo e ex-reitor de Stanford John Etchemendy, atuando como codiretora fundadora.⁷ A missão do HAI – avançar a pesquisa, a educação, as políticas e a prática da IA para melhorar a condição humana – é o contrapeso deliberado a uma área que com frequência otimiza capacidade isoladamente. É o mesmo instinto que me leva a tratar o bom gosto como um sistema técnico e não como uma intuição vaga: a pergunta sobre para que serve o trabalho não é algo suave, e não vem depois da engenharia. Ela faz parte da engenharia.

AI4ALL, Google Cloud, The Worlds I See e a World Labs

A carreira de Li é incomumente ampla para uma pesquisadora de sua estatura, e cada capítulo expressa os mesmos dois princípios. Em 2017, ela cofundou o AI4ALL, uma organização sem fins lucrativos que trabalha para aumentar a diversidade na IA – uma aplicação direta do “centrado no ser humano” à questão de quem constrói os sistemas.⁸ Durante um período sabático de Stanford, entre janeiro de 2017 e o outono de 2018, ela atuou como cientista-chefe de IA/ML e vice-presidente do Google Cloud, levando a tradução de pesquisa para produto até a indústria.¹

Em 2023, ela publicou um livro de memórias, “The Worlds I See”, que Barack Obama incluiu em sua lista de leituras e o Financial Times listou entre os melhores livros do ano – “metade memórias, metade ciência”, a história da cientista imigrante e da aposta centrada em dados em um único volume.⁹ E, em setembro de 2024, ela cofundou a World Labs, uma startup de inteligência espacial – com Justin Johnson, Christoph Lassner e Ben Mildenhall –, construindo “modelos de mundo” fundacionais que percebem, geram e raciocinam sobre o mundo em 3D, com cerca de US$ 1 bilhão em financiamento.¹⁰ O fio condutor é exato: o ImageNet deu às máquinas visão estática; a World Labs é a aposta dela em dar a elas compreensão espacial – o próximo e mais difícil tipo de enxergar.

O método

O método de Li é consistente, do balcão da lavanderia ao laboratório de inteligência espacial: encontre a restrição que todos estão ignorando, construa a coisa nada glamorosa que a remove e mantenha o trabalho voltado para as pessoas.

Ataque os dados, não apenas o modelo. Quando uma área está travada, pergunte se o gargalo é mesmo o algoritmo ou se são os dados com os quais o algoritmo tem de aprender. O movimento definidor de Li foi suspeitar dos dados – e então construir, a um custo logístico enorme, o conjunto de dados que provou seu ponto.³⁴

Tome emprestada a estrutura de um domínio que já a resolveu. O ImageNet não inventou a própria taxonomia; apoiou-se na hierarquia de conceitos humanos do WordNet. Quando uma estrutura conhecida se encaixa no problema, codifique-a em vez de reinventá-la – o mesmo instinto por trás de LeCun ter embutido a invariância à translação na convolução.³⁴

Faça a área usar o seu trabalho. Um conjunto de dados numa gaveta não muda nada. O desafio ILSVRC transformou o ImageNet em um benchmark compartilhado com um placar de líderes, que foi o que de fato moveu a comunidade de pesquisa.⁴

Terceirize em massa na escala que o problema exige. Rotular quatorze milhões de imagens era impossível para um único laboratório, então Li construiu um pipeline de anotação envolvendo dezenas de milhares de trabalhadores. A solução operacional era a contribuição científica.⁴

Continue perguntando para que serve. Capacidade sem um propósito humano é, na visão de Li, engenharia incompleta. O HAI e o AI4ALL não são filantropia aparafusada à pesquisa; são o método estendido – o teste de Steve sobre se o trabalho merece existir, aplicado a uma área inteira.⁶⁷⁸

Cadeia de influência

Quem a moldou

Christiane Fellbaum e o WordNet. A espinha dorsal organizadora do ImageNet é a hierarquia de conceitos do WordNet, e Li construiu o conjunto de dados em colaboração direta com Christiane Fellbaum, cocriadora do WordNet. A taxonomia da linguagem humana tornou-se o esqueleto da visão de máquina. (Influência direta)

A visão da ciência cognitiva sobre o aprendizado. A analogia central de Li – a de que um modelo deveria aprender a enxergar como uma criança aprende, pela exposição a uma parte suficiente do mundo – vem de sua formação na fronteira entre neurociência e visão computacional na Caltech. A aposta nos dados em vez de regras é uma aposta sobre como a percepção biológica de fato se desenvolve. (Influência formativa)

O instinto de uma física. Sua formação de graduação foi em física, não em CC – uma disciplina de encontrar a estrutura simples por baixo de fenômenos bagunçados. A disposição de acreditar que “mais dos dados certos” era uma lei da área, e não um truque de força bruta, é um tipo de confiança próprio de física. (Influência formativa)

Quem ela moldou

A visão computacional moderna. Todo sistema de visão treinado ou pré-treinado no ImageNet – o que é, na prática, todos eles por uma década – herda os dados de Li. Ela não apenas contribuiu para a área; forneceu o substrato sobre o qual a área aprendeu.

A própria era do deep learning. A vitória da AlexNet em 2012, o evento mais frequentemente citado como o início do boom moderno da IA, rodou sobre o conjunto de dados dela e dentro do desafio dela. A metade centrada em dados dessa virada é dela.

Uma geração de pesquisadores. Por meio de seu laboratório em Stanford, ela orientou alunos que se tornaram figuras centrais por mérito próprio, entre eles Andrej Karpathy, e, por meio do AI4ALL, trabalhou para ampliar quem chega a construir a área.

O fio condutor

Li é a raiz dos dados no ramo do deep learning desta série, e a conexão com seus vizinhos é incomumente literal. O laboratório de Geoffrey Hinton construiu o algoritmo que venceu o ImageNet em 2012, e Yann LeCun projetou a arquitetura convolucional da qual esse algoritmo descende – mas a AlexNet rodou sobre os dados de Li. O modelo e o conjunto de dados são duas metades de um mesmo evento, e por anos a área tinha polido o modelo enquanto o conjunto de dados era justamente a coisa que ainda não existia. A linha para a frente segue até Andrej Karpathy, seu próprio aluno de doutorado, que conduziu o benchmark de precisão humana da ILSVRC e mais tarde cunhou o “Software 2.0” – a ideia de uma rede como um programa compilado a partir de dados, que é a generalização natural da aposta de Li de que os dados, e não o código, são de onde vem a inteligência. LeCun diz: aprenda o mundo; Hinton diz: a máquina de aprendizado funciona; Li diz: aqui está o mundo a partir do qual aprender, agora vá. (Ponte da série)

O que eu tiro disso

A lição que guardo de Li é que a fundação nada glamorosa é, com frequência, a verdadeira grande virada. A área passou uma década competindo em modelos porque os modelos são onde a engenhosidade parece morar – e a pessoa que mais moveu a área o fez construindo um conjunto de dados, um ato mais de resistência operacional do que de insight algorítmico. Isso reordena meus instintos. Quando algo está travado, agora pergunto primeiro se o gargalo é a parte engenhosa em que quero trabalhar ou a parte chata que estou evitando – os dados, a rotulagem, a fundação que ninguém quer construir. É a mesma disciplina da barreira da evidência: não “qual é a coisa mais interessante de otimizar”, mas “qual é, de fato, a restrição”.

A segunda lição é mais difícil e mais silenciosa. Li deu à área uma capacidade genuinamente mais poderosa e depois passou a década seguinte insistindo para que ela permanecesse responsável perante as pessoas – fundando o HAI, fundando o AI4ALL, repetindo que não há nada de artificial em uma coisa que humanos fazem para humanos. Isso não é um epílogo da engenharia; é a razão de existir da engenharia, que é exatamente por que sustento que a qualidade é a única variável e que o teste de Steve – isto merece existir? – é uma pergunta que você faz à própria capacidade, não apenas ao acabamento. Li construiu os olhos e depois garantiu que eles permanecessem voltados ao bem humano. A fundação, e para que serve a fundação.

FAQ

Qual é a filosofia de engenharia de Fei-Fei Li?

Os dados são a fundação, e a IA precisa ser centrada no ser humano. A aposta definidora de Li foi a de que o gargalo na percepção das máquinas não era o modelo, mas os dados – a de que a inteligência emerge do aprendizado sobre exemplos certos em quantidade suficiente, do jeito que uma criança aprende a enxergar pela experiência. Ela agiu sobre isso concebendo e liderando o ImageNet, um conjunto de dados rotulado de cerca de 14 milhões de imagens.³⁴ Seu segundo princípio é que a IA é um artefato humano para benefício humano – “não há nada de artificial nela” –, o que ela institucionalizou por meio do Stanford HAI e do AI4ALL.⁶⁷⁸

O que é o ImageNet e Fei-Fei Li o construiu sozinha?

O ImageNet é um banco de dados de imagens rotuladas em larga escala que se tornou o conjunto de treinamento fundacional da visão computacional moderna – cerca de 14 milhões de imagens anotadas à mão em mais de 20.000 categorias, organizadas sobre a hierarquia de conceitos do WordNet e rotuladas via Amazon Mechanical Turk.⁴ Li concebeu e liderou o projeto, mas foi um esforço de equipe: o artigo da CVPR 2009 “ImageNet: A Large-Scale Hierarchical Image Database” foi assinado por Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li e Fei-Fei Li (como autora sênior), e a espinha dorsal do WordNet veio de uma colaboração com Christiane Fellbaum, cocriadora do WordNet.³⁴

Como o ImageNet levou ao boom do deep learning?

De 2010 a 2017, o grupo de Li conduziu o ImageNet Large Scale Visual Recognition Challenge (ILSVRC), uma competição anual sobre um subconjunto de 1.000 categorias.⁴ Em 30 de setembro de 2012, a rede convolucional profunda AlexNet venceu com uma taxa de erro top-5 de 15,3% – mais de 10,8 pontos à frente do segundo colocado –, um evento amplamente tratado como o início da era moderna da IA.⁴⁵ O ponto decisivo é que o algoritmo convolucional já existia; o que era novo era um conjunto de dados grande o suficiente para ele aprender. Os dados, e não o modelo, eram o ingrediente que faltava.⁴

O que Fei-Fei Li está fazendo agora?

Depois de cofundar o Stanford HAI (2019) e o AI4ALL (2017), atuar como cientista-chefe de IA/ML no Google Cloud (2017-2018) e publicar seu livro de memórias “The Worlds I See” em 2023, Li cofundou a World Labs em setembro de 2024.¹⁷⁸⁹ A World Labs é uma startup de inteligência espacial que constrói “modelos de mundo” fundacionais capazes de perceber, gerar e raciocinar sobre o mundo em 3D – a aposta dela na próxima fronteira da percepção das máquinas, com cerca de US$ 1 bilhão em financiamento.¹⁰

Fontes