Projeto eLLMo

Neste estudo de caso, exploramos o desenvolvimento do eLLMo, uma interface conversacional de chat inovadora assistida por IA, projetada para aprimorar a experiência de busca de emprego dos usuários do ZipRecruiter.

Como VP de Design de Produto, liderei a estratégia e o design de produto deste projeto, com dois designers ajudando a criar os designs: Yutong Feng e Jihye Woo. Trabalhei de forma multifuncional para criar uma solução que aborda um desafio significativo no processo de busca de emprego: ajudar os usuários a descobrir cargos adequados quando não têm uma função específica em mente.

O eLLMo está disponível; experimente em ZipRecruiter.com

O ZipRecruiter enfrentava um desafio: mais da metade dos nossos visitantes chegava sem um cargo específico em mente. Esses "buscadores em branco" tinham dificuldades com um site projetado para buscas baseadas em cargos e um sistema de correspondência orientado por atividades. O resultado? Frequentemente, recomendações irrelevantes. Nossa missão ficou clara: criar uma abordagem de correspondência intuitiva, baseada em linguagem, que entendesse as habilidades e aspirações únicas de cada candidato.

Nosso público-alvo era composto por candidatos a emprego nos EUA com idades entre 18 e 65 anos, principalmente profissionais de 25 a 40 anos, incluindo pessoas em início de carreira e profissionais em transição de carreira, tanto em funções qualificadas quanto não qualificadas, que possuíam habilidades e preferências diversas, mas estavam incertos sobre cargos específicos.

Co-liderei uma equipe dinâmica e multifuncional de mais de 50 inovadores, unindo profissionais de marketing de produto, pesquisadores de usuários, cientistas de dados, engenheiros, gerentes de produto e dois designers de produto líderes para enfrentar esse desafio transformador.

Nossa abordagem para coletar insights foi abrangente e multifacetada. Começamos com pesquisas quantitativas da nossa equipe de marketing de produto, que forneceram uma visão geral ampla tanto dos usuários do ZipRecruiter quanto dos candidatos a emprego nos EUA em geral. Para adicionar profundidade a essas descobertas, nossa Pesquisadora de Usuários Líder, Tianyu Koenig, conduziu entrevistas aprofundadas, oferecendo dados qualitativos ricos.

Por fim, analisamos a experiência atual do site e o comportamento dos usuários, nos dando uma imagem clara de como as pessoas estavam realmente interagindo com nossa plataforma. Essa abordagem tripla garantiu que tivéssemos uma compreensão completa das necessidades e pontos de dor dos nossos usuários.

Criei esses princípios enquanto fazia engenharia de prompts nos estágios iniciais do projeto. Abaixo estão capturas de tela do playground da OpenAI, onde explorei os limites da tecnologia na época do GPT 4.0.

Meu prompt base tinha 1.397 tokens e foi desenvolvido ao longo de uma semana de experimentação. Imaginar como o LLM poderia capacitar uma experiência de usuário única e útil foi fundamental para o sucesso do projeto.

Nosso processo de design foi metódico, porém dinâmico. Começamos com princípios estabelecidos, mas nos adaptamos rapidamente. Cientistas de dados e gerentes de produto forneceram contribuições cruciais, reformulando nossos conceitos iniciais.

Para testar nossas ideias, construímos uma versão sandbox. Usuários reais interagiram com ela, oferecendo feedback valioso. Isso levou a múltiplas rodadas de entrevistas aprofundadas com usuários no sandbox e refinamentos adicionais. Cada iteração trouxe novos insights. Não apenas criamos um design; construímos uma solução que evoluiu com as necessidades dos usuários.

Nosso processo de design iterativo levou a várias melhorias importantes. Mudamos para perguntas de múltipla escolha e limitamos o número delas a cinco, reduzindo o esforço do usuário. Um novo prompt "Conte-me sobre você" foi adicionado para personalizar a experiência. Também incorporamos configurações de preferência diretamente no fluxo da conversa, tornando a personalização mais fluida. Por fim, refinamos os textos em toda a experiência para maior clareza. Essas mudanças visavam criar uma interação mais rápida, envolvente e personalizada, equilibrando a coleta de informações necessárias e o respeito ao tempo e às preferências dos usuários.

Após finalizar o design, trabalhamos de perto com nossa equipe de desenvolvimento para garantir uma implementação precisa. Cada detalhe foi cuidadosamente traduzido do design para o código. Quando a nova versão estava pronta, lançamos um teste A/B para compará-la com a original. Isso nos permitiu validar nossas escolhas de design com dados reais de usuários antes de implementar as mudanças completamente.

O lançamento do eLLMo trouxe mudanças notáveis. A satisfação dos usuários disparou, com 96% satisfeitos com as recomendações de vagas e 82% elogiando a abordagem inovadora.

O engajamento disparou - os cliques em vagas por novos usuários mais que dobraram, e as conclusões de cadastro subiram de 82% para 89%.

Apesar das etapas adicionais, os usuários relataram menos atrito, melhor personalização e navegação mais fácil. O eLLMo não apenas melhorou nossa plataforma; ele resolveu o problema da experiência de busca de emprego em branco.

Integrar a tecnologia LLM em nosso produto enfrentou resistência inicial da liderança. Para superar isso, adotei uma abordagem em três frentes. Primeiro, usei o playground da OpenAI para demonstrar as capacidades da tecnologia em tempo real. Depois, apresentei uma visão clara dos benefícios potenciais para os usuários. Por fim, colaborei com nossa equipe de design para criar uma interface intuitiva para interações com IA. Essa combinação de demonstração prática, visão focada no usuário e design elegante acabou convencendo o CTO e o COO, abrindo caminho para a adoção de LLM.