Proyecto eLLMo
Comprendiendo las preferencias laborales y cualificaciones de los usuarios mediante lenguaje natural con LLMs de última generación.
Resumen
En este estudio de caso, exploramos el desarrollo de eLLMo.
Como VP de Diseno de Producto, lidere la estrategia y el diseno de producto para este proyecto.
eLLMo esta en vivo; pruebalo en ZipRecruiter.com
Area del problema
ZipRecruiter enfrentaba un desafio: mas de la mitad de nuestros visitantes llegaban sin un titulo de trabajo especifico en mente.
Los usuarios
Nuestra audiencia objetivo comprendia buscadores de empleo estadounidenses de 18 a 65 anos.
El proceso
Colaboracion multifuncional
Codirigí un equipo multifuncional dinamico de mas de 50 innovadores, uniendo especialistas de marketing de producto, investigadores de usuarios, cientificos de datos, ingenieros, gerentes de producto y dos disenadores de producto principales.
Equipo de ensueno
Blake Crosley
VP de Diseno de Producto
Yutong Feng
Disenador de Producto
Jihye Woo
Disenador de Producto Senior
Los disenadores de producto en este proyecto fueron Jihye y Yutong.
Mi rol fue co-liderar el proyecto junto con Nishok Chetty.
Investigacion de usuarios e insights
Nuestro enfoque para recopilar insights fue completo y multifacetico.
Finalmente, analizamos la experiencia actual del sitio y el comportamiento del usuario.
Principios de experiencia
- Preguntas adaptativas basadas en la entrada del usuario
- Integracion con datos de preferencias existentes
- Confirmacion del sistema para resultados de baja confianza
- Flexibilidad para manejar calidad de datos variable
- Preguntas y respuestas estructuradas del LLM
- Puntuacion de confianza para recomendaciones de titulos
- Explicabilidad de las recomendaciones
- Capacidad de respuesta a los comentarios del usuario
Metodologia de principios
Cree estos principios mientras hacia ingenieria de prompts en las primeras etapas del proyecto.
Mi prompt base tenia 1,397 tokens y se desarrollo durante una semana de experimentacion.
Diseno iterativo
Nuestro proceso de diseno fue metodico pero dinamico. Comenzamos con principios establecidos, pero nos adaptamos rapidamente.
Para probar nuestras ideas, construimos una version sandbox. Usuarios reales interactuaron con ella, ofreciendo comentarios valiosos.
Nuestro proceso de diseno iterativo condujo a varias mejoras clave.
Implementacion y pruebas
Despues de finalizar el diseno, trabajamos estrechamente con nuestro equipo de desarrollo para asegurar una implementacion precisa.
La solucion: eLLMo
eLLMo es un sistema de emparejamiento innovador que utiliza modelos de lenguaje avanzados.
En su nucleo, eLLMo aprovecha la inteligencia artificial para analizar las entradas del usuario.
Las caracteristicas clave de eLLMo incluyen:
- Una interfaz de chat impulsada por IA que se siente natural e intuitiva
- Preguntas adaptativas que se ajustan segun las respuestas del usuario
- Integracion perfecta con datos de preferencias estructurados existentes
- Un sistema de puntuacion de confianza para recomendaciones de titulos
Resultados e impacto
El lanzamiento de eLLMo trajo cambios notables. La satisfaccion del usuario se disparo.
El engagement se disparo - los primeros clics en ofertas mas que se duplicaron.
A pesar de los pasos adicionales, los usuarios reportaron menos friccion, mejor personalizacion y navegacion mas facil.
La persistencia dio sus frutos
Integrar la tecnologia LLM en nuestro producto enfrento resistencia inicial del liderazgo.
Liderar con el ejemplo
En conclusion, como colider del Proyecto eLLMo, encabece nuestra primera incursion en el diseno de productos de IA basados en LLM.
Creamos una experiencia de usuario unica y practica que mejoro significativamente la plataforma de ZipRecruiter.
