Proyecto eLLMo
Comprendiendo las preferencias laborales y cualificaciones de los usuarios mediante lenguaje natural con LLMs de última generación.
Resumen
En este estudio de caso, exploramos el desarrollo de eLLMo.
Como vicepresidente de diseño de producto, dirigí la estrategia y el diseño de producto para este proyecto, dos diseñadores ayudaron a crear los diseños; Yutong Feng y Jihye Woo. Trabajé de manera multifuncional para crear una solución que aborde un desafío importante en el proceso de búsqueda de empleo: ayudar a los usuarios a descubrir puestos de trabajo adecuados cuando no tienen un rol específico en mente.
eLLMo esta en vivo; pruebalo en ZipRecruiter.com
Area del problema
ZipRecruiter enfrentó un desafío: más de la mitad de nuestros visitantes llegaron sin un puesto de trabajo específico en mente. Estos "buscadores en blanco" tuvieron problemas con un sitio diseñado para búsquedas basadas en títulos y un sistema de coincidencia basado en actividades. ¿El resultado? Recomendaciones a menudo irrelevantes. Nuestra misión quedó clara: crear un enfoque de búsqueda intuitivo y basado en el lenguaje que comprendiera las habilidades y aspiraciones únicas de cada solicitante de empleo.
Los usuarios
Nuestra audiencia objetivo comprendia buscadores de empleo estadounidenses de 18 a 65 anos.
El proceso
Colaboracion multifuncional
Codirigí un equipo multifuncional dinamico de mas de 50 innovadores, uniendo especialistas de marketing de producto, investigadores de usuarios, cientificos de datos, ingenieros, gerentes de producto y dos disenadores de producto principales.
Equipo de ensueno
Blake Crosley
VP de Diseno de Producto
Yutong Feng
Disenador de Producto
Jihye Woo
Disenador de Producto Senior
Los diseñadores de productos de este proyecto fueron Jihye y Yutong. Jihye fue la diseñadora principal de nuestra experiencia de incorporación diaria y repitió el flujo varias veces. Yutong dirigió la creación de la interfaz de usuario conversacional para el proyecto eLLMo y ayudó a definir cómo respondería el sistema a nuestros usuarios trabajando con nuestros científicos de datos en la ingeniería rápida.
Mi función era codirigir el proyecto junto con Nishok Chetty, director de Matching Product. Desempeñé un papel decisivo en la dirección creativa del diseño del producto, los principios rápidos y la comunicación con la organización del Producto. El diseño fue creado gracias al trabajo de estos excelentes diseñadores y su gran esfuerzo. Trabajamos juntos diariamente durante este sprint de ocho semanas.
Investigacion de usuarios e insights
Nuestro enfoque para recopilar conocimientos fue integral y multifacético. Comenzamos con encuestas cuantitativas de nuestro equipo de marketing de productos, que proporcionaron una visión general amplia tanto de los usuarios de ZipRecruiter como de los solicitantes de empleo en EE. UU. en general. Para agregar profundidad a estos hallazgos, nuestro investigador de usuarios principal, Tianyu Koenig, realizó entrevistas en profundidad, ofreciendo datos cualitativos ricos.
Finalmente, analizamos la experiencia actual del sitio y el comportamiento del usuario.
Principios de experiencia
- Preguntas adaptativas basadas en la entrada del usuario
- Integracion con datos de preferencias existentes
- Confirmacion del sistema para resultados de baja confianza
- Flexibilidad para manejar calidad de datos variable
- Preguntas y respuestas estructuradas del LLM
- Puntuacion de confianza para recomendaciones de titulos
- Explicabilidad de las recomendaciones
- Capacidad de respuesta a los comentarios del usuario
Metodologia de principios
Cree estos principios mientras hacia ingenieria de prompts en las primeras etapas del proyecto.
Mi prompt base tenia 1,397 tokens y se desarrollo durante una semana de experimentacion.
Diseno iterativo
Nuestro proceso de diseno fue metodico pero dinamico. Comenzamos con principios establecidos, pero nos adaptamos rapidamente.
Para probar nuestras ideas, construimos una version sandbox. Usuarios reales interactuaron con ella, ofreciendo comentarios valiosos.
Nuestro proceso de diseño iterativo condujo a varias mejoras clave. Cambiamos a preguntas de opción múltiple y limitamos su número a cinco, lo que redujo el esfuerzo del usuario. Se agregó un nuevo mensaje "Cuéntame sobre ti" para personalizar la experiencia. También incorporamos configuraciones de preferencias directamente en el flujo de la conversación, lo que hace que la personalización sea más fluida. Finalmente, refinamos la copia a lo largo de la experiencia para mayor claridad. Estos cambios tenían como objetivo crear una interacción más rápida, atractiva y personalizada, equilibrando la recopilación de la información necesaria y el respeto del tiempo y las preferencias de los usuarios.
Implementacion y pruebas
Despues de finalizar el diseno, trabajamos estrechamente con nuestro equipo de desarrollo para asegurar una implementacion precisa.
La solucion: eLLMo
eLLMo es un sistema de emparejamiento innovador que utiliza modelos de lenguaje avanzados.
En su nucleo, eLLMo aprovecha la inteligencia artificial para analizar las entradas del usuario.
Las caracteristicas clave de eLLMo incluyen:
- Una interfaz de chat impulsada por IA que se siente natural e intuitiva
- Preguntas adaptativas que se ajustan segun las respuestas del usuario
- Integracion perfecta con datos de preferencias estructurados existentes
- Un sistema de puntuacion de confianza para recomendaciones de titulos
Resultados e impacto
El lanzamiento de eLLMo trajo cambios notables. La satisfaccion del usuario se disparo.
El engagement se disparo - los primeros clics en ofertas mas que se duplicaron.
A pesar de los pasos adicionales, los usuarios reportaron menos friccion, mejor personalizacion y navegacion mas facil.
La persistencia dio sus frutos
La integración de la tecnología LLM en nuestro producto enfrentó una resistencia inicial por parte del liderazgo. Para superar esto, adopté un enfoque triple. Primero, utilicé el campo de juego de OpenAI para demostrar las capacidades de la tecnología en tiempo real. Luego, presenté una visión clara de los posibles beneficios para el usuario. Finalmente, colaboré con nuestro equipo de diseño para crear una interfaz de usuario intuitiva para interacciones de IA. Esta combinación de demostración práctica, visión centrada en el usuario y diseño elegante finalmente convenció al CTO y al COO, allanando el camino para la adopción del LLM.
Liderar con el ejemplo
En conclusión, como codirector del Proyecto eLLMo, encabecé nuestra primera incursión en el diseño de productos de IA basado en LLM. Convencí a los líderes para que adoptaran esta tecnología y presenté nuestro progreso al director ejecutivo y a un equipo multifuncional de más de 350 personas. Nuestro equipo desarrolló habilidades cruciales en ingeniería rápida y fusionó con éxito capacidades de IA con principios de diseño centrados en el usuario.
Creamos una experiencia de usuario unica y practica que mejoro significativamente la plataforma de ZipRecruiter.
