Projet eLLMo
Comprendre les préférences et qualifications professionnelles des utilisateurs via le langage naturel en utilisant des LLM de pointe.
Resume
Dans cette etude de cas, nous explorons le developpement d'eLLMo.
En tant que vice-président de la conception de produits, j'ai dirigé la stratégie et la conception de produits pour ce projet, deux designers ont aidé à créer les conceptions ; Yutong Feng et Jihye Woo. J'ai travaillé de manière interfonctionnelle pour créer une solution qui répond à un défi important dans le processus de recherche d'emploi : aider les utilisateurs à découvrir des titres de poste appropriés lorsqu'ils n'ont pas de rôle spécifique en tête.
eLLMo est en ligne ; essayez-le sur ZipRecruiter.com
Domaine du probleme
ZipRecruiter a été confronté à un défi : plus de la moitié de nos visiteurs sont arrivés sans titre de poste spécifique en tête. Ces « chercheurs vierges » ont eu du mal à utiliser un site conçu pour les recherches basées sur les titres et un système de correspondance basé sur les activités. Le résultat ? Des recommandations souvent peu pertinentes. Notre mission est devenue claire : élaborer une approche d'appariement intuitive, basée sur la langue, qui comprend les compétences et les aspirations uniques de chaque demandeur d'emploi.
Les utilisateurs
Notre public cible comprenait des chercheurs d'emploi americains ages de 18 a 65 ans.
Le processus
Collaboration interfonctionnelle
J'ai co-dirige une equipe interfonctionnelle dynamique de plus de 50 innovateurs, reunissant des responsables marketing produit, des chercheurs utilisateurs, des data scientists, des ingenieurs, des chefs de produit et deux designers produit principaux.
L'equipe de reve
Blake Crosley
VP of Product Design
Yutong Feng
Product Designer
Jihye Woo
Senior Product Designer
Les concepteurs de produits sur ce projet étaient Jihye et Yutong. Jihye était le concepteur principal de notre expérience d'intégration quotidienne et a répété le flux à plusieurs reprises. Yutong a dirigé la création de l'interface utilisateur conversationnelle pour le projet eLLMo et a contribué à définir la manière dont le système répondrait à nos utilisateurs travaillant avec nos data scientists sur l'ingénierie des invites.
Mon rôle était de codiriger le projet aux côtés de Nishok Chetty, directeur de Matching Product. J'ai joué un rôle déterminant dans la direction créative de la conception du produit, des principes d'invite et de la communication avec l'organisation Produit. Le design a été créé grâce au travail de ces excellents designers et à leurs efforts majeurs. Nous avons travaillé ensemble quotidiennement pendant ce sprint de huit semaines.
Recherche utilisateur et insights
Notre approche pour recueillir des informations était globale et multiforme. Nous avons commencé par des enquêtes quantitatives menées par notre équipe de marketing produit, qui ont fourni un large aperçu des utilisateurs de ZipRecruiter et des demandeurs d'emploi américains en général. Pour approfondir ces conclusions, notre chercheur principal auprès des utilisateurs, Tianyu Koenig, a mené des entretiens approfondis, offrant des données riches et qualitatives.
Enfin, nous avons analyse l'experience actuelle du site et le comportement des utilisateurs.
Principes d'experience
- Questions adaptatives basees sur les entrees utilisateur
- Integration avec les donnees de preferences existantes
- Confirmation systeme pour les resultats a faible confiance
- Flexibilite pour gerer une qualite de donnees variable
- Questions et reponses structurees du LLM
- Score de confiance pour les recommandations de titres
- Explicabilite des recommandations
- Reactivite aux commentaires utilisateurs
Methodologie des principes
J'ai cree ces principes en faisant de l'ingenierie de prompts dans les premieres phases du projet.
Mon prompt de base faisait 1 397 tokens et a ete developpe sur une semaine d'experimentation.
Design iteratif
Notre processus de design etait methodique mais dynamique. Nous avons commence avec des principes etablis, mais nous nous sommes rapidement adaptes.
Pour tester nos idees, nous avons construit une version sandbox. De vrais utilisateurs ont interagi avec elle, offrant des retours precieux.
Notre processus de conception itératif a conduit à plusieurs améliorations clés. Nous sommes passés aux questions à choix multiples et avons limité leur nombre à cinq, réduisant ainsi les efforts des utilisateurs. Une nouvelle invite « Parlez-moi de vous » a été ajoutée pour personnaliser l'expérience. Nous avons également intégré les paramètres de préférences directement dans le flux de conversation, rendant la personnalisation plus transparente. Enfin, nous avons affiné la copie tout au long de l'expérience pour plus de clarté. Ces changements visaient à créer une interaction plus rapide, plus engageante et personnalisée, en équilibrant la collecte des informations nécessaires et le respect du temps et des préférences des utilisateurs.
Implementation et tests
Apres avoir finalise le design, nous avons travaille en etroite collaboration avec notre equipe de developpement pour assurer une implementation precise.
La solution : eLLMo
eLLMo est un systeme de matching innovant qui utilise des modeles de langage avances.
A son coeur, eLLMo exploite l'intelligence artificielle pour analyser les entrees utilisateur.
Les fonctionnalites cles d'eLLMo incluent :
- Une interface de chat alimentee par l'IA qui semble naturelle et intuitive
- Des questions adaptatives qui s'ajustent en fonction des reponses utilisateur
- Integration transparente avec les donnees de preferences structurees existantes
- Un systeme de score de confiance pour les recommandations de titres
Resultats et impact
Le lancement d'eLLMo a apporte des changements remarquables. La satisfaction utilisateur a explose.
L'engagement a monte en fleche - les premiers clics sur les offres ont plus que double.
Malgre des etapes supplementaires, les utilisateurs ont signale moins de friction, une meilleure personnalisation et une navigation plus facile.
La perseverance a paye
L'intégration de la technologie LLM dans notre produit s'est heurtée au départ à une résistance de la part des dirigeants. Pour surmonter ce problème, j’ai adopté une approche en trois volets. Tout d'abord, j'ai utilisé le terrain de jeu d'OpenAI pour démontrer les capacités de la technologie en temps réel. Ensuite, j'ai présenté une vision claire des bénéfices potentiels pour les utilisateurs. Enfin, j'ai collaboré avec notre équipe de conception pour créer une interface utilisateur intuitive pour les interactions avec l'IA. Cette combinaison de démonstration pratique, de vision centrée sur l'utilisateur et de design élégant a finalement convaincu le CTO et le COO, ouvrant la voie à l'adoption du LLM.
Montrer l'exemple
En conclusion, en tant que co-responsable du projet eLLMo, j'ai dirigé notre première entreprise de conception de produits d'IA basée sur LLM. J'ai persuadé la direction d'adopter cette technologie et présenté nos progrès au PDG et à une équipe interfonctionnelle de plus de 350 personnes. Notre équipe a développé des compétences cruciales en ingénierie rapide et a réussi à fusionner les capacités de l’IA avec les principes de conception centrés sur l’utilisateur.
Nous avons cree une experience utilisateur unique et pratique qui a considerablement ameliore la plateforme de ZipRecruiter.
