Projekt eLLMo
Verständnis von Jobpräferenzen und Qualifikationen der Nutzer durch natürliche Sprache mit modernsten LLMs.
Zusammenfassung
In dieser Fallstudie untersuchen wir die Entwicklung von eLLMo.
Als VP of Product Design leitete ich Strategie und Produktdesign fuer dieses Projekt.
eLLMo ist live; probieren Sie es aus unter ZipRecruiter.com
Problembereich
ZipRecruiter stand vor einer Herausforderung: Ueber die Haelfte unserer Besucher kam ohne einen bestimmten Jobtitel im Kopf.
Die Nutzer
Unsere Zielgruppe bestand aus US-Arbeitssuchenden im Alter von 18-65 Jahren.
Der Prozess
Funktionsuebergreifende Zusammenarbeit
Ich leitete gemeinsam ein dynamisches, funktionsuebergreifendes Team von ueber 50 Innovatoren, das Produktmarketing, User Research, Data Science, Engineering, Produktmanagement und zwei Lead Product Designer vereinte.
Traumteam
Blake Crosley
VP of Product Design
Yutong Feng
Product Designer
Jihye Woo
Senior Product Designer
Die Produktdesigner an diesem Projekt waren Jihye und Yutong.
Meine Rolle war es, das Projekt gemeinsam mit Nishok Chetty zu leiten.
Nutzerforschung und Erkenntnisse
Unser Ansatz zur Gewinnung von Erkenntnissen war umfassend und vielschichtig.
Schliesslich analysierten wir die aktuelle Website-Erfahrung und das Nutzerverhalten.
Erfahrungsprinzipien
- Adaptive Fragen basierend auf Benutzereingaben
- Integration mit vorhandenen Praeferenzdaten
- Systembestaetigung fuer Ergebnisse mit niedriger Konfidenz
- Flexibilitaet im Umgang mit unterschiedlicher Datenqualitaet
- Strukturierte Fragen und Antworten vom LLM
- Konfidenzbewertung fuer Titelempfehlungen
- Erklaerbarkeit fuer Empfehlungen
- Reaktionsfaehigkeit auf Benutzerfeedback
Prinzipien-Methodik
Ich habe diese Prinzipien waehrend des Prompt-Engineerings in den fruehen Phasen des Projekts erstellt.
Mein Basis-Prompt war 1.397 Token lang und wurde ueber eine Woche experimentell entwickelt.
Iteratives Design
Unser Designprozess war methodisch und dennoch dynamisch. Wir begannen mit etablierten Prinzipien, passten uns aber schnell an.
Um unsere Ideen zu testen, bauten wir eine Sandbox-Version. Echte Nutzer interagierten damit und gaben wertvolles Feedback.
Unser iterativer Designprozess fuehrte zu mehreren wichtigen Verbesserungen. Wir wechselten zu Multiple-Choice-Fragen und begrenzten ihre Anzahl auf fuenf.
Implementierung und Tests
Nach der Finalisierung des Designs arbeiteten wir eng mit unserem Entwicklungsteam zusammen, um eine praezise Implementierung sicherzustellen. Jedes Detail wurde sorgfaeltig vom Design in Code uebersetzt.
Die Loesung: eLLMo
eLLMo ist ein innovatives Matching-System, das fortschrittliche Sprachmodelle verwendet.
Im Kern nutzt eLLMo kuenstliche Intelligenz zur Analyse von Benutzereingaben.
Zu den Hauptfunktionen von eLLMo gehoeren:
- Eine KI-gestuetzte Chat-Schnittstelle, die sich natuerlich und intuitiv anfuehlt
- Adaptive Fragen, die sich basierend auf Benutzerantworten anpassen
- Nahtlose Integration mit vorhandenen strukturierten Praeferenzdaten
- Ein Konfidenzbewertungssystem fuer Titelempfehlungen
Ergebnisse und Auswirkungen
Der Start von eLLMo brachte bemerkenswerte Veraenderungen. Die Nutzerzufriedenheit stieg sprunghaft an.
Das Engagement stieg rasant an - erste Job-Klicks verdoppelten sich mehr als.
Trotz zusaetzlicher Schritte berichteten Nutzer von weniger Reibung, besserer Personalisierung und einfacherer Navigation.
Ausdauer hat sich ausgezahlt
Die Integration von LLM-Technologie in unser Produkt stiess anfangs auf Widerstand der Fuehrungsebene.
Mit gutem Beispiel vorangehen
Zusammenfassend habe ich als Co-Leiter von Project eLLMo unseren ersten Vorstoss in LLM-basiertes AI-Produktdesign gefuehrt.
Wir haben eine einzigartige und praktische Benutzererfahrung geschaffen, die die Plattform von ZipRecruiter erheblich verbessert hat.
