Projekt eLLMo
Verständnis von Jobpräferenzen und Qualifikationen der Nutzer durch natürliche Sprache mit modernsten LLMs.
Zusammenfassung
In dieser Fallstudie untersuchen wir die Entwicklung von eLLMo.
Als Vizepräsident für Produktdesign leitete ich die Strategie und das Produktdesign für dieses Projekt. Zwei Designer halfen bei der Erstellung der Designs. Yutong Feng und Jihye Woo. Ich habe funktionsübergreifend daran gearbeitet, eine Lösung zu entwickeln, die eine große Herausforderung im Jobsuchprozess angeht: Benutzern dabei zu helfen, geeignete Berufsbezeichnungen zu finden, wenn sie keine bestimmte Rolle im Sinn haben.
eLLMo ist live; probieren Sie es aus unter ZipRecruiter.com
Problembereich
ZipRecruiter stand vor einer Herausforderung: Über die Hälfte unserer Besucher kam ohne eine bestimmte Berufsbezeichnung im Kopf an. Diese „Leersucher“ hatten Probleme mit einer Website, die für titelbasierte Suchen und ein aktivitätsgesteuertes Matching-System konzipiert war. Das Ergebnis? Oft irrelevante Empfehlungen. Unsere Mission wurde klar: einen intuitiven, sprachbasierten Matching-Ansatz zu entwickeln, der die einzigartigen Fähigkeiten und Wünsche jedes Arbeitssuchenden versteht.
Die Nutzer
Unsere Zielgruppe bestand aus US-Arbeitssuchenden im Alter von 18-65 Jahren.
Der Prozess
Funktionsuebergreifende Zusammenarbeit
Ich leitete gemeinsam ein dynamisches, funktionsuebergreifendes Team von ueber 50 Innovatoren, das Produktmarketing, User Research, Data Science, Engineering, Produktmanagement und zwei Lead Product Designer vereinte.
Traumteam
Blake Crosley
VP of Product Design
Yutong Feng
Product Designer
Jihye Woo
Senior Product Designer
Die Produktdesigner dieses Projekts waren Jihye und Yutong. Jihye war der leitende Designer für unser tägliches Onboarding-Erlebnis und hat den Ablauf mehrmals wiederholt. Yutong leitete die Konversations-UI-Erstellung für das eLLMo-Projekt und half bei der Definition, wie das System auf unsere Benutzer reagieren würde, indem er mit unseren Datenwissenschaftlern an der prompten Entwicklung arbeitete.
Meine Aufgabe bestand darin, das Projekt gemeinsam mit Nishok Chetty, dem Director of Matching Product, zu leiten. Ich war maßgeblich an der kreativen Leitung des Produktdesigns, den Prompt-Prinzipien und der Kommunikation mit der Produktorganisation beteiligt. Das Design wurde durch die Arbeit dieser hervorragenden Designer und ihren großen Einsatz geschaffen. Wir haben in diesem achtwöchigen Sprint täglich zusammengearbeitet.
Nutzerforschung und Erkenntnisse
Unser Ansatz zur Gewinnung von Erkenntnissen war umfassend und vielschichtig. Wir begannen mit quantitativen Umfragen unseres Produktmarketing-Teams, die einen umfassenden Überblick sowohl über ZipRecruiter-Benutzer als auch über US-Arbeitssuchende im Allgemeinen lieferten. Um diesen Erkenntnissen mehr Tiefe zu verleihen, führte unser Lead User Researcher, Tianyu Koenig, ausführliche Interviews durch und lieferte umfangreiche, qualitative Daten.
Schliesslich analysierten wir die aktuelle Website-Erfahrung und das Nutzerverhalten.
Erfahrungsprinzipien
- Adaptive Fragen basierend auf Benutzereingaben
- Integration mit vorhandenen Praeferenzdaten
- Systembestaetigung fuer Ergebnisse mit niedriger Konfidenz
- Flexibilitaet im Umgang mit unterschiedlicher Datenqualitaet
- Strukturierte Fragen und Antworten vom LLM
- Konfidenzbewertung fuer Titelempfehlungen
- Erklaerbarkeit fuer Empfehlungen
- Reaktionsfaehigkeit auf Benutzerfeedback
Prinzipien-Methodik
Ich habe diese Prinzipien waehrend des Prompt-Engineerings in den fruehen Phasen des Projekts erstellt.
Mein Basis-Prompt war 1.397 Token lang und wurde ueber eine Woche experimentell entwickelt.
Iteratives Design
Unser Designprozess war methodisch und dennoch dynamisch. Wir begannen mit etablierten Prinzipien, passten uns aber schnell an.
Um unsere Ideen zu testen, bauten wir eine Sandbox-Version. Echte Nutzer interagierten damit und gaben wertvolles Feedback.
Unser iterativer Designprozess führte zu mehreren wichtigen Verbesserungen. Wir haben auf Multiple-Choice-Fragen umgestellt und deren Anzahl auf fünf begrenzt, um den Benutzeraufwand zu reduzieren. Um das Erlebnis zu personalisieren, wurde eine neue Aufforderung „Erzählen Sie mir etwas über sich“ hinzugefügt. Wir haben auch Präferenzeinstellungen direkt in den Gesprächsablauf integriert, um die Anpassung reibungsloser zu gestalten. Schließlich haben wir die Kopie während des gesamten Erlebnisses aus Gründen der Klarheit verfeinert. Diese Änderungen zielten darauf ab, eine schnellere, ansprechendere und personalisiertere Interaktion zu schaffen und dabei das Sammeln notwendiger Informationen mit der Berücksichtigung der Zeit und Vorlieben der Benutzer in Einklang zu bringen.
Implementierung und Tests
Nach der Finalisierung des Designs arbeiteten wir eng mit unserem Entwicklungsteam zusammen, um eine praezise Implementierung sicherzustellen. Jedes Detail wurde sorgfaeltig vom Design in Code uebersetzt.
Die Loesung: eLLMo
eLLMo ist ein innovatives Matching-System, das fortschrittliche Sprachmodelle verwendet.
Im Kern nutzt eLLMo kuenstliche Intelligenz zur Analyse von Benutzereingaben.
Zu den Hauptfunktionen von eLLMo gehoeren:
- Eine KI-gestuetzte Chat-Schnittstelle, die sich natuerlich und intuitiv anfuehlt
- Adaptive Fragen, die sich basierend auf Benutzerantworten anpassen
- Nahtlose Integration mit vorhandenen strukturierten Praeferenzdaten
- Ein Konfidenzbewertungssystem fuer Titelempfehlungen
Ergebnisse und Auswirkungen
Der Start von eLLMo brachte bemerkenswerte Veraenderungen. Die Nutzerzufriedenheit stieg sprunghaft an.
Das Engagement stieg rasant an - erste Job-Klicks verdoppelten sich mehr als.
Trotz zusaetzlicher Schritte berichteten Nutzer von weniger Reibung, besserer Personalisierung und einfacherer Navigation.
Ausdauer hat sich ausgezahlt
Die Integration der LLM-Technologie in unser Produkt stieß zunächst auf Widerstand seitens der Führung. Um dieses Problem zu lösen, habe ich einen dreigleisigen Ansatz gewählt. Zuerst habe ich den Spielplatz von OpenAI genutzt, um die Fähigkeiten der Technologie in Echtzeit zu demonstrieren. Anschließend präsentierte ich eine klare Vision der potenziellen Benutzervorteile. Schließlich habe ich mit unserem Designteam zusammengearbeitet, um eine intuitive Benutzeroberfläche für KI-Interaktionen zu erstellen. Diese Kombination aus praktischer Demonstration, benutzerorientierter Vision und elegantem Design überzeugte letztendlich den CTO und COO und ebnete den Weg für die Einführung von LLM.
Mit gutem Beispiel vorangehen
Zusammenfassend lässt sich sagen, dass ich als Co-Leiter des Projekts eLLMo unser erstes Vorhaben im Bereich LLM-basiertes KI-Produktdesign vorangetrieben habe. Ich überzeugte die Führung davon, diese Technologie einzuführen, und präsentierte unsere Fortschritte dem CEO und einem über 350-köpfigen funktionsübergreifenden Team. Unser Team entwickelte entscheidende Fähigkeiten im Prompt Engineering und kombinierte erfolgreich KI-Fähigkeiten mit benutzerzentrierten Designprinzipien.
Wir haben eine einzigartige und praktische Benutzererfahrung geschaffen, die die Plattform von ZipRecruiter erheblich verbessert hat.
