Projekt eLLMo
Zrozumienie preferencji zawodowych i kwalifikacji użytkowników poprzez język naturalny z wykorzystaniem najnowocześniejszych LLM.
W skrócie
W tym studium przypadku badamy rozwój eLLMo — innowacyjnego interfejsu konwersacyjnego wspomaganego przez AI, zaprojektowanego w celu ulepszenia doświadczenia poszukiwania pracy dla użytkowników ZipRecruiter.
Jako VP of Product Design prowadziłem strategię i projektowanie produktu w tym projekcie. Dwóch projektantów pomogło w tworzeniu projektów: Yutong Feng i Jihye Woo. Współpracowałem międzyfunkcyjnie, aby stworzyć rozwiązanie odpowiadające na istotne wyzwanie w procesie poszukiwania pracy: pomaganie użytkownikom w odkrywaniu odpowiednich stanowisk, gdy nie mają na myśli konkretnej roli.
eLLMo jest dostępny — wypróbuj go na ZipRecruiter.com
Obszar problemu
ZipRecruiter stanął przed wyzwaniem: ponad połowa naszych odwiedzających przychodziła bez konkretnego stanowiska w głowie. Ci „poszukujący bez konkretnego celu" mieli trudności ze stroną zaprojektowaną pod wyszukiwanie według stanowisk i systemem dopasowywania opartym na aktywności. Rezultat? Często nieistotne rekomendacje. Nasza misja stała się jasna: stworzyć intuicyjne, oparte na języku podejście do dopasowywania, które rozumie unikalne umiejętności i aspiracje każdego poszukującego pracy.
Użytkownicy
Naszą grupą docelową byli amerykańscy poszukujący pracy w wieku 18-65 lat, głównie profesjonaliści w wieku 25-40 lat, w tym osoby na początku kariery i zmieniające branżę, zarówno na stanowiskach wymagających kwalifikacji, jak i nie, posiadający zróżnicowane umiejętności i preferencje, ale niepewni co do konkretnych stanowisk.
Proces
Współpraca międzyfunkcyjna
Współprowadziłem dynamiczny, międzyfunkcyjny zespół ponad 50 innowatorów, łącząc marketerów produktowych, badaczy użytkowników, analityków danych, inżynierów, menedżerów produktu i dwóch głównych projektantów produktu, aby zmierzyć się z tym transformacyjnym wyzwaniem.
Zespół marzeń
Blake Crosley
VP of Product Design
Yutong Feng
Product Designer
Jihye Woo
Senior Product Designer
Projektantami produktu w tym projekcie byli Jihye i Yutong. Jihye była główną projektantką naszego codziennego doświadczenia onboardingu i wielokrotnie iterowała nad przepływem. Yutong prowadziła tworzenie konwersacyjnego interfejsu dla projektu eLLMo, a także pomagała definiować sposób, w jaki system odpowiada użytkownikom, współpracując z naszymi analitykami danych nad inżynierią promptów.
Moją rolą było współprowadzenie projektu wraz z Nishokiem Chettym, Director of Matching Product. Miałem kluczowy wpływ na kierunek kreatywny projektowania produktu, zasady promptów i komunikację z organizacją produktową. Projekt powstał dzięki pracy tych znakomitych projektantów i ich ogromnemu wysiłkowi. Pracowaliśmy razem codziennie przez ten ośmiotygodniowy sprint.
Badania użytkowników i wnioski
Nasze podejście do zbierania informacji było kompleksowe i wieloaspektowe. Zaczęliśmy od badań ilościowych naszego zespołu marketingu produktowego, które dały nam szeroki obraz zarówno użytkowników ZipRecruiter, jak i amerykańskich poszukujących pracy ogólnie. Aby pogłębić te ustalenia, nasz Lead User Researcher, Tianyu Koenig, przeprowadził pogłębione wywiady, dostarczając bogatych danych jakościowych.
Na koniec przeanalizowaliśmy obecne doświadczenie na stronie i zachowania użytkowników, co dało nam jasny obraz tego, jak ludzie faktycznie wchodzą w interakcję z naszą platformą. To trójstronne podejście zapewniło nam wszechstronne zrozumienie potrzeb i problemów naszych użytkowników.
Zasady doświadczenia
- Adaptacyjne pytania oparte na danych wejściowych użytkownika
- Integracja z istniejącymi danymi preferencji
- Potwierdzenie systemowe dla wyników o niskiej pewności
- Elastyczność w obsłudze danych o różnej jakości
- Ustrukturyzowane pytania i odpowiedzi od LLM
- Ocena pewności dla rekomendacji stanowisk
- Wyjaśnialność rekomendacji
- Responsywność na opinie użytkowników
Metodologia zasad
Stworzyłem te zasady podczas inżynierii promptów we wczesnych etapach projektu. Poniżej znajdują się zrzuty ekranu z OpenAI Playground, gdzie eksplorowałem granice ówczesnej technologii GPT 4.0.
Mój podstawowy prompt miał 1397 tokenów i powstał w ciągu tygodnia eksperymentów. Wyobrażenie sobie, jak LLM może umożliwić unikalne i pomocne doświadczenie użytkownika, było kluczowe dla sukcesu projektu.
Projektowanie iteracyjne
Nasz proces projektowania był metodyczny, ale dynamiczny. Zaczęliśmy od ustalonych zasad, ale szybko się dostosowaliśmy. Analitycy danych i menedżerowie produktu dostarczyli kluczowych informacji, przekształcając nasze początkowe koncepcje.
Aby przetestować nasze pomysły, zbudowaliśmy wersję sandbox. Prawdziwi użytkownicy wchodzili z nią w interakcję, oferując cenne opinie. Doprowadziło to do wielu rund pogłębionych wywiadów z użytkownikami w sandboxie i dalszych udoskonaleń. Każda iteracja przynosiła nowe spostrzeżenia. Nie tylko stworzyliśmy projekt; zbudowaliśmy rozwiązanie, które ewoluowało wraz z potrzebami użytkowników.
Nasz iteracyjny proces projektowania doprowadził do kilku kluczowych ulepszeń. Przeszliśmy na pytania wielokrotnego wyboru i ograniczyliśmy ich liczbę do pięciu, zmniejszając wysiłek użytkownika. Dodano nowy prompt „Opowiedz mi o sobie", aby spersonalizować doświadczenie. Włączyliśmy również ustawienia preferencji bezpośrednio do przepływu konwersacji, czyniąc personalizację bardziej płynną. Na koniec dopracowaliśmy teksty w całym doświadczeniu dla jasności. Te zmiany miały na celu stworzenie szybszej, bardziej angażującej i spersonalizowanej interakcji, balansując między zbieraniem niezbędnych informacji a szacunkiem dla czasu i preferencji użytkowników.
Wdrożenie i testowanie
Po sfinalizowaniu projektu ściśle współpracowaliśmy z naszym zespołem deweloperskim, aby zapewnić precyzyjne wdrożenie. Każdy szczegół został starannie przetłumaczony z projektu na kod. Gdy nowa wersja była gotowa, uruchomiliśmy test A/B, aby porównać ją z oryginałem. Pozwoliło nam to zweryfikować nasze decyzje projektowe na podstawie rzeczywistych danych użytkowników przed pełnym wdrożeniem zmian.
Rozwiązanie: eLLMo
eLLMo to innowacyjny system dopasowywania, który wykorzystuje zaawansowane modele językowe do łączenia użytkowników z możliwościami zatrudnienia. Działa poprzez interfejs konwersacyjny, angażując użytkowników w naturalny dialog w celu zebrania informacji o ich preferencjach i kwalifikacjach.
W swojej istocie eLLMo wykorzystuje sztuczną inteligencję do analizy danych wejściowych użytkowników i dopasowywania ich do odpowiednich ofert pracy. Jedną z jego wyróżniających się funkcji jest możliwość dostarczania spersonalizowanych rekomendacji stanowisk na podstawie informacji zebranych podczas rozmowy.
Kluczowe funkcje eLLMo obejmują:
- Interfejs czatu oparty na AI, który jest naturalny i intuicyjny w użyciu.
- Adaptacyjne pytania, które dostosowują się na podstawie odpowiedzi użytkownika, zapewniając efektywne zbieranie istotnych informacji.
- Bezproblemowa integracja z istniejącymi danymi o preferencjach, zwiększająca trafność dopasowań.
- System oceny pewności dla rekomendacji stanowisk wraz z wyjaśnieniami, dlaczego sugerowane są określone oferty pracy, zapewniając przejrzystość procesu decyzyjnego AI.
Wyniki i wpływ
Uruchomienie eLLMo przyniosło znaczące zmiany. Satysfakcja użytkowników wzrosła - 96% było zadowolonych z rekomendacji ofert pracy, a 82% chwaliło innowacyjne podejście.
Zaangażowanie gwałtownie wzrosło - liczba pierwszych kliknięć w oferty pracy więcej niż się podwoiła, a wskaźnik ukończonych rejestracji wzrósł z 82% do 89%.
Pomimo dodatkowych kroków, użytkownicy zgłaszali mniejsze trudności, lepszą personalizację i łatwiejszą nawigację. eLLMo nie tylko ulepszył naszą platformę; rozwiązał problem pustego wyszukiwania ofert pracy.
Wytrwałość się opłaciła
Integracja technologii LLM z naszym produktem napotkała początkowo opór ze strony kierownictwa. Aby go przezwyciężyć, zastosowałem trójstopniowe podejście. Najpierw użyłem playground OpenAI, aby zademonstrować możliwości technologii w czasie rzeczywistym. Następnie przedstawiłem jasną wizję potencjalnych korzyści dla użytkowników. Na koniec współpracowałem z naszym zespołem projektowym, aby stworzyć intuicyjny interfejs dla interakcji z AI. Ta kombinacja praktycznej demonstracji, wizji zorientowanej na użytkownika i eleganckiego designu ostatecznie przekonała CTO i COO, torując drogę do wdrożenia LLM.
Prowadzenie przez przykład
Podsumowując, jako współlider projektu eLLMo, byłem pionierem naszego pierwszego przedsięwzięcia w projektowaniu produktów opartych na LLM. Przekonałem kierownictwo do przyjęcia tej technologii i przedstawiłem nasze postępy CEO oraz ponad 350-osobowemu zespołowi międzyfunkcyjnemu. Nasz zespół rozwinął kluczowe umiejętności w zakresie inżynierii promptów i z powodzeniem połączył możliwości AI z zasadami projektowania zorientowanego na użytkownika.
Stworzyliśmy unikalne i praktyczne doświadczenie użytkownika, które znacząco poprawiło platformę ZipRecruiter. Sukces eLLMo zwiększył satysfakcję użytkowników i otworzył drzwi dla kolejnych innowacji opartych na AI w Zip. Demonstrując naszą zdolność do tworzenia nowatorskich rozwiązań, zdobyliśmy wsparcie dla dodatkowych projektów LLM, pozycjonując nasz zespół na czele integracji AI w firmie.
