프로젝트 eLLMo

이 케이스 스터디에서는 ZipRecruiter 사용자의 구직 경험을 향상시키기 위해 설계된 혁신적인 AI 지원 채팅 대화형 UI인 eLLMo의 개발을 살펴봅니다.

프로덕트 디자인 VP로서 이 프로젝트의 전략과 프로덕트 디자인을 이끌었습니다. 두 명의 디자이너 Yutong Feng과 Jihye Woo가 디자인 제작을 도왔습니다.

eLLMo가 라이브입니다. 지금 사용해 보세요: ZipRecruiter.com

ZipRecruiter는 도전에 직면했습니다: 방문자의 절반 이상이 특정 직종을 염두에 두지 않고 방문했습니다. 이러한 '빈 검색자'들은 직종 기반 검색용으로 설계된 사이트와 활동 기반 매칭 시스템에 어려움을 겪었습니다.

타겟 오디언스는 18-65세의 미국 구직자로, 주로 25-40세의 전문가, 초기 경력자, 숙련 및 비숙련 역할의 경력 전환자로 다양한 스킬과 선호도를 가지고 있지만 특정 직종이 불확실한 사람들이었습니다.

저는 50명 이상의 혁신가로 구성된 역동적인 크로스펑셔널 팀을 공동으로 이끌며, 프로덕트 마케터, 사용자 리서처, 데이터 사이언티스트, 엔지니어, 프로덕트 매니저, 2명의 리드 프로덕트 디자이너를 결집하여 이 변혁적인 도전에 임했습니다.

인사이트 수집에 대한 접근 방식은 포괄적이고 다면적이었습니다. 프로덕트 마케팅 팀의 정량 조사로 시작하여 ZipRecruiter 사용자와 미국 구직자 전반에 대한 개요를 파악했습니다.

마지막으로 현재 사이트 경험과 사용자 행동을 분석하여 사람들이 실제로 플랫폼과 어떻게 상호작용하는지에 대한 명확한 그림을 얻었습니다.

프로젝트 초기 단계에서 프롬프트 엔지니어링을 하면서 이러한 원칙들을 만들었습니다. 아래는 당시 GPT 4.0으로 기술의 한계를 탐구한 OpenAI Playground 스크린샷입니다.

기본 프롬프트는 1,397 토큰이었고 1주일간의 실험을 거쳐 개발했습니다. LLM이 어떻게 독특하고 유용한 사용자 경험을 가능하게 할 수 있는지 상상하는 것이 프로젝트 성공에 핵심이었습니다.

우리의 디자인 프로세스는 체계적이면서도 역동적이었습니다. 확립된 원칙에서 시작했지만 빠르게 적응했습니다. 데이터 사이언티스트와 프로덕트 매니저가 중요한 인풋을 제공하여 초기 컨셉을 재구성했습니다.

아이디어를 테스트하기 위해 샌드박스 버전을 구축했습니다. 실제 사용자가 이를 사용하며 귀중한 피드백을 제공했습니다. 이로 인해 샌드박스에서 여러 차례의 사용자 심층 인터뷰와 추가 개선이 이루어졌습니다.

반복적인 디자인 프로세스를 통해 여러 가지 핵심 개선이 이루어졌습니다. 객관식 질문으로 전환하고 질문 수를 5개로 제한하여 사용자 부담을 줄였습니다. 경험을 개인화하기 위해 '자기소개' 프롬프트를 추가했습니다.

디자인 최종화 후, 개발팀과 긴밀히 협력하여 정확한 구현을 보장했습니다. 모든 디테일이 디자인에서 코드로 신중하게 변환되었습니다. 새 버전이 준비되면 원본과 비교하기 위해 A/B 테스트를 시작했습니다.

eLLMo의 출시는 놀라운 변화를 가져왔습니다. 사용자 만족도가 급증하여 96%가 구인 추천에 만족하고 82%가 혁신적인 접근 방식을 높이 평가했습니다.

참여도가 급증했습니다. 첫 구인 클릭이 2배 이상 증가했고, 가입 완료율이 82%에서 89%로 상승했습니다.

단계가 추가되었음에도 불구하고 사용자들은 마찰이 줄고 개인화가 향상되고 탐색이 쉬워졌다고 보고했습니다.

LLM 기술을 제품에 통합하는 것은 처음에 리더십의 저항에 직면했습니다. 이를 극복하기 위해 세 가지 접근 방식을 취했습니다. 먼저 OpenAI의 Playground를 사용하여 기술의 기능을 실시간으로 시연했습니다. 그런 다음 잠재적인 사용자 이점에 대한 명확한 비전을 제시했습니다.