eLLMo 專案

利用最先進的LLM通過自然語言理解用戶的工作偏好和資質。

Project eLLMo - woman exploring careers on phone

摘要

在本案例研究中,我們探討了 eLLMo 的開發,這是一種創新的人工智慧輔助聊天對話 UI,旨在增強 ZipRecruiter 用戶的求職體驗。

作為產品設計副總裁,我負責本專案的策略與產品設計,並與設計師 Yutong Feng、Jihye Woo 協作完成方案。透過跨職能合作,我們打造了一套即使使用者尚未明確目標職位,也能協助其發現合適職務的解決方案。

eLLMo已上線,快來試試: ZipRecruiter.com

問題領域

ZipRecruiter 面臨一個核心問題:超過一半的訪客在進站時並沒有明確職稱。這類「空白搜尋者」在以職稱為中心的搜尋體驗與行為驅動的配對系統中,經常收到不相關的推薦。我們的任務很清楚:打造直觀的語言式配對方式,真正理解每位求職者的技能與職涯期待。

用戶

我們的目標受眾包括 18-65 歲的美國求職者,主要是 25-40 歲的專業人士,包括早期職業人士以及熟練和非熟練職位的職業轉換者,他們擁有不同的技能和偏好,但不確定具體的職位名稱。

流程

eLLMo design process

跨職能協作

我共同領導了一個由50多名創新者組成的充滿活力的跨職能團隊,彙集了產品營銷人員、用戶研究員、數據科學家、工程師、產品經理和兩位首席產品設計師,共同應對這一變革性挑戰。

夢之隊

Blake Crosley

產品設計VP

Yutong Feng

產品設計師

Jihye Woo

資深產品設計師

該項目的產品設計師是 Jihye 和 Yutong。 Jihye 是我們日常入職體驗的首席設計師,並對流程進行了多次迭代。宇通領導了 eLLMo 專案的對話式 UI 創建,並與我們的資料科學家一起進行即時工程,幫助定義系統如何回應使用者。

我的職責是與配對產品總監 Nishok Chetty 共同領導這個專案。我在產品設計的創意方向、提示原則以及與產品組織的溝通方面發揮了重要作用。該設計是由這些優秀設計師的工作和他們的巨大努力創造的。在這為期八週的衝刺中,我們每天都在一起工作。

用戶研究與洞察

我們收集見解的方法是全面且多方面的。我們從產品行銷團隊的定量調查開始,該調查提供了 ZipRecruiter 用戶和美國求職者的整體概況。為了加深這些發現的深度,我們的首席使用者研究員 Tianyu Koenig 進行了深入訪談,提供了豐富的定性資料。

最後,我們分析了當前的網站體驗和用戶行為,讓我們清楚地了解人們實際上如何與我們的平台互動。這種三管齊下的方法確保我們全面了解使用者的需求和痛點。

體驗原則

  • 基於用戶輸入的自適應提問
  • 與現有偏好數據集成
  • 低置信度結果的系統確認
  • 處理不同數據質量的靈活性
  • 來自LLM的結構化問答
  • 職位推薦的置信度評分
  • 推薦的可解釋性
  • 對用戶反饋的響應性

原則方法論

我在項目早期階段進行提示工程時創建了這些原則。下面是我在當時的GPT 4.0中探索技術邊界的OpenAI Playground截圖。

我的基礎提示長度為1,397個token,經過一週的實驗開發而成。想像LLM如何實現獨特且有用的用戶體驗對項目的成功至關重要。

OpenAI Playground experimentation
OpenAI Playground實驗截圖

迭代設計

我們的設計流程既系統又充滿活力。我們從既定原則開始,但很快適應。數據科學家和產品經理提供了重要的輸入,重塑了我們的初始概念。

為了測試我們的想法,我們構建了一個沙盒版本。真實用戶與之互動,提供了寶貴的反饋。這導致了在沙盒中進行多輪用戶深度訪談和進一步改進。

eLLMo iterative design process

透過迭代式設計,我們完成了多項關鍵優化:將提問改為選擇題並限制在 5 題內,明顯降低使用者負擔;新增「介紹一下你自己」提示,提升個人化程度;把偏好設定整合進對話流程,讓客製更順暢;並全面打磨文案以提升理解效率。這些調整的目標是,在確保資訊蒐集品質的同時尊重使用者時間,提供更快、更有參與感且更個人化的體驗。

實施與測試

設計最終確定後,我們與開發團隊緊密合作,確保精確實施。每個細節都被仔細地從設計轉換為代碼。新版本準備就緒後,我們啟動了A/B測試與原版進行比較。

A/B testing implementation

解決方案:eLLMo

eLLMo 是一個創新的匹配系統,它使用先進的語言模型將使用者與工作機會聯繫起來。它透過對話式介面運行,讓用戶進行自然對話,以收集有關他們的偏好和資格的資訊。

eLLMo 的核心是利用人工智慧來分析使用者輸入並將其與合適的工作前景相匹配。其突出的功能之一是能夠根據對話期間收集的資訊提供個人化的職位推薦。

eLLMo的主要功能包括:

  1. 一個自然直觀的AI驅動聊天界面
  2. 根據使用者回應進行調整的自適應提問,確保有效收集相關資訊。
  3. 與現有結構化偏好數據的無縫集成
  4. 用於職位推薦的置信度評分系統,以及為什麼推薦某些職位的解釋,為人工智慧的決策過程提供了透明度。
eLLMo solution interface

結果與影響

eLLMo的推出帶來了顯著變化。用戶滿意度飆升,96%對職位推薦感到滿意,82%讚揚了創新方法。

參與度激增。首次職位點擊翻了一番多,註冊完成率從82%上升到89%。

儘管增加了步驟,但用戶報告說摩擦更少,個性化更好,導航更容易。 eLLMo 不僅改進了我們的平台,也改進了我們的平台。它修復了空白的求職體驗。

96% 用戶對推薦的滿意度
82% 讚賞創新方法
2倍 首次職位點擊
89% 註冊完成率(從82%上升)

堅持終有回報

將法學碩士技術整合到我們的產品中最初遇到了來自領導層的阻力。為了克服這個問題,我採取了三管齊下的方法。首先,我使用 OpenAI 的 Playground 來即時示範技術的功能。然後,我提出了潛在用戶利益的清晰願景。最後,我與我們的設計團隊合作,為 AI 互動創建了直覺的 UI。這種實用演示、以用戶為中心的願景和時尚設計的結合最終贏得了首席技術官和首席營運官的青睞,為法學碩士的採用鋪平了道路。

eLLMo mascot illustration
展示我們如何在產品中利用LLM技術的Playground示例截圖

以身作則

總結來說,作為 eLLMo 專案的共同負責人,我主導了我們首次將 LLM 導入產品設計實踐:推動管理層接受這項技術,並向 CEO 與 350+ 跨職能團隊匯報進展。團隊也因此建立了關鍵的提示工程能力,並成功把 AI 能力與以使用者為中心的設計原則整合。

我們創造了獨特且實用的使用者體驗,顯著改進了 ZipRecruiter 的平台。 eLLMo 的成功提高了用戶滿意度,並為 Zip 實現更多人工智慧驅動的創新打開了大門。透過展示我們創建尖端解決方案的能力,我們獲得了對其他法學碩士課程的支持,使我們的團隊處於公司人工智慧整合的最前沿。

Research and Design team celebrating eLLMo's success
研究與設計團隊慶祝eLLMo的成功