プロジェクト eLLMo

このケーススタディでは、ZipRecruiterユーザーの求職体験を向上させるために設計された革新的なAI支援チャット会話型UIであるeLLMoの開発を探ります。

プロダクトデザインVPとして、このプロジェクトの戦略とプロダクトデザインをリードしました。2人のデザイナー、Yutong FengとJihye Wooがデザイン作成を支援しました。

eLLMoは公開中です。ぜひお試しください： ZipRecruiter.com

ZipRecruiterは課題に直面していました：訪問者の半数以上が特定の職種を念頭に置かずに訪問していました。これらの「空白検索者」は、職種ベースの検索用に設計されたサイトとアクティビティ駆動型のマッチングシステムに苦労していました。結果として、関連性のない推薦が頻発しました。

ターゲットオーディエンスは18～65歳の米国求職者で、主に25～40歳のプロフェッショナル、キャリア初期の人々、熟練・非熟練職のキャリアチェンジャーで、多様なスキルと好みを持ちながら特定の職種が不確かな人々でした。

私は50人以上のイノベーターで構成されるダイナミックなクロスファンクショナルチームを共同で率い、プロダクトマーケター、ユーザーリサーチャー、データサイエンティスト、エンジニア、プロダクトマネージャー、2人のリードプロダクトデザイナーを結集してこの変革的な課題に取り組みました。

インサイト収集へのアプローチは包括的で多面的でした。プロダクトマーケティングチームからの定量調査から始め、ZipRecruiterユーザーと米国の求職者全般の概要を把握しました。これらの発見に深みを加えるため、リードユーザーリサーチャーのTianyu Koenigが詳細インタビューを実施しました。

最後に、現在のサイト体験とユーザー行動を分析し、人々が実際にプラットフォームとどのように対話しているかの明確な全体像を得ました。この3つのアプローチにより、ユーザーのニーズとペインポイントを包括的に理解することができました。

プロジェクトの初期段階でプロンプトエンジニアリングを行いながら、これらの原則を作成しました。以下は当時のGPT 4.0でテクノロジーの限界を探ったOpenAI Playgroundのスクリーンショットです。

基本プロンプトは1,397トークンで、1週間の実験を経て開発しました。LLMがどのようにユニークで役立つユーザー体験を実現できるかを想像することが、プロジェクトの成功に不可欠でした。

私たちのデザインプロセスは体系的でありながらダイナミックでした。確立された原則から始めましたが、すぐに適応しました。データサイエンティストとプロダクトマネージャーが重要なインプットを提供し、初期のコンセプトを再構築しました。

アイデアをテストするために、サンドボックス版を構築しました。実際のユーザーがそれを操作し、貴重なフィードバックを提供しました。これにより、サンドボックスでの複数回のユーザー詳細インタビューとさらなる改良が行われました。各イテレーションが新しい洞察をもたらしました。

反復的なデザインプロセスにより、いくつかの重要な改善が実現しました。複数選択式の質問に切り替え、質問数を5つに制限してユーザーの負担を軽減しました。体験をパーソナライズするために「自己紹介」プロンプトを追加しました。また、設定を会話フローに直接組み込み、カスタマイズをよりシームレスにしました。

デザインの最終化後、開発チームと緊密に連携して正確な実装を確保しました。すべてのディテールがデザインからコードへと慎重に変換されました。新バージョンの準備が整うと、オリジナルと比較するためにA/Bテストを実施し、変更を完全に展開する前に実際のユーザーデータでデザイン選択を検証することができました。

eLLMoのローンチは驚くべき変化をもたらしました。ユーザー満足度が急上昇し、96%が求人推薦に満足し、82%が革新的なアプローチを評価しました。

エンゲージメントが急増しました。初回の求人クリックは2倍以上に増加し、登録完了率は82%から89%に上昇しました。

ステップが追加されたにもかかわらず、ユーザーは摩擦が減り、パーソナライゼーションが向上し、ナビゲーションが容易になったと報告しました。eLLMoはプラットフォームを改善しただけでなく、空白求人検索体験を修正しました。

LLMテクノロジーを製品に統合することは、当初リーダーシップから抵抗を受けました。これを克服するために、3つのアプローチを取りました。まず、OpenAIのPlaygroundを使用してテクノロジーの機能をリアルタイムでデモンストレーションしました。次に、潜在的なユーザーメリットの明確なビジョンを提示しました。最後に、デザインチームと協力してAIインタラクションのための直感的なUIを作成しました。