eLLMo 项目
利用最先进的LLM通过自然语言理解用户的工作偏好和资质。
摘要
在这个案例研究中,我们探索了eLLMo的开发,这是一个创新的AI辅助聊天对话UI,旨在改善ZipRecruiter用户的求职体验。
作为产品设计副总裁,我负责该项目的策略与产品设计,并与设计师 Yutong Feng、Jihye Woo 协作完成方案。通过跨职能协同,我们打造了一套可在用户尚未明确目标岗位时,仍能帮助其发现合适职位的解决方案。
eLLMo已上线,快来试试: ZipRecruiter.com
问题领域
ZipRecruiter 面临一个关键问题:超过一半访客在进入网站时并没有明确的职位名称。这类“空白搜索者”在以职位词为核心的搜索体验和行为驱动的匹配系统中,常常得到不相关的推荐。我们的目标很明确:构建一种直观的语言化匹配方式,真正理解每位求职者的技能与职业期望。
用户
我们的目标受众是18-65岁的美国求职者,主要是25-40岁的专业人士,包括早期职业人士和熟练及非熟练岗位的职业转换者,他们拥有多样的技能和偏好,但对特定职位头衔不确定。
流程
跨职能协作
我共同领导了一个由50多名创新者组成的充满活力的跨职能团队,汇集了产品营销人员、用户研究员、数据科学家、工程师、产品经理和两位首席产品设计师,共同应对这一变革性挑战。
梦之队
Blake Crosley
产品设计VP
Yutong Feng
产品设计师
Jihye Woo
高级产品设计师
该项目的产品设计师是 Jihye 和 Yutong。 Jihye 是我们日常入职体验的首席设计师,并对流程进行了多次迭代。宇通领导了 eLLMo 项目的对话式 UI 创建,并与我们的数据科学家一起进行即时工程,帮助定义系统如何响应用户。
我的职责是与匹配产品总监 Nishok Chetty 共同领导该项目。我在产品设计的创意方向、提示原则以及与产品组织的沟通方面发挥了重要作用。该设计是由这些优秀设计师的工作和他们的巨大努力创造的。在这为期八周的冲刺中,我们每天都在一起工作。
用户研究与洞察
我们收集见解的方法是全面且多方面的。我们从产品营销团队的定量调查开始,该调查提供了 ZipRecruiter 用户和美国求职者的总体概况。为了加深这些发现的深度,我们的首席用户研究员 Tianyu Koenig 进行了深入访谈,提供了丰富的定性数据。
最后,我们分析了当前的网站体验和用户行为,让我们清楚地了解人们实际上如何与我们的平台互动。这种三管齐下的方法确保我们全面了解用户的需求和痛点。
体验原则
- 基于用户输入的自适应提问
- 与现有偏好数据集成
- 低置信度结果的系统确认
- 处理不同数据质量的灵活性
- 来自LLM的结构化问答
- 职位推荐的置信度评分
- 推荐的可解释性
- 对用户反馈的响应性
原则方法论
我在项目早期阶段进行提示工程时创建了这些原则。下面是我在当时的GPT 4.0中探索技术边界的OpenAI Playground截图。
我的基础提示长度为1,397个token,经过一周的实验开发而成。想象LLM如何实现独特且有用的用户体验对项目的成功至关重要。
迭代设计
我们的设计流程既系统又充满活力。我们从既定原则开始,但很快适应。数据科学家和产品经理提供了重要的输入,重塑了我们的初始概念。
为了测试我们的想法,我们构建了一个沙盒版本。真实用户与之互动,提供了宝贵的反馈。这导致了在沙盒中进行多轮用户深度访谈和进一步改进。
通过迭代式设计,我们完成了多项关键优化:将提问改为选择题并控制在 5 题以内,显著降低用户负担;新增“介绍一下你自己”提示,提升个性化程度;把偏好设置融入对话流程,让定制更顺滑;并全面打磨文案以提升理解效率。这些调整的目标是,在保证信息采集质量的同时尊重用户时间,提供更快、更有参与感、更个性化的体验。
实施与测试
设计最终确定后,我们与开发团队紧密合作,确保精确实施。每个细节都被仔细地从设计转换为代码。新版本准备就绪后,我们启动了A/B测试与原版进行比较。
解决方案:eLLMo
eLLMo 是一个创新的匹配系统,它使用先进的语言模型将用户与工作机会联系起来。它通过对话界面运行,让用户进行自然对话,以收集有关他们的偏好和资格的信息。
eLLMo 的核心是利用人工智能来分析用户输入并将其与合适的工作前景相匹配。其突出的功能之一是能够根据对话期间收集的信息提供个性化的职位推荐。
eLLMo的主要功能包括:
- 一个自然直观的AI驱动聊天界面
- 根据用户回复调整的自适应提问,确保高效收集相关信息
- 与现有结构化偏好数据的无缝集成,提高匹配准确性
- 职位推荐的置信度评分系统,以及解释为什么推荐某些职位,提供AI决策过程的透明度
结果与影响
eLLMo的推出带来了显著变化。用户满意度飙升,96%对职位推荐感到满意,82%赞扬了创新方法。
参与度激增。首次职位点击翻了一番多,注册完成率从82%上升到89%。
尽管增加了步骤,但用户报告说摩擦更少,个性化更好,导航更容易。 eLLMo 不仅改进了我们的平台,还改进了我们的平台。它修复了空白的求职体验。
坚持终有回报
将法学硕士技术集成到我们的产品中最初遇到了来自领导层的阻力。为了克服这个问题,我采取了三管齐下的方法。首先,我使用 OpenAI 的 Playground 来实时演示该技术的功能。然后,我提出了潜在用户利益的清晰愿景。最后,我与我们的设计团队合作,为 AI 交互创建了直观的 UI。这种实用演示、以用户为中心的愿景和时尚设计的结合最终赢得了首席技术官和首席运营官的青睐,为法学硕士的采用铺平了道路。
以身作则
总的来说,作为 eLLMo 项目的联合负责人,我主导了我们首次将 LLM 引入产品设计实践:推动管理层接受这项技术,并向 CEO 及 350+ 跨职能团队汇报进展。团队也由此建立了关键的提示工程能力,并成功将 AI 能力与以用户为中心的设计原则融合。
我们创造了独特且实用的用户体验,显着改进了 ZipRecruiter 的平台。 eLLMo 的成功提高了用户满意度,并为 Zip 实现更多人工智能驱动的创新打开了大门。通过展示我们创建尖端解决方案的能力,我们获得了对其他法学硕士项目的支持,使我们的团队处于公司人工智能集成的最前沿。