为更好的决策创建自助数据和实验文化

已发表: 2022-08-26

在设计应用程序或网站时,简单是最好的。 以最少的步骤和最干净的界面让用户从 A 点到 B 点是出色体验的标志。 但即使是最直接的用户旅程也会生成一串需要排序和解释的事件数据。 使用正确的工具,这些原始数据将成为可以将您的业务提升到新水平的信息宝库。

我是 SmartRecruiters 的高级产品经理,SmartRecruiters 是一家软件供应商,它使公司能够像高性能营销和销售机器一样运行他们的人才招聘计划。 我们的 B2B 人才招聘套件使招聘变得容易,并帮助企业找到并雇用他们需要的人。

使用正确的工具,原始数据将成为可以将您的业务提升到新水平的信息宝库。

最近对我们旗舰 B2B 产品的补充是我们的 B2C 解决方案 Smartr。 Smartr 是一个用户友好的在线平台,可将求职者与 4,000 多个雇主进行匹配。 我们有 200 万活跃用户在网上寻找工作,产生了数亿个事件。

理解用户旅程是不可能的

当我在 2020 年加入公司时,了解我们用户的旅程几乎是不可能的。 我们直接利用我们的事件数据库并尝试使用 SQL 和 Tableau 将事物可视化。 我们为我们分析的每个事件编写查询,并将结果输入 Tableau。 这很耗费时间,而且我们正在努力让数据正常工作,因为有太多的移动部件。

当时,Smartr 还处于起步阶段——我们的团队也是新成员。 随着我们增加了更多的人来从事 Smartr 的工作,我们同时也在寻找可以帮助我们改进的新工具。 我们想要分析和可视化更多事件并构建我们的报告,但我们的可视化工具不适合事件跟踪分析。 我开始寻找完美的解决方案来帮助我们更好地了解用户行为。

在合适的平台上扩展

在对分析工具进行一些基础研究期间,我发现 SmartRecruiters 的企业端正在使用 Amplitude Analytics 的免费版本。 由于我们已经在内部拥有它,我决定尝试一下,并与 Amplitude 的客户经理一起参加了一些研讨会。

即使免费 Starter 包的功能有限,但很明显,Analytics 是市场上用于事件跟踪的最佳工具。 它与我们的数据库无缝集成,其点击式界面、内置可视化工具和报告模板使我们能够将原始数据转换为易于理解的信息。 在不到一分钟的时间内,我们可以提出和回答曾经需要半天时间才能使用 SQL 查询和 Tableau 来制定、提取和解释的问题。

我很快得出结论,我们没有充分利用 Analytics,并支持我们转向平台的付费层之一,这样我们就可以充分利用它的全部功能。

实时监控新功能

随着我们增加它的使用,Analytics 引入了实时监控,让我们可以在将新功能添加到我们的网站或应用程序的第二次测试它。 使用现有的用户 ID,我们可以实时测试项目并查看正在触发的事件,而无需创建测试环境或等待用户和客户登录。

实时数据让团队和用户更快乐,因为开发周期和解读客户旅程中的绊脚石更少。

在启动新功能的几分钟内,我可以告诉我的工程师它是否触发了所需的事件,他们可以立即排除故障并解决问题。 这是一种更聪明的工作方式(请原谅双关语),我的团队和我们的用户更快乐,因为我们的开发周期和解读客户旅程中的绊脚石更少。

将实验推向新高度

分析功能强大,随着我们 Smartr 团队的壮大,我们开始考虑更多地利用事件数据。 合乎逻辑的答案是增加我们的 A/B 测试,以便我们可以尝试不同版本的网站和应用程序。

购买一个单独的实验平台或建立我们自己的实验平台每年很容易花费十万美元,然后我们必须找到一种方法将新平台与我们的数据和事件集成。

我们没有考虑单独的解决方案,而是转向了 Amplitude Experiment,这是一个强大的实验和功能管理解决方案,可以让我们试用功能和界面增强。 实验与分析工具完全集成,同时提供完整的实验工作流程。

Experiment 的最大成功之一是我们推出了 Smartr 的书签功能。 当候选人发现一个有趣的帖子时,他们可以标记它,继续他们的求职,然后再回去申请。 除了现有的书签图标作为控件之外,我们还尝试了两个新版本的书签图标,一个星形和一个心形。 并看到用户更喜欢一颗心。

我们通过将 1/3 的流量分配给每个变体来运行测试。 我们对测试书签率很感兴趣,这是用户接触不同变体的转化率,以及有多少人为工作添加了书签。 与控制选项相比,心形按钮的书签率增加了 46.6%,而星形按钮的书签率仅增加了 8.78%。 我们还想测试申请率,即候选人最终申请的已添加书签的工作的百分比。 对于心形按钮,与对照组相比,该比率增加了 58%,而对于星形按钮,改善率仅为 23.4%。

Amplitude 在运行六天的实验后证实了这些改进的统计意义,因此将旧的书签按钮更改为心形的决定很容易。

当然,我们随后提出了进一步的问题。 如果我们改变了部分入职体验或创建了一个全新的体验,用户会如何反应? 他们会更多地参与内容吗? 申请更多职位? 这将如何影响我们的 KPI? 我们发现自己提出并回答了更多与观众相关的问题。

不断增长的数据文化

很高兴看到我们的数据文化不断发展。 在过去的 12 个月中,我们看到采用率增加了 950%。 而且,在招聘和离职后,并没有看到最初的高峰,参与度仍然很高。 它引入了自助数据模型,人们对他们看到的数据以及基于数据做出决策的能力更有信心。

我每天都使用 Analytics 来创建新图表并将它们展示给团队,并以身作则。 从产品团队到设计师和工程师,每个人都可以在需要时创建图表并挖掘他们需要的数据。 虽然不是每个人每天都在使用 Analytics,但向我提出问题或查询请求的人越来越少,团队可以更快地行动。

由于这种增长,我是 Amplitude Pioneer Awards 数据文化奖类别的决赛入围者。 我们的工作在外部和内部都得到认可,这感觉很棒。

精炼 Smartr 的灵活性

任何分析工具都将提供洞察力,以帮助做出更多以数据为依据的决策,但分析的灵活性使其与众不同。 它使数据分析变得如此简单。 无需花费时间、精力和资源从头开始构建我们需要的东西,一切都可以使用和修改。

我的团队已经完善了我们的产品并微调了我们的用户体验。 我们建立了一个蓬勃发展的求职者社区,利用我们的平台进行他们的下一个或第一个职业发展。 我们可以使用内置仪表板创建新事件并立即跟踪和分析它们。 我们已经开始根据数据做出决策,并专注于监控性能,而不是编写查询和管理我们的分析工具。 当用户从主页导航到我们网站上的其他页面时,可以轻松查看用户需要哪些功能并按照他们的路径进行操作。

构建新产品时,您必须快速响应并确保所有事件属性详细信息正确无误。 分析和实验的结合确保了 Smartr 团队继续构建符合我们企业对手的产品。

产品指标 CTA