从相关性到因果关系:采用自助服务分析将转化率提高 28 倍
已发表: 2022-11-22在 Brainly,我们热爱学习。 它来自于领土——我们是领先的全球教育应用程序,每月有 3 亿用户。 我们的网站和应用程序允许学生、家长和老师提出和回答家庭作业问题,我们也鼓励我们在线社区的成员互相回答问题。
在幕后,我们充满好奇心并以数据为导向,并相信通过提出尽可能多的问题来推动我们的业务向前发展。 我们使用数据来刺激产品增长,但理解用户事件、解释分析并将两者与我们的底线联系起来可能很棘手。
受到好奇心的驱使,但受到我们的数据分析工具的阻碍
作为 Brainly 的数据分析经理,我帮助我们的团队了解趋势、探索相关性并建立因果关系。 由于我们是一家 Google Analytics 商店,因此使用我们之前的设置从我们的数据中提取可操作的见解具有挑战性。 我们会要求我们的数据分析师用 SQL、Python 和 R 编写查询,然后将他们的发现作为产品经理和内部利益相关者可以理解的图表和其他可视化呈现。 我们是一个快节奏的环境,答案来得太慢了。 我们的分析师超负荷工作,我们经常发现自己要等上一两周才能得到紧迫问题的答案。
从 Google Analytics 中提取数据是一种负担。 我们的渠道非常精细,我们将用户分成不同的行为群体。 虽然手动编码的查询产生了结果(尽管速度很慢),但 Google Analytics 的 UI 对用户来说并不友好,并且增加了一层复杂性。 如果不通过一系列违反直觉的菜单挣扎,我们就无法可视化我们的数据,即便如此,我们的细分和可视化选项也非常有限。 我们拥有丰富的信息,但如果不跳过箍就无法深入研究我们的数据。
几个月内每周用户从 10 增加到 80
我们开始寻找替代分析平台。 我们邀请了几家供应商来演示他们的产品,但我的老板始终把 Amplitude Analytics 放在心上,团队也没有让人失望。 他们向我们展示了我们没有考虑过的用例,并创建了虚拟数据来演示我们如何分割和可视化 Brainly 用户数据。
一个用户友好的分析工具消除了分析团队的压力,并使用户数据可供任何需要它的人使用。
最重要的是,这些演示帮助公司意识到我们的团队可以使用 Amplitude 的自助服务分析工具来提取用户数据,而不是让我们负担过重的分析师来做这件事。 我们找到了一种协作工具,可以减轻我们分析团队的一些压力,并使用户数据可供任何需要它的人使用。
我们于 2022 年 2 月推出了 Analytics,每周有 10 名活跃用户。 到 11 月,这个数字已经膨胀到 80 个每周活跃用户和 140 个注册用户。 我们已经看到平台的自助服务元素改变了团队与数据交互的方式。 我们的各个团队,包括我们的产品经理,都使用 Analytics 来提取漏斗和转化指标,而无需等待分析师。 我们的移动工程师创建用户事件,将其用于实施目的,我们的 QA 团队使用该平台实时验证事件是否正常工作。
然而,最大的影响是对我们的内容创作。
转变我们的核心内容
Brainly 的核心是我们的社区问答产品。 学习者登录并提出问题,其他学习者可以回答。 每个回复都会获得积分,鼓励用户提出自己的问题、解锁页面并提高他们的社区地位。 我们的内容团队会验证这些答案,并用绿色支票奖励正确的答案。 这些经过专家验证的答案随后会以即时答案的形式呈现,因此用户不必在我们的数据库中搜索解决方案。 我们怀疑即时回答改善了用户体验并引导学生注册免费试用,但我们没有数字来确认这是相关性还是因果关系。
多亏了 Analytics,我们确定在前 7 天在网站或应用程序上看到更多即时答案的用户比没有看到的用户更有可能注册免费试用。 转化率非常好,远高于我们的预期。 这种认识使改进我们经过验证的答案和提高我们的即时答案匹配率成为我们的首要内容优先事项。 为此,我们建立了一个内容团队已验证的即时答案数据库。
我们现在利用人工智能 (AI) 和机器学习 (ML) 来自动验证被一定数量的人喜欢或给予正面评价的答案,因为它们更有可能是高质量的答案。
使用 Amplitude Experiment 增强 A/B 测试
我们最近采用了 Amplitude Experiment 来简化 A/B 测试并运行并发实验,而无需让用户一次接触多个测试场景。 我们之前使用 Google Optimize 在我们的网站上运行这些测试,并使用 Firebase 来测试我们的应用程序。 我们发现了将 Google Optimize 测试数据推送到 Analytics 的黑客攻击,但无法推送 Firebase 数据。 Experiment 使我们能够将测试和分析集成到一个生态系统中,这使它变得轻而易举。
在使用 Experiment 的第一个月,我们启动了六个实验来检验各种假设,其中一个证明了产品的强大功能。 在我们开始优化经过验证的答案并确定其优先级后,搜索结果中即时答案的百分比从 5% 上升到 10%。 通过实验,我们确认越来越多的用户看到了五个以上的即时答案,并且转化率也相应提高了。
我们希望在 2022 年底之前向 Brainly 的每个人推出该平台。
强大的功能和无缝集成
Analytics 中最常用的功能是行为群组和细分图表。 我们的产品经理和其他人一起创建高度定制的用户细分,以了解不同的行为群体如何与新功能和现有功能交互。 保留图表同样受欢迎,我们使用它们来查看用户返回创建新内容的频率以及他们是否参与每周的学习互动。 这些包括阅读、回答或提问,以及进行辅导。 如果某人每周至少进行一项此类操作,则意味着他们拥有积极的用户体验,从而导致累积学习。
我使用 Analytics 细分部分中的公式来比较用户细分。 我还发现数据表非常有用,因为我可以查看转化率等特定指标,并将不同的页面、功能和用户组合成可视化效果,从而更深入地了解我们的渠道。
Analytics 与其他分析工具无缝集成,特别是 Branch.io 和 Snowflake。 我们使用 Branch.io 来跟踪从我们的网站迁移到我们的移动应用程序的未登录用户。 这是一个巨大的胜利,因为我们可以看到他们在网络上进行了哪些实验,并确定哪些内容和功能最能吸引用户使用该应用程序。
我们将 Snowflake 用于所有后端数据,但与 Amplitude 的集成允许我们交换用户事件。 例如,当用户 B 评论用户 A 对某个问题的回答时,Analytics 会为用户 B 的评论生成一个事件,但它无法生成一个事件来表明用户 A 收到了评论,因为用户 B 发起了会话。 借助 Snowflake,我们可以翻转等式并创建一个被动事件,指示用户 A 收到了用户 B 的评论,并将该信息反馈回 Analytics。 此操作让我们更好地了解用户 A 在收到评论后的行为如何变化。 令人惊奇的是,通过这种简单的视角转变,我们可以学到更多东西。
我们的北极星和下一步
在短短七个月内,我们的活跃用户群增加到近 120 人,并在 Brainly 内建立了一个 Amplitude 社区。 我们有一个 Slack 频道,Amplitude 用户可以在其中参与有关平台的实时讨论,还有一个包含操作方法文章、提示和技巧以及其他重要链接的 Confluence 页面。 我们还创建了一组“Ampliteers”,这些高级用户充当 Amplitude 新手 Brainly 员工的大使和导师。 我们一直有一种以问题为基础的文化,但现在它已经民主化了,不再局限于我们的数据分析师。
通过根据用户的活动而不是人口统计来对用户进行细分,您可以创建更加个性化的体验。
Amplitude 帮助我们找到了北极星。 一旦我们意识到即时答案可以推动转化,我们就会转向并采用基于网络效应的新增长战略。 用户回答的问题越多,我们网站吸引的人就越多。 增加用户生成的内容也提高了我们的 SEO 排名。
这不是唯一的变化。 我们正在 Amplitude 中创建新的行为群组,以根据用户在我们网站上执行操作的类型和频率来细分用户。 通过根据他们的活动而不是人口统计来对他们进行细分,我们希望创造一种更加个性化的体验,以指导他们完成今年和未来几年的教育。 我们希望建立一个长期的教育之旅,而不是简单地提供即时的个人帮助。 这是一个令人兴奋的发展,我相信它将演变成新的功能,进一步将 Brainly 与其他教育网站和应用程序区分开来。
Amplitude 改变了 Brainly 利用数据的能力。 我们可以更轻松、更快速地访问用户和事件数据,并且可以通过多种方式将其可视化,从而使我们能够验证信息并生成可操作的见解。 我们的员工拥有提出相关问题的工具,可以满足他们的好奇心,并为依赖我们平台的学习者带来更好的结果。