使用我们的新指南释放产品主导实验的力量

在当今的竞争环境中，以产品为主导的实验不仅仅是一个好主意——它是产品和工程团队量化其影响的必要条件。 但团队需要培养一种实验文化，并将其融入产品开发过程的每个阶段，以建立信心。

我们与 Reforge 合作创建了以产品为主导的实验的综合指南，其中包含该领域专家的见解和建议。 该指南将帮助产品和工程团队建立实验计划并释放其产品的全部潜力。 在这篇文章中，我们将概述指南中的预期内容。

下载完整指南——自信构建：扩展以产品为导向的实验指南——了解如何构建实验文化、了解实验实践、确定实验路线图的优先级等。

为什么实验很重要

在当今竞争激烈的环境中，试验对于产品团队来说不是可有可无的。 它可以帮助团队构建成功的创新产品，并将他们的工作与更广泛的组织联系起来。

Reforge 常驻执行官 Saleem Malkana 解释说，实验有助于产品团队衡量他们工作的影响并改进产品策略。 “最好的产品团队知道，真正重要的不仅仅是交付这些输出，而是他们推动的结果，”他解释道。

为了衡量产品变更的影响，团队需要提出假设、进行实验并评估结果。 他们可以使用实验结果来指导他们未来的产品策略。

测试也是降低产品变更风险的一种方式。 产品团队可以在将产品决策推广给所有用户之前评估其影响——这可能会导致代价高昂的错误。

Amplitude Experiment 产品负责人 Wil Pong 认为，以产品为主导的实验可以在不中断工程开发周期的情况下使用更表面的工具（如 WYSIWYG 方法）提供更快的创新。

过去，只有像 Netflix 这样的大公司才能提供量身定制的体验，并尝试不同的产品界面或推荐引擎。 现在，有了像 Amplitude Experiment 这样的新应用程序，各种规模的组织都可以根据用户的需求实时迭代和改进他们的产品。

以产品为导向的实验使产品团队能够使用功能标志在其整个产品中进行高度针对性的实验，这使团队可以完全控制打开或关闭体验。 Wil 解释说，这使团队能够“使用为 [他们] 的其他产品开发提供动力的相同流程和技术来提供高度针对性的实验和功能发布”，这最终将推动快速创新，而不会扰乱技术团队。

考虑到最近问责制的转变，实验对于产品负责人也至关重要。 CAUSL 的创始人兼董事总经理 Bhavik Patel 解释说，组织已经从基于输出的方法转变为基于结果的方法，对产品领导者进行了更多审查。 虽然很难衡量产品团队的投资回报率（组织通常使用员工人数或工程时间），但通过实验跟踪产品影响有助于产品团队将他们的工作与更广泛的公司目标联系起来。

建立实验文化意味着什么

实验文化应该涉及组织的所有部分。 为了建立这种文化，组织需要转变思维方式并构建具体的系统和流程来支持他们的学习速度，而不仅仅是快速交付。

Saleem 解释说，实验文化并非纯技术性的。 它是以下各项的组合：

• 人：团队成员是数据驱动的。
• 集成流程和沟通：实验是产品开发流程的一部分，团队之间需要进行健康的沟通。
• 技术：组织使用支持实验的平台。

理想情况下，实验将存在于组织的每个级别，重点放在小队级别——这为敏捷性和适应性奠定了基础。 测试也应该是日常操作的一部分，这样团队才能获得稳定的洞察力，他们可以用来改进产品。

为了创造一种实验文化，团队应该培养一种拥抱好奇心和“失败”的心态，因为两者都是学习的机制。 为了围绕实验产生动力，确保执行冠军也很重要。

购买实验的高管将有助于提供时间、预算和工具等资源。 他们还将协助创建跨部门的开放式沟通和协作渠道。

在完整指南中阅读更多内容。

如何开始您的实验之旅

在组织中实施实验计划需要时间。 以下是您开始时的一些最佳做法。

从小处着手，扩大规模

最终目标是在整个组织中开展实验。 但是，组织在扩展之前应该从小规模开始，在一个团队中进行低风险测试。

Saleem 建议建立一个“卓越中心”：一个应该验证基本实验堆栈并从那里建立起来的团队。 增长顾问兼临时增长执行官 Elena Verna 解释说，“一个团队需要首先学习如何测试、如何学习以及如何取胜。”

她继续说道：“一旦该团队培养了实验技能和思维方式，他们就应该致力于使测试和学习的访问民主化。 这样，整个组织就可以学习如何通过实验取胜。” 最终，所有部门的团队成员都应该能够运行测试来为他们的日常决策提供信息。

Bhavik 建议团队从低风险测试开始：“例如，我不建议从复杂的定价实验开始，但这是一个值得努力的伟大目标。”

他还警告不要迷恋不切实际的数字。 大多数公司不应该尝试运行数以千计的实验。 相反，“目标应该是运行比上个季度或去年更多的[测试]，”他说。

构思、验证、确定优先级

运行不必要的实验会浪费资源，因此团队必须有选择性地选择要运行的实验。

从度量树（显示产品的所有元素如何达到公司目标的图表）或太阳图（组织工作流的概述）开始您的构思。 查看这些图表可以让您了解应该将实验工作的重点放在哪里。

要测试想法，首先要验证测试概念以确定哪些想法值得追求。 要进行验证，您可以使用彩绘门测试、案头研究或检查类似实验的结果。

然后，考虑从每个潜在测试中获得见解的时间。 埃琳娜强调，团队应该优先考虑学习速度，并考虑构建实验需要多长时间，而不仅仅是运行实验。 Saleem 还建议将大挑战分解为较小的可测试假设，以获得更快的反馈循环。

其他需要考虑的因素包括：

• 产品中不同点的音量，因为您需要足够的流量来运行测试
• 是否可以使用您拥有的分析工具来衡量您要运行的测试

一旦您验证了您的测试想法，就可以根据以下因素确定要运行的实验的优先级：

• 你的测试能力
• 您期望测试产生多大的影响
• 您对它会产生预期影响的信心有多大
• 运行测试所付出的努力

使用最佳实践设计您的实验

Bhavik 解释说，精心设计的实验植根于科学方法。 它们可以分为以下几个阶段：实验前的计划、实验中的监控和实验后的分析。

一旦您验证了您的实验想法并选择了要优先进行的测试，您就必须计划您的实验。 记录运行实验的原因。 清楚地说明正在测试和修改的内容——可以是设计更改或新功能或体验。

建立一个假设并为您的实验设置明确定义的产品指标或 KPI。 根据可能的结果决定下一步。 确定当每个变体获胜或测试未达到统计显着性时会发生什么。

在完整指南中更深入地了解实验前计划。

在实验期间，创建一个分析仪表板以持续监控测试。 实验结束后，分析结果并阐明结果。 然后，团队可以按照预定的后续步骤继续前进。

充满信心地建造

有关如何运行成功的实验程序的更多指导，请下载以产品为主导的实验指南。