使用这个 7 步框架改变您进行实验的方式

实验对于产品团队来说是必不可少的。 但如果你做错了，你还不如根本不做。 为了使您的实验有价值、可预测和可持续，您需要一个系统来使您的测试围绕业务增长和客户问题进行调整。

为什么需要实验框架

实验允许团队以成长的心态工作，他们在运作时理解他们对产品及其用户的了解是可以改变的。 他们可以应用科学方法来弥合缩放产品中自然出现的感知和现实差距，并与客户的实际需求保持一致。

当团队以临时方式进行实验时，实验计划会失败，组织会将实验从其内部决策过程中剔除。 框架通过确保您的实验使您的用户受益，从而使您的业务受益，从而避免了这种情况。

实验是做出具有有意义的业务影响的决策的关键。 直觉本身就很好，可能会给你带来好的结果，但你的决策过程将不可持续或不可靠。

实验可以帮助你培养成长心态

当实验成为你工作中不可或缺的一部分时，它可以帮助你摆脱固定的心态——你永远不会更新你对产品的看法——并以成长的心态工作。 你不是依赖于你的假设，而是不断地学习和更新你的知识。 然后，您可以为您的业务和客户做出最佳决策。

实验可以帮助您更新直觉并做出更好的决策

如果你不做实验，你就会根据直觉或房间里最响亮的声音做出正确的决定。 通过定期实验，您可以根据从数据中学到的知识做出决策。

您可能会在很长一段时间内成功地做出直觉决策，但随着公司的发展，很难将直觉扩展到整个公司。 您也无法知道您的直觉何时变得过时和错误。

随着组织的成长和变化，您的直觉——您对产品、客户和最佳行动路径的看法——会不断失效。 当您从实验中学习时，您可以根据获得的数据磨练和更新您的直觉。

实验可以帮助您贴近客户

实验可以让你将感知和现实的差距（你认为用户想要的和他们实际想要的之间的差距）保持在最低限度。 当您处于产品的早期阶段并努力寻找适合市场的产品时，您就离客户很近了。 你和他们交谈，你就会意识到他们的情绪和需求。

但是当你开始扩展时，认知和现实的差距就会扩大。 您必须与意向较低的客户和相邻用户竞争。 你不能像在最初的产品开发阶段那样与客户交谈，因为客户太多了。 实验可以帮助您找到您的直觉不正确的区域，这样您就可以在扩展时缩小感知差距。

为什么实验程序会失败

当人们将实验作为一次性策略而不是连续过程时，实验程序通常会失败。 人们还错误地设定了他们的实验目标，因为他们期望他们的实验带来胜利而不是学习。

实验是临时的

团队通常将实验视为验证某人在特定领域直觉的一种孤立方式。 临时试验可能会或可能不会带来好的结果，但这些结果是不可预测的，而且它不是一种可持续的运作方式。

实验目标不正确

当人们期望实验能够带来提升时，他们的实验目标是错误的。 虽然从实验中获得胜利感觉很好，但失败更有价值。 损失向您展示了您对产品或用户持有错误信念的地方，因此您可以在前进时纠正这种信念。

实验与增长杠杆不一致或围绕客户问题

如果您不将实验与企业关注的增长杠杆相结合，实验就会出现问题，因为这意味着它们对您的组织没有用。 同样，只关注业务成果而不是围绕客户问题进行实验会产生问题。 如果您只考虑业务问题，您会以有偏见的方式解释您的数据并开发出对用户无益的解决方案。

当实验程序失败时会发生什么？

当试验计划失败或实施不当时，组织就会对试验失去信心并过分依赖直觉。 他们不再相信他们是开发最佳客户体验的途径。 当发生这种情况时，他们不会将实验作为决策过程的一部分，因此他们会失去实验带来的所有价值。

让我们来看看一些实验出错的例子。 当您在不使用促使您围绕业务杠杆和客户问题调整实验的框架的情况下进行实验时，会发生以下情况。

免费到付费的转化率

一个组织专注于货币化，需要通过其产品货币化。 他们让一个团队负责提高免费到付费的转化率。

该公司表示：“我们的定价到结账转化率很低，所以让我们优化定价页面。” 该团队决定测试不同的颜色和布局以提高页面的转换率。

然而，优化定价页面的实验并没有围绕客户问题展开。 如果团队与客户交谈过，他们可能会发现并不是定价页面的用户体验阻止了他们升级。 相反，他们可能还没有准备好购买或不明白为什么要购买。

在这种情况下，仅优化定价页面不会产生任何结果。 让我们假设团队将他们的实验重点放在客户问题上。 他们可能会尝试对优质产品进行试用，以便客户在看到定价页面之前就了解其价值。

如果您从业务问题开始进行实验（“我们需要提高转化率”）与从客户问题开始（“他们还没有准备好考虑购买”）。

入职问卷

一个组织专注于获取，因此产品团队希望将入职调查问卷从第二页到第三页的流失率降至最低。 如果他们只考虑业务问题，他们可能会简单地删除第三页。 他们假设，如果入职时间较短，则流失率会较低。

假设删除第三页有效，并且入职转化率提高了。 更多人完成问卷。 该团队吸取了他们应用于其余产品的知识：我们应该通过删除尽可能多的步骤来简化所有客户旅程。

但这种学习可能是错误的，因为他们没有考虑问题的客户方面。 他们没有调查为什么人们在第三页就放弃了。 也许问题不在于页面的长度，而在于他们要求的信息类型。

也许第三页包含有关个人信息的问题，例如电话号码或薪水，人们在旅途这么早的时候不愿意提供这些信息。 他们本可以尝试让这些答案成为可选的，或者允许用户稍后编辑他们的答案，而不是删除页面，让更多的人通过这部分的入职培训。

一个 7 步实验框架

按照以下步骤使您的实验可持续。 这将有助于使您的实验围绕业务战略和客户问题保持一致。

1. 定义增长杠杆

要使实验有意义，它需要对业务产生影响。 为您的实验选择一个与您的组织关注的增长杠杆相一致的领域：获取、保留或货币化。

假设我们专注于收购，我们注意到主页上的流失率很高。 为了构建我们的实验，我们可以说：

• acquisition 加速收购2.定义客户问题

  在继续之前，您需要从客户的角度定义实验试图解决的问题。

  通过确定您的产品解决的客户问题，您找到了产品市场契合点。 然而，当许多组织转向分发和扩展其产品时，他们将注意力转移到业务问题上。 为了有效，您需要通过锚定您的分销和扩展客户问题来不断发展和了解您的产品市场契合度。

  您将根据您的实验结果迭代客户问题。 首先通过说明您认为的问题是什么来定义初始客户问题。

  对于我们的主页示例，这可能是：

  • confused 客户对我们的价值主张感到困惑。

  提出一个假设

  现在，定义您对问题存在原因的解释。 与客户问题一样，您将在了解更多信息时重复您的假设。 您的客户问题和假设的第一个版本为您提供了实验的起点。

  我们的主页示例的潜在假设包括：

  • poor messaging 客户因信息不畅而感到困惑too many action buttons 我们的页面有太多操作按钮too vague 我们的文案太模糊了4. 根据 KPI 构思可能的解决方案

    提出可以解决客户问题的所有可能的解决方案。 通过指出每个解决方案解决的关键绩效指标 (KPI)，创建一种衡量每个解决方案成功与否的方法。

    下载我们的产品指标指南，了解有关获取、保留和货币化的有影响力的产品 KPI 列表以及如何衡量它们。

    我们主页示例的解决方案 + KPI 可能是：

    • 解决方案：KPI：5.优先解决方案

      通过考虑三个因素来决定您应该首先测试哪些解决方案：实施解决方案的成本、它对业务的影响以及您对它会产生影响的信心。

      要淘汰低影响和高成本的解决方案，请按以下顺序优先考虑您的解决方案：

      1. 低成本、高影响、高可信度
      2. 低成本、高影响、低信任度
      3. 低成本、低影响、高可信度

      然后你可以转向高成本的解决方案，但前提是它们的影响也很大。

      不同的公司可能对这些因素赋予不同的权重。 例如，与资源匮乏的初创公司相比，拥有大量预算的成熟组织在测试高成本解决方案时不会那么谨慎。 但是，您应该始终考虑三个因素（成本、影响和影响的置信度）。

      实验的另一个好处是，它将帮助磨练您进行信心评估的能力。 试验后，检查解决方案是否具有预期的影响并从结果中学习。

      6. 创建实验语句并运行测试

      收集您在步骤 1-5 中收集的信息，以创建一个声明来构建您的实验。

      对于我们的主页示例，该语句如下所示：

      • growth lever customer hypothesis solution KPI 加速收购是我们的首要任务，我们访问量最大的着陆页——主页——表现不佳[增长杠杆客户假设解决方案KPI 为您试图影响、提升和测试的指标定义基线。

        7. 从结果中学习并迭代

        根据你的测试结果，回到第二步，更新你的客户问题和假设，然后继续运行这个循环。 当业务优先级（增长杠杆）发生变化时停止迭代，例如，当收购有所改善并且您想专注于货币化时。 根据新控制杆设置您的实验。

        你应该停止迭代的另一个原因是当你看到收益递减时。 这可能是因为您无法想出更多的解决方案，或者您没有适当的基础架构或足够的资源来有效解决客户问题。

        更快做出更好的决策

        要向用户提供有针对性的实验并衡量产品变更的影响，您需要合适的产品实验平台。 Amplitude Experiment 旨在允许产品、工程和数据团队之间的协作，以通过用户行为分析来计划、交付、跟踪和分析产品变更的影响。 请求演示以开始使用。

        如果您喜欢这篇文章，请在LinkedIn上关注我，了解更多关于产品主导型增长的信息。 要进一步深入了解产品实验，请查看我在Reforge上的实验和测试课程。