当 A/B 测试不值得时

对于像你我这样的营销极客来说，没有什么比 A/B 测试更能让人热血沸腾了。 他们跑得很快，看到结果非常令人满意。一旦我们开始，我们就开始比赛了，很难想象没有比赛我们是怎么做到的。 如果我们能在所有事情上做到这一点：一次玩两个我们重大的人生决定，看看哪些选择是正确的。

但如果不仔细考虑，A/B 测试实际上只会浪费我们宝贵的时间。 以下是如何充分利用 A/B 测试。

什么是 A/B 测试？ 它是如何工作的？

A/B 测试允许您测试体验或消息以查看是否可以改进。 在 A/B 测试中，您向用户展示了网站、应用程序或功能的两个版本（版本 A 与 B）。 无论您跟踪什么指标，表现最好的版本都会获胜。

几乎可以测试任何东西：按钮、字体、号召性用语、编辑内容样式，甚至滚动速度等下一级细节，方法是在第一组用户（通常是控件 (A)）面前放置一个版本，以及第二组用户面前的变体（B）。 流量尽可能随机化，因此您要测试的唯一变体是变体 B 中更改的变体。您可以测试多个变量和/或多个变体，这称为多变量测试，这是另一天的主题。

使用 A/B 测试来检验假设

使用 A/B 测试来测试主观想法，了解如何使用客观的、基于数据的证据来解决问题，以确认这些想法是否合理。

做得好，A/B 测试遵循基本配方。 从你想解决的问题开始。 也许您有数据或用户研究表明存在问题，或者只是从您的产品和受众的知识中得出的明智的预感。

接下来，制定一个假设，确定什么似乎是解决您的问题的最佳方法。 然后，运行您的测试以收集最终证明或反驳您的假设的经验证据。 最后，根据所学采取行动。

在开始 A/B 测试之前要注意什么

在德托克维尔 1835 年对美国性格的研究（美国的民主）中，他写道，在美国，“公众舆论在非常小的问题上被划分为千分之差”。

当然，德托克维尔可能不知道他的言论在数字和移动营销的背景下会变得多么相关。 有些结果根本不保证他们需要花时间去发掘。 知道什么时候应该进行 A/B 测试，以及什么时候可以更好地将时间花在其他地方。

不进行测试的 4 个理由

1. 不要在以下情况下进行 A/B 测试：您还没有有意义的流量

A/B 测试已经变得如此普遍，很难想象没有它的移动或产品开发世界。 然而，在你还没弄湿脚踝之前就跳入测试池的深处可能是一个错误。

统计显着性是检验中的一个重要概念。 通过测试足够多的用户组，您将确定普通用户的偏好，并降低您确定的偏好实际上是抽样错误的结果的可能性。

您是否看到移动是因为用户实际上更喜欢变体而不是控件？ 或者，例如，您是否在不知不觉中将变体 A 提供给喜欢猫的人，将变体 B 提供给讨厌芝士汉堡的人，这意味着您的结果实际上并没有告诉您有关普通用户的任何信息？ 为了防止这种抽样错误，您需要一个具有统计意义的样本量。 您如何确定您的结果是否足够重要以值得采取行动？ 数学！

您可以先使用这个免费的 A/B 重要性计算器（或者这个，如果您愿意的话）。 每个计算器都会比较您的 A/B 变体两侧的访问者和转化率，进行大量后端数学运算，并为您提供以百分比表示的“置信度”，让您知道您的测试是否已经产生或没有产生您可以自信地采取行动的结果。

测试您希望在转化率方面产生巨大差异的东西通常可以通过较低的流量进行，但要测试小的变化，例如按钮的颜色，您需要更大的样本量。 如果您担心，请在运行 A/B 测试之前使用此计算器查看您的流量是否达到应有的水平。

如果您没有足够的用户来提供有意义的结果，那么您的努力可能会更好地用于吸引更多客户而不是进行试验。 如果您决定在您的用户群还很小的情况下继续运行测试，您可能需要让您的测试运行数周才能看到有意义的结果。

2. 如果出现以下情况，不要进行 A/B 测试：你不能安全地花时间

Brainscape 的创始人兼首席执行官、TechStars 和 General Assembly 的讲师Andrew Cohen说： “无论 A/B 测试插件......变得多么便宜和高效，执行拆分测试只是一项管理密集型任务。 有人需要花时间确定要测试的内容、设置测试以及验证和实施测试结果。”

科恩解释说，尽管这些任务可以相对轻松地执行，但它仍然需要大量的“精神带宽，这是任何公司（尤其是早期创业公司）最稀缺的资源。”

花时间预先决定你应该测试什么，这样你就可以充分利用你的 A/B 测试时间。

3. 在以下情况下不要进行 A/B 测试：你还没有一个有根据的假设

收集信息。 找出你的问题。 定义一个假设。 然后测试一下你是否正确。 将 A/B 测试视为真正的科学！ 一个好的科学家永远不会在没有假设的情况下开始实验。

要定义您的假设，了解您要解决的问题，并确定转换目标。 例如，假设您的客户倾向于在转化漏斗中的某个时间点离开。

问题：客户将商品装入购物车，但从未完成购买过程。

根据一些市场调查和您自己的明智判断，您相信如果添加一个“完成我的购买”按钮，您将能够提高转化率。 定义成功指标也很重要。 您乐于看到的最小转化率增长是多少？ （为什么是这个数字？赢得这一增长对您的整个企业意味着什么？）这也与您的统计显着性计算有关。 对于此示例，假设您希望将转化率提高 20%。

科学假设通常以 if/then 格式编写。 所以你的假设变成了，“如果我添加一个‘完成我的购买’按钮，那么将有 20% 的人完成购买过程。”

在测试结束时，您将做出一些决定。 如果您的测试是阳性并证实了您的假设，那么恭喜！ 你赢了。 您的假设现在是一个经过验证的理论（当然，在您达到的百分比置信水平内得到证明）。 如果您的业务足够敏捷，您可以立即制定永久性解决方案。 您可能希望继续测试较小的变体，看看您的第一次成功是否还有更多改进空间。

如果您的测试是否定的，并且您的假设没有达到目标，那么您也赢了！ 这意味着您的控制是制胜法宝，您可以放心地继续使用它。 但是，如果您没有得到所需的结果，您可能希望测试不同的变体。 看看是否有另一种方法可以解决你的问题，并提出一个新的假设。

如果您的测试没有结果，请重新审视您的问题。 你确定痛点在你认为的地方吗？ 您是否有足够的流量来提供具有统计意义的结果？ 请记住，您的产品问题的答案可能不一定在 A/B 测试中。

4. 在以下情况下不要进行 A/B 测试：立即采取行动的风险很低

Apptimize 营销主管Lynn Wang说：“如果您知道某个想法几乎可以肯定会改进您的应用程序并且与......实施该想法相关的风险很低，则应该跳过 A/B 测试。” 她补充说：“没有理由花时间和资源来测试可能是好的且风险低的东西。 立即实施是完全可取的。”

如果您的时间稀缺，记住这一点特别有用。 请记住，给定的结果可能是正确的，同时它可能并不重要。

一个好的工具只与它的智能应用程序一样有用

A/B 测试是一种不可思议的资源。 基于广泛应用的测试的明确结果采取的智能、简单的行动已经在整个数字领域取得了成功。 成功的企业知道何时该耐心等待，并进行有意义的测试。 他们也知道什么时候应该依靠他们的直觉或其他信息来源，并在没有长期或过早测试期的所谓安全网的情况下前进，实际上不会增加​​任何价值。