使用实验简报设计更好的实验
已发表: 2023-02-03无论您的公司是刚刚开始其实验之旅还是已经建立了实验文化，使用实验简报都可以帮助实现实验民主化、设计更好的实验，并为每个实验创造目标和后续步骤的透明度。
民主化实验
我们所说的民主化是什么意思？ 民主化是让每个人都能获得某些东西的行为。 为了使实验民主化，组织需要使两件事变得可访问：
- 组织内任何部门的任何人都应该能够进行实验
- 任何人都应该能够快速访问每个实验的关键事实和结果
使实验的关键事实和结果民主化的一个很好的方法是使用实验简报。
为什么您的团队应该使用实验简报？
设计更好的实验
进行实验是科学方法的基本组成部分——科学是关键词。 实验设计是该过程的关键部分，但许多团队经常忽略该过程中的这一关键步骤。 我们将在下一节中更深入地探讨这一点。
在您的流程中建立透明度
如果没有透明的文档，很容易在了解事实后合理化决策并将其纳入叙述中，从而导致糟糕的实验结果。 通过在实验运行后记录清晰的后续步骤，团队更有可能根据他们从实验中学到的知识向前推进。
一个好的实验是什么样的？
许多从业者假设实验包括从一个想法开始，构建一个原型，测试它，然后弄清楚下一步该做什么。 错误的。
一个好的实验遵循科学方法的骨架。 这些核心概念与一些定制组件一起进入了数字实验的世界。 郑重声明，当我说“好的实验”时，我并不是指实验的结果。 一个“好的实验”说明一个设计良好的实验。
以下是良好实验设计的关键组成部分：
规划（预实验）
- 记录观察结果，阐明我们计划进行此实验的原因
- 研究以验证我们的观察。 这项研究可以是定量的、定性的、有竞争力的见解等。
- 使用明确定义的指标或 KPI 建立假设
- 根据每个可能的结果对团队的后续步骤进行调整：每个变体是否获胜，或者测试是否未达到统计显着性
- 实验设置的特征包括持续时间、受众、流量分配、临界阈值等
- 清楚地说明正在测试和修改的内容。 这可能是设计更改、新功能或体验等
- 确认实验可以测量
实验运行时
- 用于持续监控的分析仪表板
实验后
- 分析结果
- 阐明实验的结果，并按照您预先确定的后续步骤前进。
实验简介
现在我们了解了良好的实验设计包括什么，我们可以将我们的过程模板化，以确保每次在实验开始之前记录所有关键信息。
这使您组织中的任何人都可以轻松地异步了解有助于实现民主化的实验。
第一阶段：计划
| 计划 | ||
| 观察和见解：什么观察导致了这个实验？这项研究可以是定量的、定性的、竞争洞察力、用户研究等等。 | ||
| 定义实验类型：假设检验或不伤害检验 | ||
| 假设 | 我们观察到：记录定性、定量或竞争洞察力 | |
| By：引入或修改自变量 | ||
| 我们期望：定义您期望的行为变化 | ||
| 导致：说明对因变量的预期影响 | ||
| 对于不伤害测试 | ||
| 指标：当你引入重大变化时，比如你的产品的新体验，对主要指标和护栏指标使用 Do No Harm 测试，以检测对你的关键指标的任何负面影响 | 主要：这可能是转化率 | |
| 护栏（可选） | ||
| 对于假设检验 | ||
| 指标 | 主要：这可能是转化率 | |
| 次要（可选） | ||
| 护栏（可选） | ||
| 总样本量 | ||
| 最小可检测效果 | 基本的 | |
| 护栏（可选） | ||
| 实验事件名称 | ||
| 实验事件参数 | ||
| 行动：根据以下每个测试结果，您将采取什么行动？ | 赢 | |
| 失去 | ||
| 平坦的 | ||
第 2 阶段：配置
| 配置 | ||
| 变体设计 | 变体 1：定义它与对照组的不同之处。您还应该链接到任何相关设计 | |
| 变体 2 （可选） | ||
| 分配 | 拆分：这可能是 50/50 | |
| 受众群体：我们是否针对现有客户、新用户等？ | ||
| 平台 | ||
| 站点部分：在您的产品的哪个部分进行测试？ | ||
| JIRA 票证和分析（链接） | 分析 JIRA | 关联 |
| 科技吉拉 | 关联 | |
| 测试前分析 | 关联 | |
| 测试后分析 | 关联 | |
第 3 阶段：监控
| 监视器 | |||
| 计划考试日期 | 来自：[MM/DD/YYYY] | 收件人：[月/日/年] | |
| 持续时间（天） | |||
| 确保分析中的跟踪有效：确保：(1)事件在相关平台、设备和用户组上触发，(2)您已为所有平台的控制和变体配置一致的事件名称，(3)曝光事件触发当用户接触到实验时 | |||
第四阶段：分析和决定
| 分析和决定 | ||
| 分析：记录实验结果 | ||
| 决策：根据您的计划阶段确定后续步骤。 | ||
| 监控持续表现：继续分析实验后的行为 | ||
最后的想法
这些实验简报可以很容易地按日期、细分、网站部分和平台进行分类。 每个人都应该可以访问它们，这样即使人们来来去去，这种制度知识也会持续存在。 使用实验简报可以透明地记录每个实验，从而使该信息大众化，从而帮助您的团队加强您的实验计划。
我很想听听您对此模板的看法以及您将做出的任何修改。 你可以在 LinkedIn 或 Twitter 上联系我，或者查看我的博客。
可以通过此链接 → 实验简介模板找到指向实验简介模板的链接。
