什么是虚荣指标以及如何停止使用它们
已发表: 2022-07-01你太虚荣了（你太虚荣了）
我打赌你认为这个指标是关于你的
你不是吗？
——卡莉西蒙
什么是虚荣指标？
但是每个人，在某个时候，都被好消息所吸引，放松了警惕。
大家好，请查看昨天的唯一用户数！
大家好，看活动报名！
批评虚荣指标很容易，但我们都经历过。
在这篇文章中，我将描述三个导致我们使用虚荣指标的常见问题。 然后我将分享虚荣指标测试，这是一种查看指标并了解您是否正在转向虚荣指标领域的方法。 如果您时间紧迫并想直接跳到评论，请单击此处。
虚荣指标问题
在与团队讨论虚荣指标时，我注意到了三个基本问题。
- 虚荣指标缺乏背景。
- 虚荣指标的意图不明确。
- 虚荣指标不能指导行动和学习。
问题 1：虚荣指标缺乏上下文
首先，我们有缺少上下文的问题。 页面浏览量、每日活跃用户数和注册量是有意义的，但单独来看并不是很有帮助。 当我们在没有参考大局的情况下传达这些指标时，就会出现问题。 这不是我们说什么，而是我们不说什么——例如，“比较”、“作为输入”、“平衡”、“早期信号”、“...的一部分”、“作为比率”、“有以下注意事项”等。
缺少上下文会影响每个人：
- 营销：有很多方法可以在短期内提升内容浏览量。 创造一个吸引潜在买家数周甚至数年的常青内容要困难得多。 增加初始流量是一个积极的早期信号，但它需要一个脚注。
- 销售：达到季度销售目标是一项巨大的成就。 由于各种原因，这是值得注意的。 但是球队是如何达到目标的呢？ 他们是否屈服于定价？ 他们是否推进了交易？ 他们抢劫了彼得来付钱给保罗吗？ 需要更多背景信息（例如，将定价与前几个季度进行比较）。
- 产品：推出新功能是一个巨大的里程碑。 早期功能采用指标是一个积极的信号。 但客户不一定会使用该功能。 他们可能只是在尝试该功能。 事实上，所有建议人们尝试该功能的应用内弹出窗口都可能会增加好奇心点击量。 尝试该功能是对长期使用概率的一个输入。
可能缺少上下文的其他示例：平均购买量增加，但订单退货量增加。 转化率来自与您的价值主张不相符的广告。 一个渠道正在蚕食另一个渠道。 该应用程序对新用户来说更容易，但对有经验的用户来说更难。 在应用程序上花费的时间已经结束，但您的目标是为人们节省时间。 人们正在更多地查询数据，但那是因为他们无法理解结果。 客户在应用程序中更加活跃，但他们已经转向浪费时间而不是宝贵的网络。
请注意，在每个示例中，上下文就是一切。 缺乏平衡信息使得很难理解大局和指标适合的地方。
除了周围的上下文，我们需要确保人们理解为什么。
问题 2：虚荣指标的意图不明确
其次，我们对指标的意图感到困惑。 度量的定义可能很明确，但我们试图衡量的内容尚不清楚。 一个典型的例子是回访。 我是否因为喜欢该产品而返回该产品？ 还是因为产品不好用，需要休息一下？ 或者需要客服的帮助？
许多经典的网络“参与度”指标，如页面浏览量、页面停留时间和平均会话持续时间，都是前移动、前设备交换、前 30 个浏览器标签、前单页应用时代的残余。 它们是当时可用的参与和价值交换的最佳代理，但不是我们现在可用的最佳衡量标准。
我们试图衡量的内容与我们选择的“代理”之间的联系在某些指标上非常清楚。 或者我们认为！ 例如，我告诉一个朋友，我昨晚能睡八个小时。 我的朋友将我的意图解释为：“约翰试图传达他睡了一夜好觉。”
但睡眠时间只是众多变量之一。 这项研究提到了研究睡眠质量时使用的约 23 个睡眠变量，包括快速眼动潜伏期、快速眼动睡眠、睡眠中的小动作、不同睡眠周期的时间、周期数等。与死亡率有关。” 哎呀！
它的作者介绍了匹兹堡睡眠质量指数，并清楚地概述了该指标的意图。
匹兹堡睡眠质量指数的制定有几个目标：（1）提供可靠、有效和标准化的睡眠质量测量； (2) 区分“好”和“差”的睡眠者； (3) 提供易于受试者使用和临床医生和研究人员解读的指标； (4) 提供对影响睡眠质量的各种睡眠障碍的简要、临床有用的评估。
传达意图至关重要。 这些作者可能面临权衡取舍。 对受试者的易用性可能不会立即等于对研究人员的使用深度。 标准化有助于可比性，但通常涉及减少上下文因素。 评估是“简短的”，其中涉及评估完成率和评估深度之间的权衡。
一个伟大的意图声明涵盖了基本的权衡和目标。
有效地说明度量意图是什么样的？：
传递事实。 寻求理论/见解：
这是我们在过去 30 天内发生的中断次数以及与过去期间的比较情况。 注意增加。 你觉得这里发生了什么？ 我们看到了什么？
作为无法直接衡量的事物的代理：
我们的北极星指标是“忠诚的 DIY 用户”，定义为执行高价值 DIY 项目操作以及社区参与的用户数量。 它代表了忠诚度、满意度以及以符合我们面向社区的战略的方式使用我们的产品。 数据表明——但还没有证明——这是更高客户生命周期价值和病毒获取的领先指标。
我们希望找到一个可操作的指标，1）团队可以移动，2）将有助于业务的中期成功。
Hex Pistols 将专注于提高入职工作流程的有效性。 这是一种杂耍行为。 我们知道我们可以催促人们通过而不是让他们获得成功。 或者我们可以让它非常全面，减少他们看到产品在行动中的可能性。 为了指导我们的工作，我们将专注于减少 90% 的项目共享时间。 项目共享是用户感到舒适并能够使用产品的早期信号。
意图很重要！
问题 3：虚荣指标不能指导行动和学习
我最近询问了 Twitter 和 LinkedIn：
- 当某些东西是虚荣指标时，您的测试是什么？ （推特）
- 您如何知道指标何时是虚荣指标？ （领英）
排名最高的“测试”之一是该指标是否指导行动和决策。
当没有人可以根据它向我们展示的内容以有意义的方式采取行动时。 当指标没有可能的值会促使我们实际改进任何东西时。 奥拉伯格
结果是不可操作的。 无论指标是上升还是下降，我们都不会改变我们的工作。 克里斯·卢卡森
当没有人担心它是否停止上升/平稳/或下降时。 例如：“我们的 NPS 分数是 90！” 一个月后是“我们的 NPS 分数是 50！” 下个月。 海蒂·阿特金森
行动、决策和学习很重要。
如果一个数字持续上升，而它激发的唯一行动是在全体会议中皱起眉头，那么你可能手上有一个虚荣指标。 如果一个团队推出了一个指标来庆祝，但当它下降时，他们并没有改变他们的战略或战术，那么你可能正在寻找一个虚荣指标。
示例包括不太可操作的指标，包括：
- 平均会话长度。 它上升或下降。 你做什么工作？
- 新用户（减去获取渠道）。 它上升或下降。 你做什么工作？
- 新的粉丝。 它上升或下降。 你做什么工作？
这里有几个警告。
一个指标可能是有意义的，但不是立即可操作的。
在我们的北极星研讨会中，我们强调北极星指标在理想情况下应该有点遥不可及。 它是影响各种北极星输入的团队的输出。 你为什么不想要一个可操作的北极星指标？ NSM 打算作为可持续业务绩效的领先指标（在多年时间范围内）。 几乎按照定义，它与日常工作会有些距离。 我们需要投入作为日常工作和对商业成功的有意义投入之间的“桥梁”。
我们跟踪我们的北极星指标，如果它停滞不前，它将迫使我们重新考虑我们的策略，但一个团队不会每天早上醒来都希望直接影响它。
指标可以是探索性的。 我们还不知道如何处理它。
团队通常都知道“可操作性”测试，但几乎是错误的。 他们将花费数月和数月的时间试图找出一个“神奇指标”或一组可以做到这一切的神奇指标——可操作的、预测的、解释性的等。产品领导者在将指标交给“拥有”时会感到压力很大，但不确定是否他们可以“控制”指标的变化。
结果？ 团队使用“安全”的虚荣指标，因为它们传达了好消息。 他们没有帮助，但他们不会假装可以采取行动，所以他们不会激怒任何人。 我们不想要这个。
可以改用探索性指标。 叫他们出来。
不确定性的轻微减少可能足以激发行动。
产品工作是在不确定的条件下做出决策。 如果你想在你对某件事100%确定之前，你将采取行动为时已晚。 因此，我们不应该追求完美的指标来减少我们所采取行动的所有不确定性。
古德哈特定律和好的测量和好的目标之间的张力
古德哈特定律指出：
“当一项措施成为目标时，它就不再是一个好的措施。”
将此与我的同事 Adam Greco 关于 Vanity Metrics 的指导进行对比：
如果某个指标上升或下降，某人不会被提升或解雇，这可能是一个虚荣指标
在这里，我们有一个紧张/悖论。 一旦指标成为目标并成为工作好坏的信号，您就有可能成为虚荣指标，因为人们会确保它上升。 然而，我们希望我们的指标有意义——具有相关性，成为良好的代理，并为相关决策提供信息。
古德哈特定律的例子：
- 如果一个团队的目标是可预测地发布功能，他们将不太可能处理可能看起来“不可预测”的不确定的新反馈。
- 如果团队的目标是增加平均订单规模，他们将更有可能以牺牲未来成果、品牌忠诚度等为代价来增加平均订单规模。
- 如果经理的目标是在一个季度内雇用一定数量的人，他们将更有可能雇用不是最佳人选的人。
那么，这能告诉我们如何使用更有效的指标和更少的虚荣指标呢？ 首先负责选择有意义的目标和指标并定义有效的“护栏”以了解任何不利的二阶或三阶影响。 我们不能完全击败古德哈特定律——你必须假设人们会玩你坚持让他们玩的游戏——但我们可以努力建立制衡。
使用亚当的小费，你也可以问自己，“我们想在这里奖励什么？” 对业务结果负责是有道理的。 但是您不想根据他们达到任意指标和成功剧院来提拔人们。 我非常相信比尔沃尔什的分数自理其理的想法。 目标应该鼓励积极的习惯和惯例。
回顾
我们描述了与虚荣指标相关的三个常见问题：
- 虚荣指标缺乏背景
- 虚荣指标的意图不明确
- 虚荣指标不能指导行动和学习
指标的有效使用包括提供上下文、陈述您的意图以及选择指导行动和学习的指标。 指向一个指标并说“这是一个虚荣指标”等同于说“您正在将该指标用作虚荣指标”。
虚荣指标测试
我们已经讨论了有助于使用虚荣指标的各种问题以及与虚指标相关的问题。 现在是时候测试您的指标了。
在本节中，我们提出了十个描述健康您会注意到我们在本文前面探讨的主题：背景、意图、负责任的行动和学习。
对于每个陈述，我们建议您：
- 与您的团队讨论提示
- 寻求不同的观点
- 标记需要注意的项目
S1：团队了解跟踪指标的基本原理。
提示：在您的员工入职计划中包含指标导向。 Amplitude 客户经常使用我们的笔记本功能来提供关键指标的上下文。
S2：我们将指标与添加必要上下文的相关指标一起呈现。 当单独呈现时，我们会添加必要的脚注和参考。
提示：规范化在演示文稿中显示护栏和相关指标。
S3：将指标与有意义的结果和影响联系起来的假设（和假设）清楚地表达出来、可用并且对挑战/讨论持开放态度。
提示：使用树图（驱动树、北极星框架、假设树等）和因果关系图来传达假设的因果关系。 考虑玩“随机 Jira Ticket”游戏。 您能否随机挑选一张 Jira 票并从该项目“走树”到长期重要的事物？
S4：度量计算/定义是可检查、可检查和可分解的。 它的各个组成部分、从句、特征等，都可以分开。 具有良好领域知识的人可以理解它是如何工作的。
提示：只要有可能，共享指标，以便有人可以“点击”了解它的计算方式。 例如，如果指标涉及“在 7 天内与超过 7 个用户共享”之类的过滤器，则应该可以调整该子句并查看该数字与用户总数的比较情况。 通过让人们重新创建指标来建立信任。
S5：该指标是定期审查和讨论的仪表板、记分卡或报告的一部分。 它经受住了健康的审查。 如果该指标更具探索性且未经测试（或“我很好奇是否……”），则该上下文从一开始就很清楚。
提示：审查是一件好事。 您对指标的关注越多越好。 邀请批评。 记录出现的问题。 使指标的每次“展示”（例如，在全体人员或产品审查时）依次更好。
S6：团队有一个关于指标变化表明什么的工作理论。
提示：这是一个让您思考的基本提示：“该指标的增加是_______的信号，而该指标的减少是_______的信号。”
S7：随着时间的推移，该指标提供了越来越高的价值和信心。 我们可以指出使用该指标产生的具体决策和行动（这些行动是可审查的）。 该公司将投资于继续对其进行跟踪和沟通。
提示：在显示指标时指明置信水平，并保留决策/行动日志。 尝试将一开始的不确定性标准化，并在显示具有高置信度的指标与具有较低置信度的新候选指标之间取得平衡。
S8：团队建立明确的行动阈值（例如，“如果超过 X，那么我们可以考虑 Y”）。 指标可能会下降。 如果它下降，它可能会激发检查/行动。
提示：举办情景规划研讨会，以更好地了解指标中的变化将如何决定未来的行为。 在您的分析工具中设置监视器，以便在您达到阈值时向您发出警告。
S9：该指标是比较性的（随着时间的推移，与类似指标等）。更广泛地说，如果长时间跟踪它，则可以在不同时期之间进行苹果与苹果的比较。
提示：在您的仪表板中包含周期视图，以便更多地关注比较。
S10：团队使用指标来传达挑战和胜利。 不仅仅是赢。
提示：领导者在这里定下了基调。 讨论没有按预期解决的情况，以及如何使用数据来解决这个问题。
概括
虚荣指标是让我们感觉良好的指标，但不能帮助我们更好地工作或做出更好的决策。 没有人可以避免使用虚荣指标！ 关键是确保您提供上下文，说明您使用的指标的意图，并阐明指标（或指标）将推动的行动和决策。
要定义有意义的指标，请查看北极星手册。 建立北极星指标和可操作输入的星座是避免使用虚荣指标的有效方法。
