什麼是虛榮指標以及如何停止使用它們
已發表: 2022-07-01你太虛榮了（你太虛榮了）
我打賭你認為這個指標是關於你的
你不是嗎？
——卡莉西蒙
什麼是虛榮指標？
但是每個人，在某個時候，都被好消息所吸引，放鬆了警惕。
大家好，請查看昨天的唯一用戶數！
大家好，看活動報名！
批評虛榮指標很容易，但我們都經歷過。
在這篇文章中，我將描述三個導致我們使用虛榮指標的常見問題。 然後我將分享虛榮指標測試，這是一種查看指標並了解您是否正在轉向虛榮指標領域的方法。 如果您時間緊迫並想直接跳到評論，請單擊此處。
虛榮指標問題
在與團隊討論虛榮指標時，我注意到了三個基本問題。
- 虛榮指標缺乏背景。
- 虛榮指標的意圖不明確。
- 虛榮指標不能指導行動和學習。
問題 1：虛榮指標缺乏上下文
首先，我們有缺少上下文的問題。 頁面瀏覽量、每日活躍用戶數和註冊量是有意義的，但單獨來看並不是很有幫助。 當我們在沒有參考大局的情況下傳達這些指標時，就會出現問題。 這不是我們說什麼，而是我們不說什麼——例如，“比較”、“作為輸入”、“平衡”、“早期信號”、“…的一部分”、“作為比率”、“有以下注意事項”等。
缺少上下文會影響每個人：
- 營銷：有很多方法可以在短期內提升內容瀏覽量。 創造一個吸引潛在買家數週甚至數年的常青內容要困難得多。 增加初始流量是一個積極的早期信號，但它需要一個腳註。
- 銷售：達到季度銷售目標是一項巨大的成就。 由於各種原因，這是值得注意的。 但是球隊是如何達到目標的呢？ 他們是否屈服於定價？ 他們是否推進了交易？ 他們搶劫了彼得來付錢給保羅嗎？ 需要更多背景信息（例如，將定價與前幾個季度進行比較）。
- 產品：推出新功能是一個巨大的里程碑。 早期功能採用指標是一個積極的信號。 但客戶不一定會使用該功能。 他們可能只是在嘗試該功能。 事實上，所有建議人們嘗試該功能的應用內彈出窗口都可能會增加好奇心點擊量。 嘗試該功能是對長期使用概率的一個輸入。
可能缺少上下文的其他示例：平均購買量增加，但訂單退貨量增加。 轉化率來自與您的價值主張不相符的廣告。 一個渠道正在蠶食另一個渠道。 該應用程序對新用戶來說更容易，但對有經驗的用戶來說更難。 在應用程序上花費的時間已經結束，但您的目標是為人們節省時間。 人們正在更多地查詢數據，但那是因為他們無法理解結果。 客戶在應用程序中更加活躍，但他們已經轉向浪費時間而不是寶貴的網絡。
請注意，在每個示例中，上下文就是一切。 缺乏平衡信息使得很難理解大局和指標適合的地方。
除了周圍的上下文，我們需要確保人們理解為什麼。
問題 2：虛榮指標的意圖不明確
其次，我們對指標的意圖感到困惑。 度量的定義可能很明確，但我們試圖衡量的內容尚不清楚。 一個典型的例子是回訪。 我是否因為喜歡該產品而返回該產品？ 還是因為產品不好用，需要休息一下？ 或者需要客服的幫助？
許多經典的網絡“參與度”指標，例如頁面瀏覽量、頁面停留時間和平均會話持續時間，都是前移動、前設備交換、前 30 個瀏覽器標籤、前單頁應用時代的殘餘。 它們是當時可用的參與和價值交換的最佳代理，但不是我們現在可用的最佳衡量標準。
我們試圖衡量的內容與我們選擇的“代理”之間的聯繫在某些指標上非常清楚。 或者我們認為！ 例如，我告訴一個朋友，我昨晚能睡八個小時。 我的朋友將我的意圖解釋為：“約翰試圖傳達他睡了一夜好覺。”
但睡眠時間只是眾多變量之一。 這項研究提到了研究睡眠質量時使用的約 23 個睡眠變量，包括快速眼動潛伏期、快速眼動睡眠、睡眠中的小動作、不同睡眠週期的時間、週期數等。與死亡率有關。” 哎呀！
它的作者介紹了匹茲堡睡眠質量指數，並清楚地概述了該指標的意圖。
匹茲堡睡眠質量指數的製定有幾個目標：（1）提供可靠、有效和標準化的睡眠質量測量； (2) 區分“好”和“差”的睡眠者； (3) 提供易於受試者使用和臨床醫生和研究人員解讀的指標； (4) 提供對影響睡眠質量的各種睡眠障礙的簡要、臨床有用的評估。
傳達意圖至關重要。 這些作者可能面臨權衡取捨。 對受試者的易用性可能不會立即等於對研究人員的使用深度。 標準化有助於可比性，但通常涉及減少上下文因素。 評估是“簡短的”，其中涉及評估完成率和評估深度之間的權衡。
一個偉大的意圖聲明涵蓋了基本的權衡和目標。
有效地說明度量意圖是什麼樣的？：
傳遞事實。 尋求理論/見解：
這是我們在過去 30 天內發生的中斷次數以及與過去期間的比較情況。 注意增加。 你覺得這裡發生了什麼？ 我們看到了什麼？
作為無法直接衡量的事物的代理：
我們的北極星指標是“忠誠的 DIY 用戶”，定義為執行高價值 DIY 項目操作以及社區參與的用戶數量。 它代表了忠誠度、滿意度以及以符合我們面向社區的戰略的方式使用我們的產品。 數據表明——但還沒有證明——這是更高客戶生命週期價值和病毒獲取的領先指標。
我們希望找到一個可操作的指標，1）團隊可以移動，2）將有助於業務的中期成功。
Hex Pistols 將專注於提高入職工作流程的有效性。 這是一種雜耍行為。 我們知道我們可以催促人們通過而不是讓他們獲得成功。 或者我們可以讓它非常全面，減少他們看到產品在行動中的可能性。 為了指導我們的工作，我們將專注於減少 90% 的項目共享時間。 項目共享是用戶感到舒適並能夠使用產品的早期信號。
意圖很重要！
問題 3：虛榮指標不能指導行動和學習
我最近詢問了 Twitter 和 LinkedIn：
- 當某些東西是虛榮指標時，您的測試是什麼？ （推特）
- 您如何知道指標何時是虛榮指標？ （領英）
排名最高的“測試”之一是該指標是否指導行動和決策。
當沒有人可以根據它向我們展示的內容以有意義的方式採取行動時。 當指標沒有可能的值會促使我們實際改進任何東西時。 奧拉伯格
結果是不可操作的。 無論指標是上升還是下降，我們都不會改變我們的工作。 克里斯·盧卡森
當沒有人擔心它是否停止上升/平穩/或下降時。 例如：“我們的 NPS 分數是 90！” 一個月後是“我們的 NPS 分數是 50！” 下個月。 海蒂·阿特金森
行動、決策和學習很重要。
如果一個數字持續上升，而它激發的唯一行動是在全體會議中皺起眉頭，那麼你可能手上有一個虛榮指標。 如果一個團隊推出了一個指標來慶祝，但當它下降時，他們並沒有改變他們的戰略或戰術，那麼你可能正在尋找一個虛榮指標。
示例包括不太可操作的指標，包括：
- 平均會話長度。 它上升或下降。 你做什麼工作？
- 新用戶（減去獲取渠道）。 它上升或下降。 你做什麼工作？
- 新的粉絲。 它上升或下降。 你做什麼工作？
這裡有幾個警告。
一個指標可能是有意義的，但不是立即可操作的。
在我們的北極星研討會中，我們強調北極星指標在理想情況下應該有點遙不可及。 它是影響各種北極星輸入的團隊的輸出。 你為什麼不想要一個可操作的北極星指標？ NSM 打算作為可持續業務績效的領先指標（在多年時間範圍內）。 幾乎按照定義，它與日常工作會有些距離。 我們需要投入作為日常工作和對商業成功的有意義投入之間的“橋樑”。
我們跟踪我們的北極星指標，如果它停滯不前，它將迫使我們重新考慮我們的策略，但一個團隊不會每天早上醒來都希望直接影響它。
指標可以是探索性的。 我們還不知道如何處理它。
團隊通常都知道“可操作性”測試，但幾乎是錯誤的。 他們將花費數月和數月的時間試圖找出一個“神奇指標”或一組能做到這一切的神奇指標——可操作的、預測的、解釋性的等。產品領導者在將指標交給“擁有”時會感到壓力很大，但不確定是否他們可以“控制”指標的變化。
結果？ 團隊使用“安全”的虛榮指標，因為它們傳達了好消息。 他們沒有幫助，但他們不會假裝可以採取行動，所以他們不會激怒任何人。 我們不想要這個。
可以改用探索性指標。 叫他們出來。
不確定性的輕微減少可能足以激發行動。
產品工作是在不確定的條件下做出決策。 如果你想在你對某件事100%確定之前，你將採取行動為時已晚。 因此，我們不應該追求完美的指標來減少我們所採取行動的所有不確定性。
古德哈特定律和好的測量和好的目標之間的張力
古德哈特定律指出：
“當一項措施成為目標時，它就不再是一個好的措施。”
將此與我的同事 Adam Greco 關於 Vanity Metrics 的指導進行對比：
如果某個指標上升或下降，某人不會被提升或解僱，這可能是一個虛榮指標
在這裡，我們有一個緊張/悖論。 一旦指標成為目標並成為工作好壞的信號，您就有可能成為虛榮指標，因為人們會確保它上升。 然而，我們希望我們的指標有意義——具有相關性，成為良好的代理，並為相關決策提供信息。
古德哈特定律的例子：
- 如果一個團隊的目標是可預測地發布功能，他們將不太可能處理可能看起來“不可預測”的不確定的新反饋。
- 如果團隊的目標是增加平均訂單規模，他們將更有可能以犧牲未來成果、品牌忠誠度等為代價來增加平均訂單規模。
- 如果經理的目標是在一個季度內僱用一定數量的人，他們將更有可能僱用不是最佳人選的人。
那麼，這能告訴我們如何使用更有效的指標和更少的虛榮指標呢？ 首先負責選擇有意義的目標和指標並定義有效的“護欄”以了解任何不利的二階或三階影響。 我們不能完全擊敗古德哈特定律——你必須假設人們會玩你堅持讓他們玩的遊戲——但我們可以努力建立制衡。
使用亞當的小費，你也可以問自己，“我們想在這裡獎勵什麼？” 對業務結果負責是有道理的。 但是您不想根據他們達到任意指標和成功劇院來提拔人們。 我非常相信比爾沃爾什的分數自理其理的想法。 目標應該鼓勵積極的習慣和慣例。
回顧
我們描述了與虛榮指標相關的三個常見問題：
- 虛榮指標缺乏背景
- 虛榮指標的意圖不明確
- 虛榮指標不能指導行動和學習
指標的有效使用包括提供上下文、陳述您的意圖以及選擇指導行動和學習的指標。 指向一個指標並說“這是一個虛榮指標”等同於說“您正在將該指標用作虛榮指標”。
虛榮指標測試
我們已經討論了有助於使用虛榮指標的各種問題以及與虛指標相關的問題。 現在是時候測試您的指標了。
在本節中，我們提出了十個描述健康您會注意到我們在本文前面探討的主題：背景、意圖、負責任的行動和學習。
對於每個陳述，我們建議您：
- 與您的團隊討論提示
- 尋求不同的觀點
- 標記需要注意的項目
S1：團隊了解跟踪指標的基本原理。
提示：在您的員工入職計劃中包含指標導向。 Amplitude 客戶經常使用我們的筆記本功能來提供關鍵指標的上下文。
S2：我們將指標與添加必要上下文的相關指標一起呈現。 當單獨呈現時，我們會添加必要的腳註和參考。
提示：規範化在演示文稿中顯示護欄和相關指標。
S3：將指標與有意義的結果和影響聯繫起來的假設（和假設）清楚地表達出來、可用並且對挑戰/討論持開放態度。
提示：使用樹圖（驅動樹、北極星框架、假設樹等）和因果關係圖來傳達假設的因果關係。 考慮玩“隨機 Jira Ticket”遊戲。 您能否隨機挑選一張 Jira 票並從該項目“走樹”到長期重要的事物？
S4：度量計算/定義是可檢查、可檢查和可分解的。 它的各個組成部分、從句、特徵等，都可以分開。 具有良好領域知識的人可以理解它是如何工作的。
提示：只要有可能，共享指標，以便有人可以“點擊”了解它的計算方式。 例如，如果指標涉及“在 7 天內與超過 7 個用戶共享”之類的過濾器，則應該可以調整該子句並查看該數字與用戶總數的比較情況。 通過讓人們重新創建指標來建立信任。
S5：該指標是定期審查和討論的儀表板、記分卡或報告的一部分。 它經受住了健康的審查。 如果該指標更具探索性且未經測試（或“我很好奇是否……”），則該上下文從一開始就很清楚。
提示：審查是一件好事。 您對指標的關注越多越好。 邀請批評。 記錄出現的問題。 使指標的每次“展示”（例如，在全體人員或產品審查時）依次更好。
S6：團隊有一個關於指標變化表明什麼的工作理論。
提示：這是一個讓您思考的基本提示：“該指標的增加是_______的信號，而該指標的減少是_______的信號。”
S7：隨著時間的推移，該指標提供了越來越高的價值和信心。 我們可以指出使用該指標產生的具體決策和行動（這些行動是可審查的）。 該公司將投資於繼續對其進行跟踪和溝通。
提示：在顯示指標時指明置信水平，並保留決策/行動日誌。 嘗試將一開始的不確定性標準化，並在顯示具有高置信度的指標與具有較低置信度的新候選指標之間取得平衡。
S8：團隊建立明確的行動閾值（例如，“如果超過 X，那麼我們可以考慮 Y”）。 指標可能會下降。 如果它下降，它可能會激發檢查/行動。
提示：舉辦情景規劃研討會，以更好地了解指標中的變化將如何決定未來的行為。 在您的分析工具中設置監視器，以便在您達到閾值時向您發出警告。
S9：該指標是比較性的（隨著時間的推移，與類似指標等）。更廣泛地說，如果長時間跟踪它，則可以在不同時期之間進行蘋果與蘋果的比較。
提示：在您的儀表板中包含週期視圖，以便更多地關注比較。
S10：團隊使用指標來傳達挑戰和勝利。 不僅僅是贏。
提示：領導者在這裡定下了基調。 討論沒有按預期解決的情況，以及如何使用數據來解決這個問題。
概括
虛榮指標是讓我們感覺良好的指標，但不能幫助我們更好地工作或做出更好的決策。 沒有人可以避免使用虛榮指標！ 關鍵是確保您提供上下文，說明您使用的指標的意圖，並闡明指標（或指標）將推動的行動和決策。
要定義有意義的指標，請查看北極星手冊。 建立北極星指標和可操作輸入的星座是避免使用虛榮指標的有效方法。
