使用這個 7 步框架改變您進行實驗的方式

實驗對於產品團隊來說是必不可少的。 但如果你做錯了，你還不如根本不做。 為了使您的實驗有價值、可預測和可持續，您需要一個系統來使您的測試圍繞業務增長和客戶問題進行調整。

為什麼需要實驗框架

實驗允許團隊以成長的心態工作，他們在運作時理解他們對產品及其用戶的了解是可以改變的。 他們可以應用科學方法來彌合縮放產品中自然出現的感知和現實差距，並與客戶的實際需求保持一致。

當團隊以臨時方式進行實驗時，實驗計劃會失敗，組織會將實驗從其內部決策過程中剔除。 框架通過確保您的實驗使您的用戶受益，從而使您的業務受益，從而避免了這種情況。

實驗是做出具有有意義的業務影響的決策的關鍵。 直覺本身就很好，可能會給你帶來好的結果，但你的決策過程將不可持續或不可靠。

實驗可以幫助你培養成長心態

當實驗成為你工作中不可或缺的一部分時，它可以幫助你擺脫固定的心態——你永遠不會更新你對產品的看法——並以成長的心態工作。 你不是依賴於你的假設，而是不斷地學習和更新你的知識。 然後，您可以為您的業務和客戶做出最佳決策。

實驗可以幫助您更新直覺並做出更好的決策

如果你不做實驗，你就會根據直覺或房間裡最響亮的聲音做出正確的決定。 通過定期實驗，您可以根據從數據中學到的知識做出決策。

您可能會在很長一段時間內成功地做出直覺決策，但隨著公司的發展，很難將直覺擴展到整個公司。 您也無法知道您的直覺何時變得過時和錯誤。

隨著組織的成長和變化，您的直覺——您對產品、客戶和最佳行動路徑的看法——會不斷失效。 當您從實驗中學習時，您可以根據獲得的數據磨練和更新您的直覺。

實驗可以幫助您貼近客戶

實驗可以讓你將感知和現實的差距（你認為用戶想要的和他們實際想要的之間的差距）保持在最低限度。 當您處於產品的早期階段並努力尋找適合市場的產品時，您就離客戶很近了。 你和他們交談，你就會意識到他們的情緒和需求。

但是當你開始擴展時，認知和現實的差距就會擴大。 您必須與意向較低的客戶和相鄰用戶競爭。 你不能像在最初的產品開發階段那樣與客戶交談，因為客戶太多了。 實驗可以幫助您找到您的直覺不正確的區域，這樣您就可以在擴展時縮小感知差距。

為什麼實驗程序會失敗

當人們將實驗作為一次性策略而不是連續過程時，實驗程序通常會失敗。 人們還錯誤地設定了他們的實驗目標，因為他們期望他們的實驗帶來勝利而不是學習。

實驗是臨時的

團隊通常將實驗視為驗證某人在特定領域直覺的一種孤立方式。 臨時試驗可能會或可能不會帶來好的結果，但這些結果是不可預測的，而且它不是一種可持續的運作方式。

實驗目標不正確

當人們期望實驗能夠帶來提升時，他們的實驗目標是錯誤的。 雖然從實驗中獲得勝利感覺很好，但失敗更有價值。 損失向您展示了您對產品或用戶持有錯誤信念的地方，因此您可以在前進時糾正這種信念。

實驗與增長槓桿不一致或圍繞客戶問題

如果您不將實驗與企業關注的增長槓桿相結合，實驗就會出現問題，因為這意味著它們對您的組織沒有用。 同樣，只關注業務成果而不是圍繞客戶問題進行實驗會產生問題。 如果您只考慮業務問題，您會以有偏見的方式解釋您的數據並開發出對用戶無益的解決方案。

當實驗程序失敗時會發生什麼？

當試驗計劃失敗或實施不當時，組織就會對試驗失去信心並過分依賴直覺。 他們不再相信他們是開發最佳客戶體驗的途徑。 當發生這種情況時，他們不會將實驗作為決策過程的一部分，因此他們會失去實驗帶來的所有價值。

讓我們來看看一些實驗出錯的例子。 當您在不使用促使您圍繞業務槓桿和客戶問題調整實驗的框架的情況下進行實驗時，會發生以下情況。

免費到付費的轉化率

一個組織專注於貨幣化，需要通過其產品貨幣化。 他們讓一個團隊負責提高免費到付費的轉化率。

該公司表示：“我們的定價到結賬轉化率很低，所以讓我們優化定價頁面。” 該團隊決定測試不同的顏色和佈局以提高頁面的轉換率。

然而，優化定價頁面的實驗並沒有圍繞客戶問題展開。 如果團隊與客戶交談過，他們可能會發現並不是定價頁面的用戶體驗阻止了他們升級。 相反，他們可能還沒有準備好購買或不明白為什麼要購買。

在這種情況下，僅優化定價頁面不會產生任何結果。 讓我們假設團隊將他們的實驗重點放在客戶問題上。 他們可能會嘗試對優質產品進行試用，以便客戶在看到定價頁面之前就了解其價值。

如果您從業務問題開始進行實驗（“我們需要提高轉化率”）與從客戶問題開始（“他們還沒有準備好考慮購買”）。

入職問卷

一個組織專注於獲取，因此產品團隊希望將入職調查問卷從第二頁到第三頁的流失率降至最低。 如果他們只考慮業務問題，他們可能會簡單地刪除第三頁。 他們假設，如果入職時間較短，則流失率會較低。

假設刪除第三頁有效，並且入職轉化率提高了。 更多人完成問卷。 該團隊吸取了他們應用於其餘產品的知識：我們應該通過刪除盡可能多的步驟來簡化所有客戶旅程。

但這種學習可能是錯誤的，因為他們沒有考慮問題的客戶方面。 他們沒有調查為什麼人們在第三頁就放棄了。 也許問題不在於頁面的長度，而在於他們要求的信息類型。

也許第三頁包含有關個人信息的問題，例如電話號碼或薪水，人們在旅途這麼早的時候不願意提供這些信息。 他們本可以嘗試讓這些答案成為可選的，或者允許用戶稍後編輯他們的答案，而不是刪除頁面，讓更多的人通過這部分的入職培訓。

一個 7 步實驗框架

按照以下步驟使您的實驗可持續。 這將有助於使您的實驗圍繞業務戰略和客戶問題保持一致。

1. 定義增長槓桿

要使實驗有意義，它需要對業務產生影響。 為您的實驗選擇一個與您的組織關注的增長槓桿相一致的領域：獲取、保留或貨幣化。

假設我們專注於收購，我們注意到主頁上的流失率很高。 為了構建我們的實驗，我們可以說：

• acquisition 加速收購2.定義客戶問題

  在繼續之前，您需要從客戶的角度定義實驗試圖解決的問題。

  通過確定您的產品解決的客戶問題，您找到了產品市場契合點。 然而，當許多組織轉向分發和擴展其產品時，他們將注意力轉移到業務問題上。 為了有效，您需要通過錨定您的分銷和擴展客戶問題來不斷發展和了解您的產品市場契合度。

  您將根據您的實驗結果迭代客戶問題。 首先通過說明您認為的問題是什麼來定義初始客戶問題。

  對於我們的主頁示例，這可能是：

  • confused 客戶對我們的價值主張感到困惑。

  提出一個假設

  現在，定義您對問題存在原因的解釋。 與客戶問題一樣，您將在了解更多信息時重複您的假設。 您的客戶問題和假設的第一個版本為您提供了實驗的起點。

  我們的主頁示例的潛在假設包括：

  • poor messaging 客戶因信息不暢而感到困惑too many action buttons 我們的頁面有太多操作按鈕too vague 我們的文案太模糊了4. 根據 KPI 構思可能的解決方案

    提出可以解決客戶問題的所有可能的解決方案。 通過指出每個解決方案解決的關鍵績效指標 (KPI)，創建一種衡量每個解決方案成功與否的方法。

    下載我們的產品指標指南，了解有關獲取、保留和貨幣化的有影響力的產品 KPI 列表以及如何衡量它們。

    我們主頁示例的解決方案 + KPI 可能是：

    • 解決方案：KPI：5.優先解決方案

      通過考慮三個因素來決定您應該首先測試哪些解決方案：實施解決方案的成本、它對業務的影響以及您對它會產生影響的信心。

      要淘汰低影響和高成本的解決方案，請按以下順序優先考慮您的解決方案：

      1. 低成本、高影響、高可信度
      2. 低成本、高影響、低信任度
      3. 低成本、低影響、高可信度

      然後你可以轉向高成本的解決方案，但前提是它們的影響也很大。

      不同的公司可能對這些因素賦予不同的權重。 例如，與資源匱乏的初創公司相比，擁有大量預算的成熟組織在測試高成本解決方案時不會那麼謹慎。 但是，您應該始終考慮三個因素（成本、影響和影響的置信度）。

      實驗的另一個好處是，它將幫助磨練您進行信心評估的能力。 試驗後，檢查解決方案是否具有預期的影響並從結果中學習。

      6. 創建實驗語句並運行測試

      收集您在步驟 1-5 中收集的信息，以創建一個聲明來構建您的實驗。

      對於我們的主頁示例，該語句如下所示：

      • growth lever customer hypothesis solution KPI 加速收購是我們的首要任務，我們訪問量最大的著陸頁——主頁——表現不佳[增長槓桿客戶假設解決方案KPI 為您試圖影響、提升和測試的指標定義基線。

        7. 從結果中學習並迭代

        根據你的測試結果，回到第二步，更新你的客戶問題和假設，然後繼續運行這個循環。 當業務優先級（增長槓桿）發生變化時停止迭代，例如，當收購有所改善並且您想專注於貨幣化時。 根據新控制桿設置您的實驗。

        你應該停止迭代的另一個原因是當你看到收益遞減時。 這可能是因為您無法想出更多的解決方案，或者您沒有適當的基礎架構或足夠的資源來有效解決客戶問題。

        更快做出更好的決策

        要向用戶提供有針對性的實驗並衡量產品變更的影響，您需要合適的產品實驗平台。 Amplitude Experiment 旨在允許產品、工程和數據團隊之間的協作，以通過用戶行為分析來計劃、交付、跟踪和分析產品變更的影響。 請求演示以開始使用。

        如果您喜歡這篇文章，請在LinkedIn上關注我，了解更多關於產品主導型增長的信息。 要進一步深入了解產品實驗，請查看我在Reforge上的實驗和測試課程。