使用我們的新指南釋放產品主導實驗的力量

在當今的競爭環境中，以產品為主導的實驗不僅僅是一個好主意——它是產品和工程團隊量化其影響的必要條件。 但團隊需要培養一種實驗文化，並將其融入產品開發過程的每個階段，以建立信心。

我們與 Reforge 合作創建了以產品為主導的實驗的綜合指南，其中包含該領域專家的見解和建議。 該指南將幫助產品和工程團隊建立實驗計劃並釋放其產品的全部潛力。 在這篇文章中，我們將概述指南中的預期內容。

下載完整指南——自信構建：擴展以產品為導向的實驗指南——了解如何構建實驗文化、了解實驗實踐、確定實驗路線圖的優先級等。

為什麼實驗很重要

在當今競爭激烈的環境中，試驗對於產品團隊來說不是可有可無的。 它可以幫助團隊構建成功的創新產品，並將他們的工作與更廣泛的組織聯繫起來。

Reforge 常駐執行官 Saleem Malkana 解釋說，實驗有助於產品團隊衡量他們工作的影響並改進產品策略。 “最好的產品團隊知道，真正重要的不僅僅是交付這些輸出，而是他們推動的結果，”他解釋道。

為了衡量產品變更的影響，團隊需要提出假設、進行實驗並評估結果。 他們可以使用實驗結果來指導他們未來的產品策略。

測試也是降低產品變更風險的一種方式。 產品團隊可以在將產品決策推廣給所有用戶之前評估其影響——這可能會導致代價高昂的錯誤。

Amplitude Experiment 產品負責人 Wil Pong 認為，以產品為主導的實驗可以在不中斷工程開發週期的情況下使用更表面的工具（如 WYSIWYG 方法）提供更快的創新。

過去，只有像 Netflix 這樣的大公司才能提供量身定制的體驗，並嘗試不同的產品界面或推薦引擎。 現在，有了像 Amplitude Experiment 這樣的新應用程序，各種規模的組織都可以根據用戶的需求實時迭代和改進他們的產品。

以產品為導向的實驗使產品團隊能夠使用功能標誌在其整個產品中進行高度針對性的實驗，這使團隊可以完全控制打開或關閉體驗。 Wil 解釋說，這使團隊能夠“使用為 [他們] 的其他產品開發提供動力的相同流程和技術來提供高度針對性的實驗和功能發布”，這最終將推動快速創新，而不會擾亂技術團隊。

考慮到最近問責制的轉變，實驗對於產品負責人也至關重要。 CAUSL 的創始人兼董事總經理 Bhavik Patel 解釋說，組織已經從基於輸出的方法轉變為基於結果的方法，對產品領導者進行了更多審查。 雖然很難衡量產品團隊的投資回報率（組織通常使用員工人數或工程時間），但通過實驗跟踪產品影響有助於產品團隊將他們的工作與更廣泛的公司目標聯繫起來。

建立實驗文化意味著什麼

實驗文化應該涉及組織的所有部分。 為了建立這種文化，組織需要轉變思維方式並構建具體的系統和流程來支持他們的學習速度，而不僅僅是快速交付。

Saleem 解釋說，實驗文化並非純技術性的。 它是以下各項的組合：

• 人：團隊成員是數據驅動的。
• 集成流程和溝通：實驗是產品開發流程的一部分，團隊之間需要進行健康的溝通。
• 技術：組織使用支持實驗的平台。

理想情況下，實驗將存在於組織的每個級別，重點放在小隊級別——這為敏捷性和適應性奠定了基礎。 測試也應該是日常操作的一部分，這樣團隊才能獲得穩定的洞察力，他們可以用來改進產品。

為了創造一種實驗文化，團隊應該培養一種擁抱好奇心和“失敗”的心態，因為兩者都是學習的機制。 為了圍繞實驗產生動力，確保執行冠軍也很重要。

購買實驗的高管將有助於提供時間、預算和工具等資源。 他們還將協助創建跨部門的開放式溝通和協作渠道。

在完整指南中閱讀更多內容。

如何開始您的實驗之旅

在組織中實施實驗計劃需要時間。 以下是您開始時的一些最佳做法。

從小處著手，擴大規模

最終目標是在整個組織中開展實驗。 但是，組織在擴展之前應該從小規模開始，在一個團隊中進行低風險測試。

Saleem 建議建立一個“卓越中心”：一個應該驗證基本實驗堆棧並從那裡建立起來的團隊。 增長顧問兼臨時增長執行官 Elena Verna 解釋說，“一個團隊需要首先學習如何測試、如何學習以及如何取勝。”

她繼續說道：“一旦該團隊培養了實驗技能和思維方式，他們就應該致力於使測試和學習的訪問民主化。 這樣，整個組織就可以學習如何通過實驗取勝。” 最終，所有部門的團隊成員都應該能夠運行測試來為他們的日常決策提供信息。

Bhavik 建議團隊從低風險測試開始：“例如，我不建議從復雜的定價實驗開始，但這是一個值得努力的偉大目標。”

他還警告不要迷戀不切實際的數字。 大多數公司不應該嘗試運行數以千計的實驗。 相反，“目標應該是運行比上個季度或去年更多的[測試]，”他說。

構思、驗證、確定優先級

運行不必要的實驗會浪費資源，因此團隊必須有選擇性地選擇要運行的實驗。

從度量樹（顯示產品的所有元素如何達到公司目標的圖表）或太陽圖（組織工作流的概述）開始您的構思。 查看這些圖表可以讓您了解應該將實驗工作的重點放在哪裡。

要測試想法，首先要驗證測試概念以確定哪些想法值得追求。 要進行驗證，您可以使用彩繪門測試、案頭研究或檢查類似實驗的結果。

然後，考慮從每個潛在測試中獲得見解的時間。 埃琳娜強調，團隊應該優先考慮學習速度，並考慮構建實驗需要多長時間，而不僅僅是運行實驗。 Saleem 還建議將大挑戰分解為較小的可測試假設，以獲得更快的反饋循環。

其他需要考慮的因素包括：

• 產品中不同點的音量，因為您需要足夠的流量來運行測試
• 是否可以使用您擁有的分析工具來衡量您要運行的測試

一旦您驗證了您的測試想法，就可以根據以下因素確定要運行的實驗的優先級：

• 你的測試能力
• 您期望測試產生多大的影響
• 您對它會產生預期影響的信心有多大
• 運行測試所付出的努力

使用最佳實踐設計您的實驗

Bhavik 解釋說，精心設計的實驗植根於科學方法。 它們可以分為以下幾個階段：實驗前的計劃、實驗中的監控和實驗後的分析。

一旦您驗證了您的實驗想法並選擇了要優先進行的測試，您就必須計劃您的實驗。 記錄運行實驗的原因。 清楚地說明正在測試和修改的內容——可以是設計更改或新功能或體驗。

建立一個假設並為您的實驗設置明確定義的產品指標或 KPI。 根據可能的結果決定下一步。 確定當每個變體獲勝或測試未達到統計顯著性時會發生什麼。

在完整指南中更深入地了解實驗前計劃。

在實驗期間，創建一個分析儀表板以持續監控測試。 實驗結束後，分析結果並闡明結果。 然後，團隊可以按照預定的後續步驟繼續前進。

充滿信心地建造

有關如何運行成功的實驗程序的更多指導，請下載以產品為主導的實驗指南。