使用實驗來推動以產品為主導的增長 由 Forrester 和 Elena Verna 介紹

Amplitude 增長主管 Elena Verna 和 Forrester 首席分析師 Chris Condo 演講嘉賓最近討論了產品主導型增長 (PLG) 以及實驗在幫助企業確定哪些產品或功能值得進一步關注和投資方面所起的作用。

產品作為收入中心

Elena 通過強調任何企業的最終目標是如何實現增長來開啟網絡研討會。 “增長槓桿”以獲取、關注（或激活）和貨幣化的形式出現。 儘管以銷售和營銷為主導的增長仍然有用並且可以成為互補的努力，但以產品為主導的增長具有明顯的優勢——主要是因為它是可預測的、可持續的和具有競爭力的防禦性。

• 在以產品為主導的增長中，用戶獲得了其他用戶，有效地充當了營銷者。 它們會在沒有人為乾預的情況下進行購買或升級，並且它們的使用會引發更多使用。 這通常是因為產品符合他們的興趣或需求，從而提高了個性化或價值。
• 在營銷主導的增長中，潛在客戶的產生源於市場前景已經活躍的第三方平台或物業。 然後，營銷部門致力於建立對購買選項或渠道的認識。 轉換後，營銷會教育用戶觸發他們的持續或擴展使用。
• 在以銷售為主導的增長中，對外溝通會吸引新買家，合同通常是手動關閉的。 定期簽到顯示客戶保留的價值，要么與季度業務審查同步，要么作為客戶成功推廣的一部分。

值得注意的是，所有這些形式的增長通常都是必要的。 但是這些領域的優先級或排序取決於獨特的業務需求，並且因情況而異。

在 B2B 中，以營銷和銷售為主導的增長通常依賴於客戶訪談。 他們通常還擁有較少的客戶和較小的目標市場，因此優化客戶生命週期價值成為企業的當務之急。

在產品主導的增長中，獲取、保留和貨幣化壓力適用於產品本身。 作為這種轉變的一部分，直覺只能帶你走這麼遠，實驗是不可商量的。

雖然客戶訪談可以彌合以營銷和銷售為主導的增長中的知識差距，但在對產品本身進行更改時，您需要正確的數據、方法和實驗框架。

保持用戶參與

從某種意義上說，以產品為主導的增長是投資於用戶而不是營銷。 這是為了讓與您的產品互動的人保持參與。

隨著公司轉向可以“自我推銷”的產品，B2B 的重點終於發生了轉變。 埃琳娜估計，B2B 可能“晚了 10 年”，但現在必須進行實驗。 那些不做實驗的人更容易受到破壞，因為它擴大了他們的感知與現實之間的差距。

Elena 解釋說，來自客戶訪談的定性反饋往往過分強調來自房間裡最響亮的聲音的反饋。 “我們專注於最有發言權的人； 我們經常關注高級用戶，因為他們最有發言權，”她詳細說明。 這可能會以犧牲構成大部分市場的核心用例為代價。

Chris 指出，以產品為主導的增長涉及更改產品以及確定功能或高級設置的實用性。 它允許公司從真正的最終用戶那裡獲得反饋，以測試假設、比較不同的版本，並最終確定“什麼對客戶重要？” 有時，答案是違反直覺的，這就是為什麼在嘗試評估市場契合度時猜測不是一種充分的方法。

PLG 降低成本並滿足核心業務需求

在經濟低迷時期，進行正確的投資尤為重要。 幸運的是，以產品為主導的增長可以通過多種方式降低成本並滿足您的核心業務需求。

更少的美元進入數字廣告吸塵器

以產品為主導的增長越來越受歡迎，部分原因是它具有成本效益。 投資 PLG 可以讓您將昂貴且經常波動的 Google 和社交廣告支出重新分配給推動增長的研發。

它加快了發布節奏並重新確定了管道的優先級

改變也是必要的，因為對於許多公司來說，他們的產品發布節奏停滯不前。 Chris 觀察到：“太多浪費的技術債務功能正在通過沒有價值的管道被推送，”而不是通過增量測試來找到獲勝的功能並圍繞產品主導的增長進行定位。

以產品為主導的模式消除了那些不符合用戶需求的低價值積壓項目。 此外，通過改變投入管道的內容，個人和組織的生產力都會提高。

減輕客戶支持的負擔

改進的客戶體驗可能會降低服務查詢和客戶支持的後端成本。 產品變得更易於使用，並且在用戶達到“啊哈”時刻時可以快速提取價值。

客戶花費更多

增強客戶體驗往往會導致客戶在各個行業的支出增加。 在網絡研討會中，Chris 提供了一張來自 Forrester 的表格，顯示即使是邊際收益在與大型客戶群相乘時也會對收入產生重大影響。

留住客戶更容易

不進行以產品為主導的增長也有失去客戶的風險。 具有諷刺意味的是，對失敗的恐懼會抑制實驗並導致重複犯同樣的錯誤，直到客戶放棄產品並流失。

誰可以進行實驗，為什麼要進行實驗？

一些組織，例如銀行，可能認為實驗是禁區。 但是實驗可以是一種更可控的方法，可以在內部或使用較小的子集測試功能或變體，然後逐步向您的用戶群推出。 根據 Chris 的說法，這“讓您可以控制部署而不是控制發布，而不是讓產品團隊的其他成員受制於發布週期。”

此外，組織可以保持對增量更改的慣性並降低部署成本。 這種方法比專注於可能沒有市場一致性的單一版本，然後在六個月後放棄投資更具可持續性。

尋求房間中最高級別人員的完整和統一的協議或執行決定可能會產生不利影響——要么在前者中創造非原創或遲到的產品，要么在後者中降低團隊士氣。 畢竟，就提議的產品達成共識不會刺激創新，沒有人喜歡聽到他們的觀點無關緊要。

使用客觀的客戶數據來完善直覺、指導實驗並促進以產品為主導的增長會更具責任感和包容性。 結果是以有用的產品而不是任意的項目要求為中心的成功的客戶體驗。

如何進行實驗和衡量有效（或無效）的方法

多功能團隊現在開始進行更深層次的實驗。 以產品為主導的增長代表著從復雜的架構轉向擴展微服務和最終用戶猜謎遊戲，在這些架構中，團隊推測用戶想要什麼，而不是第一次（或者至少更早）就正確。 內部測試或嚴格範圍的最小可行產品實驗可以在不影響整個用戶群的情況下優化客戶體驗，公司可以引入遙測來建立產品指標的基線。

正如 Chris 所說，為了擺脫組織僵化，至少值得進行試驗以確定新版本、特性或產品是否提供與它所要替換的相同水平的服務、可用性和功能。 新的和所謂的高級版本可能會刪除一些用戶欣賞的功能。 對於任何實驗，失敗都具有很大的啟發意義。

有時，公司期望大型發布或發布來提升他們的指標，但事實並非如此。 識別感知與現實的差距對於推動組織變革和達成共識可能很有價值。 公司需要學習如何量化失敗並確定其原因——本質上是“學習如何學習”。 這最終會帶來更多可預測的勝利和可重複的成功。

實驗可以努力簡化、增強、重新排序、重組、添加或重新發明； 優化旨在減少摩擦； 創新可能會擴大價值。

在網絡研討會期間，Elena 和 Chris 提供了以下實驗指導：

如果出現以下情況，請勿嘗試：

• 實驗成本太高。
• 沒有足夠的數據來收集學習。
• 沒有明確的假設。
• 該測試在戰略上與業務成果不一致。
• 沒有什麼可學習的。
• 沒有可能的缺點。

決定進行實驗後，請記住：

• 從一個強有力的假設開始（團隊可能有預感，但他們需要接受測試）。
• 創建具有太多變量的實驗時要小心。
• 擁有足夠的技術資源來完成這項任務，並意識到本土工具可能會破壞數據治理。
• 避免確認偏差。 在科學中，目標是弄清楚為什麼會起作用。 在商業中，儘管這樣做很有價值，但通常會猶豫是否要觸及正在起作用的東西或深入解釋。
• 認識到變革管理的重要性。
• 建立文化首先是實驗。

重要的是根據假設設計一個實驗，以使將較大的問題分解為較小的測試更加切實和容易。 處於早期階段的公司可能數據量較低，這使得統計意義似乎更加遙不可及。 但即使這樣也不排除某種形式的實驗。 組織仍然可以進行 beta 測試、試點，或相應地調整他們的測試方法。 可以說，這是評估想法以了解什麼是有效的最佳時機。

開始實驗

實驗可確保客戶看到正確的功能並獲得創造忠誠度的價值——最終幫助您擴展業務。 它讓高管和團隊圍繞有效的發布流程進行參與和協調，從而縮短實現價值的時間並採用敏捷方法。

如果您有資源，那麼值得為貴公司的基於實驗的文化奠定基礎。 您將能夠自信地消除推出產品時的猜測，同時營造協作和問責制的內部環境。

如果您喜歡本次回顧，請觀看完整的網絡研討會或通過註冊免費的 Amplitude 帳戶了解有關產品主導的增長和實驗的更多信息。

網絡研討會問答

網絡研討會之後是問答環節，我們進一步探討了實驗在產品主導型增長中的作用。 請繼續閱讀以查看我們的答案：

1. 您如何在核心用戶之外應用以產品為主導的增長？ 一些公司擁有購買其產品的核心目標受眾。 您如何將產品主導的增長應用到可能只是觀眾或消費者的其他角色？

當我們在網絡研討會上討論以產品為主導的增長時，我們著眼於三個核心目標：留存、獲取和貨幣化。 當其他人是您產品的消費者（例如查看您的產品發布的報告或儀表板的高管）但不每天使用它時，這仍然有助於您的整體保留。

您的核心用戶從您的產品中獲得了很多價值，因為它可以幫助他們更好地完成工作，使您的產品更具粘性。 但重要的是不僅要考慮這些核心用戶，還要考慮他們周圍的整個生態系統，以及您的產品如何逐步推動改進以從內部影響採用。

2. 我們公司應該根據哪些績效數據指標來了解我們是否以產品為主導？

正如網絡研討會中所討論的，Elena 將產品主導的增長視為保留、獲取和貨幣化的高潮。 她還研究了跨產品、營銷和銷售線索的增長矩陣。

例如，如果您的收購是以產品為主導的，您會看到諸如有多少用戶邀請其他用戶使用該產品等指標。 但是，如果它以銷售為主導，您將對新買家和用戶有更多的出境活動。

網絡研討會的 5:14 分鐘標記很好地概述了這一點。

3. 實驗的價值很明確，但說服整個組織採用實驗是一項挑戰。 關於如何解決這個問題的任何建議？

我們在網絡研討會中對此進行了更多介紹，但值得注意的是總體主題。 如果您在整個組織和領導層的支持方面遇到困難，請從小處著手。 從一個團隊開始，讓他們進行實驗。

訣竅是然後分享你的發現，無論好壞。 顯示顯示積極提升和結果的良好結果，以及顯示發布功能會有害（降低風險）的結果。

最終，其他團隊會對他們如何獲得如此有價值的數據來證明他們交付的東西很重要感興趣。 社會證明是一個強大的工具！

查看回放中的 45:45 分鐘標記以獲得更深入的答案。

4. 在流量低得多的 B2B 產品環境中，您如何進行實驗？

對於很多公司來說，這是一個棘手的領域。 通常，這將需要不同的統計分析，您可以在不需要大樣本量的情況下在實驗中達到統計顯著性。 有時，這些可能更具方向性，但您仍然會看到很大的提升。 也許您沒有完全達到真正的 stat sig，但從業務決策上下文來看，它在方向上已經足夠好，仍然可以發布該功能。 請繼續關注，因為我們有一些令人興奮的更新將有助於解決這個問題。

5. 需要多少用戶才能認為某項實驗是真實的或有效的？

沒有一個簡單的答案，我們可以給你一個準確的數字。 它歸結為幾個因素，例如您希望實驗產生多大的影響，您希望對結果有多自信，您願意接受的誤報率以及您的統計分析類型'正在進行。

您可能正在尋找的是樣本大小計算器。 我們的產品中內置了一個來幫助解決這個問題，但是在線上有許多手動和自動計算器可以幫助獲得推薦的樣本量。

6. 您如何獲得每個 A/B 測試的客戶反饋？ 採訪？ 反饋表？

這是大多數公司產品經理的標誌性角色，關於構建什麼的反饋來自多個地方。 它可以是 1:1 的客戶訪談或電話，也可以來自銷售電話、分析師反饋、市場調查，或者更好的是真實的客戶數據。

我們偏愛最後一個，因為這是人們使用 Amplitude Analytics 的一個重要原因。 使用我們的分析產品，您可以查看用戶在您的產品中的移動方式、他們正在使用的功能、他們在產品使用各個階段的轉化率等。您可以找到用戶脫離、放棄或感到困惑的地方. 您將知道發生在哪些用戶身上，因此您可以發送有針對性的調查或在他們到達該摩擦點時觸發應用內反饋。

您可以快速確定一些方法來使這部分體驗更加無縫並實施。 將新體驗放在功能標誌後面並進行試驗，看看它是否能提升您希望修復的參與度。 如果是這樣，請將其推廣給所有人。 如果沒有，請在不造成任何傷害的情況下將其報廢並嘗試新的東西。

7. 對當前用戶池進行實驗會影響數據的真實性嗎？

它絕對可以，無論是積極的還是消極的。 在某些情況下，您可能會發布一個讓您的用戶感到不愉快的更改，他們會拒絕參與，因為它是新事物。 在其他情況下，您將發布一個感覺就像一個“閃亮的新對象”的更改。 更多的人會參與其中，但效果可能是短暫的。

在這兩種情況下，您仍然可以獲得有價值的信息。 如果某些東西因為它是新的而令人不快，那麼看看如何輕輕地向用戶介紹新功能可能會很好，這樣他們就不會感到驚訝。 如果您懷疑“閃亮的新物體”問題，您可以考慮運行更長時間的實驗，以了解隨著人們習慣新功能後效果大小如何正常化。

使用 Amplitude 之類的工具，您還可以通過群組分析更密切地探索實驗中的用戶群組。 他們是反複使用新功能，還是因為它是一個“閃亮的新對象”而只使用過一次？

8. 營銷界的實驗已經存在了一段時間，比如改變登陸頁面圖像、按鈕顏色或廣告文案。 是什麼阻礙了產品團隊接受實驗？

最簡單的答案是它們只是不同，主要在於如何對體驗進行更改（登錄頁面副本與產品中的功能）。 變更的整體影響可能會對產品產生更大的威脅（真實的或感知的）。 如果您對產品的更改做出了錯誤的決定，即使這是一個實驗，您也可能會完全失去用戶或客戶。 如果您對廣告文案做出了錯誤的決定，那麼您的入站潛在客戶將不會像您希望的那樣多。

但是在高風險和高回報的環境中，比如生產中的產品，最好讓幾個用戶因為通過實驗推出的糟糕功能決策而失去大多數用戶，而不是讓大多數用戶因為向所有人推出的糟糕特性而失去. 高估我們的能力同時又高度規避風險是很常見的。 實驗本質上具有“我們將要測試我們不確定的東西”的隱藏含義——對於產品團隊來說，不確定是可怕的。

查看 42:00 分鐘左右的網絡研討會重播以獲得更深入的答案。

9. 當你在等待用戶給你反饋時，實驗需要很長時間才能運行，你如何處理問題？

這是一個實際的實驗平台可以提供幫助的地方，因為您不依賴用戶說他們是否喜歡它。 相反，一旦用戶與實驗互動，您就可以監控和衡量用戶行為。

例如，假設您運行一個實驗來跟踪您的電子商務商店的新結帳流程。 如果新結賬流程中的用戶結賬速度更快並完成更多交易，您無需口頭或書面反饋即可知道新結賬流程更好。 這就是實驗和分析相結合的力量。

10. 你如何推薦措辭和形成假設？ 我們是否從基線開始？ 我們對“改進”的標準應該是什麼？

我們以相對常見的方式在我們的產品中構建我們的假設，您為實驗設定目標，表示為您希望影響的產品指標以及您希望對其產生多大影響。 例如，“我們相信變體 A將使結帳完成率比對照組提高 8% 。” 這就是像 Amplitude 這樣強大的分析工具發揮作用的地方，以確保您擁有關於指標執行情況的歷史基線。 如果您不知道以前的表現，您將無法知道新體驗的表現是更好還是更差。

就改進應該是什麼樣子而言，這在很大程度上取決於您的業務環境。 一些公司需要看到指標提升 10-15% 才能獲得有意義的業務成果，例如更高的收入、參與度或保留率。 對於其他公司（通常是擁有高度優化產品和眾多用戶的大型公司）而言，1% 的提升足以讓他們獲得巨大的業務成果。

11. 您能推荐一些公司可以從今天開始使用的一流實驗工具嗎？

這有點自私，因為我們銷售一流的實驗平台 Amplitude Experiment，可以說是市場上最好的產品實驗平台。 我們的產品在一個多合一平台中提供您所需的一切，您可以在一個地方規劃、配置、監控和分析產品實驗。 我們還有一個完全成熟的功能管理系統來交付這些實驗並自動為您跟踪它們。

將其與我們的分析平台結合使用，以實現強大的指標跟踪和對實驗之外的客戶行為的深入洞察，您將知道如何將這些洞察轉化為影響實際業務成果的行動。

12. 你能舉出非基於 UI 的實驗的例子嗎？

很多人都熟悉營銷領域中專注於轉化優化的實驗。 這些看起來像是更改文本、圖像或顏色以查看用戶喜歡哪些。 您也可以使用 Amplitude 完成所有這些工作，但我們主要專注於對產品體驗進行更改——想想結賬流程、用戶入職、導航更改、應用程序頁面結構、配置選項等等。 任何與您的用戶如何與您的產品交互以完成他們的工作有關的事情，您都可以通過實驗來產生影響。

13. 作為產品經理，有時我們會對產品的變化建立第六感或直覺。 即使面對相反的數據，我們是否應該讓自己隨心所欲？

數據就是——數據。 有些事情數據不了解您的業務，這可能會影響您對其所說的內容的重視程度。 可能有一些事情是關於你的公司戰略的發展方向或整個市場如何變化，而目前的實驗數據無法告訴你。

不過，通常情況下，我們作為產品經理的直覺來自某種東西，但我們可能無法用語言表達那是什麼。 以當時對您最有意義的方式使用實驗和數據進行決策。 有時，這可能意味著完全依賴結果並以此為基礎做出決定，或者可能意味著朝著稍微不同的方向前進，因為您在其他地方有令人信服的證據，數據無法告訴您。

14. 開始您的第一個實驗後，可能會導致整個程序呈螺旋式下降的常見陷阱是什麼？

在許多情況下，當實驗成為公司文化的一部分時，許多實驗都會失敗。 換句話說，實驗的結果會告訴你，產品變化不會有你希望看到的提升——或者在某些情況下，如果完全推出，會損害產品。

如果您運行的第一個實驗恰好是其中一個實驗並且您沒有獲得大的勝利來慶祝，那麼對於那些完成工作、將代碼發布、然後查看告訴他們不要這樣做的團隊來說，這可能會讓人感到非常沮喪繼續發布。 這也是 Elena 指出建立這種文化的關鍵一步是“學會如何學習”的原因之一。 這意味著即使實驗“失敗”，您也可以獲得有價值的知識和對用戶的洞察。

如果您必須在了解哪些功能會損害您的產品和您的客戶會喜歡哪些功能之間做出選擇，最好了解前者。 這是一個巨大的思維轉變，讓許多人感到不舒服。 承認甚至為“失敗”的實驗而努力可能是健康的，並且有助於避免這種螺旋式下降。

15.誰應該擁有公司以產品為主導的增長戰略？ 應該是產品團隊嗎？ 還是增長營銷團隊？ 或兩者？

增長是公司每個人的工作，多種因素可以使以產品為主導的增長取得成功。 其中一些是轉化優化，讓更多用戶從免費轉向付費或從意識轉向試用。 其他部分確保您擁有人們離不開的搖滾明星產品。 歸根結底，它是關於調整目標並了解作為一個綜合力量，您如何影響保留、獲取和貨幣化以實現更強勁的增長。

我們在網絡研討會的早期就介紹了這一點——請查看前 10 分鐘。

16. 這個網絡研討會有錄音嗎？

絕對地！ 如果您錯過了或想與您的同事分享網絡研討會，您可以觀看重播。