通過分析優化您的產品,進行更安全的投注

已發表: 2022-08-30

作為產品經理 (PM),我們基本上將賭注押在我們產品的最佳前進道路上。 但僅僅把所有的錢都花在一件事情上是不夠的。 項目經理首先需要了解如何做出最明智的投注,然後確定哪些有效,哪些無效以提高下一輪的賠率。

在 Jumbo Interactive,我們傾向於從進攻和防守的賭注來考慮產品策略。 Jumbo 開發解決方案以實現世界上最好的彩票體驗,我已經在 Jumbo 工作了一年多一點,擔任增長領域的 PM。 在業務增長方面,我們幾乎所有的賭注都將是令人反感的,因此我探索、添加或優化我們的增長循環,讓它們運轉得更好更快。

PM 需要了解如何進行明智的投注,然後確定哪些有效,哪些無效以提高下一輪的機率。

我們的產品之一是 Lotto Party,這是一種讓朋友們將錢集中在一起以獲得更大中獎機會的方式。 Lotto Party 會跟踪誰為特定抽獎貢獻了什麼。 這樣,如果一方大獲全勝,每個人都會收到通知並自動獲得他們的份額。

Jumbo 的增長方法是追求 Lotto Party 等產品提供的病毒式增長循環。 不僅要以線性方式增長,而且要以指數方式增長,這一點很重要。 樂透派對提供複合增長:有人邀請他們的朋友參加,然後這些朋友中的一部分將創建自己的樂透派對並邀請更多朋友。

Jumbo 的增長引擎包括幾個病毒式增長循環,然後由付費廣告循環補充:付費廣告產生潛在客戶,從而產生資本,然後我們將其用於尋找更多潛在客戶。 付費和病毒——兩者協同工作。

為了自信地進行這些賭注、推動發現並衡量我們的成功,我們依靠 Amplitude。 在過去的一年中,我們看到 Lotto Party 的月活躍用戶增加了 40%,這在很大程度上歸功於我們從 Amplitude Analytics、Amplitude Experiment 和 Amplitude Audiences 中獲得的洞察力。

分析確保每個人都在同一頁面上

我們對 Analytics 所做的主要工作是衡量我們的領先指標和滯後指標。 因此,我們監控 Lotto Party 的一個關鍵指標是創建了多少組,因為新組表示循環的結束和新組的開始。 新組的發起人是不是最近的入黨者? 這有助於我們理解同伴生長機制。

但不僅僅是我在 Analytics 中查看這些信息:它是整個公司的。 與我合作的每個工程團隊都可以訪問我的儀表板和圖表,我鼓勵他們經常查看它們。 我管理他們的團隊空間,並為我們下的每個賭注創建一個筆記本。 我會將所有分析數據放入該筆記本中,以供工程團隊審查。

我還為特定儀表板或 Analytics 中的圖表製作了 Loom 短視頻,以簡潔地解釋可能是複雜信息的內容。 我與所有人分享這些,包括工程師、數據分析師、其他 PM、我的老闆和我老闆的老闆。 我可以與每個人分享一段四分鐘的分析視頻,而不是嘗試安排八次不同的會議。 每個人都可以看到我在做什麼,這項工作的結果,這有助於使我們的直覺假設更準確地了解用戶實際使用產品的方式。

實驗告訴我們哪些投資值得全力以赴

我們在 Analytics 中看到的內容自然會導致 Experiment 中的 A/B 測試。 這些測試使我們能夠創建假設陳述,確定它們是真還是假,然後知道在哪裡全力以赴(或在哪裡撤回)。 實驗增加了我們對特定賭注的信心,因為它為我們提供了清晰的風險收益分析。

我們首先創建一個實驗設計文檔,在該文檔中我們解釋問題並提供盡可能多的關於問題和可能機會的支持證據。 然後我們編寫一個假設並調用主要指標,我們通常將其描述為權衡指標。 在大多數實驗中,我們還列出了一些次要指標。 該信息將確定成功或失敗的樣子,以及我們需要用於統計顯著性的樣本量,然後確定實驗持續時間。

實驗設計文檔為我們在實驗中測試的內容提供了強有力的定義。 它還可以幫助我們確定實驗的優先級。 為期三個月的實驗相當緩慢。 如果我們知道一項實驗會花費那麼長時間,那麼在開始更長的實驗之前,最好先進行幾個為期一周的實驗。

實驗設計很重要,因為我們想要快速、骯髒和廉價地構建所有東西。 我們希望盡快拿出一些東西,這樣我們就可以收集更多數據,並且盡可能少地進行初始投資,這樣我們就可以進行廣泛的測試並進行智能構建。

盡可能少的初始投資可以讓產品團隊進行廣泛的測試並巧妙地構建。

Lotto Party 的一個例子是產品周圍缺乏可發現性。 平台上的大多數用戶都處於我們所謂的“遊戲”體驗中,而 Lotto Party 則完全脫離了這種體驗。 如果我們將 Lotto Party 更多地引入到遊戲體驗中,會產生什麼影響? 這一舉措將需要工程方面的重大提升,因此需要大量投資。

我們的實驗思維讓每個人——產品、工程、問答,以及參與過程的任何人——都考慮簡化這個實驗,以從最小的投資中獲得最大的洞察力。 在實驗中,我們看到將 Lotto Play 融入遊戲體驗幾乎使 Lotto Party 的銷售額翻了一番,創建的群組數量也增加了一倍以上。 在這方面進一步投資是不費吹灰之力的。

觀眾通過更個性化的購物車增加交易價值

我們使用 Audiences 來做出更智能的購物車推薦,我們將其包含在電子郵件外展和購買流程中。 無論是用戶過去購買過的東西還是即將購買的東西,我們都會提供他們可能喜歡的其他產品,或者提供諸如“重播您以前玩過的這張票”之類的建議。 這是對那個經典問題的一個更聰明的轉折,“你想要薯條嗎?” 觀眾知道這個特定的顧客不想要薯條,但他們確實喜歡奶昔。 構建我們自己的算法框架來了解用戶的需求是相當困難的,但 Amplitude 為我們提供了它。

推薦越個性化,用戶選擇它的可能性就越大。

由 Amazon Personalize 提供支持的 Audiences 中的推薦很容易為自己買單。 推薦越個性化,用戶選擇它的可能性就越大。 Jumbo 知道這一點,因為我們在開始使用 Audiences 之前就有了購物車展示位置,並且這些展示位置從那以後表現得更好。

大約八個月前,我對我們購物車中的產品有了一個想法。 以前,購物車展示位置專注於與慈善抽獎活動相關的部分產品,但我想將其擴展到我們所有的產品,並讓受眾決定什麼是最適合每個客戶的。 瞧,我們看到了點擊次數和交易價值的提升。 使用 Audiences,您提供的選項越多,您要吸引的人就越多。

留住現有用戶並做出明智的賭注以贏得新用戶

這種個性化對於 Amplitude 與我們用於消息傳遞的 Braze 的集成也很重要。 如果您考慮一下我們的增長引擎,我們的所有這些獲取循環都會產生客戶,但另一方面——我們引擎的核心——是保留和參與,這就是 Braze 所在的位置。 更聰明地知道何時向用戶發送消息會產生重大影響,了解正確的渠道同樣重要。 如果該人經常使用特定應用程序,則向他們發送推送通知或應用程序內消息可能比電子郵件更有意義。

Braze 可以幫助我們繼續習慣循環。 我們將習慣循環定義為客戶在激活後的兩個月內成為活躍玩家。 如果他們玩了兩個月,他們就成了習慣性的球員。 我們使用 Braze 來觸發這些習慣循環並保持它們旋轉以提高我們的保留率。 但要做到這一點,我們需要讓最好的數據流入 Braze。 分析通過創建更智能的群組和個性化內容來幫助我們做到這一點。 我們對這些內容、時間和交付越具體,這些活動的結果就越好。

在 Jumbo 工作,我學到了很多東西,我對增長有了全新的看法。 與 Amplitude 合作也是一個巨大的勝利。 如果沒有 Amplitude,我們不會看到 Lotto Party 的月活躍用戶增加。 該平台使我們能夠進行最明智的投注。

數字優化指南