分析を使用して製品を最適化することで、より安全な賭けを行う

プロダクト マネージャー (PM) として、私たちは基本的に自社製品の最善の道に賭けます。 しかし、すべてのお金を 1 つのことに投じるだけでは十分ではありません。 PM は、最初に最も賢明な賭け方を理解し、次のラウンドのオッズを改善するために何がうまくいき、何がうまくいかなかったかを判断する必要があります。

Jumbo Interactive では、製品戦略を攻撃的および防御的な賭けの観点から考える傾向があります。 Jumbo は、世界最高の宝くじ体験を可能にするソリューションを開発しています。私は、成長分野の PM として Jumbo に入社して 1 年余りになります。 ビジネスの成長面では、ほとんどすべての賭けが攻撃的なものになるため、成長ループを探索、追加、または最適化して、成長ループをより良く、より速く回転させます.

PM は、賢明な賭け方を理解し、次のラウンドのオッズを改善するために何がうまくいき、何がうまくいかなかったかを判断する必要があります。

当社の製品の 1 つはロト パーティーです。これは、友人がお金をプールして、大きなジャックポットのチャンスを増やす方法です。 ロト パーティーは、特定の抽選に誰が何を寄付したかを追跡します。 こうすることで、パーティーが大勝した場合、全員に通知が送られ、自動的にパイのスライスを受け取ることができます。

Jumbo の成長へのアプローチは、Lotto Party のような製品によって提供されるバイラルな成長ループを追い求めることです。 直線的に成長するだけでなく、指数関数的に成長することが重要です。 ロト パーティーは複合的な成長をもたらします。誰かが友人を参加に招待すると、その友人のサブセットが独自のロト パーティーを作成し、さらに多くの友人を招待します。

Jumbo の成長エンジンには、これらのバイラル成長ループがいくつか含まれており、有料広告ループによって補完されます。 有料と口コミ — この 2 つは連携して機能します。

これらの賭けを自信を持って行い、発見を促進し、成功を測定するために、私たちは Amplitude に頼っています。 過去 1 年間で Lotto Party の月間アクティブ ユーザー数が 40% 増加しました。その多くは、Amplitude Analytics、Amplitude Experiment、および Amplitude Audiences から得た洞察によるものです。

分析により、誰もが同じページにいることが保証されます

Analytics で主に行うことは、先行指標と遅行指標を測定することです。 新しいグループはループの終わりと新しいループの始まりの両方を意味するため、ロト パーティーで監視する重要な指標の 1 つは、作成されたグループの数です。 新しいグループを始めた人は、最近パーティーに参加した人ですか? これは、コンパニオンの成長メカニズムを理解するのに役立ちます。

しかし、Analytics でこの情報を見ているのは私だけではありません。それは全社的なものです。 私が一緒に働くすべてのエンジニアリング チームは、私のダッシュボードとグラフにアクセスできるので、頻繁に見るように勧めています。 私は彼らのチーム スペースを管理し、賭けごとにノートブックを作成します。 エンジニアリング チームが確認できるように、すべての分析をそのノートブックに書き込みます。

また、Analytics の特定のダッシュボードやチャートの短い Loom ビデオを作成して、そうでなければ複雑な情報になり得るものを簡潔に説明しています。 これらは、エンジニア、データ アナリスト、他の PM、上司、上司の上司など、全員と共有しています。 8 つの異なる会議をスケジュールする代わりに、分析の 4 分間のビデオを全員と共有できます。 誰もが私が何をしているか、その作業の結果を見ることができ、ユーザーが実際に製品をどのように使用しているかについて、直感的な推測をより正確にするのに役立ちます.

実験は、どの投資がオールインする価値があるかを教えてくれます

Analytics で確認できることは、当然、Experiment での A/B テストにつながります。 これらのテストにより、仮説ステートメントを作成し、それらが真か偽かを判断し、オールインする場所 (または引き戻す場所) を知ることができます。 実験により、明確なリスクと利益の分析が得られるため、特定の賭けをする際の信頼が高まります。

問題を説明し、問題と可能性のある機会について可能な限り多くの裏付けとなる証拠を提供する実験設計ドキュメントを作成することから始めます。 次に、仮説を作成し、一般的にトレードオフ メトリックとして説明するプライマリ メトリックを呼び出します。 ほとんどの実験では、いくつかの二次的な指標も挙げています。 その情報により、成功または失敗がどのように見えるか、および統計的有意性のために必要なサンプル サイズが決定され、それによって実験期間が決定されます。

実験設計ドキュメントは、実験でテストしているものの強力な定義を提供します。 また、実験の優先順位付けにも役立ちます。 3 か月にわたる実験はかなり時間がかかります。 実験にそれほど時間がかかることがわかっている場合は、より長い実験を開始する前に、数週間の実験を邪魔にならないようにすることをお勧めします.

実験のデザインは重要です。なぜなら、私たちはすべてを素早く、ダーティで、安価に構築したいからです。 より多くのデータを収集できるように、できるだけ早く何かをリリースしたいと考えています。また、初期投資をできるだけ小さくすることで、広範囲にテストしてスマートに構築することができます。

初期投資をできるだけ小さくすることで、製品チームは広範囲にテストし、スマートに構築することができます。

Lotto Party の例の 1 つは、製品に関する発見可能性の欠如でした。 プラットフォーム上のユーザーの大部分は、私たちが「プレイ」体験と呼んでいるものであり、ロト パーティーはその体験とはかなりかけ離れていました。 ロト パーティーをプレイ体験にもっと取り入れたら、どのような影響がありますか? その動きには、エンジニアリングからの大幅なリフトと、結果としての多額の投資が必要でした。

私たちの実験的な考え方は、製品、エンジニアリング、Q&A、プロセスに関係するすべての人に、この実験を合理化して最小の投資から最大の洞察を得ることについて考えるようにします。 実験では、ロト プレイをプレイ体験に組み込むと、ロト パーティーの売り上げがほぼ 2 倍になり、作成されるグループの数が 2 倍以上になることがわかりました。 これにさらに投資することは非常に簡単でした。

Audiences は、よりパーソナライズされたカートでトランザクションの価値を高めます

オーディエンスを使用して、よりスマートなカートの推奨事項を作成します。これは、電子メールのアウトリーチや購入フローにも含まれます。 ユーザーが過去に購入したものでも購入しようとしているものでも、ユーザーが気に入りそうな追加の製品を提供したり、「以前にプレイしたこのチケットをもう一度プレイしてください」などの提案を提供したりします。 これは、「フライドポテトと一緒に食べたいですか？」という古典的な質問をよりスマートにひねったものです。 聴衆は、この特定の顧客がフライド ポテトを望んでいないことを知っていますが、ミルクセーキは好きです。 ユーザーの欲求を理解するための独自のアルゴリズム フレームワークを構築するのは非常に困難ですが、Amplitude はそれを提供してくれます。

レコメンデーションがパーソナライズされているほど、ユーザーがそれを選択する可能性が高くなります。

Amazon Personalize を利用した Audiences のレコメンデーションは、簡単に採算が取れます。 レコメンデーションがパーソナライズされているほど、ユーザーがそれを選択する可能性が高くなります。 ジャンボはこれを知っています。なぜなら、オーディエンスを使用する前にカートの配置があり、それ以来、それらの配置のパフォーマンスが大幅に向上しているからです。

約 8 か月前に、カートの配置にある製品についてのアイデアがありました。 以前は、カートの配置はチャリティー ラッフルに関連する製品のサブセットに焦点を当てていましたが、それをすべての製品に拡張し、オーディエンスが各顧客に最適なものを決定できるようにしたいと考えました。 驚いたことに、クリック数と取引額が増加しました。 オーディエンスを使用すると、提供するオプションが増えるほど、ヒットする人が増えます。

既存のユーザーを維持し、賢く賭けて新しいユーザーを獲得する

このパーソナライゼーションは、メッセージングに使用する Amplitude と Braze の統合にも重要です。 私たちの成長エンジンについて考えてみると、顧客を生み出すこれらすべての獲得ループがありますが、その反対側、つまり私たちのエンジンの核心は保持とエンゲージメントであり、Braze はそこに位置しています。 ユーザーにメッセージを送信するタイミングを賢く知ることはすべての違いを生み、適切なチャネルを知ることも同様に重要です. ユーザーが特定のアプリを頻繁に使用する場合は、メールよりもプッシュ通知またはアプリ内メッセージを送信する方がおそらく理にかなっています。

Braze は、習慣のループを継続するのに役立ちます。 顧客がアクティベーション後 2 か月間アクティブなプレイヤーである場合を習慣ループと定義します。 2 か月プレイすれば、彼らは常習的なプレイヤーになっています。 Braze を使用してこれらの習慣ループをトリガーし、それらを回転させ続けることで定着率を高めます。 しかし、これを行うには、最高のデータが Braze に流れ込む必要があります。 アナリティクスは、よりスマートなコホートを作成し、コンテンツをパーソナライズすることで、これを実現するのに役立ちます。 このコンテンツ、そのタイミング、および配信について具体的に説明できるほど、これらのキャンペーンの結果は向上します。

私はジャンボで働くことから多くのことを学び、成長についてまったく新しい視点を持っています。 Amplitude との連携も大きな成果でした。 Amplitude がなければ、Lotto Party の月間アクティブ ユーザーの増加は見られなかったでしょう。 このプラットフォームにより、最も賢明な賭けを行うことができます。