Machen Sie sicherere Wetten, indem Sie Ihr Produkt mit Analytics optimieren

Als Produktmanager (PMs) setzen wir im Wesentlichen auf den besten Weg für unsere Produkte. Aber es reicht nicht, sein ganzes Geld nur auf eine Sache zu werfen. PMs müssen verstehen, wie man überhaupt die klügsten Wetten abschließt, und dann bestimmen, was funktioniert hat und was nicht, um die Quoten für die nächste Runde zu verbessern.

Bei Jumbo Interactive neigen wir dazu, über Produktstrategie in Bezug auf offensive und defensive Wetten nachzudenken. Jumbo entwickelt Lösungen, um die besten Lotterieerlebnisse der Welt zu ermöglichen, und ich bin jetzt seit etwas mehr als einem Jahr als PM im Wachstumsbereich bei Jumbo. Auf der Wachstumsseite des Geschäfts werden fast alle unsere Wetten offensiv sein, also untersuche, ergänze oder optimiere ich unsere Wachstumsschleifen, damit sie sich besser und schneller drehen.

PMs müssen verstehen, wie man intelligente Wetten abschließt, und dann feststellen, was funktioniert hat und was nicht, um die Quoten für die nächste Runde zu verbessern.

Eines unserer Produkte ist Lotto Party, eine Möglichkeit für Freunde, ihr Geld zusammenzulegen, um bessere Chancen auf den großen Jackpot zu haben. Lotto Party verfolgt, wer was zu einer bestimmten Ziehung beigetragen hat. Auf diese Weise werden alle benachrichtigt, wenn eine Party groß gewinnt, und erhalten automatisch ihr Stück vom Kuchen.

Jumbos Wachstumsansatz besteht darin, den viralen Wachstumsschleifen nachzugehen, die von Produkten wie Lotto Party bereitgestellt werden. Es ist wichtig, nicht nur linear, sondern exponentiell zu wachsen. Lotto Party sorgt für wachsendes Wachstum: Jemand lädt seine Freunde zur Teilnahme ein, und dann wird eine Untergruppe dieser Freunde ihre eigenen Lotto-Partys gründen und weitere Freunde einladen.

Die Wachstumsmaschine von Jumbo umfasst mehrere dieser viralen Wachstumsschleifen, die dann durch bezahlte Anzeigenschleifen ergänzt werden: Die bezahlten Anzeigen generieren Leads, die Kapital generieren, das wir dann ausgeben, um weitere Leads zu finden. Bezahlt und viral – die beiden arbeiten zusammen.

Um diese Wetten sicher abzuschließen, Entdeckungen voranzutreiben und unseren Erfolg zu messen, verlassen wir uns auf Amplitude. Wir haben im vergangenen Jahr einen Anstieg der monatlich aktiven Benutzer von Lotto Party um 40 % verzeichnet, was zu einem großen Teil auf die Erkenntnisse zurückzuführen ist, die wir aus Amplitude Analytics, Amplitude Experiment und Amplitude Audiences gewonnen haben.

Analytics stellt sicher, dass alle auf derselben Seite sind

Das Wichtigste, was wir mit Analytics machen, ist die Messung unserer Früh- und Spätindikatoren. Eine Schlüsselmetrik, die wir für Lotto Party überwachen, ist also, wie viele Gruppen erstellt wurden, da eine neue Gruppe sowohl das Ende einer Schleife als auch den Beginn einer neuen bedeutet. War die Person, die die neue Gruppe gegründet hat, ein neuer Parteimitglied oder nicht? Das hilft uns, den Begleitwachstumsmechanismus zu verstehen.

Aber nicht nur ich schaue mir diese Informationen in Analytics an: Sie sind unternehmensweit. Jedes Engineering-Team, mit dem ich zusammenarbeite, hat Zugriff auf meine Dashboards und Diagramme, und ich ermutige sie, sich diese häufig anzusehen. Ich verwalte ihre Teambereiche und erstelle ein Notizbuch für jede Wette, die wir platzieren. Ich werde alle Analysen in dieses Notebook werfen, damit das Engineering-Team sie überprüfen kann.

Ich mache auch kurze Loom-Videos für ein bestimmtes Dashboard oder ein Diagramm in Analytics, um prägnant zu erklären, was ansonsten komplizierte Informationen sein können. Ich teile diese mit allen, einschließlich Ingenieuren, Datenanalysten, anderen PMs, meinen Chefs und den Chefs meines Chefs. Anstatt zu versuchen, acht verschiedene Meetings zu planen, kann ich ein vierminütiges Video der Analyse mit allen teilen. Jeder kann sehen, was ich tue, die Ergebnisse dieser Arbeit, und es hilft, unsere Bauchannahmen darüber, wie Benutzer das Produkt tatsächlich verwenden, genauer zu machen.

Experiment sagt uns, welche Investitionen es wert sind, all-in zu gehen

Was wir in Analytics sehen, führt natürlich zu den A/B-Tests in Experiment. Diese Tests ermöglichen es uns, hypothetische Aussagen zu erstellen, festzustellen, ob sie wahr oder falsch sind, und dann zu wissen, wo wir All-in gehen (oder wo wir uns zurückziehen müssen). Das Experiment erhöht unser Vertrauen in die Platzierung einer bestimmten Wette, da es uns eine klare Nutzen-Risiko-Analyse liefert.

Wir beginnen mit der Erstellung eines Experimentdesign-Dokuments, in dem wir das Problem erläutern und so viele unterstützende Beweise wie möglich für das Problem und die mögliche Gelegenheit liefern. Dann schreiben wir eine Hypothese und nennen die primäre Metrik, die wir im Allgemeinen als Trade-off-Metrik bezeichnen. In den meisten Experimenten führen wir auch einige sekundäre Metriken auf. Diese Informationen bestimmen, wie Erfolg oder Misserfolg aussieht, sowie die Stichprobengröße, die wir für die statistische Signifikanz benötigen, die dann die Experimentdauer bestimmt.

Das Experimentdesign-Dokument gibt uns starke Definitionen dessen, was wir in Experiment testen. Es hilft uns auch, Experimente zu priorisieren. Ein dreimonatiges Experiment ist ziemlich langsam. Wenn wir wissen, dass ein Experiment so lange dauern wird, ist es besser, ein paar wochenlange Experimente aus dem Weg zu räumen, bevor wir mit dem längeren beginnen.

Das Design von Experimenten ist wichtig, weil wir alles schnell, schmutzig und billig bauen wollen. Wir wollen so schnell wie möglich etwas herausbringen, damit wir mehr Daten sammeln können, und eine möglichst geringe Anfangsinvestition ermöglicht es uns, ausgiebig zu testen und intelligent zu bauen.

Eine möglichst geringe Anfangsinvestition ermöglicht es Produktteams, ausgiebig zu testen und intelligent zu entwickeln.

Ein Beispiel von Lotto Party war die mangelnde Auffindbarkeit des Produkts. Die Mehrheit der Benutzer auf einer Plattform befindet sich in unserer sogenannten „Spiel“-Erfahrung, und Lotto Party war von dieser Erfahrung ziemlich getrennt. Wenn wir Lotto Party mehr in das Spielerlebnis einbringen würden, welche Auswirkungen hätte das? Dieser Schritt hätte einen erheblichen technischen Aufwand und folglich eine erhebliche Investition erfordert.

Unsere Experimentier-Mentalität bringt jeden – Produkt, Technik, Q&A, alle am Prozess Beteiligten – dazu, darüber nachzudenken, dieses Experiment zu rationalisieren, um mit der kleinsten Investition die größten Erkenntnisse zu gewinnen. In Experiment haben wir gesehen, dass die Integration von Lotto Play in das Spielerlebnis die Verkäufe für Lotto Party fast verdoppelt und die Anzahl der erstellten Gruppen mehr als verdoppelt hat. Hierin weiter zu investieren war ein Kinderspiel.

Zielgruppen erhöhen den Transaktionswert mit personalisierteren Warenkörben

Wir verwenden Zielgruppen, um intelligentere Warenkorbempfehlungen zu geben, die wir in die E-Mail-Kommunikation und auch in den Kaufablauf einbeziehen. Unabhängig davon, ob es sich um etwas handelt, das der Benutzer in der Vergangenheit gekauft hat oder im Begriff ist zu kaufen, bieten wir zusätzliche Produkte an, die ihm gefallen könnten, oder einen Vorschlag wie „Spielen Sie dieses Ticket, das Sie zuvor gespielt haben, noch einmal.“ Es ist eine klügere Variante der klassischen Frage: „Willst du Pommes dazu?“ Das Publikum weiß, dass dieser bestimmte Kunde keine Pommes will – aber er mag Milchshakes. Es wäre ziemlich schwierig, ein eigenes algorithmisches Framework zu erstellen, um die Wünsche des Benutzers herauszufinden, aber Amplitude liefert es für uns.

Je personalisierter die Empfehlung ist, desto wahrscheinlicher ist es, dass der Benutzer sie auswählt.

Die Empfehlungen in Audiences, die von Amazon Personalize bereitgestellt werden, machen sich leicht bezahlt. Je personalisierter die Empfehlung ist, desto wahrscheinlicher ist es, dass der Benutzer sie auswählt. Jumbo weiß das, weil wir Warenkorb-Platzierungen hatten, bevor wir anfingen, Zielgruppen zu verwenden, und diese Platzierungen haben sich seitdem viel besser entwickelt.

Vor ungefähr acht Monaten hatte ich eine Vorstellung von den Produkten in unseren Warenkorbplatzierungen. Früher konzentrierten sich die Warenkorbplatzierungen auf eine Teilmenge von Produkten im Zusammenhang mit Wohltätigkeitsverlosungen, aber ich wollte sie auf alle unsere Produkte ausdehnen und das Publikum entscheiden lassen, was für jeden Kunden am besten ist. Und siehe da, wir haben einen Anstieg der Klicks und Transaktionswerte festgestellt. Je mehr Optionen Sie mit Audiences bereitstellen, desto mehr Leute werden Sie erreichen.

Behalten Sie bestehende Benutzer und schließen Sie intelligente Wetten ab, um neue zu gewinnen

Diese Personalisierung ist auch für die Integration von Amplitude mit Braze von Bedeutung, das wir für Nachrichten verwenden. Wenn Sie an unseren Wachstumsmotor denken, haben wir all diese Akquisitionsschleifen, die Kunden generieren, aber die andere Seite davon – der Kern unseres Motors – sind Bindung und Engagement, und genau dort sitzt Braze. Es macht den Unterschied, klüger zu wissen, wann man eine Nachricht an einen Benutzer senden muss, und es ist genauso wichtig, den richtigen Kanal zu kennen. Wenn die Person eine bestimmte App häufig verwendet, ist es wahrscheinlich sinnvoller, ihr eine Push-Benachrichtigung oder eine In-App-Nachricht als eine E-Mail zu senden.

Braze ist da, um uns dabei zu helfen, Gewohnheitsschleifen fortzusetzen. Wir definieren eine Gewohnheitsschleife als einen Kunden, der für die zwei Monate nach der Aktivierung ein aktiver Spieler ist. Wenn sie zwei Monate spielen, sind sie zum Gewohnheitsspieler geworden. Wir verwenden Braze, um diese Gewohnheitsschleifen auszulösen und sie am Laufen zu halten, um unsere Bindung zu fördern. Aber dazu müssen wir die besten Daten in Braze einfließen lassen. Analytics hilft uns dabei, indem es intelligentere Kohorten erstellt und den Inhalt personalisiert. Je genauer wir diese Inhalte, ihr Timing und ihre Bereitstellung angeben können, desto besser sind die Ergebnisse dieser Kampagnen.

Ich habe durch die Arbeit bei Jumbo viel gelernt und habe eine ganz neue Perspektive auf Wachstum. Die Zusammenarbeit mit Amplitude war auch ein großer Gewinn. Ohne Amplitude hätten wir den Anstieg der monatlich aktiven Nutzer von Lotto Party nicht gesehen. Die Plattform ermöglicht es uns, die intelligentesten Wetten zu platzieren.