Faire des paris plus sûrs en optimisant votre produit avec Analytics

En tant que chefs de produit (PM), nous parions essentiellement sur la meilleure voie à suivre pour nos produits. Mais il ne suffit pas de jeter tout votre argent dans une seule chose. Les PM doivent comprendre comment faire les paris les plus intelligents en premier lieu, puis déterminer ce qui a fonctionné et ce qui n'a pas fonctionné pour améliorer les chances du tour suivant.

Chez Jumbo Interactive, nous avons tendance à penser la stratégie produit en termes de paris offensifs et défensifs. Jumbo développe des solutions pour permettre les meilleures expériences de loterie au monde, et je suis avec Jumbo depuis un peu plus d'un an maintenant en tant que PM dans l'espace de croissance. Du côté de la croissance de l'entreprise, presque tous nos paris seront offensifs, alors j'explore, ajoute ou optimise nos boucles de croissance pour les faire tourner mieux et plus vite.

Les chefs de projet doivent comprendre comment faire des paris intelligents, puis déterminer ce qui a fonctionné et ce qui n'a pas fonctionné pour améliorer les chances du tour suivant.

L'un de nos produits est Lotto Party, qui permet à des amis de mettre leur argent en commun pour avoir une meilleure chance de remporter le gros lot. Lotto Party garde une trace de qui a contribué quoi pour un tirage particulier. De cette façon, si une partie gagne gros, tout le monde est averti et reçoit automatiquement sa part du gâteau.

L'approche de Jumbo en matière de croissance consiste à s'attaquer aux boucles de croissance virales fournies par des produits comme Lotto Party. Il est important de croître non seulement de manière linéaire, mais de manière exponentielle. Lotto Party offre une croissance composée : quelqu'un invite ses amis à participer, puis un sous-ensemble de ces amis créera ses propres soirées de loto et invitera plus d'amis.

Le moteur de croissance de Jumbo comprend plusieurs de ces boucles de croissance virales, qui sont ensuite complétées par des boucles publicitaires payantes : les publicités payantes génèrent des prospects, qui génèrent du capital, que nous dépensons ensuite pour trouver plus de prospects. Payant et viral, les deux fonctionnent en tandem.

Pour faire ces paris en toute confiance, favoriser la découverte et mesurer notre succès, nous nous appuyons sur Amplitude. Nous avons constaté une augmentation de 40 % du nombre d'utilisateurs actifs mensuels dans Lotto Party au cours de l'année écoulée, ce qui peut être attribué en grande partie aux informations que nous avons obtenues grâce à Amplitude Analytics, Amplitude Experiment et Amplitude Audiences.

Analytics garantit que tout le monde est sur la même page

La principale chose que nous faisons avec Analytics est de mesurer nos indicateurs avancés et retardés. Ainsi, une mesure clé que nous surveillons pour Lotto Party est le nombre de groupes qui ont été créés, car un nouveau groupe signifie à la fois la fin d'une boucle et le début d'une nouvelle. La personne qui a créé le nouveau groupe était-elle un membre récent du parti ou non ? Cela nous aide à comprendre le mécanisme de croissance compagnon.

Mais je ne suis pas le seul à consulter ces informations dans Analytics : c'est à l'échelle de l'entreprise. Chaque équipe d'ingénieurs avec laquelle je travaille a accès à mes tableaux de bord et à mes graphiques, et je les encourage à les consulter souvent. Je gère leurs espaces d'équipe et je crée un carnet pour chaque pari que nous plaçons. Je mettrai toutes les analyses dans ce cahier pour que l'équipe d'ingénierie les examine.

Je réalise également de courtes vidéos Loom pour un tableau de bord spécifique ou un graphique dans Analytics afin d'expliquer succinctement ce qui peut autrement être une information compliquée. Je les partage avec tout le monde, y compris les ingénieurs, les analystes de données, les autres PM, mes patrons et les patrons de mon patron. Au lieu d'essayer de programmer huit réunions différentes, je peux partager une vidéo de quatre minutes des analyses avec tout le monde. Tout le monde peut voir ce que je fais, les résultats de ce travail, et cela aide à rendre nos hypothèses plus précises sur la façon dont les utilisateurs utilisent réellement le produit.

L'expérience nous indique quels investissements valent la peine d'être investis

Ce que nous voyons dans Analytics mène naturellement aux tests A/B dans Experiment. Ces tests nous permettent de créer des énoncés d'hypothèses, de déterminer s'ils sont vrais ou faux, puis de savoir où aller all-in (ou où retirer). L'expérience augmente notre confiance dans le placement d'un pari particulier car elle nous donne une analyse claire des risques et des avantages.

Nous commençons par créer un document de conception d'expérience dans lequel nous expliquons le problème et fournissons autant de preuves à l'appui que possible sur le problème et l'opportunité possible. Nous écrivons ensuite une hypothèse et appelons la métrique principale, que nous décrivons généralement comme une métrique de compromis. Dans la plupart des expériences, nous listons également quelques métriques secondaires. Ces informations détermineront à quoi ressemble le succès ou l'échec, ainsi que la taille de l'échantillon dont nous avons besoin pour la signification statistique, qui détermine ensuite la durée de l'expérience.

Le document de conception d'expérience nous donne des définitions solides de ce que nous testons dans Experiment. Cela nous aide également à prioriser les expériences. Une expérience de trois mois est assez lente. Si nous savons qu'une expérience va prendre autant de temps, il est préférable de mettre de côté quelques expériences d'une semaine avant de commencer la plus longue.

La conception des expériences est importante, car nous voulons tout construire rapidement, salement et à moindre coût. Nous voulons sortir quelque chose le plus tôt possible afin de pouvoir collecter plus de données, et faire un investissement initial aussi petit que possible nous permet de tester de manière approfondie et de construire intelligemment.

Faire un investissement initial aussi petit que possible permet aux équipes de produits de tester de manière approfondie et de construire intelligemment.

Un exemple de Lotto Party était le manque de découvrabilité autour du produit. La majorité des utilisateurs d'une plate-forme sont dans ce que nous appelons notre expérience de "jeu", et Lotto Party était assez éloigné de cette expérience. Si nous introduisions davantage Lotto Party dans l'expérience de jeu, quel impact cela aurait-il ? Ce déménagement aurait nécessité une augmentation significative de l'ingénierie et un investissement important en conséquence.

Notre état d'esprit d'expérimentation amène tout le monde (produit, ingénierie, questions-réponses, quiconque est impliqué dans le processus) à réfléchir à la rationalisation de cette expérience pour obtenir les meilleures informations avec le plus petit investissement. Dans Experiment, nous avons vu que l'intégration de Lotto Play dans l'expérience de jeu a presque doublé les ventes de Lotto Party et a plus que doublé le nombre de groupes créés. Investir davantage dans ce domaine était une évidence.

Les audiences augmentent la valeur des transactions avec des paniers plus personnalisés

Nous utilisons Audiences pour faire des recommandations de panier plus intelligentes, que nous incluons dans la diffusion par e-mail ainsi que dans le flux d'achat. Qu'il s'agisse de quelque chose que l'utilisateur a déjà acheté ou qu'il est sur le point d'acheter, nous proposons des produits supplémentaires susceptibles de lui plaire, ou une suggestion telle que "Rejouer ce ticket auquel vous avez déjà joué". C'est une variante plus intelligente de cette question classique : "Voulez-vous des frites avec ça ?" Le public sait que ce client particulier ne veut pas de frites, mais il aime les laits frappés. Il serait assez difficile de construire notre propre cadre algorithmique pour comprendre les désirs de l'utilisateur, mais Amplitude le fournit pour nous.

Plus la recommandation est personnalisée, plus l'utilisateur est susceptible de la sélectionner.

Les recommandations dans Audiences, qui sont alimentées par Amazon Personalize, se rentabilisent facilement. Plus la recommandation est personnalisée, plus l'utilisateur est susceptible de la sélectionner. Jumbo le sait car nous avions des emplacements de panier avant de commencer à utiliser Audiences, et ces emplacements ont bien mieux fonctionné depuis.

Il y a environ huit mois, j'ai eu une idée des produits dans nos emplacements de panier. Auparavant, les emplacements de panier se concentraient sur un sous-ensemble de produits liés aux tombolas caritatives, mais je voulais l'étendre à tous nos produits et laisser Audiences décider de ce qui convient le mieux à chaque client. Et voilà, nous avons constaté une augmentation des clics et des valeurs de transaction. Avec Audiences, plus vous proposez d'options, plus vous toucherez de personnes.

Conservez les utilisateurs existants et faites des paris intelligents pour en gagner de nouveaux

Cette personnalisation est également importante pour l'intégration d'Amplitude avec Braze, que nous utilisons pour la messagerie. Si vous pensez à notre moteur de croissance, nous avons toutes ces boucles d'acquisition générant des clients, mais l'autre côté, le cœur de notre moteur, est la rétention et l'engagement, et c'est là que se situe Braze. Être plus intelligent pour savoir quand envoyer un message à un utilisateur fait toute la différence, et il est tout aussi important de connaître le bon canal. Si la personne utilise fréquemment une application particulière, il est probablement plus logique de lui envoyer une notification push ou un message intégré à l'application plutôt qu'un e-mail.

Braze est là pour nous aider à poursuivre les boucles d'habitudes. Nous définissons une boucle d'habitude comme un client étant un joueur actif pendant les deux mois suivant l'activation. S'ils jouent pendant deux mois, ils sont devenus des joueurs habituels. Nous utilisons Braze pour déclencher ces boucles d'habitude et les faire tourner pour stimuler notre rétention. Mais pour ce faire, nous devons disposer des meilleures données entrant dans Braze. Analytics nous aide à le faire en créant des cohortes plus intelligentes et en personnalisant le contenu. Plus nous pouvons être précis sur ce contenu, son calendrier et sa diffusion, meilleurs seront les résultats de ces campagnes.

J'ai beaucoup appris en travaillant chez Jumbo et j'ai une toute nouvelle perspective sur la croissance. Travailler avec Amplitude a également été une énorme victoire. Nous n'aurions pas vu l'augmentation du nombre d'utilisateurs actifs mensuels pour Lotto Party sans Amplitude. La plateforme nous permet de placer les paris les plus intelligents.