Fare scommesse più sicure ottimizzando il tuo prodotto con Analytics

In qualità di product manager (PM), scommettiamo essenzialmente sul miglior percorso da seguire per i nostri prodotti. Ma non basta buttare tutti i tuoi soldi in una cosa. I PM devono capire come fare le scommesse più intelligenti in primo luogo, quindi determinare cosa ha funzionato e cosa no per migliorare le quote per il round successivo.

In Jumbo Interactive, tendiamo a pensare alla strategia del prodotto in termini di scommesse offensive e difensive. Jumbo sviluppa soluzioni per consentire le migliori esperienze di lotteria del mondo e sono con Jumbo da poco più di un anno come PM nello spazio di crescita. Dal lato della crescita dell'attività, quasi tutte le nostre scommesse saranno offensive, quindi esploro, aggiungo o ottimizzo i nostri cicli di crescita per farli girare meglio e più velocemente.

I PM devono capire come fare scommesse intelligenti e quindi determinare cosa ha funzionato e cosa no per migliorare le quote per il round successivo.

Uno dei nostri prodotti è Lotto Party, che è un modo per gli amici di mettere insieme i loro soldi per una migliore possibilità di vincere il grande jackpot. Lotto Party tiene traccia di chi ha contribuito a cosa per una particolare estrazione. In questo modo, se una festa vince alla grande, tutti vengono avvisati e ottengono automaticamente la loro fetta di torta.

L'approccio di Jumbo alla crescita è seguire i circuiti di crescita virale forniti da prodotti come Lotto Party. È importante crescere non solo in modo lineare, ma esponenziale. Lotto Party fornisce una crescita composta: qualcuno invita i propri amici a partecipare, quindi un sottoinsieme di quegli amici creerà le proprie feste del lotto e inviterà più amici.

Il motore di crescita di Jumbo include molti di questi circuiti di crescita virale, che sono poi integrati da circuiti pubblicitari a pagamento: gli annunci a pagamento generano lead, che generano capitale, che poi spendiamo per trovare più lead. A pagamento e virali: i due lavorano in tandem.

Per fare queste scommesse con sicurezza, guidare la scoperta e misurare il nostro successo, ci affidiamo ad Amplitude. Abbiamo registrato un aumento del 40% degli utenti attivi mensili in Lotto Party nell'ultimo anno, molti dei quali possono essere attribuiti alle informazioni che abbiamo acquisito da Amplitude Analytics, Amplitude Experiment e Amplitude Audiences.

Analytics assicura che tutti siano sulla stessa pagina

La cosa principale che facciamo con Analytics è misurare i nostri indicatori di anticipo e ritardo. Quindi una metrica chiave che monitoriamo per Lotto Party è quanti gruppi sono stati creati, perché un nuovo gruppo significa sia la fine di un ciclo che l'inizio di uno nuovo. La persona che ha avviato il nuovo gruppo era un membro del partito di recente o no? Questo ci aiuta a capire il meccanismo di crescita del compagno.

Ma non sono solo io a guardare queste informazioni in Analytics: sono a livello aziendale. Ogni team di ingegneri con cui lavoro ha accesso ai miei dashboard e grafici e li incoraggio a esaminarli spesso. Gestisco i loro spazi di squadra e creo un taccuino per ogni scommessa che piazziamo. Getterò tutte le analisi in quel taccuino affinché il team di ingegneri possa esaminarle.

Realizzo anche brevi video Loom per una dashboard specifica o un grafico in Analytics per spiegare succintamente quali potrebbero essere informazioni altrimenti complicate. Li condivido con tutti, inclusi ingegneri, analisti di dati, altri PM, i miei capi e i capi del mio capo. Invece di provare a programmare otto diverse riunioni, posso condividere un video di quattro minuti dell'analisi con tutti. Tutti possono vedere cosa sto facendo, i risultati di quel lavoro e questo aiuta a rendere più accurati i nostri presupposti istintivi su come gli utenti utilizzano effettivamente il prodotto.

L'esperimento ci dice su quali investimenti vale la pena andare all-in

Ciò che vediamo in Analytics porta naturalmente al test A/B in Esperimento. Questi test ci consentono di creare affermazioni di ipotesi, determinare se sono vere o false e quindi sapere dove andare all-in (o dove ritirarsi). L'esperimento aumenta la nostra fiducia nel piazzare una scommessa particolare perché ci fornisce una chiara analisi del rischio-beneficio.

Iniziamo creando un documento di progettazione dell'esperimento in cui spieghiamo il problema e forniamo quante più prove possibili sul problema e sulla possibile opportunità. Quindi scriviamo un'ipotesi e chiamiamo la metrica principale, che generalmente descriviamo come metrica di compromesso. Nella maggior parte degli esperimenti, elenchiamo anche alcune metriche secondarie. Tali informazioni determineranno l'aspetto del successo o del fallimento, nonché la dimensione del campione di cui abbiamo bisogno per la significatività statistica, che quindi determina la durata dell'esperimento.

Il documento di progettazione dell'esperimento ci fornisce definizioni forti di ciò che stiamo testando in Experiment. Ci aiuta anche a dare priorità agli esperimenti. Un esperimento di tre mesi è piuttosto lento. Se sappiamo che un esperimento richiederà così tanto tempo, è meglio eliminare un paio di esperimenti di una settimana prima di iniziare quello più lungo.

La progettazione degli esperimenti è importante, perché vogliamo costruire tutto in modo rapido, sporco ed economico. Vogliamo ottenere qualcosa il prima possibile in modo da poter raccogliere più dati e fare un investimento iniziale il più piccolo possibile ci consente di testare ampiamente e costruire in modo intelligente.

Effettuare un investimento iniziale il più piccolo possibile consente ai team di prodotto di testare ampiamente e costruire in modo intelligente.

Un esempio di Lotto Party è stata la mancanza di rilevabilità intorno al prodotto. La maggior parte degli utenti su una piattaforma si trova in quella che chiamiamo la nostra esperienza di "gioco" e Lotto Party era abbastanza separato da quell'esperienza. Se portassimo Lotto Party maggiormente nell'esperienza di gioco, che impatto avrebbe? Quella mossa avrebbe richiesto un notevole aumento dell'ingegneria e di conseguenza un investimento significativo.

La nostra mentalità sperimentale porta tutti (prodotto, ingegneria, domande e risposte, chiunque sia coinvolto nel processo) a pensare di semplificare questo esperimento per ottenere le migliori informazioni dal più piccolo investimento. In Experiment, abbiamo visto che incorporare Lotto Play nell'esperienza di gioco ha quasi raddoppiato le vendite di Lotto Party e più che raddoppiato il numero di gruppi creati. Investire ulteriormente in questo è stato un gioco da ragazzi.

Il pubblico aumenta il valore delle transazioni con carrelli più personalizzati

Utilizziamo i segmenti di pubblico per fornire consigli sui carrelli più intelligenti, che includiamo nella comunicazione via e-mail e anche nel flusso di acquisto. Che si tratti di qualcosa che l'utente ha acquistato in passato o che sta per acquistare, offriamo prodotti aggiuntivi che potrebbero piacergli o un suggerimento come "Riproduci questo biglietto che hai già giocato". È una svolta più intelligente su quella classica domanda: "Vuoi patatine con quello?" Il pubblico sa che questo particolare cliente non vuole le patatine fritte, ma gli piacciono i milkshake. Sarebbe piuttosto difficile costruire il nostro framework algoritmico per capire i desideri dell'utente, ma Amplitude ce lo fornisce.

Più è personalizzato il consiglio, più è probabile che l'utente lo selezioni.

I consigli in Audiences, che sono forniti da Amazon Personalize, si ripagano facilmente da soli. Più è personalizzato il consiglio, più è probabile che l'utente lo selezioni. Jumbo lo sa perché avevamo posizionamenti del carrello prima di iniziare a utilizzare Pubblico e da allora quei posizionamenti hanno funzionato molto meglio.

Circa otto mesi fa, ho avuto un'idea sui prodotti nei nostri posizionamenti nel carrello. In precedenza, i posizionamenti del carrello si concentravano su un sottoinsieme di prodotti relativi a lotterie di beneficenza, ma volevo estenderlo a tutti i nostri prodotti e lasciare che il pubblico decidesse cosa è meglio per ciascun cliente. Ecco, abbiamo assistito a un aumento dei clic e dei valori delle transazioni. Con Audiences, più opzioni fornisci, più persone colpirai.

Conserva gli utenti esistenti e fai scommesse intelligenti per vincerne di nuovi

Tale personalizzazione è significativa anche per l'integrazione di Amplitude con Braze, che utilizziamo per la messaggistica. Se pensi al nostro motore di crescita, abbiamo tutti questi cicli di acquisizione che generano clienti, ma l'altro lato di esso, il nucleo del nostro motore, è la fidelizzazione e il coinvolgimento, ed è qui che si trova Braze. Essere più intelligenti nel sapere quando inviare un messaggio a un utente fa la differenza ed è altrettanto importante conoscere il canale giusto. Se la persona utilizza frequentemente una particolare app, probabilmente ha più senso inviarle una notifica push o un messaggio in-app piuttosto che un'e-mail.

Braze è lì per aiutarci a continuare i cicli di abitudine. Definiamo un ciclo di abitudine come un cliente che è un giocatore attivo per i due mesi dopo l'attivazione. Se giocano per due mesi, sono diventati un giocatore abituale. Usiamo Braze per attivare quei loop di abitudine e farli girare per guidare la nostra fidelizzazione. Ma per fare questo, dobbiamo avere i migliori dati che fluiscono in Braze. Analytics ci aiuta a farlo creando coorti più intelligenti e personalizzando i contenuti. Più possiamo essere specifici su questo contenuto, sui tempi e sulla consegna, migliori saranno i risultati di quelle campagne.

Ho imparato molto lavorando in Jumbo e ho una prospettiva completamente nuova sulla crescita. Anche lavorare con Amplitude è stata una grande vittoria. Non avremmo visto l'aumento degli utenti attivi mensili per Lotto Party senza Ampiezza. La piattaforma ci consente di piazzare le scommesse più intelligenti.