Efectuați pariuri mai sigure prin optimizarea produsului dvs. cu Analytics

În calitate de manageri de produs (PM), pariem în esență pe cea mai bună cale de urmat pentru produsele noastre. Dar nu este suficient să arunci toți banii la un singur lucru. PM trebuie să înțeleagă cum să facă cele mai inteligente pariuri în primul rând și apoi să determine ce a funcționat și ce nu pentru a îmbunătăți cotele pentru runda următoare.

La Jumbo Interactive, avem tendința de a ne gândi la strategia de produs în termeni de pariuri ofensive și defensive. Jumbo dezvoltă soluții pentru a permite cele mai bune experiențe de loterie din lume, iar eu sunt cu Jumbo de puțin peste un an acum, ca prim-ministru în spațiul de creștere. În ceea ce privește creșterea afacerii, aproape toate pariurile noastre vor fi ofensive, așa că explorez, adaug sau optimizez buclele noastre de creștere pentru a le face să se rotească mai bine și mai rapid.

PM trebuie să înțeleagă cum să facă pariuri inteligente și apoi să determine ce a funcționat și ce nu pentru a îmbunătăți cotele pentru runda următoare.

Unul dintre produsele noastre este Lotto Party, care este o modalitate prin care prietenii își unesc banii împreună pentru o șansă mai bună la marele jackpot. Lotto Party ține evidența cine a contribuit cu ce pentru o anumită extragere. În acest fel, dacă o petrecere câștigă mare, toată lumea este anunțată și primește automat felia de plăcintă.

Abordarea Jumbo față de creștere este să meargă după buclele de creștere virale oferite de produse precum Lotto Party. Este important să crești nu doar liniar, ci exponențial. Lotto Party oferă o creștere combinată: cineva își invită prietenii să participe, iar apoi un subset dintre acești prieteni își vor crea propriile petreceri la loto și vor invita mai mulți prieteni.

Motorul de creștere Jumbo include câteva dintre aceste bucle de creștere virale, care sunt apoi completate de bucle de anunțuri plătite: anunțurile plătite generează clienți potențiali, care generează capital, pe care apoi îl cheltuim pentru a găsi mai mulți clienți potențiali. Plătit și viral — cei doi lucrează în tandem.

Pentru a face aceste pariuri cu încredere, a promova descoperirea și a ne măsura succesul, ne bazăm pe Amplitude. Am observat o creștere cu 40% a numărului de utilizatori activi lunari în Lotto Party în ultimul an, multe dintre acestea pot fi atribuite informațiilor pe care le-am obținut din Amplitude Analytics, Amplitude Experiment și Amplitude Audiences.

Analytics asigură că toată lumea este pe aceeași pagină

Principalul lucru pe care îl facem cu Analytics este măsurarea indicatorilor noștri lideri și întârziați. Deci, o măsură cheie pe care o monitorizăm pentru Lotto Party este câte grupuri au fost create, deoarece un grup nou înseamnă atât sfârșitul unei bucle, cât și începutul uneia noi. A fost persoana care a început noul grup un membru recent al partidului sau nu? Asta ne ajută să înțelegem mecanismul de creștere însoțitor.

Dar nu mă uit doar la aceste informații în Analytics: sunt la nivelul întregii companii. Fiecare echipă de ingineri cu care lucrez are acces la tablourile de bord și diagramele mele și îi încurajez să le privească des. Gestionez spațiile lor de echipă și creez un Notebook pentru fiecare pariu pe care îl plasăm. Voi arunca toate analizele în acel notebook pentru ca echipa de ingineri să le revizuiască.

De asemenea, fac scurte videoclipuri Loom pentru un anumit tablou de bord sau o diagramă în Analytics pentru a explica succint ceea ce altfel ar putea fi informații complicate. Le împărtășesc tuturor, inclusiv inginerilor, analiștilor de date, altor PM, șefilor mei și șefilor șefului meu. În loc să încerc să programez opt întâlniri diferite, pot împărtăși tuturor un videoclip de patru minute cu analizele. Toată lumea poate vedea ceea ce fac, rezultatele acestui lucru și ne ajută să facem ipotezele noastre mai precise despre modul în care utilizatorii folosesc efectiv produsul.

Experimentul ne spune ce investiții merită să facem all-in

Ceea ce vedem în Analytics duce în mod natural la testarea A/B în Experiment. Aceste teste ne permit să creăm declarații de ipoteză, să stabilim dacă sunt adevărate sau false și apoi să știm unde să mergem all-in (sau unde să ne retragem). Experimentul ne mărește încrederea în plasarea unui anumit pariu, deoarece ne oferă o analiză clară risc-beneficiu.

Începem prin a crea un document de proiectare a experimentului în care explicăm problema și furnizăm cât mai multe dovezi de susținere cu privire la problemă și posibila oportunitate. Apoi scriem o ipoteză și denumim metrica primară, pe care o descriem în general ca o metrică de compromis. În majoritatea experimentelor, listăm și câteva valori secundare. Aceste informații vor determina cum arată succesul sau eșecul, precum și dimensiunea eșantionului de care avem nevoie pentru semnificația statistică, care determină apoi durata experimentului.

Documentul de proiectare a experimentului ne oferă definiții puternice pentru ceea ce testăm în Experiment. De asemenea, ne ajută să stabilim prioritățile experimentelor. Un experiment de trei luni este destul de lent. Dacă știm că un experiment va dura atât de mult, este mai bine să scoatem din cale câteva experimente de o săptămână înainte de a începe cu cel mai lung.

Designul experimental contează, deoarece dorim să construim totul rapid, murdar și ieftin. Dorim să scoatem ceva cât mai curând posibil, astfel încât să putem colecta mai multe date și să facem o investiție inițială cât mai mică posibil ne permite să testăm extensiv și să construim inteligent.

Efectuarea unei investiții inițiale cât mai mici posibil permite echipelor de produse să testeze extensiv și să construiască inteligent.

Un exemplu de la Lotto Party a fost lipsa de descoperire a produsului. Majoritatea utilizatorilor de pe o platformă se află în ceea ce numim experiența noastră „de joc”, iar Lotto Party a fost destul de divorțat de această experiență. Dacă am aduce Lotto Party mai mult în experiența de joc, ce impact ar avea asta? Această mișcare ar fi necesitat o creștere semnificativă a ingineriei și, ca urmare, o investiție semnificativă.

Mențiunea noastră de experiment îi aduce pe toți — produs, inginerie, întrebări și răspunsuri, oricine este implicat în proces — să se gândească la eficientizarea acestui experiment pentru a obține cele mai bune informații din cea mai mică investiție. În Experiment, am văzut că încorporarea Lotto Play în experiența de joc aproape a dublat vânzările pentru Lotto Party și a dublat mai mult decât numărul de grupuri create. A investi în continuare în acest lucru a fost o idee deloc.

Publicul crește valoarea tranzacției cu cărucioare mai personalizate

Folosim segmente de public pentru a face recomandări mai inteligente pentru coșuri, pe care le includem în comunicarea prin e-mail și, de asemenea, în fluxul de achiziții. Indiferent dacă este ceva ce utilizatorul a cumpărat în trecut sau este pe cale să cumpere, oferim produse suplimentare pe care le-ar putea plăcea sau o sugestie precum „Redau acest bilet pe care l-ai jucat înainte”. Este o întorsătură mai inteligentă a acestei întrebări clasice, „Vrei cartofi prăjiți cu asta?” Publicul știe că acest client anume nu vrea cartofi prăjiți, dar le plac milkshake-urile. Ar fi destul de greu să ne construim propriul cadru algoritmic pentru a ne da seama de dorințele utilizatorului, dar Amplitude ni-l furnizează.

Cu cât recomandarea este mai personalizată, cu atât este mai probabil ca utilizatorul să o selecteze.

Recomandările din Audience, care sunt susținute de Amazon Personalize, se plătesc cu ușurință. Cu cât recomandarea este mai personalizată, cu atât este mai probabil ca utilizatorul să o selecteze. Jumbo știe acest lucru deoarece am avut destinații de plasare în coș înainte de a începe să folosim segmente de public, iar acele destinații de plasare au avut performanțe mult mai bune de atunci.

În urmă cu aproximativ opt luni, am avut o idee despre produsele din plasarea coșului nostru. Anterior, plasările coșului se concentrau pe un subset de produse legate de tombolele caritabile, dar am vrut să-l extind la toate produsele noastre și să las publicul să decidă ce este mai bine pentru fiecare client. Iată, am observat o creștere a clicurilor și a valorilor tranzacțiilor. Cu segmentele de public, cu cât oferiți mai multe opțiuni, cu atât veți atinge mai multe persoane.

Păstrați utilizatorii existenți și faceți pariuri inteligente pentru a câștiga alții noi

Această personalizare este, de asemenea, semnificativă pentru integrarea Amplitude cu Braze, pe care o folosim pentru mesagerie. Dacă vă gândiți la motorul nostru de creștere, avem toate aceste bucle de achiziție care generează clienți, dar cealaltă parte a acestuia - nucleul motorului nostru - este păstrarea și implicarea, și aici se află Braze. A fi mai inteligent în a ști când să trimiți un mesaj unui utilizator face toată diferența și este la fel de important să cunoști canalul potrivit. Dacă persoana respectivă folosește frecvent o anumită aplicație, probabil că are mai mult sens să îi trimiți o notificare push sau un mesaj în aplicație decât un e-mail.

Braze este acolo pentru a ne ajuta să continuăm buclele obiceiurilor. Definim o buclă de obicei ca un client care este un jucător activ timp de două luni după activare. Dacă joacă două luni, au devenit un jucător obișnuit. Folosim Braze pentru a declanșa acele bucle de obicei și pentru a le menține să se rotească pentru a ne stimula reținerea. Dar pentru a face acest lucru, trebuie să avem cele mai bune date care curg în Braze. Analytics ne ajută să facem acest lucru, creând cohorte mai inteligente și personalizând conținutul. Cu cât putem fi mai specifici cu privire la acest conținut, timpul și livrarea acestuia, cu atât rezultatele acestor campanii vor fi mai bune.

Am învățat multe lucrând la Jumbo și am o perspectivă complet nouă asupra creșterii. Lucrul cu Amplitude a fost, de asemenea, un câștig uriaș. Nu am fi observat creșterea numărului de utilizatori activi lunari pentru Lotto Party fără Amplitude. Platforma ne permite să plasăm cele mai inteligente pariuri.