Bezpieczniejsze zakłady poprzez optymalizację produktu za pomocą Analytics

Jako menedżerowie produktu (PM) zasadniczo stawiamy na najlepszą ścieżkę rozwoju naszych produktów. Ale nie wystarczy po prostu zrzucić wszystkie pieniądze na jedną rzecz. PM muszą przede wszystkim zrozumieć, jak dokonywać najmądrzejszych zakładów, a następnie określić, co zadziałało, a co nie, aby poprawić szanse na następną rundę.

W Jumbo Interactive zwykle myślimy o strategii produktu w kategoriach ofensywnych i defensywnych zakładów. Jumbo opracowuje rozwiązania umożliwiające najlepsze na świecie doświadczenia loteryjne, a ja pracuję z Jumbo od nieco ponad roku jako PM w przestrzeni wzrostu. Jeśli chodzi o wzrost firmy, prawie wszystkie nasze zakłady będą obraźliwe, więc badam, dodaję lub optymalizuję nasze pętle wzrostu, aby kręcić się lepiej i szybciej.

PM muszą zrozumieć, jak robić inteligentne zakłady, a następnie określić, co zadziałało, a co nie, aby poprawić szanse na następną rundę.

Jednym z naszych produktów jest Lotto Party, dzięki któremu przyjaciele mogą łączyć razem swoje pieniądze, aby mieć większą szansę na wielką wygraną. Lotto Party śledzi, kto i co przyczynił się do konkretnego losowania. W ten sposób, jeśli impreza wygra duże, wszyscy zostaną powiadomieni i automatycznie otrzymają swój kawałek tortu.

Podejście Jumbo do wzrostu polega na podążaniu za wirusowymi pętlami wzrostu zapewnianymi przez produkty takie jak Lotto Party. Ważne jest, aby rosnąć nie tylko liniowo, ale wykładniczo. Lotto Party zapewnia złożony wzrost: ktoś zaprasza swoich znajomych do wzięcia udziału, a następnie podzbiór tych znajomych stworzy własne imprezy lotto i zaprosi więcej znajomych.

Mechanizm wzrostu Jumbo zawiera kilka takich wirusowych pętli wzrostu, które są następnie uzupełniane przez płatne pętle reklamowe: Płatne reklamy generują leady, które generują kapitał, który następnie wydajemy na znalezienie większej liczby leadów. Płatne i wirusowe — te dwie rzeczy działają w tandemie.

Aby bez obaw dokonywać tych zakładów, stymulować odkrywanie i mierzyć nasz sukces, polegamy na Amplitudzie. W ciągu ostatniego roku zaobserwowaliśmy 40% wzrost liczby aktywnych użytkowników na Lotto Party w miesiącu, co w dużej mierze można przypisać spostrzeżeniom uzyskanym dzięki analizie amplitudy, eksperymencie amplitudy i odbiorcom amplitudy.

Analytics zapewnia, że ​​wszyscy są na tej samej stronie

Najważniejszą rzeczą, jaką robimy w Analytics, jest mierzenie naszych wskaźników wyprzedzających i opóźniających. Tak więc jednym z kluczowych wskaźników, które monitorujemy dla Lotto Party, jest liczba utworzonych grup, ponieważ nowa grupa oznacza zarówno koniec pętli, jak i początek nowej. Czy osoba, która założyła nową grupę, niedawno dołączyła do partii, czy nie? To pomaga nam zrozumieć mechanizm wzrostu towarzyszącego.

Ale nie tylko ja patrzę na te informacje w Analytics: dotyczą one całej firmy. Każdy zespół inżynierów, z którym pracuję, ma dostęp do moich dashboardów i wykresów i zachęcam ich do częstego ich przeglądania. Zarządzam ich przestrzeniami zespołowymi i tworzę notatnik dla każdego postawionego przez nas zakładu. Wrzucę wszystkie analizy do tego notatnika, aby zespół inżynierów mógł je przejrzeć.

Tworzę również krótkie filmy Loom dla konkretnego pulpitu nawigacyjnego lub wykresu w Analytics, aby zwięźle wyjaśnić, co w przeciwnym razie może być skomplikowanymi informacjami. Dzielę się nimi ze wszystkimi, w tym inżynierami, analitykami danych, innymi PMami, moimi szefami i szefami mojego szefa. Zamiast próbować zaplanować osiem różnych spotkań, mogę udostępnić wszystkim czterominutowy film z analizą. Każdy może zobaczyć, co robię, wyniki tej pracy, co pomaga nam dokładniej określić nasze intuicyjne założenia dotyczące tego, w jaki sposób użytkownicy faktycznie korzystają z produktu.

Eksperyment mówi nam, na które inwestycje warto iść all-in

To, co widzimy w Analytics, w naturalny sposób prowadzi do testów A/B w eksperymencie. Testy te pozwalają nam tworzyć hipotezy, określać, czy są prawdziwe, czy fałszywe, a następnie wiedzieć, gdzie wejść all-in (lub gdzie się wycofać). Eksperyment zwiększa naszą pewność w stawianiu konkretnego zakładu, ponieważ daje nam jasną analizę ryzyka i korzyści.

Zaczynamy od stworzenia dokumentacji projektowej eksperymentu, w której wyjaśniamy problem i dostarczamy jak najwięcej dowodów potwierdzających problem i możliwe możliwości. Następnie piszemy hipotezę i wywołujemy podstawową metrykę, którą ogólnie opisujemy jako metrykę kompromisową. W większości eksperymentów podajemy też kilka dodatkowych danych. Te informacje określą, jak wygląda sukces lub porażka, a także wielkość próbki, której potrzebujemy do istotności statystycznej, która następnie określa czas trwania eksperymentu.

Dokument dotyczący projektowania eksperymentu zawiera dokładne definicje tego, co testujemy w Eksperymencie. Pomaga nam również ustalać priorytety eksperymentów. Eksperyment trwający trzy miesiące jest dość powolny. Jeśli wiemy, że eksperyment będzie trwał tak długo, lepiej zrobić kilka tygodniowych eksperymentów przed rozpoczęciem dłuższego.

Projektowanie eksperymentów ma znaczenie, ponieważ chcemy budować wszystko szybko, brudno i tanio. Chcemy wydobyć coś tak szybko, jak to możliwe, abyśmy mogli zebrać więcej danych, a dokonanie jak najmniejszej początkowej inwestycji, jak to tylko możliwe, pozwoli nam intensywnie testować i mądrze budować.

Dokonanie tak małej początkowej inwestycji, jak to możliwe, pozwala zespołom produktowym na szeroko zakrojone testowanie i inteligentne tworzenie.

Jednym z przykładów z Lotto Party był brak wykrywalności wokół produktu. Większość użytkowników platformy znajduje się w tym, co nazywamy naszym doświadczeniem „zabawy”, a Lotto Party było dość oddzielone od tego doświadczenia. Gdybyśmy wprowadzili Lotto Party bardziej do gry, jaki by to miało wpływ? Ten ruch wymagałby znacznego wsparcia prac inżynieryjnych i w rezultacie znacznych inwestycji.

Nasz sposób myślenia o eksperymencie sprawia, że ​​każdy — produkt, inżynieria, pytania i odpowiedzi, osoby zaangażowane w ten proces — zastanawia się nad usprawnieniem tego eksperymentu, aby uzyskać jak najlepszy wgląd w najmniejszą inwestycję. W Eksperymencie zauważyliśmy, że włączenie Lotto Play do gry niemal podwoiło sprzedaż Lotto Party i ponad dwukrotnie zwiększyło liczbę utworzonych grup. Dalsze inwestowanie w to było oczywiste.

Odbiorcy zwiększają wartość transakcji dzięki bardziej spersonalizowanym koszykom

Używamy Audiences, aby tworzyć inteligentniejsze rekomendacje dotyczące koszyka, które uwzględniamy w zasięgu e-maili, a także w przepływie zakupów. Niezależnie od tego, czy jest to coś, co użytkownik kupił w przeszłości, czy zamierza kupić, oferujemy dodatkowe produkty, które mogą mu się spodobać, lub sugestie, takie jak „Odtwórz ponownie ten bilet, w który grałeś wcześniej”. To sprytniejszy zwrot w stosunku do tego klasycznego pytania: „Czy chcesz do tego frytki?” Widzowie wiedzą, że ten konkretny klient nie chce frytek, ale lubi koktajle mleczne. Trudno byłoby zbudować własne ramy algorytmiczne, aby poznać pragnienia użytkownika, ale Amplitude dostarcza nam go.

Im bardziej spersonalizowana rekomendacja, tym większe prawdopodobieństwo, że użytkownik ją wybierze.

Rekomendacje w Audiences, które są obsługiwane przez Amazon Personalizuj, łatwo się opłacają. Im bardziej spersonalizowana rekomendacja, tym większe prawdopodobieństwo, że użytkownik ją wybierze. Jumbo wie o tym, ponieważ mieliśmy miejsca docelowe koszyka, zanim zaczęliśmy korzystać z funkcji Odbiorcy i od tego czasu miejsca te działały znacznie lepiej.

Jakieś osiem miesięcy temu wpadłem na pomysł na temat produktów w naszych pozycjach koszyka. Wcześniej umieszczanie koszyka koncentrowało się na podzbiorze produktów związanych z loteriami charytatywnymi, ale chciałem rozszerzyć go na wszystkie nasze produkty i pozwolić odbiorcom zdecydować, co jest najlepsze dla każdego klienta. I oto zauważyliśmy wzrost liczby kliknięć i wartości transakcji. Dzięki Odbiorcom im więcej opcji zapewnisz, tym więcej osób trafisz.

Utrzymaj dotychczasowych użytkowników i obstawiaj mądrze, aby wygrać nowych

Ta personalizacja jest również ważna dla integracji Amplitude z Braze, którego używamy do przesyłania wiadomości. Jeśli pomyślisz o naszym silniku wzrostu, mamy wszystkie te pętle pozyskiwania klientów, które generują klientów, ale po drugiej stronie – rdzeniem naszego silnika – jest utrzymanie i zaangażowanie, i tu właśnie znajduje się Braze. Mądrzejsza wiedza o tym, kiedy wysłać wiadomość do użytkownika, ma ogromne znaczenie i równie ważna jest znajomość właściwego kanału. Jeśli dana osoba często korzysta z określonej aplikacji, prawdopodobnie bardziej sensowne jest wysłanie jej powiadomienia push lub wiadomości w aplikacji niż wiadomości e-mail.

Braze jest po to, aby pomóc nam kontynuować pętle nawyków. Pętlę nawyku definiujemy jako klienta będącego aktywnym graczem przez dwa miesiące po aktywacji. Jeśli grają przez dwa miesiące, stali się nałogowym graczem. Używamy Braze, aby uruchomić te pętle nawyków i utrzymać je w ruchu, aby zwiększyć naszą retencję. Ale żeby to zrobić, musimy mieć najlepsze dane napływające do Braze. Analytics pomaga nam w tym, tworząc inteligentniejsze kohorty i personalizując treści. Im bardziej konkretni jesteśmy w odniesieniu do tej treści, jej czasu i dostawy, tym lepsze wyniki tych kampanii.

Wiele się nauczyłem pracując w Jumbo i mam zupełnie nowe spojrzenie na rozwój. Współpraca z Amplitude również była ogromnym sukcesem. Nie zauważylibyśmy wzrostu liczby aktywnych użytkowników w miesiącu Lotto Party bez Amplitude. Platforma umożliwia nam obstawianie najmądrzejszych zakładów.