Od korelacji do związku przyczynowego: samoobsługowa analiza konwersji poprawiła konwersje 28-krotnie

W Brainly uwielbiamy się uczyć. Ma zasięg — jesteśmy wiodącą globalną aplikacją edukacyjną, z 300 milionami użytkowników miesięcznie. Nasze witryny i aplikacje umożliwiają uczniom, rodzicom i nauczycielom zadawanie pytań domowych i odpowiadanie na nie. Zachęcamy też członków naszej społeczności internetowej do wzajemnego odpowiadania na pytania.

Za kulisami jesteśmy ciekawi i zorientowani na dane oraz wierzymy w zadawanie jak największej liczby pytań, aby rozwijać naszą działalność. Wykorzystujemy dane do stymulowania rozwoju produktów, ale zrozumienie zdarzeń użytkowników, interpretacja analiz i powiązanie obu tych elementów z naszymi wynikami finansowymi może być trudne.

Napędzani ciekawością, ale powstrzymywani przez nasze narzędzia do analizy danych

Jako kierownik ds. analizy danych w firmie Brainly pomagam naszym zespołom zrozumieć trendy, zbadać korelacje i ustalić związek przyczynowy. Wydobycie praktycznych spostrzeżeń z naszych danych przy poprzedniej konfiguracji było wyzwaniem, ponieważ byliśmy sklepem Google Analytics. Poprosiliśmy naszych analityków danych o napisanie zapytań w językach SQL, Python i R, a następnie zaprezentowanie wyników w postaci wykresów i innych wizualizacji zrozumiałych dla menedżerów produktu i interesariuszy wewnętrznych. Jesteśmy szybko rozwijającym się środowiskiem, a odpowiedzi przychodziły zbyt wolno. Nasi analitycy byli przeciążeni i często czekaliśmy tydzień lub dwa na odpowiedź na pilne pytanie.

Wyodrębnianie danych z Google Analytics było obciążeniem. Nasze lejki są rozbudowane, a naszych użytkowników dzielimy na różne kohorty behawioralne. Podczas gdy ręcznie kodowane zapytania dawały wyniki (choć powoli), interfejs Google Analytics nie był przyjazny dla użytkownika i dodawał warstwę złożoności. Nie mogliśmy wizualizować naszych danych bez przedzierania się przez szereg sprzecznych z intuicją menu, a nawet wtedy nasze opcje segmentacji i wizualizacji były bardzo ograniczone. Mieliśmy mnóstwo informacji, ale nie mogliśmy zagłębić się w nasze dane bez przeskakiwania przez obręcze.

Od 10 do 80 użytkowników tygodniowo w kilka miesięcy

Zaczęliśmy szukać alternatywnych platform analitycznych. Zaprosiliśmy kilku dostawców do demonstracji ich produktów, ale mój szef zawsze miał na uwadze Amplitude Analytics, a zespół nie zawiódł. Pokazali nam przypadki użycia, których nie braliśmy pod uwagę, i utworzyli fikcyjne dane, aby zademonstrować, w jaki sposób możemy segmentować i wizualizować dane użytkowników Brainly.

Przyjazne dla użytkownika narzędzie analityczne odciąża zespoły analityczne i udostępnia dane użytkownika każdemu, kto ich potrzebuje.

Co najważniejsze, te demonstracje pomogły firmie zdać sobie sprawę, że nasze zespoły mogą korzystać z samoobsługowych narzędzi analitycznych Amplitude do pobierania danych użytkowników, zamiast prosić o to naszych przeciążonych analityków. Znaleźliśmy narzędzie do współpracy, które odciążyło nasz zespół analityczny i udostępniło dane użytkowników każdemu, kto ich potrzebował.

Uruchomiliśmy Analytics w lutym 2022 r. z 10 aktywnymi tygodniowo użytkownikami. Do listopada liczba ta wzrosła do 80 aktywnych tygodniowo użytkowników i 140 zarejestrowanych użytkowników. Widzieliśmy, jak samoobsługowy element platformy zmienia sposób interakcji zespołów z danymi. Nasze różne zespoły, w tym nasi menedżerowie produktów, używają Analytics do wyodrębniania wskaźników ścieżki i konwersji bez czekania na analityków. Nasi inżynierowie mobilni, którzy tworzą zdarzenia dla użytkowników, wykorzystują je do celów wdrożeniowych, a nasz zespół ds. kontroli jakości wykorzystuje platformę do sprawdzania, czy zdarzenia działają poprawnie w czasie rzeczywistym.

Jednak największy wpływ wywarł na nasze tworzenie treści.

Przekształcanie naszej podstawowej treści

Rdzeniem Brainly jest nasz produkt Community Q&A. Uczniowie logują się i zadają pytania, a inni uczniowie mogą na nie odpowiadać. Każda odpowiedź przynosi punkty, zachęcając użytkowników do zadawania własnych pytań, odblokowywania stron i poprawy statusu społeczności. Nasz zespół ds. treści weryfikuje te odpowiedzi, nagradzając poprawne zielonymi czekami. Te zweryfikowane przez ekspertów odpowiedzi są następnie prezentowane jako odpowiedzi natychmiastowe, dzięki czemu użytkownicy nie muszą przeszukiwać naszej bazy danych w poszukiwaniu rozwiązania. Podejrzewaliśmy, że natychmiastowe odpowiedzi poprawiły wrażenia użytkownika i skłoniły uczniów do zapisania się na bezpłatny okres próbny, ale nie mieliśmy danych liczbowych, aby potwierdzić, czy jest to korelacja, czy związek przyczynowy.

Dzięki Analytics ustaliliśmy, że użytkownicy, którzy widzą więcej natychmiastowych odpowiedzi w ciągu pierwszych siedmiu dni w witrynie lub aplikacji, są znacznie bardziej skłonni do zapisania się na bezpłatny okres próbny niż ci, którzy ich nie widzą. Współczynnik konwersji był fantastyczny i znacznie wyższy niż się spodziewaliśmy. Uświadomienie sobie tego sprawiło, że poprawa naszych zweryfikowanych odpowiedzi i zwiększenie współczynnika natychmiastowych odpowiedzi stały się naszymi najważniejszymi priorytetami dotyczącymi treści. W tym celu stworzyliśmy bazę danych natychmiastowych odpowiedzi, które zostały zweryfikowane przez nasz zespół ds. treści.

Obecnie wykorzystujemy sztuczną inteligencję (AI) i uczenie maszynowe (ML), aby automatycznie weryfikować odpowiedzi, które podobają się lub które otrzymały pozytywną ocenę od określonej liczby osób, ponieważ istnieje większe prawdopodobieństwo, że są to odpowiedzi wysokiej jakości.

Testy A/B doładowania za pomocą Amplitude Experiment

Niedawno wdrożyliśmy Eksperyment Amplitudy, aby uprościć testy A/B i przeprowadzać równoległe eksperymenty bez narażania użytkowników na więcej niż jeden scenariusz testowy naraz. Wcześniej używaliśmy Google Optimize do przeprowadzania tych testów w naszej witrynie oraz Firebase do testowania naszej aplikacji. Znaleźliśmy włamanie, które przesłało dane testowe Google Optimize do Analytics, ale nie było sposobu na przekazanie danych Firebase. Eksperyment pozwala nam integrować testy i analizy w ramach jednego ekosystemu, co czyni go oczywistym.

W pierwszym miesiącu korzystania z Eksperymentu przeprowadziliśmy sześć eksperymentów, aby przetestować różne hipotezy, z których jedna demonstruje moc produktu. Po tym, jak zaczęliśmy optymalizować i nadawać priorytet naszym zweryfikowanym odpowiedziom, odsetek odpowiedzi błyskawicznych w wynikach wyszukiwania wzrósł z 5% do 10%. Korzystając z Eksperymentu, potwierdziliśmy, że zwiększona liczba użytkowników widziała ponad pięć natychmiastowych odpowiedzi i że odpowiednio wzrosły współczynniki konwersji.

Mamy nadzieję udostępnić platformę wszystkim w Brainly do końca 2022 roku.

Potężne funkcje i bezproblemowe integracje

Najczęściej używanymi funkcjami Analytics są kohorty behawioralne i wykresy segmentacji. Między innymi nasi menedżerowie produktu tworzą wysoce spersonalizowane segmenty użytkowników, aby zrozumieć, w jaki sposób różne kohorty behawioralne wchodzą w interakcje z nowymi i istniejącymi funkcjami. Wykresy retencji są równie popularne i używamy ich, aby zobaczyć, jak często użytkownicy wracają, aby tworzyć nowe treści i czy angażują się w cotygodniowe interakcje edukacyjne. Obejmują one czytanie, odpowiadanie na pytania lub zadawanie pytań oraz sesje korepetycji. Jeśli ktoś angażuje się w co najmniej jedną taką akcję tygodniowo, oznacza to, że ma pozytywne doświadczenia użytkownika, co prowadzi do kumulatywnej nauki.

Do porównywania segmentów użytkowników używam formuł w sekcji segmentów Analytics. Uważam też, że tabele danych są niezwykle przydatne, ponieważ mogę analizować określone wskaźniki, takie jak konwersje, i łączyć różne strony, funkcje i użytkowników w wizualizacje, które zapewniają głębszy wgląd w nasze ścieżki.

Analytics bezproblemowo integruje się z innymi narzędziami analitycznymi, w szczególności z Branch.io i Snowflake. Używamy Branch.io do śledzenia niezalogowanych użytkowników, którzy migrują z naszej strony internetowej do naszej aplikacji mobilnej. To wielka wygrana, ponieważ możemy zobaczyć, z jakimi eksperymentami byli narażeni w sieci i określić, jakie treści i funkcje najlepiej kierują użytkowników do aplikacji.

Używamy Snowflake dla wszystkich naszych danych zaplecza, ale integracja z Amplitude pozwala nam wymieniać zdarzenia użytkownika. Na przykład, gdy użytkownik B komentuje odpowiedź użytkownika A na pytanie, Analytics generuje zdarzenie dla komentarza użytkownika B – ale nie może wygenerować zdarzenia, które mówi, że użytkownik A otrzymał komentarz, ponieważ użytkownik B zainicjował sesję. Dzięki Snowflake możemy odwrócić równanie i utworzyć zdarzenie pasywne, które wskazuje, że użytkownik A otrzymał komentarz od użytkownika B, i przekazać te informacje z powrotem do Analytics. Ta czynność daje nam lepszy obraz tego, jak zmieniło się zachowanie Użytkownika A po otrzymaniu komentarza. To niesamowite, jak wiele więcej możemy się nauczyć dzięki tej prostej zmianie perspektywy.

Nasza Gwiazda Polarna i kolejne kroki

W ciągu zaledwie siedmiu miesięcy powiększyliśmy naszą bazę aktywnych użytkowników do prawie 120 osób i zbudowaliśmy społeczność Amplitude w Brainly. Mamy kanał Slack, na którym użytkownicy Amplitude mogą brać udział w dyskusjach na temat platformy w czasie rzeczywistym oraz stronę Confluence z artykułami instruktażowymi, poradami i sztuczkami oraz innymi ważnymi linkami. Stworzyliśmy również grupę „Ampliteers”, zaawansowanych użytkowników, którzy służą jako ambasadorzy i mentorzy dla pracowników Brainly, którzy są nowicjuszami w Amplitude. Zawsze mieliśmy kulturę opartą na pytaniach, ale teraz jest ona zdemokratyzowana i nie ogranicza się do naszych analityków danych.

Segmentując użytkowników na podstawie ich aktywności, a nie danych demograficznych, możesz zapewnić bardziej spersonalizowane wrażenia.

Amplituda pomogła nam znaleźć naszą Gwiazdę Polarną. Kiedy zdaliśmy sobie sprawę, że natychmiastowe odpowiedzi napędzają konwersje, zmieniliśmy i przyjęliśmy nową strategię rozwoju opartą na efekcie sieciowym. Im więcej pytań odpowiadają nasi użytkownicy, tym więcej osób przyciąga naszą stronę. Zwiększona zawartość generowana przez użytkowników poprawia również nasz ranking SEO.

To nie jedyna zmiana. Tworzymy nowe kohorty behawioralne w Amplitude, aby podzielić użytkowników według rodzaju i częstotliwości działań, które wykonują w naszej witrynie. Dzieląc ich na segmenty na podstawie ich aktywności, a nie danych demograficznych, mamy nadzieję stworzyć bardziej spersonalizowane doświadczenie, które poprowadzi ich przez edukację w tym roku i w nadchodzących latach. Chcemy ustanowić długoterminową podróż edukacyjną zamiast po prostu udzielać natychmiastowej pomocy indywidualnej. To ekscytujący rozwój i jestem przekonany, że rozwinie się w nowe funkcje, które jeszcze bardziej odróżnią Brainly od innych witryn i aplikacji edukacyjnych.

Amplituda zmieniła zdolność Brainly do wykorzystywania danych. Mamy łatwiejszy i szybszy dostęp do danych użytkowników i zdarzeń oraz możemy je wizualizować na niezliczone sposoby, które pozwalają nam weryfikować informacje i generować praktyczne spostrzeżenia. Nasi pracownicy mają narzędzia do zadawania trafnych pytań, które zaspokajają ich ciekawość i prowadzą do lepszych wyników dla uczniów zależnych od naszej platformy.