De la corelație la cauzalitate: adoptarea de 28 de ori a conversiilor îmbunătățite ale analizei cu autoservire

La Brainly, ne place să învățăm. Vine cu teritoriul – suntem o aplicație educațională de top la nivel mondial, cu 300 de milioane de utilizatori lunari. Site-urile și aplicațiile noastre permit elevilor, părinților și profesorilor să pună și să răspundă la întrebări legate de teme și îi încurajăm pe membrii comunității noastre online să răspundă reciproc la întrebări.

În culise, suntem curioși și bazați pe date și credem în a pune cât mai multe întrebări posibil pentru a ne duce afacerea mai departe. Folosim datele pentru a stimula creșterea produselor, dar înțelegerea evenimentelor utilizatorilor, interpretarea analizelor și legarea ambelor de rezultatul nostru poate fi dificilă.

Impulsat de curiozitate, dar blocat de instrumentele noastre de analiză a datelor

În calitate de manager al analizei datelor Brainly, ajut echipele noastre să înțeleagă tendințele, să exploreze corelațiile și să stabilească cauzalitate. A fost o provocare să extragem informații utile din datele noastre cu configurația noastră anterioară, deoarece eram un magazin Google Analytics. Le-am cere analiştilor noştri de date să scrie interogări în SQL, Python şi R, apoi să-şi prezinte constatările sub formă de diagrame şi alte vizualizări pe care managerii de produs şi părţile interesate interne le-ar putea înţelege. Suntem un mediu cu ritm rapid, iar răspunsurile veneau prea încet. Analiștii noștri erau supraîncărcați și deseori ne-am trezit așteptând o săptămână sau două răspunsul la o întrebare presantă.

Extragerea datelor din Google Analytics a fost o povară. Canalele noastre sunt elaborate și ne segmentăm utilizatorii în diferite cohorte de comportament. În timp ce interogările codificate manual au dat rezultate (deși lent), interfața de utilizare a Google Analytics nu a fost ușor de utilizat și a adăugat un nivel de complexitate. Nu ne puteam vizualiza datele fără să ne luptăm printr-o serie de meniuri contraintuitive și chiar și atunci, opțiunile noastre de segmentare și vizualizare erau extrem de limitate. Aveam o mulțime de informații, dar nu ne-am putut scufunda în datele noastre fără a sări prin cercuri.

De la 10 la 80 de utilizatori săptămânali în câteva luni

Am început să ne uităm la platforme de analiză alternative. Am invitat mai mulți furnizori să-și demonstreze produsele, dar șeful meu a avut întotdeauna în minte Amplitude Analytics, iar echipa nu a dezamăgit. Ne-au arătat cazuri de utilizare pe care nu le-am luat în considerare și au creat date fictive pentru a demonstra cum am putea segmenta și vizualiza datele utilizatorilor Brainly.

Un instrument de analiză ușor de utilizat elimină presiunea din partea echipelor de analiză și pune datele utilizatorilor la dispoziția oricui are nevoie de ele.

Cel mai important, aceste demonstrații au ajutat compania să realizeze că echipele noastre ar putea folosi instrumentele de analiză cu autoservire ale Amplitude pentru a extrage datele utilizatorilor în loc să le ceară analiștilor noștri suprasolicitați să facă acest lucru. Am găsit un instrument de colaborare care a redus o parte din presiunea de pe echipa noastră de analiză și a pus datele utilizatorilor la dispoziția oricui avea nevoie de el.

Am lansat Analytics în februarie 2022, cu 10 utilizatori săptămânali activi. Până în noiembrie, acest număr a crescut la 80 de utilizatori săptămânali activi și 140 de utilizatori înregistrați. Am văzut că elementul de autoservire al platformei a schimbat modul în care echipele interacționează cu datele. Diferitele noastre echipe, inclusiv managerii noștri de produs, folosesc Analytics pentru a extrage valorile de canal și de conversie fără a aștepta analiști. Inginerii noștri mobili, care creează evenimente pentru utilizatori, îl folosesc în scopuri de implementare, iar echipa noastră de QA folosește platforma pentru a verifica evenimentele funcționează corect în timp real.

Cu toate acestea, cel mai mare impact a fost asupra creării noastre de conținut.

Transformarea conținutului nostru de bază

Nucleul Brainly este produsul nostru de întrebări și răspunsuri comunitare. Cursanții se conectează și pun întrebări, iar alți cursanți pot răspunde. Fiecare răspuns câștigă puncte, încurajând utilizatorii să-și pună propriile întrebări, să deblocheze pagini și să-și îmbunătățească statutul comunității. Echipa noastră de conținut verifică aceste răspunsuri, răsplătindu-le pe cele corecte cu verificări verzi. Aceste răspunsuri verificate de experți sunt apoi prezentate ca răspunsuri instantanee, astfel încât utilizatorii să nu fie nevoiți să caute în baza noastră de date o soluție. Am bănuit că răspunsurile instantanee au îmbunătățit experiența utilizatorului și i-au determinat pe studenți să se înscrie pentru o încercare gratuită, dar nu aveam cifrele care să confirme dacă aceasta a fost o corelație sau cauzalitate.

Datorită Analytics, am stabilit că utilizatorii care văd mai multe răspunsuri instantanee în primele șapte zile pe site sau aplicație au șanse semnificativ mai mari să se înscrie pentru o încercare gratuită decât cei care nu văd niciunul. Rata de conversie a fost fantastică și mult mai mare decât ne așteptam. Această realizare a făcut ca îmbunătățirea răspunsurilor noastre verificate și creșterea ratei de potrivire a răspunsurilor instantanee să fie prioritățile noastre de conținut. Pentru a face acest lucru, am construit o bază de date cu răspunsuri instantanee pe care echipa noastră de conținut a verificat-o.

Acum folosim inteligența artificială (AI) și învățarea automată (ML) pentru a verifica automat răspunsurile care sunt apreciate sau au primit o evaluare pozitivă de către un anumit număr de persoane, deoarece există o probabilitate mai mare ca acestea să fie răspunsuri de înaltă calitate.

Supraalimentarea testelor A/B cu Amplitude Experiment

Am adoptat recent Amplitude Experiment pentru a simplifica testarea A/B și a rula experimente concurente fără a expune utilizatorii la mai multe scenarii de testare simultan. Am folosit anterior Google Optimize pentru a rula aceste teste pe site-ul nostru web și Firebase pentru a testa aplicația noastră. Am găsit un hack care a trimis datele de testare Google Optimize către Analytics, dar nu a existat nicio modalitate de a trimite datele Firebase. Experimentul ne permite să integrăm testarea și analiza într-un singur ecosistem, ceea ce face ca acesta să fie o idee simplă.

În prima lună de utilizare a Experiment, am lansat șase experimente pentru a testa diverse ipoteze, dintre care una demonstrează puterea produsului. După ce am început să optimizăm și să prioritizăm răspunsurile noastre verificate, procentul de răspunsuri instant în rezultatele căutării a crescut de la 5% la 10%. Folosind Experiment, am confirmat că un număr crescut de utilizatori vedeau mai mult de cinci răspunsuri instant și că ratele de conversie au crescut în mod corespunzător.

Sperăm să lansăm platforma tuturor celor de la Brainly până la sfârșitul anului 2022.

Funcții puternice și integrări perfecte

Cele mai utilizate funcții din Analytics sunt cohortele comportamentale și diagramele de segmentare. Managerii noștri de produs, printre altele, creează segmente de utilizatori extrem de personalizate pentru a înțelege modul în care diferitele cohorte de comportament interacționează cu funcțiile noi și existente. Diagramele de retenție sunt la fel de populare și le folosim pentru a vedea cât de des revin utilizatorii pentru a crea conținut nou și dacă se implică în interacțiuni săptămânale de învățare. Acestea includ citirea, răspunsul sau adresarea unei întrebări și organizarea unei sesiuni de îndrumare. Dacă cineva se angajează în cel puțin o astfel de acțiune în fiecare săptămână, înseamnă că are o experiență de utilizator pozitivă, ceea ce duce la învățare cumulativă.

Folosesc formulele din secțiunea de segmente din Analytics pentru a compara segmentele de utilizatori. De asemenea, găsesc tabelele de date incredibil de utile, deoarece pot să mă uit la valori specifice, cum ar fi conversiile, și să adun diferite pagini, funcții și utilizatori în vizualizări care oferă informații mai profunde asupra canalelor noastre.

Analytics se integrează perfect cu alte instrumente de analiză, în special Branch.io și Snowflake. Folosim Branch.io pentru a urmări utilizatorii nelogați care migrează de pe site-ul nostru către aplicația noastră mobilă. Este un mare câștig, deoarece putem vedea la ce experimente au fost expuși pe web și putem stabili ce conținut și funcții conduc cel mai bine utilizatorii către aplicație.

Folosim Snowflake pentru toate datele noastre backend, dar integrarea cu Amplitude ne permite să schimbăm evenimentele utilizatorului. De exemplu, atunci când utilizatorul B comentează răspunsul utilizatorului A la o întrebare, Analytics generează un eveniment pentru comentariul utilizatorului B, dar nu poate genera un eveniment care spune că utilizatorul A a primit un comentariu deoarece utilizatorul B a inițiat sesiunea. Cu Snowflake, putem inversa ecuația și putem crea un eveniment pasiv care indică că utilizatorul A a primit un comentariu de la utilizatorul B și putem transmite aceste informații înapoi în Analytics. Această acțiune ne oferă o imagine mai bună a modului în care comportamentul utilizatorului A s-a schimbat după primirea unui comentariu. Este uimitor cât de mult mai putem învăța cu această simplă schimbare de perspectivă.

Steaua noastră polară și pașii următori

În doar șapte luni, am crescut baza noastră de utilizatori activi la aproape 120 de persoane și am creat o comunitate Amplitude în Brainly. Avem un canal Slack unde utilizatorii Amplitude se pot angaja în discuții în timp real despre platformă și o pagină Confluence cu articole instructive, sfaturi și trucuri și alte link-uri importante. De asemenea, am creat un grup de „Ampliteers”, utilizatori puternici care servesc ca ambasadori și mentori pentru angajații Brainly care sunt noi în Amplitude. Întotdeauna am avut o cultură bazată pe întrebări, dar acum este democratizată și nu se limitează la analiștii noștri de date.

Segmentând utilizatorii în funcție de activitatea lor și nu de populația lor demografică, puteți crea o experiență mai personalizată.

Amplitudinea ne-a ajutat să ne găsim Steaua Polară. Odată ce am realizat că răspunsurile instantanee au generat conversii, am evoluat și am adoptat o nouă strategie de creștere bazată pe efectul de rețea. Cu cât răspund la mai multe întrebări utilizatorii noștri, cu atât mai mulți oameni sunt atrași de site-ul nostru. Conținutul sporit generat de utilizatori îmbunătățește, de asemenea, clasarea noastră SEO.

Asta nu este singura schimbare. Creăm noi cohorte comportamentale în Amplitude pentru a segmenta utilizatorii după tipul și frecvența acțiunilor pe care le efectuează pe site-ul nostru. Segmentându-i în funcție de activitatea lor și nu de demografică, sperăm să creăm o experiență mai personalizată care să-i ghideze prin educația în acest an și în anii următori. Dorim să stabilim o călătorie educațională pe termen lung în loc să oferim pur și simplu ajutor individual imediat. Este o dezvoltare interesantă și sunt încrezător că va evolua spre noi funcții care disting și mai mult Brainly de alte site-uri și aplicații educaționale.

Amplitude a transformat capacitatea Brainly de a folosi date. Avem acces mai ușor și mai rapid la datele despre utilizatori și evenimente și le putem vizualiza în nenumărate moduri care ne permit să verificăm informațiile și să generăm informații utile. Oamenii noștri au instrumentele necesare pentru a pune întrebări pertinente care le satisfac curiozitatea și conduc la rezultate mai bune pentru cursanții care depind de platforma noastră.