Dalla correlazione alla causalità: l'adozione dell'analisi self-service ha migliorato le conversioni di 28 volte

Noi di Brainly amiamo imparare. Viene fornito con il territorio: siamo un'app educativa globale leader, con 300 milioni di utenti mensili. I nostri siti e app consentono a studenti, genitori e insegnanti di porre e rispondere a domande sui compiti e incoraggiamo anche i membri della nostra comunità online a rispondere alle domande degli altri.

Dietro le quinte, siamo curiosi e guidati dai dati e crediamo nel porre quante più domande possibili per far progredire la nostra attività. Utilizziamo i dati per stimolare la crescita del prodotto, ma comprendere gli eventi degli utenti, interpretare l'analisi e legare entrambi ai nostri profitti può essere complicato.

Spinti dalla curiosità ma ostacolati dai nostri strumenti di analisi dei dati

In qualità di responsabile dell'analisi dei dati di Brainly, aiuto i nostri team a comprendere le tendenze, esplorare le correlazioni e stabilire il nesso di causalità. È stato difficile estrarre informazioni utili dai nostri dati con la nostra configurazione precedente, dato che eravamo un negozio di Google Analytics. Chiedevamo ai nostri analisti di dati di scrivere query in SQL, Python e R, quindi presentare i loro risultati come grafici e altre visualizzazioni che i product manager e le parti interessate interne potrebbero comprendere. Siamo un ambiente frenetico e le risposte arrivavano troppo lentamente. I nostri analisti erano sovraccarichi e spesso ci ritrovavamo ad aspettare una o due settimane per la risposta a una domanda pressante.

L'estrazione dei dati da Google Analytics era un peso. Le nostre canalizzazioni sono elaborate e segmentiamo i nostri utenti in varie coorti comportamentali. Mentre le query codificate a mano hanno prodotto risultati (anche se lentamente), l'interfaccia utente di Google Analytics non era intuitiva e ha aggiunto un livello di complessità. Non potevamo visualizzare i nostri dati senza lottare attraverso una serie di menu controintuitivi e, anche in questo caso, le nostre opzioni di segmentazione e visualizzazione erano estremamente limitate. Avevamo una grande quantità di informazioni ma non potevamo immergerci nei nostri dati senza fare i salti mortali.

Da 10 a 80 utenti settimanali in pochi mesi

Abbiamo iniziato a esaminare piattaforme di analisi alternative. Abbiamo invitato diversi fornitori a dimostrare i loro prodotti, ma il mio capo ha sempre avuto in mente Amplitude Analytics e il team non ha deluso. Ci hanno mostrato casi d'uso che non avevamo considerato e creato dati fittizi per dimostrare come potevamo segmentare e visualizzare i dati utente di Brainly.

Uno strumento di analisi intuitivo rimuove la pressione dai team di analisi e rende i dati degli utenti disponibili a chiunque ne abbia bisogno.

Soprattutto, queste demo hanno aiutato l'azienda a rendersi conto che i nostri team potevano utilizzare gli strumenti di analisi self-service di Amplitude per estrarre i dati degli utenti invece di chiedere ai nostri analisti oberati di farlo. Avevamo trovato uno strumento collaborativo che alleviava parte della pressione dal nostro team di analisi e rendeva i dati degli utenti disponibili a chiunque ne avesse bisogno.

Abbiamo lanciato Analytics nel febbraio 2022 con 10 utenti settimanali attivi. A novembre, quel numero era salito a 80 utenti settimanali attivi e 140 utenti registrati. Abbiamo visto l'elemento self-service della piattaforma cambiare il modo in cui i team interagiscono con i dati. I nostri vari team, inclusi i nostri product manager, utilizzano Analytics per estrarre le metriche di canalizzazione e conversione senza attendere gli analisti. I nostri ingegneri mobili, che creano eventi utente, lo utilizzano per scopi di implementazione e il nostro team QA utilizza la piattaforma per verificare che gli eventi funzionino correttamente in tempo reale.

Tuttavia, l'impatto maggiore è stato sulla nostra creazione di contenuti.

Trasformare il nostro contenuto principale

Il cuore di Brainly è il nostro prodotto Domande e risposte della community. Gli studenti accedono e fanno domande e altri studenti possono rispondere. Ogni risposta fa guadagnare punti, incoraggiando gli utenti a porre le proprie domande, sbloccare pagine e migliorare lo stato della propria community. Il nostro team di contenuti verifica queste risposte, premiando quelle corrette con segni verdi. Queste risposte verificate da esperti vengono quindi presentate come risposte istantanee, quindi gli utenti non devono cercare una soluzione nel nostro database. Sospettavamo che le risposte istantanee migliorassero l'esperienza dell'utente e portassero gli studenti a registrarsi per una prova gratuita, ma non avevamo i numeri per confermare se si trattasse di correlazione o causalità.

Grazie ad Analytics, abbiamo stabilito che gli utenti che vedono più risposte istantanee nei primi sette giorni sul sito o sull'app hanno molte più probabilità di registrarsi per una prova gratuita rispetto a quelli che non ne vedono nessuna. Il tasso di conversione è stato fantastico e molto più alto di quanto ci aspettassimo. Questa realizzazione ha reso il miglioramento delle nostre risposte verificate e l'aumento del nostro tasso di corrispondenza delle risposte istantanee le nostre principali priorità di contenuto. Per fare ciò, abbiamo creato un database di risposte istantanee che il nostro team di contenuti ha verificato.

Ora sfruttiamo l'intelligenza artificiale (AI) e l'apprendimento automatico (ML) per verificare automaticamente le risposte a cui è piaciuto o che hanno ricevuto una valutazione positiva da un certo numero di persone perché c'è una maggiore probabilità che siano risposte di alta qualità.

Potenziamento dei test A/B con Amplitude Experiment

Di recente abbiamo adottato Amplitude Experiment per semplificare i test A/B ed eseguire esperimenti simultanei senza esporre gli utenti a più di uno scenario di test alla volta. In precedenza utilizzavamo Google Optimize per eseguire questi test sul nostro sito Web e Firebase per testare la nostra app. Abbiamo trovato un hack che inviava i dati dei test di Google Optimize ad Analytics, ma non c'era modo di trasferire i dati di Firebase. L'esperimento ci consente di integrare test e analisi all'interno di un singolo ecosistema, il che lo rende un gioco da ragazzi.

Nel primo mese di utilizzo di Experiment, abbiamo lanciato sei esperimenti per testare varie ipotesi, una delle quali dimostra la potenza del prodotto. Dopo aver iniziato a ottimizzare e dare priorità alle nostre risposte verificate, la percentuale di risposte istantanee nei risultati di ricerca è passata dal 5% al ​​10%. Utilizzando Experiment, abbiamo confermato che un numero maggiore di utenti vedeva più di cinque risposte istantanee e che i tassi di conversione erano aumentati di conseguenza.

Speriamo di distribuire la piattaforma a tutti in Brainly entro la fine del 2022.

Funzionalità potenti e integrazioni perfette

Le funzionalità più utilizzate all'interno di Analytics sono le coorti comportamentali e i grafici di segmentazione. I nostri product manager, tra gli altri, creano segmenti di utenti altamente personalizzati per capire come le diverse coorti comportamentali interagiscono con funzionalità nuove ed esistenti. I grafici di fidelizzazione sono altrettanto popolari e li usiamo per vedere quanto spesso gli utenti tornano per creare nuovi contenuti e se si impegnano in interazioni di apprendimento settimanali. Questi includono leggere, rispondere o porre una domanda e avere una sessione di tutoraggio. Se qualcuno si impegna in almeno una di queste azioni ogni settimana, significa che sta avendo un'esperienza utente positiva, che porta a un apprendimento cumulativo.

Uso le formule nella sezione dei segmenti di Analytics per confrontare i segmenti di utenti. Trovo anche le tabelle di dati incredibilmente utili perché posso esaminare metriche specifiche come le conversioni e assemblare pagine, funzionalità e utenti diversi in visualizzazioni che forniscono informazioni più approfondite sulle nostre canalizzazioni.

Analytics si integra perfettamente con altri strumenti di analisi, in particolare Branch.io e Snowflake. Utilizziamo Branch.io per tenere traccia degli utenti non registrati che migrano dal nostro sito Web alla nostra app mobile. È una grande vittoria perché possiamo vedere a quali esperimenti sono stati esposti sul Web e determinare quali contenuti e funzionalità indirizzano meglio gli utenti all'app.

Utilizziamo Snowflake per tutti i nostri dati di back-end, ma l'integrazione con Amplitude ci consente di scambiare gli eventi degli utenti. Ad esempio, quando l'utente B commenta la risposta dell'utente A a una domanda, Analytics genera un evento per il commento dell'utente B, ma non può generare un evento che indichi che l'utente A ha ricevuto un commento perché l'utente B ha avviato la sessione. Con Snowflake, possiamo capovolgere l'equazione e creare un evento passivo che indichi che l'utente A ha ricevuto un commento dall'utente B e reinserire tali informazioni in Analytics. Questa azione ci offre un quadro migliore di come è cambiato il comportamento dell'utente A dopo aver ricevuto un commento. È incredibile quanto ancora possiamo imparare con questo semplice cambiamento di prospettiva.

La nostra stella polare e i prossimi passi

In soli sette mesi, abbiamo ampliato la nostra base di utenti attivi fino a quasi 120 persone e creato una community Amplitude all'interno di Brainly. Abbiamo un canale Slack in cui gli utenti di Amplitude possono partecipare a discussioni in tempo reale sulla piattaforma e una pagina Confluence con articoli pratici, suggerimenti e trucchi e altri collegamenti importanti. Abbiamo anche creato un gruppo di "Amplificatori", utenti esperti che fungono da ambasciatori e mentori per i dipendenti Brainly che sono nuovi in ​​Amplitude. Abbiamo sempre avuto una cultura basata sulle domande, ma ora è democratizzata e non limitata ai nostri analisti di dati.

Segmentando gli utenti in base alla loro attività invece che ai loro dati demografici, puoi creare un'esperienza più personalizzata.

Amplitude ci ha aiutato a trovare la nostra stella polare. Quando ci siamo resi conto che le risposte istantanee generavano conversioni, abbiamo cambiato idea e adottato una nuova strategia di crescita basata sull'effetto rete. Più domande rispondono i nostri utenti, più persone vengono attratte dal nostro sito. L'aumento dei contenuti generati dagli utenti migliora anche il nostro posizionamento SEO.

Non è l'unico cambiamento. Stiamo creando nuove coorti comportamentali in Amplitude per segmentare gli utenti in base al tipo e alla frequenza delle azioni che eseguono sul nostro sito. Segmentandoli in base alla loro attività invece che ai loro dati demografici, speriamo di creare un'esperienza più personalizzata che li guidi attraverso la loro formazione quest'anno e negli anni a venire. Vogliamo stabilire un percorso educativo a lungo termine invece di fornire semplicemente un aiuto individuale immediato. È uno sviluppo entusiasmante e sono fiducioso che si evolverà in nuove funzionalità che distingueranno ulteriormente Brainly da altri siti e app educativi.

Amplitude ha trasformato la capacità di Brainly di sfruttare i dati. Abbiamo un accesso più facile e veloce ai dati degli utenti e degli eventi e possiamo visualizzarli in una miriade di modi che ci consentono di verificare le informazioni e generare approfondimenti fruibili. Le nostre persone hanno gli strumenti per porre domande pertinenti che soddisfano la loro curiosità e portano a risultati migliori per gli studenti che dipendono dalla nostra piattaforma.