Quando il test A/B non vale la pena

Per i fanatici del marketing come te e me, niente fa scorrere il sangue come un test A/B. Sono veloci a correre ed è estremamente soddisfacente guardare i risultati in streaming. Una volta che abbiamo iniziato, siamo partiti per le gare, ed è difficile immaginare come abbiamo fatto senza. Se solo potessimo farlo con tutto: gioca due rulli delle nostre grandi decisioni di vita contemporaneamente per vedere quali sono state quelle giuste.

Ma senza un'attenta considerazione, i test A/B possono effettivamente diventare solo una perdita del nostro tempo prezioso. Ecco come ottenere il massimo dai test A/B.

Che cos'è il test A/B? Come funziona?

Il test A/B ti consente di testare un'esperienza o un messaggio per vedere se può essere migliorato. In un test A/B, presenti agli utenti due versioni di un sito, un'app o una funzionalità (versione A vs. B). La versione con le prestazioni migliori, indipendentemente dalla metrica che stai monitorando, vince.

È possibile testare qualsiasi cosa: pulsanti, caratteri, inviti all'azione, stili di contenuto editoriale e persino dettagli di livello successivo come la velocità di scorrimento, posizionando una versione davanti al primo gruppo di utenti, di solito il controllo (A) e una variante (B) davanti a un secondo gruppo di utenti. Il traffico è randomizzato il più possibile, quindi l'unica variante che stai testando è quella modificata nella variante B. Puoi testare più variabili e/o più varianti e questo è noto come test multivariato, un argomento per un altro giorno.

Usa il test A/B per verificare un'ipotesi

Usa il test A/B per testare idee soggettive su come risolvere un problema con prove oggettive basate su dati che confermeranno se le idee sono valide.

Fatto bene, il test A/B segue una ricetta di base. Inizia con un problema che vorresti risolvere. Forse hai dati o ricerche sugli utenti che suggeriscono che c'è un problema o solo un'intuizione informata derivata dalla conoscenza del tuo prodotto e del tuo pubblico.

Quindi, sviluppa un'ipotesi identificando quella che sembra essere la migliore soluzione al tuo problema. Quindi, esegui il test per raccogliere prove empiriche che alla fine dimostreranno o smentiranno la tua ipotesi. Infine, agisci in base a ciò che hai imparato.

A cosa prestare attenzione prima di intraprendere un test A/B

Nello studio del 1835 di De Tocqueville sul carattere americano ( Democracy in America ), scrisse che negli Stati Uniti "l'opinione pubblica è divisa in mille minuscole sfumature di differenza su questioni di poco conto".

De Tocqueville, ovviamente, non avrebbe potuto avere idea di quanto potessero diventare rilevanti le sue osservazioni nel contesto del marketing digitale e mobile. Alcuni risultati semplicemente non garantiscono il tempo che impiegano per dissotterrare. Scopri quando è il momento del test A/B e quando il tuo tempo potrebbe essere speso meglio altrove.

4 motivi per non eseguire un test

1. Non eseguire il test A/B quando: non hai ancora traffico significativo

I test A/B sono diventati così onnipresenti che è difficile immaginare il mondo dei dispositivi mobili o dello sviluppo di prodotti senza di essi. Tuttavia, saltare nella parte più profonda della vasca di prova prima ancora di aver bagnato le caviglie potrebbe essere un errore.

La significatività statistica è un concetto importante nei test. Testando un gruppo sufficientemente ampio di utenti, determinerai ciò che l'utente medio preferisce e renderai meno probabile che la preferenza che identifichi sia effettivamente il risultato di un errore di campionamento.

Hai visto il movimento perché gli utenti in realtà preferiscono la variante al controllo? O, ad esempio, hai servito inconsapevolmente la variante A a persone che amano i gatti e la variante B a persone che odiano i cheeseburger, il che significa che i tuoi risultati in realtà non ti dicono nulla del tuo utente medio? Per proteggersi da questo tipo di errore di campionamento, è necessaria una dimensione del campione statisticamente significativa. Come fai a capire se i tuoi risultati sono abbastanza significativi da giustificare un'azione? Matematica!

Puoi iniziare usando questo calcolatore di significato A/B gratuito ( o questo , se preferisci). Ogni calcolatore confronta i visitatori e la conversione su entrambi i lati della tua variante A/B, fa un sacco di calcoli di back-end e ti dà un "livello di fiducia" espresso in percentuale, facendoti sapere che il tuo test ha o non ha ceduto risultati su cui puoi agire con sicurezza.

Testare qualcosa che prevedi possa fare un'enorme differenza nel tasso di conversione è solitamente fattibile con un traffico inferiore, ma per testare piccole modifiche, come il colore di un pulsante, avrai bisogno di una dimensione del campione più grande. Se sei preoccupato, gioca con questo calcolatore per vedere se il tuo traffico è dove dovrebbe essere prima di eseguire un test A/B.

Se non hai abbastanza utenti per ottenere risultati significativi, i tuoi sforzi potrebbero essere spesi meglio per attirare più clienti invece di sperimentare. Se decidi di andare avanti ed eseguire un test mentre la tua base di utenti è ancora piccola, potresti dover lasciare il test attivo per molte settimane prima di vedere risultati significativi.

2. Non eseguire il test A/B se: non puoi passare il tempo in sicurezza

Andrew Cohen, fondatore e CEO di Brainscape e istruttore presso TechStars e General Assembly, afferma : " L' esecuzione di test divisi è semplicemente un'attività ad alta intensità di gestione , indipendentemente da quanto siano diventati economici ed efficienti i plug-in di test A/B .... Qualcuno deve dedicare il proprio tempo a determinare cosa testare, impostare il test e verificare e implementare i risultati del test”.

Sebbene queste attività possano essere eseguite con relativa facilità, spiega Cohen, richiedono comunque molta "larghezza di banda mentale, che è la risorsa più scarsa in qualsiasi azienda (soprattutto una startup in fase iniziale)."

Dedica del tempo in anticipo a decidere cosa dovresti testare, in modo da sfruttare al meglio il tuo tempo di test A/B.

3. Non eseguire il test A/B se: non hai ancora un'ipotesi informata

Raccogliere informazioni. Identifica il tuo problema. Definisci un'ipotesi. Quindi prova per vedere se hai ragione. Tratta il test A/B come una vera scienza! Un bravo scienziato non inizia mai un esperimento senza un'ipotesi .

Per definire la tua ipotesi, conosci il problema che vuoi risolvere e identifica un obiettivo di conversione. Ad esempio, supponiamo che i tuoi clienti tendano ad abbandonare a un certo punto della canalizzazione di conversione.

Il problema: i clienti caricano gli articoli nel carrello, ma non finiscono mai il processo di acquisto.

Sulla base di un po' di ricerche di mercato e del tuo giudizio ben informato, credi che se aggiungi un pulsante che dice "termina il mio acquisto", sarai in grado di aumentare la conversione. È anche importante definire la tua metrica di successo. Qual è il più piccolo aumento della conversione che saresti felice di vedere? (E perché quel numero? Cosa significa per la tua azienda nel suo complesso ottenere quell'aumento?) Questo si ricollega anche ai tuoi calcoli di significatività statistica. Per questo esempio, supponi di voler aumentare la conversione del 20%.

Un'ipotesi scientifica viene solitamente scritta nel formato if/then. Quindi la tua ipotesi diventa: " Se aggiungo un pulsante "Termina il mio acquisto", il 20 % in più di persone seguirà il processo di acquisto".

Alla fine del test, avrai alcune decisioni da prendere. Se il tuo test è positivo e conferma la tua ipotesi, congratulazioni! Hai vinto. La tua ipotesi è ora una teoria comprovata (dimostrata entro il livello di confidenza percentuale che hai raggiunto, ovviamente). Se la tua azienda è abbastanza agile, puoi istituire subito una soluzione permanente. Potresti voler continuare a testare varianti più piccole per vedere se c'è più spazio per migliorare il tuo primo successo.

Se il tuo test è negativo e la tua ipotesi non ha colto nel segno, vinci anche tu! Ciò significa che il tuo controllo è la formula vincente e puoi continuare a usarlo con sicurezza. Anche in questo caso, tuttavia, potresti voler testare diverse varianti se non ottieni i risultati di cui hai bisogno. Vedi se c'è un altro modo per risolvere il tuo problema e sviluppare una nuova ipotesi.

Se il tuo test non è conclusivo, rivedi il tuo problema. Sei sicuro che il punto dolente sia dove pensi che sia? Hai abbastanza traffico per ottenere risultati statisticamente significativi? Ricorda che la risposta a ciò che affligge il tuo prodotto potrebbe non trovarsi necessariamente in un test A/B.

4. Non eseguire il test A/B se: il rischio di agire subito è basso

Lynn Wang , responsabile marketing di Apptimize , afferma : " I test A/B dovrebbero essere saltati in situazioni in cui sai che un'idea quasi sicuramente migliorerà la tua app e che i rischi associati all'implementazione dell'idea sono bassi". Aggiunge: " Non c'è motivo di spendere tempo e risorse per testare qualcosa che probabilmente è buono e ha un basso rischio. È assolutamente consigliabile passare all'implementazione".

Questo è particolarmente utile da ricordare se il tuo tempo è scarso. Tieni presente che un determinato risultato potrebbe essere vero e, allo stesso tempo, potrebbe non essere importante.

Un buon strumento è utile solo quanto la sua applicazione intelligente

Il test A/B è una risorsa incredibile. Azioni semplici e intelligenti intraprese sulla base di risultati chiari di test ben applicati hanno catapultato il successo nel panorama digitale . Le aziende di successo sanno quando è il momento di essere pazienti ed eseguono un test significativo. Sanno anche quando fare affidamento sul loro intuito o su altre fonti di informazione e vanno avanti senza la presunta rete di sicurezza di un periodo di test prolungato o prematuro che in realtà non aggiungerà alcun valore.