Test A/B: cos'è un errore di tipo 1 e di tipo 2 e come evitarli

Uno dei motivi principali per eseguire test A/B è ottenere risultati verificabili e ripetibili. L'unico modo per raggiungere questo obiettivo è utilizzare metodi scientifici. L'obiettivo è ottenere la verità oggettiva, libera da congetture, congetture e qualsiasi sentimento personale su cui la variazione è migliore.

Tuttavia, a volte i tester commettono errori e questi possono essere facilmente trascurati portando risultati negativi. Quando i marketer eseguono test A/B o test multivarianti durante il loro lavoro di ottimizzazione del tasso di conversione, ogni test è soggetto a diversi possibili tipi di errore. I tipi comuni di errore sono l'errore di tipo 1 e l'errore di tipo 2.

Nonostante la facilità con cui gli strumenti rendano i test A/B, l'utente deve comprendere sia la metodologia scientifica sia come interpretare i risultati per evitare di prendere decisioni sbagliate.

È tuo compito progettare i test, ed è qui che tendono a sorgere errori, all'interno del progetto sperimentale. Nessuno strumento di test A/B è in grado di rilevare questi errori. Sta a te individuarli quando si verificano, o meglio impedire che accadano in primo luogo.

Quindi quali sono questi errori, qual è la differenza tra un errore di tipo 1 e di tipo 2 e come evitare un errore di tipo 1 e un errore di tipo 2?

Scopriamolo!

Un falso positivo può verificarsi durante il test di una nuova sovrapposizione popup (variazione B) rispetto al controllo originale (variazione A). Decidi di cambiare l'immagine di sfondo per testarne una più emotiva.

Dopo 10 giorni di esecuzione della variante A rispetto alla variante B, controlli il risultato. I risultati sembrano chiari, mostrando un grande miglioramento nella conversione. Di conseguenza, il test A/B si conclude e la variante B viene implementata come vincitrice.

Tuttavia, dopo diversi mesi, i risultati non erano migliori dell'originale, anzi, erano peggiori.

Questo è un esempio di errore falso positivo e di tipo 1.

Un errore di tipo 1 è un risultato testato sperimentalmente, un risultato che suggerisce una correlazione positiva, indicando un'opzione superiore che si è rivelata non vera.

Com'è possibile?

In poche parole, è il fattore umano che introduce errori. Spesso questo è il risultato di una ricerca insufficiente su ciò che dovrebbe essere testato. Ci sono molte variabili possibili che devono essere prese in considerazione quando si progettano i test, è sufficiente dimenticarne una perché l'ipotesi del test sia sbagliata.

Se tutte le cose sono uguali, esenti da influenze esterne, i risultati di questo test A/B avrebbero fornito risultati corretti. Se ti trovi in ​​questa posizione, ti sei perso qualcosa o lasci che fattori esterni influenzino i risultati.

Alla fine c'era un difetto nel tuo metodo scientifico, il punto è che TU come tester non ne hai tenuto conto.

Perché gli split test falliscono?

• La tua persona è troppo ampia
• La dimensione del tuo campione è troppo piccola
• Stai testando la cosa sbagliata
• La durata del test è troppo breve

Lavoriamo con lo stesso scenario sopra, l'originale (A) (controllo) e la nuova variazione (B). In questo caso, il risultato non mostra alcun cambiamento nella conversione tra i due. In questo caso, potresti decidere di mantenere l'originale o passare alla nuova versione, in base ad altri fattori come le preferenze personali.

In questo caso, l'ipotesi Null (definizione di seguito) è considerata corretta (errata).

Il test era imperfetto e la versione B era un'opzione molto migliore, quindi lo scenario porta potenzialmente a una decisione errata. Il problema in questo scenario è che è probabile che tu non sapessi mai che la versione B era migliore. Questo a meno che non si elimini l'errore prima di ripetere il test.

Un errore di tipo 2 è quando l'ipotesi nulla (nessuna differenza) è considerata corretta, in modo errato.

Significato del test

Prima di eseguire il test, è necessario calcolare quale dovrebbe essere il livello di significatività per il test. Qui stai decidendo quale risultato determina il successo.

In genere, questo dovrebbe essere basato sull'ipotesi nulla, che è la posizione predefinita in cui non vi è alcuna differenza significativa tra i due.

Quale deviazione positiva da questa posizione dovresti ritenere significativa? Il consenso generale è che dovresti continuare a testare fino a quando la tua significatività statistica non è almeno del 90% ma preferibilmente del 95% o superiore prima di prendere una decisione basata su di essa, o in altre parole la tua fiducia nel risultato è superiore al 95%.

Un altro fattore da considerare è la dimensione del campione. Minore è la dimensione del campione, maggiore è il margine di errore. Ciò significa che quando i tassi di conversione aumentano, minore è la dimensione del campione necessaria per misurare il miglioramento.

Dai un'occhiata a questo calcolatore della dimensione del campione per capire cosa intendo con questo e per vedere quale dimensione del campione dovrebbe avere il tuo test A/B.

• Generalmente solo A/B prova una modifica alla volta
• Non eseguire il test A/B se hai un piccolo sito web a basso traffico, con un volume di conversioni inferiore a 1000 al mese. Non vale il tuo tempo.
• Assicurati di testare la cosa giusta.