Pruebas A/B: ¿Qué es un error tipo 1 y tipo 2 y cómo evitarlos?

Una de las principales razones para realizar pruebas A/B es obtener resultados verificables que sean repetibles. La única forma de lograr esto es utilizando métodos científicos. El objetivo es obtener la verdad objetiva, libre de conjeturas, conjeturas y cualquier sentimiento personal sobre cuál es la mejor variación.

Sin embargo, a veces los evaluadores cometen errores y estos pueden pasarse por alto fácilmente y generar malos resultados. Cuando los especialistas en marketing realizan pruebas A/B o pruebas multivariantes durante su trabajo de optimización de la tasa de conversión, cada prueba está sujeta a varios tipos de errores posibles. Los tipos comunes de errores son el error de tipo 1 y el error de tipo 2.

A pesar de lo fáciles que son las herramientas para realizar pruebas A/B, usted, como usuario, debe comprender tanto la metodología científica como cómo interpretar los resultados para evitar tomar malas decisiones.

Es su trabajo diseñar las pruebas, y aquí es donde tienden a surgir los errores, dentro del diseño experimental. Ninguna herramienta de prueba A/B puede detectar estos errores. Depende de usted detectarlos cuando ocurran, o más bien evitar que sucedan en primer lugar.

Entonces, ¿cuáles son estos errores, cuál es la diferencia entre un error de tipo 1 y tipo 2, y cómo evitar un error de tipo 1 y un error de tipo 2?

¡Vamos a averiguar!

Puede producirse un falso positivo al probar una nueva superposición emergente (variación B) frente al control original (variación A). Decides cambiar la imagen de fondo para probar una más emotiva.

Después de 10 días de ejecutar la variación A frente a la variación B, compruebas el resultado. Los resultados parecen claros, mostrando una gran mejora en la conversión. En consecuencia, se concluye la prueba A/B y se implementa la variación B como ganadora.

Sin embargo, después de varios meses, los resultados no fueron mejores que los originales, de hecho, fueron peores.

Este es un ejemplo de un falso positivo y un error de tipo 1.

Un error de tipo 1 es un resultado probado experimentalmente, un resultado que sugiere una correlación positiva, lo que indica una opción superior que resultó no ser cierta.

¿Cómo es esto posible?

En pocas palabras, es el factor humano que introduce errores. A menudo, esto es el resultado de no investigar lo suficiente sobre lo que se debe probar. Hay muchas variables posibles que deben tenerse en cuenta al diseñar pruebas, solo necesita omitir una para que su hipótesis de prueba sea incorrecta.

Si todo es igual, libre de influencias externas, los resultados de esta prueba A/B habrían proporcionado resultados correctos. Si te encuentras en esta posición, te has perdido algo o has dejado que factores externos influyan en los resultados.

En última instancia, hubo una falla en su método científico, el punto es que USTED, como probador, no lo tuvo en cuenta.

¿Por qué fallan las pruebas divididas?

• Tu persona es demasiado amplia
• El tamaño de su muestra es demasiado pequeño
• Estás probando algo incorrecto.
• La duración de su prueba es demasiado corta

Trabajemos con el mismo escenario anterior, el original (A) (control) frente a la nueva variación (B). En este caso, el resultado no muestra ningún cambio en la conversión entre los dos. En este caso, puede decidir conservar el original o cambiar a la nueva versión, en función de otros factores, como las preferencias personales.

En este caso, la Hipótesis Nula (definición a continuación) se considera correcta (incorrectamente).

La prueba fue defectuosa y la versión B era una opción mucho mejor, por lo que el escenario conduce potencialmente a una decisión incorrecta. El problema en este escenario es que es probable que nunca sepa que la versión B es mejor. Eso es a menos que elimine el error antes de volver a realizar la prueba.

Un error de tipo 2 es cuando la hipótesis nula (sin diferencia) se considera correcta – incorrectamente.

Prueba de significación

Antes de ejecutar su prueba, debe calcular cuál debe ser el nivel de significación para la prueba. Aquí estás decidiendo qué resultado determina el éxito.

En general, esto debe basarse en la hipótesis nula, que es la posición predeterminada de que no hay una diferencia significativa entre los dos.

¿Qué desviación positiva de esta posición debería considerar significativa? El consenso general es que debe seguir probando hasta que su significación estadística sea al menos del 90 %, pero preferiblemente del 95 % o más, antes de tomar una decisión basada en ella, o en otras palabras, su confianza en el resultado sea superior al 95 %.

Otro factor a tener en cuenta es el tamaño de la muestra. Cuanto menor sea el tamaño de la muestra, mayor será el margen de error. Lo que esto significa es que a medida que sus tasas de conversión aumentan, menor es el tamaño de muestra que necesita para medir la mejora.

Consulte esta calculadora de tamaño de muestra para comprender lo que quiero decir con esto y ver qué tamaño de muestra debe tener su prueba A/B.

• Generalmente solo prueba A/B un cambio a la vez
• No realice pruebas A/B si tiene un sitio web pequeño con poco tráfico, con un volumen de conversión inferior a 1000 por mes. Simplemente no vale la pena tu tiempo.
• Asegúrese de que está probando lo correcto.