Cuando las pruebas A/B no valen la pena

Para los fanáticos del marketing como tú y como yo, nada hace que la sangre fluya como una prueba A/B. Son rápidos de ejecutar y es profundamente satisfactorio ver los resultados. Una vez que comenzamos, estamos listos para las carreras, y es difícil imaginar cómo nos las arreglamos sin ellos. Ojalá pudiéramos hacer esto con todo: jugar dos carretes de nuestras grandes decisiones de vida a la vez para ver qué opciones fueron las correctas.

Pero sin una consideración cuidadosa, las pruebas A/B pueden convertirse en una pérdida de nuestro valioso tiempo. Aquí le mostramos cómo aprovechar al máximo las pruebas A/B.

¿Qué son las pruebas A/B? ¿Como funciona?

Las pruebas A/B le permiten probar una experiencia o mensaje para ver si se puede mejorar. En una prueba A/B, presenta a los usuarios dos versiones de un sitio, una aplicación o una función (versión A frente a B). La versión que mejor se desempeñe, según la métrica que esté rastreando, gana.

Uno puede probar casi cualquier cosa: botones, fuentes, llamadas a la acción, estilos de contenido editorial e incluso detalles de nivel superior como la velocidad de desplazamiento, colocando una versión frente al primer grupo de usuarios, generalmente el control (A), y una variante (B) frente a un segundo grupo de usuarios. El tráfico se aleatoriza tanto como sea posible, por lo que la única variante que está probando es la modificada en la variante B. Puede probar múltiples variables y/o múltiples variantes y esto se conoce como prueba multivariante, un tema para otro día.

Usa pruebas A/B para probar una hipótesis

Use pruebas A/B para probar ideas subjetivas sobre cómo resolver un problema con evidencia objetiva basada en datos que confirmará si las ideas son sólidas.

Bien hecho, el A/B testing sigue una receta básica. Comience con un problema que le gustaría resolver. Tal vez tenga datos o investigaciones de usuarios que sugieran que hay un problema, o simplemente una corazonada informada derivada del conocimiento de su producto y audiencia.

A continuación, desarrolle una hipótesis que identifique cuál parece ser la mejor solución para su problema. Luego, ejecute su prueba para recopilar evidencia empírica que finalmente probará o refutara su hipótesis. Finalmente, tome medidas basadas en lo que ha aprendido.

Qué tener en cuenta antes de embarcarse en una prueba A/B

En el estudio de 1835 de De Tocqueville sobre el carácter estadounidense ( Democracia en América ), escribió que en los EE. UU., "la opinión pública se divide en mil matices diminutos de diferencia sobre cuestiones de muy poca importancia".

De Tocqueville, por supuesto, no podía tener idea de cuán relevantes podrían llegar a ser sus comentarios en el contexto del marketing digital y móvil. Algunos resultados simplemente no justifican el tiempo que lleva descubrirlos. Sepa cuándo es el momento de realizar una prueba A/B y cuándo es mejor invertir su tiempo en otro lugar.

4 razones para no hacer una prueba

1. No realice pruebas A/B cuando: aún no tiene tráfico significativo

Las pruebas A/B se han vuelto tan omnipresentes que es difícil imaginar el mundo de los dispositivos móviles o el desarrollo de productos sin ellas. Sin embargo, saltar al extremo más profundo de la piscina de prueba antes de mojarse los tobillos podría ser un error.

La significación estadística es un concepto importante en las pruebas. Al probar un grupo lo suficientemente grande de usuarios, determinará qué prefiere el usuario promedio y hará que sea menos probable que la preferencia que identifique sea en realidad el resultado de un error de muestreo.

¿Viste movimiento porque los usuarios realmente prefieren la variante al control? O, por ejemplo, ¿sin saberlo, sirvió la Variante A a las personas que aman los gatos y la Variante B a las personas que odian las hamburguesas con queso, lo que significa que sus resultados en realidad no le dicen nada sobre su usuario promedio? Para protegerse contra este tipo de error de muestreo, necesita un tamaño de muestra estadísticamente significativo. ¿Cómo averigua si sus resultados son lo suficientemente significativos como para justificar la acción? ¡Matemáticas!

Puede comenzar usando esta calculadora de significado A/B gratuita ( o esta , si lo prefiere). Cada calculadora compara los visitantes y la conversión en ambos lados de su variante A/B, hace un montón de cálculos matemáticos y le brinda un "nivel de confianza" expresado como un porcentaje, lo que le permite saber si su prueba rindió o no. resultados sobre los que puede actuar con confianza.

Probar algo que espera que marque una gran diferencia en la tasa de conversión generalmente es factible con menos tráfico, pero para probar pequeños cambios, como el color de un botón, necesitará un tamaño de muestra más grande. Si le preocupa, juegue con esta calculadora para ver si su tráfico está donde debería estar antes de ejecutar una prueba A/B.

Si no tiene suficientes usuarios para informar resultados significativos, sus esfuerzos podrían invertirse mejor en atraer a más clientes en lugar de experimentar. Si decide seguir adelante y ejecutar una prueba mientras su base de usuarios aún es pequeña, es posible que deba dejar su prueba en vivo durante muchas semanas antes de ver resultados significativos.

2. No realice pruebas A/B si: no puede pasar el tiempo de manera segura

Andrew Cohen, fundador y director ejecutivo de Brainscape, e instructor en TechStars y General Assembly, dice : “ Realizar pruebas divididas es simplemente una tarea de administración intensiva , sin importar cuán baratos y eficientes se hayan vuelto los complementos de prueba A/B. Alguien debe dedicar su tiempo a determinar qué probar, configurar la prueba y verificar e implementar los resultados de la prueba”.

Si bien estas tareas se pueden ejecutar con relativa facilidad, explica Cohen, todavía requieren mucho "ancho de banda mental, que es el recurso más escaso en cualquier empresa (especialmente en una etapa inicial)".

Dedique tiempo por adelantado a decidir qué debe probar, de modo que esté haciendo el mejor uso de su tiempo de prueba A/B.

3. No realice pruebas A/B si: aún no tiene una hipótesis informada

Recopilar información. Identifique su problema. Defina una hipótesis. Luego prueba para ver si tienes razón. ¡Trate la prueba A/B como ciencia real! Un buen científico nunca comienza un experimento sin una hipótesis .

Para definir tu hipótesis, conocer el problema que quieres resolver e identificar un objetivo de conversión. Por ejemplo, supongamos que sus clientes tienden a abandonar en un punto determinado del embudo de conversión.

El problema: los clientes cargan artículos en su carrito, pero nunca terminan el proceso de compra.

Según un poco de investigación de mercado y su propio juicio bien informado, cree que si agrega un botón que dice "finalizar mi compra", podrá aumentar la conversión. También es importante definir su métrica de éxito. ¿Cuál es el aumento más pequeño en la conversión que le gustaría ver? (¿Y por qué ese número? ¿Qué significa para su negocio en general ganar ese aumento?) Esto también se relaciona con sus cálculos de significación estadística. Para este ejemplo, digamos que desea aumentar la conversión en un 20%.

Una hipótesis científica generalmente se escribe en formato si/entonces. Entonces, su hipótesis se convierte en: " Si agrego un botón 'finalizar mi compra', entonces un 20% más de personas seguirán con el proceso de compra".

Al final de su prueba, tendrá que tomar algunas decisiones. Si su prueba es positiva y confirma su hipótesis, ¡enhorabuena! Tú ganas. Su hipótesis ahora es una teoría comprobada (probada dentro del nivel de confianza porcentual que logró, por supuesto). Si su negocio es lo suficientemente ágil, puede instituir una solución permanente de inmediato. Es posible que desee seguir probando variantes más pequeñas para ver si hay más espacio para mejorar su primer éxito.

Si su prueba es negativa y su hipótesis no dio en el blanco, ¡también gana! Esto significa que su control es la fórmula ganadora y puede seguir usándolo con confianza. Una vez más, sin embargo, es posible que desee probar diferentes variantes si no obtiene los resultados que necesita. Vea si hay otra manera de resolver su problema y desarrolle una nueva hipótesis.

Si su prueba no es concluyente, revise su problema. ¿Estás seguro de que el punto de dolor está donde crees que está? ¿Tiene suficiente tráfico para informar resultados estadísticamente significativos? Recuerda que la respuesta a los problemas de tu producto no necesariamente se encuentra en una prueba A/B.

4. No realice pruebas A/B si: hay poco riesgo de tomar medidas de inmediato

Lynn Wang , directora de marketing de Apptimize , dice : " Las pruebas A/B deben omitirse en situaciones en las que sabe que una idea seguramente mejorará su aplicación y los riesgos asociados con... la implementación de la idea son bajos". Ella agrega: “ No hay razón para gastar tiempo y recursos para probar algo que probablemente sea bueno y tenga poco riesgo. Saltar a la implementación es perfectamente recomendable”.

Esto es especialmente útil para recordar si su tiempo es escaso. Tenga en cuenta que un resultado dado puede ser verdadero y, al mismo tiempo, puede no ser importante.

Una buena herramienta es tan útil como su aplicación inteligente

Las pruebas A/B son un recurso increíble. Las acciones sencillas e inteligentes tomadas en función de resultados claros de pruebas bien aplicadas han catapultado el éxito en todo el panorama digital . Las empresas exitosas saben cuándo es el momento de ser pacientes y realizar una prueba significativa. También saben cuándo confiar en su intuición u otras fuentes de información y avanzar sin la supuesta red de seguridad de un período de prueba prolongado o prematuro que en realidad no agregará ningún valor.