Quando o teste A/B não vale a pena

Para geeks de marketing como você e eu, nada faz o sangue fluir como um teste A/B. Eles são rápidos para correr e é profundamente satisfatório ver os resultados chegarem. Uma vez que começamos, vamos para as corridas, e é difícil imaginar como ficamos sem. Se ao menos pudéssemos fazer isso com tudo: jogar dois rolos de nossas grandes decisões de vida ao mesmo tempo para ver quais escolhas foram as corretas.

Mas sem uma consideração cuidadosa, o teste A/B pode realmente se tornar um desperdício de nosso valioso tempo. Veja como aproveitar ao máximo os testes A/B.

O que é teste A/B? Como funciona?

O teste A/B permite que você teste uma experiência ou mensagem para ver se ela pode ser melhorada. Em um teste A/B, você apresenta aos usuários duas versões de um site, aplicativo ou recurso (versão A versus B). A versão com melhor desempenho, por qualquer métrica que você esteja rastreando, vence.

Pode-se testar praticamente qualquer coisa: botões, fontes, chamadas para ação, estilos de conteúdo editorial e até detalhes de próximo nível, como velocidade de rolagem, colocando uma versão na frente do primeiro conjunto de usuários, geralmente o controle (A) e uma variante (B) na frente de um segundo conjunto de usuários. O tráfego é aleatório o máximo possível, portanto, a única variante que você está testando é a alterada na variante B. Você pode testar várias variáveis ​​e/ou várias variantes, e isso é conhecido como teste multivariável, um tópico para outro dia.

Use o teste A/B para testar uma hipótese

Use o teste A/B para testar ideias subjetivas sobre como resolver um problema com evidências objetivas baseadas em dados que confirmarão se as ideias são sólidas.

Bem feito, o teste A/B segue uma receita básica. Comece com um problema que você gostaria de resolver. Talvez você tenha dados ou pesquisas de usuários sugerindo que há um problema ou apenas um palpite informado derivado do conhecimento de seu produto e público.

Em seguida, desenvolva uma hipótese identificando o que parece ser a melhor solução para o seu problema. Em seguida, execute seu teste para reunir evidências empíricas que acabarão por provar ou refutar sua hipótese. Finalmente, aja com base no que você aprendeu.

O que observar antes de embarcar em um teste A/B

No estudo de 1835 de De Tocqueville sobre o caráter americano ( Democracy in America ), ele escreveu que nos EUA, “a opinião pública é dividida em mil tons de diferença em questões de muito pouco momento”.

De Tocqueville, é claro, não fazia ideia de quão relevantes suas observações poderiam se tornar no contexto do marketing digital e móvel. Alguns resultados simplesmente não justificam o tempo que levam para desenterrar. Saiba quando é hora do teste A/B e quando seu tempo pode ser melhor gasto em outro lugar.

4 motivos para não fazer um teste

1. Não faça teste A/B quando: você ainda não tem tráfego significativo

O teste A/B tornou-se tão onipresente que é difícil imaginar o mundo do desenvolvimento móvel ou de produtos sem ele. No entanto, pular no fundo da piscina de testes antes mesmo de molhar os tornozelos pode ser um erro.

A significância estatística é um conceito importante em testes. Ao testar um grupo de usuários grande o suficiente, você determinará o que o usuário médio prefere e tornará menos provável que a preferência identificada seja realmente o resultado de um erro de amostragem.

Você viu movimento porque os usuários realmente preferem a variante ao controle? Ou, por exemplo, você inconscientemente serviu a Variante A para pessoas que amam gatos e a Variante B para pessoas que odeiam cheeseburgers, o que significa que seus resultados não dizem nada sobre seu usuário médio? Para se proteger contra esse tipo de erro de amostragem, você precisa de um tamanho de amostra estatisticamente significativo. Como você descobre se seus resultados são significativos o suficiente para justificar uma ação? Matemática!

Você pode começar usando esta calculadora de significância A/B gratuita ( ou esta , se preferir). Cada calculadora compara visitantes e conversões em ambos os lados de sua variante A/B, faz um monte de matemática de back-end e fornece um "nível de confiança" expresso em porcentagem, informando se seu teste deu ou não resultados sobre os quais você pode agir com confiança.

Testar algo que você espera fazer uma grande diferença na taxa de conversão geralmente é possível com tráfego menor, mas para testar pequenas alterações, como a cor de um botão, você precisará de um tamanho de amostra maior. Se você estiver preocupado, brinque com esta calculadora para ver se seu tráfego está onde deveria estar antes de executar um teste A/B.

Se você não tiver usuários suficientes para informar resultados significativos, seus esforços podem ser mais bem gastos atraindo mais clientes em vez de experimentar. Se você decidir executar um teste enquanto sua base de usuários ainda for pequena, talvez seja necessário deixar o teste ativo por muitas semanas antes de ver resultados significativos.

2. Não faça teste A/B se: você não puder passar o tempo com segurança

Andrew Cohen, fundador e CEO da Brainscape e instrutor da TechStars e da General Assembly, diz : “ Realizar testes A/B é simplesmente uma tarefa de gerenciamento intensivo , não importa quão baratos e eficientes os plug-ins de teste A/B … tenham se tornado. Alguém precisa dedicar seu tempo para determinar o que testar, configurar o teste e verificar e implementar os resultados do teste.”

Embora essas tarefas possam ser executadas com relativa facilidade, explica Cohen, ainda requer muita “largura de banda mental, que é o recurso mais escasso em qualquer empresa (especialmente uma startup em estágio inicial)”.

Passe algum tempo decidindo o que você deve testar, para que você esteja fazendo o melhor uso do seu tempo de teste A/B.

3. Não faça teste A/B se: você ainda não tem uma hipótese informada

Juntar informação. Identifique seu problema. Defina uma hipótese. Então teste para ver se você está certo. Trate o teste A/B como ciência real! Um bom cientista nunca começa um experimento sem uma hipótese .

Para definir sua hipótese, conheça o problema que deseja resolver e identifique uma meta de conversão. Por exemplo, digamos que seus clientes tendem a desistir em um determinado ponto do funil de conversão.

O problema: os clientes carregam itens no carrinho, mas nunca terminam o processo de compra.

Com base em um pouco de pesquisa de mercado e em seu próprio julgamento bem informado, você acredita que, se adicionar um botão que diz “concluir minha compra”, poderá aumentar a conversão. Também é importante definir sua métrica de sucesso. Qual é o menor aumento na conversão que você gostaria de ver? (E por que esse número? O que significa para sua empresa como um todo ganhar esse aumento?) Isso também está relacionado aos seus cálculos de significância estatística. Para este exemplo, digamos que você queira aumentar a conversão em 20%.

Uma hipótese científica geralmente é escrita no formato if/then. Portanto, sua hipótese se torna: " Se eu adicionar um botão 'concluir minha compra', 20 % mais pessoas seguirão com o processo de compra".

No final do seu teste, você terá algumas decisões a tomar. Se seu teste for positivo e confirmar sua hipótese, parabéns! Você ganha. Sua hipótese agora é uma teoria comprovada (comprovada dentro do nível de confiança percentual que você alcançou, é claro). Se o seu negócio for ágil o suficiente, você pode instituir uma solução permanente imediatamente. Você pode continuar testando variantes menores para ver se há mais espaço para melhorar seu primeiro sucesso.

Se seu teste for negativo e sua hipótese não acertar, você também ganha! Isso significa que seu controle é a fórmula vencedora e você pode continuar usando-o com confiança. Novamente, porém, você pode querer testar variantes diferentes se não estiver obtendo os resultados necessários. Veja se há outra maneira de resolver seu problema e desenvolva uma nova hipótese.

Se seu teste for inconclusivo, revise seu problema. Tem certeza de que o ponto de dor está onde você acha que está? Você tem tráfego suficiente para informar resultados estatisticamente significativos? Lembre-se de que a resposta para o que aflige seu produto pode não estar necessariamente em um teste A/B.

4. Não faça teste A/B se: houver baixo risco de agir imediatamente

Lynn Wang , chefe de marketing da Apptimize , diz : “ O teste A/B deve ser ignorado em situações em que você sabe que uma ideia quase certamente melhorará seu aplicativo e os riscos associados à implementação da ideia são baixos”. Ela acrescenta: “ Não há razão para gastar tempo e recursos para testar algo que provavelmente é bom e tem baixo risco. Saltar para a implementação é perfeitamente aconselhável.”

Isso é especialmente útil para lembrar se seu tempo é escasso. Tenha em mente que um determinado resultado pode ser verdadeiro e, ao mesmo tempo, pode não ser importante.

Uma boa ferramenta é tão útil quanto sua aplicação inteligente

O teste A/B é um recurso incrível. Ações inteligentes e simples tomadas com base em resultados claros de testes bem aplicados catapultaram o sucesso em todo o cenário digital . As empresas bem-sucedidas sabem quando é hora de ser pacientes e fazem um teste significativo. Eles também sabem quando confiar em sua intuição ou em outras fontes de informação e seguir em frente sem a suposta rede de segurança de um período de teste prolongado ou prematuro que na verdade não agregará nenhum valor.