Mude a maneira como você aborda os experimentos com esta estrutura de 7 etapas

A experimentação é essencial para as equipes de produto. Mas se você fizer errado, é melhor não fazer nada. Para tornar seus experimentos valiosos, previsíveis e sustentáveis, você precisa de um sistema que alinhe seus testes com o crescimento dos negócios e os problemas dos clientes.

Por que você precisa de uma estrutura de experimentação

A experimentação permite que as equipes trabalhem com uma mentalidade de crescimento, onde operam com o entendimento de que seu conhecimento sobre o produto e seus usuários pode mudar. Eles podem aplicar métodos científicos para preencher a lacuna de percepção e realidade que ocorre naturalmente na escala de produtos e alinhar com o que os clientes realmente precisam.

Quando as equipes experimentam de maneira ad hoc, os programas de experimentação falham e as organizações excluem a experimentação de seus processos internos de tomada de decisão. Uma estrutura evita essa situação, garantindo que seus experimentos beneficiem seus usuários e, portanto, sua empresa.

A experimentação é a chave para tomar decisões que tenham um impacto comercial significativo. A intuição por si só é ótima e pode trazer bons resultados, mas seu processo de tomada de decisão não será sustentável ou confiável.

A experimentação ajuda a desenvolver uma mentalidade de crescimento

Quando a experimentação é parte integrante do seu trabalho, ela ajuda você a se afastar de uma mentalidade fixa – onde você nunca atualiza o que acredita sobre seu produto – e trabalhar com uma mentalidade de crescimento. Em vez de confiar em suas suposições, você aprende e atualiza continuamente seu conhecimento. Então, você pode tomar as melhores decisões possíveis para seus negócios e clientes.

A experimentação ajuda você a atualizar seus instintos e tomar melhores decisões

Se você não experimenta, toma decisões com base na intuição ou simplesmente no que a voz mais alta na sala acha que é certo. Com experimentação regular, você pode tomar decisões com base no aprendizado dos dados.

Você pode tomar decisões intuitivas com sucesso por muito tempo, mas é difícil dimensionar a intuição em uma empresa à medida que ela cresce. Você também não pode saber quando sua intuição se torna desatualizada e errada.

À medida que uma organização cresce e muda, sua intuição – o que você acredita sobre seus produtos, clientes e o melhor caminho a seguir – está expirando constantemente. Quando você aprende com a experimentação, pode aprimorar e atualizar sua intuição com base nos dados obtidos.

A experimentação ajuda você a ficar perto de seus clientes

A experimentação permite que você mantenha a lacuna entre a percepção e a realidade (o espaço entre o que você acha que os usuários desejam e o que eles realmente desejam ) ao mínimo. Quando você está nos estágios iniciais de seu produto e trabalhando para encontrar o produto adequado ao mercado, você está próximo dos clientes. Você fala com eles e está ciente de suas emoções e necessidades.

Mas quando você começa a escalar, a diferença de percepção e realidade aumenta. Você tem que lidar com clientes de baixa intenção e usuários adjacentes. Você não pode falar com os clientes como fazia nos estágios iniciais de desenvolvimento do produto porque há muitos deles. A experimentação ajuda você a encontrar as áreas em que sua intuição está incorreta, para que você possa reduzir a lacuna de percepção à medida que escala.

Por que os programas de experimentação falham

Os programas de experimentação geralmente falham quando as pessoas usam a experimentação como uma tática pontual, em vez de um processo contínuo. As pessoas também direcionam seus experimentos incorretamente porque esperam que seus experimentos tragam vitórias em vez de aprendizados.

As experiências são ad hoc

As equipes geralmente veem os experimentos como uma forma isolada de validar a intuição de alguém em uma área específica. A experimentação ad hoc pode ou não trazer bons resultados, mas esses resultados não são previsíveis e não é uma maneira sustentável de operar.

As experiências têm objetivos incorretos

Quando as pessoas esperam que os experimentos gerem aumentos, elas estão direcionando seus experimentos incorretamente. Embora obter vitórias com seus experimentos seja agradável, as perdas são mais valiosas. As perdas mostram onde você tinha uma crença incorreta sobre seu produto ou usuários, para que você possa corrigir essa crença no futuro.

As experiências não estão alinhadas a uma alavanca de crescimento ou enquadradas em torno de um problema do cliente

Os experimentos causam problemas quando você não os alinha com a alavanca de crescimento em que o negócio está focado, porque isso significa que eles não são úteis para sua organização. Da mesma forma, focar apenas nos resultados de negócios em vez de enquadrar experimentos em torno de um problema do cliente cria problemas. Se você pensa apenas em um problema de negócios, interpreta seus dados de maneira tendenciosa e desenvolve soluções que não são benéficas para o usuário.

O que acontece quando os programas de experimentação falham?

Quando os programas de experimentação falham ou são implementados incorretamente, as organizações perdem a confiança na experimentação e confiam demais na intuição. Eles param de confiar neles como um caminho para desenvolver a melhor experiência possível do cliente. Quando isso acontece, eles não adotam a experimentação como parte de seu processo de tomada de decisão, perdendo todo o valor que as experiências trazem.

Vamos dar uma olhada em alguns exemplos de experimentos que deram errado. Aqui está o que acontece quando você experimenta sem usar uma estrutura que o leva a alinhar seus experimentos em torno de uma alavanca de negócios e um problema do cliente.

Taxa de conversão de grátis para pago

Uma organização está focada em monetização e precisa monetizar seu produto. Eles incumbem uma equipe de melhorar a taxa de conversão de gratuito para pago.

A empresa diz: “Temos uma baixa taxa de conversão de preços para checkout, então vamos otimizar a página de preços.” A equipe decide testar diferentes cores e layouts para melhorar a taxa de conversão da página.

No entanto, a experimentação para otimizar a página de preços não é enquadrada no problema do cliente. Se a equipe tivesse conversado com os clientes, eles poderiam ter descoberto que não é o UX da página de preços que os impede de atualizar. Em vez disso, eles podem não se sentir prontos para comprar ainda ou entender por que devem comprar.

Nesse caso, otimizar apenas a página de preços não produziria nenhum resultado. Vamos imaginar que a equipe concentre sua experimentação no problema do cliente. Eles podem tentar fazer testes do produto premium para que os clientes sejam expostos ao seu valor antes mesmo de verem a página de preços.

O trabalho que você acaba fazendo e o aprendizado que obtém são completamente diferentes se você começar seus experimentos com o problema do negócio (“existe uma taxa de conversão que precisamos aumentar”) versus se você começar com o problema do cliente (“eles ainda não estão prontos para pensar em comprar”).

Questionário de integração

Uma organização está focada na aquisição, então a equipe de produto está procurando minimizar a taxa de desistência da página dois para a página três do questionário de integração. Se eles pensarem apenas no problema comercial, podem simplesmente remover a página três. Eles assumem que, se a integração for mais curta, haverá uma taxa de desistência menor.

Digamos que a remoção da página três funcione e a taxa de conversão da integração melhore. Mais pessoas completam o questionário. A equipe tira um aprendizado que aplica ao restante do produto: devemos simplificar todas as jornadas do cliente removendo o máximo de etapas possível.

Mas esse aprendizado pode estar errado porque eles não pensaram no lado do problema do cliente. Eles não investigaram por que as pessoas estavam desistindo na página três. Talvez não fosse o tamanho da página o problema, mas o tipo de informação que eles estavam pedindo.

Talvez a página três incluísse perguntas sobre informações pessoais, como número de telefone ou salário, que as pessoas se sentiam desconfortáveis ​​em fornecer tão cedo em sua jornada. Em vez de remover a página, eles poderiam ter tentado tornar essas respostas opcionais ou permitir que os usuários editassem suas respostas mais tarde para que mais pessoas passassem por essa parte da integração.

Uma estrutura de experimentação de 7 etapas

Siga estas etapas para tornar seus experimentos sustentáveis. Isso ajudará a manter sua experimentação alinhada com a estratégia de negócios e os problemas do cliente.

1. Defina uma alavanca de crescimento

Para que uma experiência seja significativa, ela precisa ser importante para os negócios. Escolha uma área para sua experiência que se alinhe com a alavanca de crescimento em que sua organização está focada: aquisição, retenção ou monetização.

Digamos que estamos nos concentrando na aquisição e notamos que a desistência em nossa página inicial é alta. Para enquadrar nosso experimento, podemos dizer:

• acquisition Acelerar a aquisição 2. Defina o problema do cliente

  Antes de prosseguir, você precisa definir o problema que o experimento está tentando solucionar do ponto de vista do cliente.

  Você encontrou o ajuste do produto ao mercado identificando o problema do cliente que seu produto resolve. No entanto, quando muitas organizações passam a distribuir e dimensionar seus produtos, elas mudam seu foco para os problemas de negócios. Para ser eficaz, você precisa evoluir continuamente e aprender sobre o ajuste do produto ao mercado, ancorando sua distribuição e dimensionamento nos problemas do cliente.

  Você repetirá o problema do cliente com base nos resultados do experimento. Comece definindo um problema inicial do cliente, declarando o que você acha que é o problema.

  Para o nosso exemplo de página inicial, isso pode ser:

  • confused Os clientes estão confusos Desenvolva uma hipótese

    Agora, defina sua interpretação de por que o problema existe. Assim como no problema do cliente, você repetirá sua hipótese à medida que aprender mais. A primeira versão do problema e da hipótese do cliente oferece um ponto de partida para a experimentação.

    Possíveis hipóteses para nosso exemplo de página inicial incluem:

    • poor messaging Os clientes estão confusos devido a mensagens ruins too many action buttons Nossa página tem muitos botões de ação too vague Nossa cópia é muito vaga 4. Idealize possíveis soluções com KPIs

      Crie todas as soluções possíveis que possam resolver o problema do cliente. Crie uma forma de medir o sucesso de cada solução, indicando qual indicador chave de desempenho (KPI) cada solução aborda.

      Baixe nosso Guia de Métricas de Produtos para obter uma lista de KPIs de produtos impactantes sobre aquisição, retenção e monetização e como medi-los.

      Uma solução + KPI para nosso exemplo de página inicial pode ser:

      • Solução: KPI: 5. Priorize as soluções

        Decida quais soluções você deve testar primeiro considerando três fatores: o custo para implementar a solução, seu impacto nos negócios e sua confiança de que ela terá um impacto.

        Para eliminar soluções de baixo impacto e alto custo, priorize suas soluções na seguinte ordem:

        1. Baixo custo, alto impacto, alta confiança
        2. Baixo custo, alto impacto, baixa confiança
        3. Baixo custo, menor impacto, alta confiança

        Então você pode passar para soluções de alto custo, mas apenas se o impacto delas também for alto.

        Empresas diferentes podem atribuir pesos diferentes a esses fatores. Por exemplo, uma organização bem estabelecida com um grande orçamento será menos cautelosa ao testar soluções de alto custo do que uma startup com poucos recursos. No entanto, você deve sempre considerar os três fatores (custo, impacto e confiança do impacto).

        Outro benefício da experimentação é que ela ajudará a aprimorar sua capacidade de fazer uma avaliação de confiança. Depois de experimentar, verifique se a solução teve o impacto esperado e aprenda com o resultado.

        6. Crie uma declaração de experimento e execute seus testes

        Colete as informações coletadas nas etapas 1 a 5 para criar uma declaração para enquadrar seu experimento.

        Para nosso exemplo de página inicial, essa declaração se parece com:

        • growth lever customer hypothesis solution KPI Acelerar a aquisição é nossa prioridade, e nossa página de destino com maior tráfego - a página inicial - está com baixo desempenho [ alavanca de crescimento problema do hipótese solução KPI Defina uma linha de base para a métrica que você está tentando influenciar, aumente e teste.

          7. Aprenda com os resultados e repita

          Com base nos resultados de seus testes, retorne à etapa dois, atualize o problema e a hipótese do cliente e continue executando esse loop. Pare de iterar quando a prioridade do negócio (a alavanca de crescimento) mudar, por exemplo, quando a aquisição melhorar e você quiser se concentrar na monetização. Configure seus experimentos alinhados à nova alavanca.

          Outra razão pela qual você deve parar de iterar é quando você vê retornos decrescentes. Isso pode ocorrer porque você não pode encontrar mais soluções ou não possui a infraestrutura adequada ou recursos suficientes para resolver os problemas de seus clientes com eficácia.

          Tome melhores decisões mais rapidamente

          Para fornecer experimentos direcionados aos usuários e medir o impacto das mudanças no produto, você precisa da plataforma de experimentação de produto certa. O Amplitude Experiment foi criado para permitir a colaboração entre as equipes de produto, engenharia e dados para planejar, entregar, rastrear e analisar o impacto das alterações do produto com análise comportamental do usuário. Solicite uma demonstração para começar.

          Se você gostou deste post, siga-me no LinkedIn para saber mais sobre o crescimento liderado pelo produto. Para mergulhar ainda mais na experimentação do produto, confira meu curso de Experimentação e Teste no Reforge .