Use resumos de experimentos para projetar experimentos melhores

Quer sua empresa esteja apenas começando sua jornada de experimentação ou já tenha estabelecido uma cultura de experimentação, o uso do Experiment Briefs pode ajudar a democratizar a experimentação, projetar experimentos melhores e criar transparência sobre os objetivos e as próximas etapas de cada experimento.

Democratize a experimentação

O que entendemos por democratização? Democratização é o ato de tornar algo acessível a todos. Para democratizar a experimentação, as organizações precisam tornar duas coisas acessíveis:

1. A capacidade de realizar experimentos deve ser acessível a qualquer pessoa em qualquer parte da organização
2. Qualquer pessoa deve ser capaz de obter acesso rápido aos principais fatos e resultados de cada experimento

Uma excelente abordagem para democratizar os principais fatos e resultados de um experimento é usar um resumo do experimento.

Por que sua equipe deve usar um resumo do experimento?

Projete experimentos melhores

A realização de experimentos é um componente fundamental do método científico - científico sendo a palavra operativa. O design de um experimento é uma parte crucial do processo, mas muitas equipes geralmente ignoram essa etapa fundamental do processo. Exploraremos isso com mais profundidade na próxima seção.

Crie transparência em seu processo

Sem documentação transparente, é fácil racionalizar as decisões e encaixá-las em uma narrativa depois de conhecer os fatos, o que leva a maus resultados de experimentação. Ao documentar as próximas etapas claras após a execução de um experimento, é muito mais provável que as equipes avancem com base no que aprenderam com o experimento.

Como é um bom experimento?

Muitos praticantes assumem que um experimento consiste em começar com uma ideia, construir um protótipo, testá-lo e depois descobrir o que fazer a seguir. Errado.

Um bom experimento segue o esqueleto do método científico. Esses conceitos básicos são transferidos para o mundo dos experimentos digitais, juntamente com alguns componentes personalizados. Só para constar, quando digo “boa experiência”, não estou me referindo ao resultado da experiência. Um “bom experimento” fala de um experimentobem planejado .”

Aqui estão os componentes críticos de um bom projeto de experimento:

Planejamento (pré-experimento)

1. Observações do documento que esclarecem por que planejamos executar este experimento
2. Pesquisa para validar nossas observações. Esta pesquisa pode ser quantitativa, qualitativa, insights competitivos, etc.
3. Crie uma hipótese com métricas ou KPIs claramente definidos
4. Crie alinhamento nas próximas etapas de sua equipe com base em cada resultado possível: se cada variante vence ou se o teste não atinge significância estatística
5. As características da configuração do experimento incluem duração, público, divisão de tráfego, limite crítico e muito mais
6. Articulação clara do que está sendo testado e modificado. Isso pode ser uma mudança de design, um novo recurso ou experiência e muito mais
7. Confirme se o experimento pode ser medido

Enquanto o experimento é executado

1. Painéis analíticos para monitoramento contínuo

Pós-experiência

1. Analise os resultados
2. Articule o resultado do experimento e avance com seus próximos passos pré-determinados.

O resumo do experimento

Agora que entendemos em que consiste um bom design de experimento, podemos padronizar nosso processo para garantir que todas as informações críticas sejam documentadas antes do início do experimento, todas as vezes.

Isso torna mais fácil para qualquer pessoa em sua organização aprender sobre o experimento de forma assíncrona, o que ajuda a permitir a democratização.

Fase 1: Plano

Fase 2: configurar

Fase 3: Monitorar

Fase 4: Analisar e Decidir

Pensamentos finais

Esses resumos de experimentos podem ser facilmente categorizados por data, segmento, seção do site e plataforma. Eles também devem ser acessíveis a todos para que esse conhecimento institucional persista mesmo que as pessoas entrem e saiam. O uso de resumos de experimentos pode ajudar sua equipe a turbinar seu programa de experimentação, documentando cada experimento de forma transparente para democratizar essas informações.

Eu adoraria ouvir seus pensamentos sobre este modelo e quaisquer modificações que você faria. Você pode entrar em contato comigo no LinkedIn ou no Twitter, ou conferir meu blog.

Um link para o modelo de resumo do experimento pode ser encontrado seguindo este link → Modelo de resumo do experimento.