Desbloqueie o poder da experimentação liderada por produtos com nosso novo guia

No cenário competitivo de hoje, a experimentação liderada pelo produto é mais do que uma boa ideia - é uma necessidade para as equipes de produto e engenharia quantificar seu impacto.Mas as equipes precisam cultivar uma cultura de experimentação e incorporá-la em todas as fases do processo de desenvolvimento do produto para construir com confiança.

Fizemos uma parceria com a Reforge para criar um guia abrangente para experimentação liderada por produtos, apresentando insights e conselhos de especialistas na área. O guia ajudará as equipes de produto e engenharia a estabelecer programas de experimentação e liberar todo o potencial de seus produtos. Nesta postagem, daremos uma visão geral do que esperar do guia.

Baixe o guia completo —Build with Confidence: Your Guide to Scaling Product-Led Experimentation— para aprender como construir uma cultura de experimentação, compreender a prática da experimentação, priorizar seu roteiro de experimentação e muito mais.

Por que a experimentação é importante

No ambiente competitivo de hoje, a experimentação não é opcional para as equipes de produto. É o que ajuda as equipes a criar produtos inovadores e bem-sucedidos e vincular seu trabalho à organização como um todo.

Saleem Malkana, executivo residente da Reforge, explica que a experimentação ajuda as equipes de produto a medir o impacto de seu trabalho e a melhorar a estratégia do produto. “As melhores equipes de produto sabem que o que realmente importa não é apenas enviar esses resultados, mas sim quais resultados eles geram”, explica ele.

Para medir o impacto das mudanças no produto, as equipes precisam desenvolver hipóteses, realizar experimentos e avaliar os resultados. Eles podem usar os resultados dos experimentos para informar sua futura estratégia de produto.

O teste também é uma maneira de reduzir o risco de mudanças no produto. As equipes de produto podem avaliar o impacto que uma decisão de produto terá antes de distribuí-la a todos os usuários, o que pode levar a erros caros.

Wil Pong, chefe de produto da Amplitude Experiment, argumenta que a experimentação liderada pelo produto oferece inovação mais rápida sem interromper os ciclos de desenvolvimento da engenharia usando mais ferramentas de nível de superfície, como abordagens WYSIWYG.

No passado, apenas grandes empresas como a Netflix podiam oferecer experiências personalizadas e experimentar diferentes interfaces de produtos ou mecanismos de recomendação. Agora, com novos aplicativos como o Amplitude Experiment, organizações de todos os tamanhos podem iterar e refinar seus produtos em tempo real com base nas necessidades dos usuários.

A experimentação liderada pelo produto permite que as equipes de produto forneçam experimentos altamente direcionados em todos os seus produtos usando sinalizadores de recursos, o que permite às equipes controle total para ativar ou desativar as experiências. Isso permite que as equipes “entreguem experimentos altamente direcionados e lançamentos de recursos usando os mesmos processos e tecnologia que impulsionam o restante do desenvolvimento de [seus] produtos”, o que acabará por impulsionar uma inovação rápida sem interromper as equipes técnicas, explica Wil.

A experimentação também é crucial para os líderes de produtos, dadas as mudanças recentes na responsabilidade. Bhavik Patel, fundador e diretor administrativo da CAUSL, explica que as organizações passaram de abordagens baseadas em resultados para abordagens baseadas em resultados, colocando mais escrutínio nos líderes de produtos. Embora seja difícil medir o ROI das equipes de produto (as organizações geralmente usam o número de funcionários ou as horas de engenharia), acompanhar o impacto do produto por meio da experimentação ajuda a equipe de produto a vincular seu trabalho aos objetivos mais amplos da empresa.

O que significa construir uma cultura de experimentação

Uma cultura de experimentação deve envolver todas as partes de uma organização. Para estabelecer essa cultura, as organizações precisam passar por uma mudança de mentalidade e construir sistemas e processos concretos para apoiar sua velocidade de aprendizado, não apenas enviar rapidamente.

Saleem explica que uma cultura de experimentação não é puramente técnica. É uma combinação de:

• Pessoas: os membros da equipe são orientados por dados.
• Processos e comunicação integrados: A experimentação faz parte dos processos de desenvolvimento de produtos com comunicação saudável entre as equipes.
• Tecnologia: A organização usa uma plataforma que permite a experimentação.

Idealmente, a experimentação existirá em todos os níveis da organização, com foco no nível do esquadrão - é isso que cria a base para agilidade e adaptabilidade. Os testes também devem fazer parte das operações diárias, para que as equipes obtenham um fluxo constante de insights que podem ser usados ​​para melhorar o produto.

Para criar uma cultura de experimentação, as equipes devem desenvolver uma mentalidade que abrace a curiosidade e o “fracasso”, pois ambos são mecanismos de aprendizado. Para gerar impulso em torno da experimentação, também é importante garantir um defensor executivo.

Um executivo que aceita a experimentação ajudará a fornecer recursos como tempo, orçamento e ferramentas. Eles também ajudarão na criação de canais para comunicação aberta e colaboração entre os departamentos.

Leia mais no guia completo.

Como começar sua jornada de experimentação

Implementar programas de experimentação em uma organização leva tempo. Aqui estão algumas práticas recomendadas para quando você está começando.

Comece pequeno e amplie

O objetivo final é implantar a experimentação em toda a organização. No entanto, as organizações devem começar pequenas com testes de baixo risco em uma equipe antes de escalar.

Saleem recomenda estabelecer um “centro de excelência”: uma única equipe que deve validar a pilha de experimentação básica e construir a partir daí. Elena Verna, consultora de crescimento e executiva interina de crescimento, explica: “uma única equipe precisa primeiro aprender como testar, como aprender e como vencer”.

Ela continua: “Depois que essa equipe desenvolveu habilidades e mentalidade de experimentação, eles devem trabalhar para democratizar o acesso a testes e aprendizado. Dessa forma, toda a organização pode aprender como vencer com a experimentação.” Em última análise, os membros da equipe em todos os departamentos devem ser capazes de executar testes para informar suas decisões do dia-a-dia.

Bhavik sugere que as equipes comecem com testes de baixo risco: “Eu não aconselharia começar com um experimento de precificação complexo, por exemplo, mas é uma grande meta para se trabalhar.”

Ele também adverte contra ficar preso a números irrealistas. A maioria das empresas não deveria tentar fazer milhares de experimentos. Em vez disso, “o objetivo deve ser executar mais [testes] do que no último trimestre ou ano”, diz ele.

Idealizar, validar, priorizar

A execução de experimentos desnecessários desperdiça recursos, portanto, as equipes devem ser seletivas na escolha de quais experimentos executar.

Comece sua ideia com uma árvore métrica (um diagrama que mostra como todos os elementos de um produto se aproximam das metas da empresa) ou um diagrama solar (uma visão geral dos fluxos de trabalho da sua organização). Revisar esses diagramas dá a você uma ideia de onde concentrar seus esforços de experimentação.

Para testar ideias, primeiro valide os conceitos de teste para identificar quais ideias valem a pena perseguir. Para validar, você pode usar testes de portas pintadas, pesquisa documental ou examinar resultados de experimentos semelhantes.

Em seguida, considere o tempo para insights de cada teste potencial. Elena enfatiza que as equipes devem priorizar a velocidade do aprendizado e considerar quanto tempo leva para criarum experimento, não apenas executá-lo. Saleem também sugere dividir grandes desafios em hipóteses testáveis ​​menores para obter um ciclo de feedback mais rápido.

Outros fatores a ter em conta incluem:

• O volume em diferentes pontos do seu produto porque você precisa de tráfego suficiente para executar testes
• Se o teste que você deseja executar pode ser medido com as ferramentas de análise que você possui

Depois de validar suas ideias de teste, priorize quais experimentos executar com base em:

• Sua capacidade de teste
• Quanto impacto você espera que o teste tenha
• Quão confiante você está de que terá o impacto desejado
• O esforço envolvido na execução do teste

Projete seus experimentos usando as práticas recomendadas

Bhavik explica que experimentos bem projetados estão enraizados no método científico. Eles podem ser divididos nas seguintes etapas: planejamento antes do experimento, monitoramento durante o experimento e análise após o experimento.

Depois de validar suas ideias de experimento e escolher quais testes priorizar, você deve planejar seus experimentos. Documente os motivos para executar o experimento. Articule claramente o que está sendo testado e modificado – isso pode ser uma mudança de design ou um novo recurso ou experiência.

Crie uma hipótese e defina métricas de produto ou KPIs claramente definidos para sua experiência. Decida os próximos passos com base nos resultados possíveis. Determine o que acontece quando cada variante vence ou se o teste não atinge significância estatística.

Mergulhe mais fundo no planejamento pré-experiência no guia completo.

Durante o experimento, crie um painel analítico para monitorar continuamente o teste. Após o experimento, analise os resultados e articule o resultado. Então, a equipe pode avançar com os próximos passos predeterminados.

Construa com confiança

Para obter mais orientações sobre como executar programas de experimentação bem-sucedidos, baixe o guia de experimentação conduzido pelo produto.