3 armadilhas da métrica do produto que você precisa evitar

Em meu livro, The Insights Driven Product Manager , abordo por que é importante rastrear menos para criar mais foco e gastar mais tempo extraindo insights verdadeiros de seus dados.

O próximo passo é garantir que, no nível básico, você esteja rastreando o que chamo de “métricas de boa qualidade”. Este post – um trecho do capítulo 7 do meu livro – se concentrará em como melhorar a qualidade geral de suas métricas, como torná-las mais acionáveis ​​e quais armadilhas evitar.

Armadilha nº 1: Métricas de vaidade

Alguns anos atrás eu estava trabalhando em um produto B2B SaaS para gerenciamento de ambientes de escritório. Acabamos de lançar o produto e começamos a executar nossas primeiras campanhas de publicidade paga, então montei um painel que rastreava o número total de inscrições em 30 dias:

Os números pareciam estar subindo, então ficamos muito felizes com o momento.

O problema era que, embora esse gráfico parecesse bom nas apresentações, a dura verdade era que apenas 4% das novas inscrições se transformaram em conversões e receita reais e, como resultado, não atingimos nossas metas de receita recorrente mensal.

É um gráfico cumulativo, então o pior caso seria que o gráfico apenas se estabilizasse se não adquirissemos novos usuários, mas o número nunca pode diminuir. É um exemplo clássico de métrica de vaidade:

• Olhar para este gráfico nos fez sentir bem.
• Essa métrica foi especialmente útil em apresentações de stakeholders.
• Não nos deu nenhuma ideia se estávamos realmente indo bem ou não.
• Como não nos deu nenhuma visão, não nos levou a tomar medidas para melhorar o produto ou os recursos de forma alguma.
• E apesar de analisar essa métrica diariamente, levamos dois meses (no momento em que todos os testes de 30 dias terminaram e foram interrompidos) para descobrir que havia um problema.

Embora uma parte do problema fosse nossa falta de conhecimento sobre como medir melhores métricas naquele momento, o problema nas organizações geralmente é muito mais profundo: a maioria das equipes ou partes interessadas simplesmente não está pronta para ouvir a verdade de suas métricas, então procuramos pelos números que nos fazem parecer bons.

Em minha entrevista com Crystal Widjaja, CPO da Kumu e redatora da Reforge, ela resumiu lindamente como visualizar dados como uma forma de capitalizar falhas e impulsionar melhorias:

“Quando as pessoas cometem erros (experiência fracassada, implantação fracassada etc.), você já pagou esse custo. Devemos pensar nos dados como uma forma de capitalizar os erros e aprender com eles. Em vez de 'pagar a taxa do fracasso' e demitir o indivíduo, use os insights de dados para nos dizer POR QUE foi um fracasso, aprenda com ele e aproveite-o para que a próxima iteração seja 10 vezes melhor do que a primeira.”

– Cristal Widjaja

Para obter mais insights de seus dados, você realmente precisa parar de rastrear métricas de vaidade e, em vez disso, usar dados para descobrir a verdade e impulsionar melhorias reais. Se você olhar de perto, é fascinante a frequência com que as equipes estão mostrando métricas muito seletivas para apaziguar certas partes interessadas ou fazer os números parecerem melhores do que realmente são. Fique atento a outros exemplos clássicos de métricas de vaidade, como:

• Número de visualizações de página ou visitantes
• Número de seguidores/curtidas
• Tempo gasto no local (duração da sessão)
• Número de downloads

Métricas como visualizações de página e duração da sessão ainda são muito usadas na análise de sites, onde o foco é medir o tráfego, a conscientização e o engajamento inicial. Eles fornecem algumas informações sobre o que chamamos de topo do funil – a aquisição inicial de clientes – mas não se os clientes estão realmente ativando e engajados com o produto, o que terá uma correlação muito mais significativa com seus objetivos mais amplos de produto e negócios.

Como fazer melhor: para realmente entender se uma métrica é boa ou ruim, precisamos contextualizar os números. No mínimo, você quer tentar comparar um número em diferentes períodos de tempo, como comparar seus números de inscrição neste mês com o mês anterior.

Outra maneira eficaz de tornar suas métricas mais úteis é usar proporções em vez de números totais. Os índices são inerentemente comparativos. Como exemplo, os contadores não analisam apenas a receita total, mas normalmente comparam os custos de produção de um produto com as vendas que fizeram dele. Dessa forma, os contadores podem acompanhar sua margem de lucro (um ótimo exemplo de índice útil) ao longo do tempo para avaliar se o negócio está saudável.

Exemplos de métricas melhores e mais comparáveis:

• % de inscrições por canal de aquisição
• % de inscrições que concluíram o processo de inscrição completo
• % de inscrições que realizaram uma métrica de ativação de chave
• % de usuários que usam o produto após 4 semanas

Armadilha nº 2: apenas rastreando métricas de atraso

Um grande problema foi a quantidade de tempo que levamos para descobrir se estávamos atingindo nossas metas de conversão (ou não). O produto tinha um teste gratuito de 30 dias e nosso objetivo era convertê-los em clientes pagantes após o final do teste. no segundo mês quantas dessas inscrições se converteram em clientes pagantes.

Este é um exemplo clássico de uma métrica de atraso. As métricas de atraso relatam retrospectivamente os resultados anteriores. Por exemplo, seus números de receita para o ano são métricas atrasadas, como a maioria de suas outras métricas operacionais. Você só sabe se foi bem depois de ter os resultados.

O valor real em rastrear o comportamento do usuário por meio de sua análise de produto é que você pode começar a procurar indicadores mais cedo do que ter que esperar pelos números finais de receita. Se suas principais métricas não tiverem um bom desempenho, você terá a chance de corrigir o curso antes que seja tarde demais. É por isso que eu projetei o Holistic Metrics One Pager no capítulo cinco do meu livro para incluir tanto o comportamento do cliente quanto as métricas operacionais, para que as equipes possam rastrear uma combinação saudável de métricas de liderança e atraso para obter uma visão completa.

Uma das métricas líderes mais poderosas é a métrica de ativação. Uma boa métrica de ativação representa a porcentagem de clientes que realizam uma ação importante para configurar ou começar a usar o produto. Muitas empresas descobriram que, se os usuários fizerem uma determinada ação em seu produto durante a integração, eles tendem a perceber o verdadeiro valor do produto, o que leva a um maior envolvimento mais adiante. Alguns chamam essa etapa de ativação de alcançar o “momento aha” em seu produto.

Aqui estão alguns exemplos simples das principais métricas de ativação:

• Produto de rede social: um exemplo clássico foi a primeira métrica de ativação do Facebook de adicionar no mínimo sete amigos em 10 dias.
• Produto de agregação de painel: a proposta de valor é agrupar várias ferramentas em uma visualização, para que você possa descobrir que os usuários que adicionam no mínimo duas ou três ferramentas durante a integração percebem todo o potencial do produto.
• Produto utilitário: sua proposta de valor pode ser simplificar ou digitalizar uma tarefa como rastrear conversas de vendas em um CRM, para que você possa rastrear o número de usuários que concluem sua primeira entrada de cliente o mais rápido possível como uma métrica de ativação.
• Atenção produto: se o seu produto é centrado em entretenimento e conteúdo, você pode rastrear usuários que consumiram uma certa quantidade de conteúdo na primeira semana de inscrição .

A propósito, as métricas de atraso não são inerentemente ruins. Na verdade, eles são uma parte crítica dos relatórios, especialmente para medir métricas de negócios, como seus resultados financeiros. A vantagem deles é que eles representam os resultados finais, os fatos reais.

As principais métricas, por outro lado, geralmente incluem uma certa quantidade de suposições, como a suposição de que uma grande quantidade de chamadas frias todos os dias aumenta o número de usuários pagantes mais adiante. À medida que você obtém mais dados, deve testar se essas suposições são realmente verdadeiras, mas mesmo assim ainda há alguma incerteza sobre se a métrica de ativação realmente causou o aumento na retenção ou se outros fatores contribuíram para isso.

Isso significa que as métricas principais nunca serão tão precisas quanto as métricas atrasadas, mas são cruciais para obter insights verdadeiros de suas métricas. Eles nos permitem aprender com o comportamento do cliente e identificar indicadores iniciais que podem mudar nossas decisões de produtos para otimizar os melhores resultados de negócios mais adiante. O uso do modelo Holistic Metrics One Pager força você a rastrear os indicadores principais e atrasados, bem como a pensar em como eles influenciam uns aos outros.

Armadilha 3: Métricas que ninguém entende

Quando entrevisto gerentes de produto, muitas vezes ouço que o conhecimento analítico e os insights de dados ficam escondidos em cantos escuros e misteriosos dos escritórios, com nomes de eventos que ninguém, exceto alguns analistas altamente especializados, entendem. Todos os meses, esses especialistas se reuniam com várias equipes de produtos na tentativa de compartilhar e traduzir algumas de suas descobertas.

Se quisermos que nossas equipes de produtos e partes interessadas criem um entendimento compartilhado de nossos dados e discutam melhorias no produto de forma colaborativa, precisamos trabalhar ativamente na democratização de nossos dados, garantir que nossas métricas sejam acessíveis a todos e fáceis de entender.

A Intercom compartilhou seus aprendizados ao fazer uma grande limpeza de eventos alguns anos atrás. Eles tinham cerca de 350 eventos para seu produto que se pareciam com isso:

Isso parece familiar para você?

A Intercom compartilhou que eles falharam em um princípio fundamental da análise: eles faziam muito pouco sentido para qualquer pessoa, exceto para a equipe de análise. Eles redefiniram e reconstruíram toda a estrutura de nomenclatura de todos os seus eventos para introduzir melhor legibilidade como uma etapa fundamental para democratizar seus dados de análise de produtos.

Também é importante tornar os relatórios mais acessíveis para várias partes interessadas e equipes da organização. Infelizmente, muitas vezes vejo equipes com medo de abrir seus painéis, pois isso revelaria novamente os verdadeiros números de engajamento ou aquisição que podem não parecer ótimos para as partes interessadas. Para evitar conversas desconfortáveis ​​ou perguntas incômodas, geralmente é mais fácil para as equipes se esconderem atrás de um verniz de complexidade.

Como fazer melhor:

• Etapa 1: trabalhe com suas equipes de engenharia e analistas para simplificar os nomes dos eventos de análise de produtos: “Completed Onboarding” e “Added Dashboard Widget” são ações que todos entenderão.
• Etapa 2: se você tiver uma equipe de análise, inclua-a melhor em suas equipes de produto. Quanto mais contexto os analistas tiverem sobre o que sua equipe de produto está trabalhando, quais experimentos você está testando e quais perguntas precisam ser respondidas, melhor eles poderão ajudá-lo a explorar os dados para encontrar os insights mais relevantes. Deve ser uma colaboração em vez de uma abordagem de terceirização.
• Etapa 3: torne seus painéis e relatórios de análise acessíveis para toda a organização. Seus painéis devem refletir as principais métricas do seu produto (que você pode definir usando o Holistic Metrics One Pager do livro). Isso é fundamental para a escala (sua equipe não quer ser inundada com solicitações de relatórios manuais todos os dias), bem como para realmente construir uma cultura mais orientada a dados dentro da organização mais ampla.

“Quando as equipes são questionadas sobre o estado do negócio, elas podem procurar ou fazer suposições hipotéticas. É fundamental tornar o primeiro a maneira mais fácil e padrão para a liderança responder a essas solicitações, criando painéis de detalhamento personalizados e fáceis de usar para coisas como coortes, funis e eventos do usuário.”

- Cristal Widjaja

Lembre-se de que o trabalho para o qual contratamos nossos dados é descobrir a verdade para que possamos agir e melhorar nossas experiências com produtos. Tornar suas métricas fáceis de entender e mais acessíveis são as principais etapas para incluir insights de dados na tomada de decisões do dia-a-dia em sua organização. Uma organização de produto forte deve estar mais motivada do que nunca para resolver esses problemas assim que souber onde estão os problemas.

Como melhorar suas métricas usando a lista de verificação de métricas

Criei uma lista de verificação simples que resume as principais características de métricas acionáveis ​​e de boa qualidade que ajudarão você a obter mais insights de seus dados. Use esta lista de verificação para avaliar e melhorar todas as suas métricas existentes:

É preciso prática real para realmente acertar suas principais métricas, e você descobrirá que o diabo geralmente está nos detalhes. É absolutamente normal e, de fato, incentivado revisitar frequentemente as métricas que você escolheu e refiná-las várias vezes para torná-las mais úteis.

Fique atento às armadilhas de compartilhar métricas de vaidade, concentrando-se demais em indicadores de atraso onde você não tem tempo para corrigir o curso e certifique-se de simplificar e democratizar suas métricas para realmente aumentar a maturidade dos dados em sua organização.