O que são métricas de vaidade e como parar de usá-las

Você é tão vaidoso (você é tão vaidoso)

Aposto que você acha que essa métrica é sobre você

Você não não?

-Carly Simon

O que são métricas de vaidade?

Mas todos, em algum momento, foram atraídos por boas notícias e baixaram a guarda.

Olá a todos, confira a contagem de usuários únicos de ontem!

Olá a todos, vejam as inscrições para o evento!

É fácil criticar as métricas de vaidade, mas todos nós já passamos por isso.

Neste post, descreverei três problemas comuns que nos levam às métricas de vaidade. Em seguida, compartilharei o The Vanity Metric Test , uma maneira de revisar as métricas e saber se você está entrando no território da métrica da vaidade. Se você está com pouco tempo e quer ir direto para a resenha, clique aqui.

Problemas de métrica de vaidade

Ao conversar com equipes sobre métricas de vaidade, notei três problemas fundamentais.

• As métricas de vaidade carecem de contexto.
• As métricas de vaidade têm uma intenção pouco clara.
• As métricas de vaidade não orientam a ação e o aprendizado.

Problema 1: as métricas de vaidade não têm contexto

Primeiro, temos o problema da falta de contexto. Visualizações de página, usuários ativos diários e inscrições significam algo , mas não são muito úteis isoladamente. Os problemas surgem quando comunicamos essas métricas sem fazer referência ao quadro geral. Não é o que dizemos, mas sim o que não dizemos – por exemplo, “comparado a”, “como uma entrada para”, “equilibrado por”, “um sinal inicial de”, “parte do…” “como um proporção de”, “com as seguintes ressalvas”, etc.

A falta de contexto afeta a todos:

• Marketing: há muitas maneiras de aumentar as visualizações de conteúdo no curto prazo. É muito mais difícil criar um conteúdo perene que atraia potenciais compradores por semanas e anos. Obter um aumento no tráfego inicial é um sinal inicial positivo , mas precisa de uma nota de rodapé.
• Vendas: Atingir uma meta de vendas trimestral é uma grande conquista. É notável por uma variedade de razões. Mas como o time acertou o gol? Eles dobraram os preços? Eles avançaram os negócios? Roubaram Pedro para pagar Paulo? É necessário mais contexto (por exemplo, comparação de preços com trimestres anteriores).
• Produto: o lançamento de um novo recurso é um grande marco. As métricas de adoção antecipada de recursos são um sinal positivo. Mas os clientes não estão necessariamente usando o recurso. Eles podem estar apenas testando o recurso. Na verdade, todos os pop-ups no aplicativo sugerindo que as pessoas experimentem o recurso podem estar aumentando os cliques de curiosidade. Experimentar o recurso é uma entrada para a probabilidade de uso a longo prazo.

Outros exemplos de contexto potencialmente ausente: A média de compras aumentou, mas também as devoluções de pedidos. As conversões aumentam a partir de anúncios que não atendem à sua proposta de valor. Um canal está canibalizando outro canal. O aplicativo é mais fácil para novos usuários, mas mais difícil para usuários experientes. O tempo gasto no aplicativo aumentou, mas seu objetivo é economizar o tempo das pessoas. As pessoas estão consultando mais os dados, mas isso ocorre porque estão tendo problemas para entender os resultados. Os clientes são mais ativos no aplicativo, mas passaram a perder tempo em vez de redes valiosas.

Observe como em cada um desses exemplos, o contexto é tudo. A falta de informações de compensação torna difícil entender o quadro geral e onde a métrica se encaixa.

Além do contexto circundante, precisamos garantir que as pessoas entendam o porquê .

Problema 2: as métricas de vaidade têm uma intenção pouco clara

Em segundo lugar, temos confusão sobre a intenção da métrica. A definição da métrica pode ser explícita, mas o que estamos tentando medir não é claro. Um exemplo clássico aqui são as visitas de retorno. Devolvi o produto porque gostei do produto? Ou porque o produto era difícil de usar e eu precisava fazer uma pausa? Ou precisava da ajuda do serviço de atendimento ao cliente?

Muitas métricas clássicas de “engajamento” da web, como visualizações de página, tempo na página e duração média da sessão, são remanescentes de uma era pré-móvel, pré-troca de dispositivo, pré-30 guias do navegador e pré-aplicativo de página única. Eles eram os melhores proxies de engajamento e troca de valor disponíveis na época, mas não são as melhores medidas que temos disponíveis agora.

A conexão entre o que estamos tentando medir e o “proxy” que escolhemos é extremamente clara com algumas métricas. Ou assim pensamos! Por exemplo, digo a um amigo que consegui dormir oito horas na noite passada. Meu amigo interpreta minha intenção como: “John está tentando comunicar que teve uma boa noite de sono”.

Mas horas de sono é apenas uma das muitas variáveis. Este estudo menciona ~23 variáveis ​​de sono usadas ao estudar a qualidade do sono, incluindo latência REM, sono REM, pequenos movimentos durante o sono, os tempos de diferentes ciclos de sono, o número de ciclos etc. associação com a mortalidade”. Caramba!

Seus autores apresentam o Índice de Qualidade do Sono de Pittsburgh e descrevem claramente a intenção da métrica.

O índice de qualidade do sono de Pittsburgh foi desenvolvido com vários objetivos: (1) fornecer uma medida confiável, válida e padronizada da qualidade do sono; (2) discriminar entre “bom” e “mau” dorminhoco; (3) fornecer um índice que seja fácil para os sujeitos usarem e para os clínicos e pesquisadores interpretarem; e (4) fornecer uma avaliação breve e clinicamente útil de uma variedade de distúrbios do sono que afetam a qualidade do sono.

A intenção de comunicação é fundamental. Esses autores provavelmente enfrentaram trade-offs. A facilidade de uso para sujeitos pode não ser imediatamente igual à profundidade de uso para pesquisadores. A padronização é útil para a comparabilidade, mas geralmente envolve a redução de fatores contextuais. A avaliação é “breve”, o que envolve um trade-off entre as taxas de conclusão da avaliação e a profundidade da avaliação.

Uma ótima declaração de intenção abrange as compensações e objetivos fundamentais.

Como é declarar efetivamente a intenção da métrica?:

Repassando os fatos. Buscando teorias/insights:

Aqui está o número de interrupções que tivemos nos últimos 30 dias e como isso se compara a períodos anteriores. Observe o aumento. O que está acontecendo aqui, você acha? O que estamos vendo?

Como proxy para algo não mensurável diretamente:

Nossa North Star Metric é “Faça você mesmo leal”, definida como o número de usuários que realizaram ações de projetos de bricolage de alto valor combinadas com o envolvimento da comunidade. É um proxy para uma combinação de lealdade, satisfação e uso de nosso produto de maneira congruente com nossa estratégia voltada para a comunidade. Os dados sugerem - mas não provam (ainda) - que este é um indicador importante de maior valor de vida útil do cliente e aquisição viral.

Queremos encontrar uma métrica acionável que 1) uma equipe possa mover e 2) contribua para o sucesso de médio prazo do negócio.

As Hex Pistols vão se concentrar em melhorar a eficácia do fluxo de trabalho de integração. É um ato de malabarismo. Sabemos que podemos apressar as pessoas e não prepará-las para o sucesso. Ou podemos torná-lo muito abrangente, reduzindo a probabilidade de eles verem o produto em ação. Para orientar nosso trabalho, focaremos em diminuir o percentil de 90% do tempo de compartilhamento de projetos. O compartilhamento do projeto é um sinal inicial de que os usuários estão confortáveis ​​e aptos a usar o produto.

A intenção importa!

Problema 3: As métricas de vaidade não orientam a ação e o aprendizado

Recentemente, perguntei ao Twitter e ao LinkedIn:

• Qual é o seu teste para quando algo é uma métrica de vaidade? (Twitter)
• Como você sabe quando uma métrica é uma métrica de vaidade? (LinkedIn)

Um dos “testes” de maior classificação foi se a métrica guiava ações e decisões.

Quando ninguém pode agir de forma significativa sobre o que ela nos mostra. Quando nenhum valor possível para a métrica nos levará a realmente melhorar alguma coisa. Ola Berg

O resultado não é acionável. Independentemente de a métrica aumentar ou diminuir, não mudamos o que fazemos. Chris Lucassen

Quando ninguém fica preocupado se parar de subir/platôs/ou declinar. ex: “Nossa pontuação NPS é 90!” um mês seguido por "Nossa pontuação NPS é 50!" próximo mês. Heidi Atkinson

Ação, decisões e aprendizado são um grande negócio.

Se um número continua subindo e a única ação que ele inspira é uma sobrancelha franzida em uma reunião geral, você provavelmente tem uma métrica de vaidade em suas mãos. Se uma equipe cria uma métrica para comemorar, mas quando ela cai, eles não mudam sua estratégia ou tática, você provavelmente está olhando para uma métrica de vaidade.

Os exemplos incluem métricas não muito acionáveis:

• Duração média da sessão. Ele sobe ou desce. O que você faz?
• Novos usuários (menos canal de aquisição). Ele sobe ou desce. O que você faz?
• Novos seguidores. Ele sobe ou desce. O que você faz?

Há algumas ressalvas aqui.

Uma métrica pode ser significativa, mas não imediatamente acionável.

Em nossos Workshops da Estrela do Norte, enfatizamos que a Métrica da Estrela do Norte deveria estar um pouco fora de alcance. É a saída de equipes que influenciam os vários Insumos da Estrela do Norte. Por que você não iria querer uma Métrica da Estrela do Norte acionável? O NSM pretende atuar como um indicador líder de desempenho empresarial sustentável (no prazo plurianual). Quase por definição, será um pouco distante do trabalho do dia-a-dia. Precisamos de insumos para servir como a “ponte” entre o trabalho diário e essa contribuição significativa para o sucesso do negócio.

Nós rastreamos nossa North Star Metric e, se ela parar, nos forçará a reconsiderar nossa estratégia, mas uma equipe não acorda todas as manhãs esperando influenciá-la diretamente.

Uma métrica pode ser exploratória. Ainda não sabemos o que fazer com isso.

As equipes geralmente estão cientes do teste de “acionabilidade”, mas quase com falha. Eles passarão meses e meses tentando descobrir uma “métrica mágica” ou um conjunto de métricas mágicas que fazem tudo – acionáveis, preditivas, explicativas etc. eles podem “controlar” os movimentos na métrica.

O resultado? As equipes usam métricas de vaidade que são “seguras” porque transmitem boas notícias. Eles não são úteis, mas não fingem ser acionáveis, então não incomodam ninguém. Nós não queremos isso.

Não há problema em usar métricas exploratórias. Basta chamá-los.

Uma ligeira redução na incerteza pode ser suficiente para inspirar a ação.

O trabalho do produto consiste em tomar decisões sob condições de incerteza. Se você quiser até ter 100% de certeza sobre algo, estará agindo tarde demais. Portanto, não devemos buscar métricas perfeitas que reduzam toda a incerteza sobre as ações que tomamos.

A Lei de Goodhart e a tensão entre boa medição e bons alvos

A Lei de Goodhart afirma que:

“Quando uma medida se torna um alvo, deixa de ser uma boa medida.”

Compare isso com a orientação do meu colega de trabalho Adam Greco sobre Vanity Metrics:

Se alguém não for promovido ou demitido se uma métrica aumentar ou diminuir, provavelmente é uma métrica de vaidade

Aqui temos uma tensão/paradoxo. Uma vez que uma métrica se torna um alvo e se torna um sinal de fazer um trabalho bom/ruim, você corre o risco de se tornar uma métrica de vaidade, porque as pessoas garantirão que ela suba. E, no entanto, queremos que nossas métricas signifiquem algo – sejam relevantes, sejam bons representantes e informem decisões relevantes.

Exemplos da Lei de Goodhart:

• Se uma equipe tiver como objetivo enviar recursos de forma previsível, será menos provável que eles processem novos feedbacks que não confirmem que possam parecer “imprevisíveis”.
• Se uma equipe tem o objetivo de aumentar o tamanho médio do pedido, é mais provável que aumente o tamanho médio do pedido às custas de resultados futuros, fidelidade à marca etc.
• Se um gerente tem o objetivo de contratar um certo número de pessoas em um trimestre, é mais provável que contrate alguém que não seja o melhor candidato.

Então, o que isso pode nos dizer sobre o uso de métricas mais eficazes e menos métricas de vaidade? Os primeiros são responsáveis ​​por selecionar metas e objetivos significativos e definir “guarda-corpos” eficazes para entender quaisquer efeitos adversos de 2ª ou 3ª ordem. Não podemos derrotar a Lei de Goodhart completamente — você tem que supor que as pessoas vão jogar o jogo que você insiste que elas joguem — mas podemos nos esforçar para estabelecer freios e contrapesos.

Usando a dica de Adam, você também pode se perguntar: “o que queremos recompensar aqui?” Ser responsável pelos resultados do negócio faz sentido. Mas você não quer promover pessoas com base em métricas arbitrárias e teatro de sucesso. Eu sou um grande crente na ideia de Bill Walsh de The Score Takes Care of Itself. As metas devem encorajar hábitos e rotinas positivas.

Recapitular

Descrevemos três problemas comuns associados às métricas de vaidade:

• As métricas de vaidade não têm contexto
• As métricas de vaidade têm uma intenção pouco clara
• As métricas de vaidade não orientam a ação e o aprendizado

O uso eficaz de métricas inclui fornecer contexto, declarar sua intenção e selecionar métricas que orientam a ação e o aprendizado. Apontar para uma métrica e dizer “essa é uma métrica de vaidade” é equivalente a dizer “você está usando essa métrica como uma métrica de vaidade”.

O teste de métrica de vaidade

Discutimos vários problemas que contribuem para o uso de métricas de vaidade e problemas associados a métricas de vaidade. Agora é hora de testar suas métricas.

Nesta seção, apresentamos dez afirmações que descrevem o uso Você notará os temas que exploramos anteriormente neste post: contexto, intenção, ação responsável e aprendizado.

Para cada afirmação, sugerimos:

1. Discuta o prompt com sua equipe
2. Busque perspectivas diversas
3. Sinalizar itens que precisam de atenção

S1: A equipe entende a lógica subjacente para rastrear a métrica.

Dica: inclua orientação de métricas em seu plano de integração de funcionários. Os clientes Amplitude frequentemente usam nosso recurso Notebooks para fornecer contexto sobre as principais métricas.

S2: Apresentamos a métrica juntamente com métricas relacionadas que adicionam o contexto necessário. Quando apresentados isoladamente, adicionamos notas de rodapé e referências obrigatórias.

Dica: normalize a exibição de guardrail e métricas relacionadas em apresentações.

S3: As hipóteses (e suposições) que conectam a métrica a resultados e impactos significativos são claramente articuladas, disponíveis e abertas ao desafio/discussão.

Dica: Use diagramas de árvore (árvores de driver, North Star Framework, árvores de suposições, etc.) e diagramas de relações causais para comunicar relações causais hipotéticas. Considere jogar o jogo “Random Jira Ticket”. Você pode escolher aleatoriamente um bilhete do Jira e “andar na árvore” desse item para algo que importará a longo prazo?

S4: O cálculo/definição da métrica é inspecionável, verificável e decomponível. Seus vários componentes, cláusulas, recursos, etc., podem ser separados. Alguém com bom conhecimento de domínio pode entender como funciona.

Dica: Sempre que possível, compartilhe a métrica para que alguém possa “clicar” em como ela é calculada. Por exemplo, se a métrica envolver um filtro como “compartilhado com mais de 7 usuários nos 7 dias”, deve ser possível ajustar essa cláusula e ver como esse número se compara ao número total de usuários. Crie confiança permitindo que as pessoas recriem a métrica.

S5: A métrica faz parte de um painel, scorecard ou relatório revisado e discutido regularmente. Ele sobreviveu a um escrutínio saudável. Se a métrica for mais exploratória e não testada (ou um “Eu estava curioso se…”), esse contexto é claro desde o início.

Dica: O escrutínio é uma coisa boa. Quanto mais olhos você puder obter em uma métrica, melhor. Convide críticas. Registre as perguntas à medida que elas forem surgindo. Faça cada “exibição” da métrica (por exemplo, em todas as mãos ou revisão de produto) sucessivamente melhor.

S6: A equipe tem uma teoria de trabalho sobre o que as mudanças na métrica indicam.

Dica: aqui está um prompt básico para você pensar: "Um aumento nessa métrica é um sinal de que _______ e uma diminuição nessa métrica é um sinal de que _______".

S7: Com o tempo, a métrica fornece valor e confiança crescentes. Podemos apontar para decisões e ações específicas resultantes do uso da métrica (e essas ações são passíveis de revisão). A empresa investiria em continuar a rastreá-lo e comunicá-lo.

Dica: indique os níveis de confiança ao exibir as métricas e mantenha um registro de decisão/ação. Tente normalizar não ter 100% de certeza no início e equilibrar a exibição de métricas com altos níveis de confiança com novas métricas de candidatos com níveis de confiança mais baixos.

S8: A equipe estabelece limites claros de ação (por exemplo, “se exceder X, podemos considerar Y”). A métrica pode cair. E se cair, provavelmente inspirará inspeção/ação.

Dica: Conduza um workshop de planejamento de cenários para entender melhor como os movimentos na métrica ditarão o comportamento futuro. Defina monitores em sua ferramenta de análise para avisá-lo quando você atingir um limite.

S9: A métrica é comparativa (ao longo do tempo, vs. métricas semelhantes, etc.) Colocado de forma mais ampla, se a acompanhar por um período prolongado, é possível fazer comparações de maçãs vs. maçãs entre períodos.

Dica: inclua visualizações de período a período em seus painéis para obter mais atenção nas comparações.

S10: A equipe usa a métrica para comunicar desafios E vitórias. Não apenas vitórias.

Dica: Os líderes dão o tom aqui. Discuta situações que não funcionaram como você esperava e como você usou os dados para descobrir isso.

Resumo

Métricas de vaidade são métricas que nos fazem sentir bem, mas não nos ajudam a fazer um trabalho melhor ou a tomar melhores decisões. Ninguém está imune ao uso de métricas de vaidade! A chave é garantir que você forneça contexto, declare a intenção das métricas que você usa e esclareça as ações e decisões que a métrica (ou métricas) conduzirá.

Para definir métricas significativas, confira o North Star Playbook. Estabelecer uma North Star Metric e uma constelação de entradas acionáveis ​​é uma maneira poderosa de evitar o uso de métricas de vaidade.