Que sont les mesures de vanité et comment arrêter de les utiliser

Tu es si vaniteux (tu es si vaniteux)

Je parie que vous pensez que cette métrique vous concerne

N'est-ce pas?

– Carly Simon

Que sont les mesures de vanité ?

Mais tout le monde, à un moment donné, a été attiré par de bonnes nouvelles et a baissé sa garde.

Salut tout le monde, consultez le nombre d'utilisateurs uniques d'hier !

Salut tout le monde, regardez les inscriptions pour l'événement !

Il est facile de critiquer les mesures de vanité, mais nous avons tous été là.

Dans cet article, je décrirai trois problèmes courants qui nous conduisent à des mesures de vanité. Ensuite, je partagerai The Vanity Metric Test , un moyen d'examiner les métriques et de savoir si vous vous écartez du territoire des métriques de vanité. Si vous manquez de temps et que vous souhaitez passer directement à l'examen, cliquez ici.

Problèmes de mesure de vanité

En discutant avec des équipes sur les mesures de vanité, j'ai remarqué trois problèmes fondamentaux.

• Les mesures de vanité manquent de contexte.
• Les mesures de vanité ont une intention peu claire.
• Les mesures de vanité ne guident pas l'action et l'apprentissage.

Problème 1 : les métriques de vanité manquent de contexte

Premièrement, nous avons le problème du contexte manquant. Les pages vues, les utilisateurs actifs quotidiens et les inscriptions signifient quelque chose mais ne sont pas très utiles isolément. Les problèmes surviennent lorsque nous communiquons ces mesures sans faire référence à la situation dans son ensemble. Ce n'est pas ce que nous disons, mais plutôt ce que nous ne disons pas , par exemple, « par rapport à », « en tant qu'entrée dans », « équilibré par », « un signal précoce de », « une partie de… » « en tant que ratio de », « avec les mises en garde suivantes », etc.

Le contexte manquant affecte tout le monde :

• Marketing : il existe de nombreuses façons d'augmenter les vues de contenu à court terme. Il est beaucoup plus difficile de créer un contenu à feuilles persistantes qui attire des acheteurs potentiels pendant des semaines et des années. Obtenir une augmentation du trafic initial est un signal précoce positif , mais il nécessite une note de bas de page.
• Ventes : Atteindre un objectif de vente trimestriel est un énorme accomplissement. Il est remarquable pour diverses raisons. Mais comment l'équipe a-t-elle atteint le but? Se sont-ils penchés sur les prix ? Ont-ils fait avancer les affaires ? Ont-ils volé Pierre pour payer Paul ? Plus de contexte est nécessaire (par exemple, comparer les prix aux trimestres précédents).
• Produit : Le lancement d'une nouvelle fonctionnalité est une étape importante. Les premières mesures d'adoption des fonctionnalités sont un signal positif. Mais les clients n'utilisent pas nécessairement la fonctionnalité. Ils essaient peut-être simplement la fonctionnalité. En fait, toutes les fenêtres contextuelles intégrées à l'application suggérant aux utilisateurs d'essayer la fonctionnalité peuvent augmenter les clics de curiosité. Essayer la fonctionnalité est une entrée dans la probabilité d'utilisation à plus long terme.

Autres exemples de contexte potentiellement manquant : les achats moyens sont en hausse, mais les retours de commandes aussi. Les conversions sont en hausse à partir d'annonces qui ne correspondent pas à votre proposition de valeur. Un canal cannibalise un autre canal. L'application est plus facile pour les nouveaux utilisateurs mais plus difficile pour les utilisateurs expérimentés. Le temps passé dans l'application est en hausse, mais votre objectif est de faire gagner du temps aux gens. Les gens interrogent davantage les données, mais c'est parce qu'ils ont du mal à comprendre les résultats. Les clients sont plus actifs dans l'application, mais ils se sont tournés vers la perte de temps au lieu d'un précieux réseautage.

Notez comment dans chacun de ces exemples, le contexte est primordial. Le manque d'informations de contrepoids rend difficile la compréhension de la situation dans son ensemble et la place de la métrique.

En plus du contexte environnant, nous devons nous assurer que les gens comprennent le Pourquoi .

Problème 2 : les métriques de vanité ont une intention peu claire

Deuxièmement, nous avons une certaine confusion quant à l'intention de la métrique. La définition de la métrique peut être explicite, mais ce que nous essayons de mesurer n'est pas clair. Un exemple classique ici est les visites de retour. Ai-je retourné le produit parce que j'ai aimé le produit ? Ou parce que le produit était difficile à utiliser et que j'avais besoin de faire une pause ? Ou besoin de l'aide du service client ?

De nombreuses mesures classiques d'« engagement » Web comme les pages vues, le temps passé sur la page et la durée moyenne de session sont des vestiges d'une ère pré-mobile, pré-changement d'appareil, pré-onglet de navigateur 30, pré-application à page unique. Ils étaient les meilleurs indicateurs d'engagement et d'échange de valeur disponibles à l'époque, mais ne sont pas les meilleures mesures dont nous disposons actuellement.

Le lien entre ce que nous tentons de mesurer et le «proxy» que nous avons choisi est extrêmement clair avec certaines mesures. Ou alors nous pensons! Par exemple, je dis à un ami que j'ai pu dormir huit heures la nuit dernière. Mon ami interprète mon intention comme suit : "John essaie de communiquer qu'il a passé une bonne nuit de sommeil".

Mais les heures de sommeil ne sont qu'une des nombreuses variables. Cette étude mentionne environ 23 variables de sommeil utilisées lors de l'étude de la qualité du sommeil, y compris la latence REM, le sommeil REM, les petits mouvements pendant le sommeil, les horaires des différents cycles de sommeil, le nombre de cycles, etc. Cette étude mentionne que la durée du sommeil peut avoir une « association avec la mortalité. Aïe !

Ses auteurs présentent l'indice de qualité du sommeil de Pittsburgh et décrivent clairement l' intention de la métrique.

L'indice de qualité du sommeil de Pittsburgh a été développé avec plusieurs objectifs : (1) fournir une mesure fiable, valide et standardisée de la qualité du sommeil ; (2) faire la distinction entre les « bons » et les « mauvais » dormeurs ; (3) fournir un indice facile à utiliser pour les sujets et à interpréter pour les cliniciens et les chercheurs ; et (4) fournir une brève évaluation cliniquement utile d'une variété de troubles du sommeil qui affectent la qualité du sommeil.

La communication de l'intention est essentielle. Ces auteurs ont probablement dû faire des compromis. La facilité d'utilisation pour les sujets peut ne pas être immédiatement équivalente à la profondeur d'utilisation pour les chercheurs. La standardisation est utile pour la comparabilité mais implique souvent la réduction des facteurs contextuels. L'évaluation est « brève », ce qui implique un compromis entre les taux d'achèvement de l'évaluation et la profondeur de l'évaluation.

Une excellente déclaration d'intention couvre les compromis et les objectifs fondamentaux.

À quoi ressemble l'énoncé efficace de l'intention de métrique ? :

Relatant les faits. À la recherche de théories/idées :

Voici le nombre de pannes que nous avons eues au cours des 30 derniers jours et comment cela se compare aux périodes précédentes. Notez l'augmentation. Que se passe-t-il ici, pensez-vous? Que voyons-nous ?

En tant que proxy pour quelque chose qui n'est pas directement mesurable :

Notre North Star Metric est « Bricoleurs fidèles », défini comme le nombre d'utilisateurs qui ont réalisé des actions de projet de bricolage de grande valeur combinées à leur implication dans la communauté. Il s'agit d'un proxy pour une combinaison de fidélité, de satisfaction et d'utilisation de notre produit d'une manière conforme à notre stratégie axée sur la communauté. Les données suggèrent - mais ne prouvent pas (encore) - qu'il s'agit d'un indicateur avancé d'une valeur à vie client plus élevée et d'une acquisition virale.

Nous voulons trouver une métrique exploitable qui 1) une équipe peut bouger et 2) contribuera au succès à moyen terme de l'entreprise.

Les Hex Pistols vont se concentrer sur l'amélioration de l'efficacité du flux de travail d'intégration. C'est un acte de jonglage. Nous savons que nous pouvons précipiter les gens et ne pas les préparer au succès. Ou nous pouvons le rendre très complet, réduisant ainsi la probabilité qu'ils voient le produit en action. Pour guider notre travail, nous nous concentrerons sur la réduction du temps centile de 90 % pour le partage de projet. Le partage de projet est un signal précoce que les utilisateurs sont à l'aise et capables d'utiliser le produit.

L'intention compte !

Problème 3 : Les métriques de vanité ne guident pas l'action et l'apprentissage

J'ai récemment demandé à Twitter et LinkedIn :

• Quel est votre test pour quand quelque chose est une métrique de vanité ? (Twitter)
• Comment savez-vous quand une métrique est une métrique de vanité ? (LinkedIn)

L'un des «tests» les plus importants était de savoir si la métrique guidait les actions et les décisions.

Quand personne ne peut agir de manière significative sur ce qu'il nous montre. Lorsqu'aucune valeur possible pour la métrique ne nous incitera à réellement améliorer quoi que ce soit. Ola Berg

Le résultat n'est pas exploitable. Indépendamment du fait que la métrique augmente ou diminue, nous ne changeons pas ce que nous faisons. Chris Lukassen

Quand personne ne s'inquiète s'il s'arrête de monter/plats/ou décline. ex : "Notre score NPS est de 90 !" un mois suivi de "Notre score NPS est de 50 !" le mois prochain. Heidi Atkinson

L'action, les décisions et l'apprentissage sont importants.

Si un nombre continue d'augmenter et que la seule action qu'il inspire est un sourcil froncé lors d'une réunion à mains nues, vous avez probablement une métrique de vanité entre vos mains. Si une équipe sort une métrique pour célébrer, mais quand elle baisse, elle ne change pas de stratégie ou de tactique, vous êtes probablement en train de regarder une métrique de vanité.

Les exemples incluent des métriques peu exploitables :

• Durée moyenne des sessions. Il monte ou descend. Que fais-tu?
• Nouveaux utilisateurs (moins le canal d'acquisition). Il monte ou descend. Que fais-tu?
• Nouveaux adeptes. Il monte ou descend. Que fais-tu?

Il y a quelques mises en garde ici.

Une métrique peut être significative mais pas immédiatement exploitable.

Dans nos ateliers North Star, nous insistons sur le fait que la North Star Metric devrait idéalement être un peu hors de portée. C'est la sortie d'équipes influençant les différents North Star Inputs. Pourquoi ne voudriez-vous pas une métrique North Star exploitable ? Le NSM a l'intention d'agir comme un indicateur avancé de la performance durable des entreprises (sur une période pluriannuelle). Presque par définition, il sera un peu éloigné du travail quotidien. Nous avons besoin d'apports pour servir de « pont » entre le travail quotidien et cet apport significatif au succès de l'entreprise.

Nous suivons notre North Star Metric, et s'il cale, cela nous obligera à reconsidérer notre stratégie, mais une équipe ne se réveille pas chaque matin en espérant l'influencer directement.

Une métrique peut être exploratoire. Nous ne savons pas encore quoi en faire.

Les équipes sont généralement conscientes du test « d'actionnabilité », mais presque à tort. Ils passeront des mois et des mois à essayer de trouver une « métrique magique » ou un ensemble de métriques magiques qui font tout : exploitables, prédictives, explicatives, etc. Les chefs de produit sont sérieusement stressés lorsqu'ils reçoivent une métrique à « posséder », mais ne savent pas ils peuvent « contrôler » les mouvements de la métrique.

Le résultat? Les équipes utilisent des mesures de vanité qui sont «sûres» car elles transmettent de bonnes nouvelles. Ils ne sont pas utiles, mais ils ne prétendent pas être exploitables, donc ils ne froissent aucune plume. Nous ne voulons pas cela.

Il est acceptable d'utiliser des métriques exploratoires à la place. Appelez-les simplement.

Une légère réduction de l'incertitude peut suffire à inspirer l'action.

Le travail sur les produits consiste à prendre des décisions dans des conditions d'incertitude. Si vous voulez jusqu'à ce que vous soyez sûr à 100% de quelque chose, vous agirez trop tard. Par conséquent, nous ne devrions pas viser des mesures parfaites qui réduisent toute incertitude sur les actions que nous prenons.

La loi de Goodhart et la tension entre une bonne mesure et de bons objectifs

La loi de Goodhart stipule que :

"Quand une mesure devient une cible, elle cesse d'être une bonne mesure."

Comparez cela avec les conseils de mon collègue Adam Greco sur Vanity Metrics :

Si quelqu'un ne va pas être promu ou licencié si une métrique augmente ou diminue, il s'agit probablement d'une métrique de vanité

Nous avons ici une tension/paradoxe. Une fois qu'une métrique devient une cible et devient un signal de bon/mauvais travail, vous risquez qu'elle devienne une métrique de vanité parce que les gens s'assureront qu'elle augmente. Et pourtant, nous voulons que nos métriques signifient quelque chose : qu'elles soient pertinentes, qu'elles soient de bons substituts et qu'elles éclairent les décisions pertinentes.

Exemples de la loi de Goodhart :

• Si une équipe a pour objectif d'expédier des fonctionnalités de manière prévisible, elle sera moins susceptible de traiter de nouveaux commentaires non confirmés qui pourraient sembler « imprévisibles ».
• Si une équipe a pour objectif d'augmenter la taille moyenne des commandes, elle sera plus susceptible d'augmenter la taille moyenne des commandes au détriment des résultats futurs, de la fidélité à la marque, etc.
• Si un responsable a pour objectif d'embaucher un certain nombre de personnes au cours d'un trimestre, il sera plus susceptible d'embaucher quelqu'un qui n'est pas le meilleur candidat.

Alors, qu'est-ce que cela peut nous dire sur l'utilisation de métriques plus efficaces et moins de métriques de vanité ? Les premiers sont responsables de la sélection d'objectifs et de cibles significatifs et de la définition de «garde-fous» efficaces pour comprendre tout effet négatif de 2e ou 3e ordre. Nous ne pouvons pas complètement vaincre la loi de Goodhart - vous devez supposer que les gens joueront au jeu auquel vous insistez pour qu'ils jouent - mais nous pouvons nous efforcer d'établir des freins et contrepoids.

En utilisant le conseil d'Adam, vous pouvez également vous demander : "qu'est-ce que nous voulons récompenser ici ?" Être responsable des résultats de l'entreprise a du sens. Mais vous ne voulez pas promouvoir les gens en fonction de leurs métriques arbitraires et de leur succès. Je suis un grand partisan de l'idée de Bill Walsh de The Score Takes Care of Itself. Les cibles doivent encourager des habitudes et des routines positives.

résumer

Nous avons décrit trois problèmes courants associés aux mesures de vanité :

• Les mesures de vanité manquent de contexte
• Les mesures de vanité ont une intention peu claire
• Les mesures de vanité ne guident pas l'action et l'apprentissage

L'utilisation efficace des métriques comprend la mise en contexte, l'énoncé de votre intention et la sélection de métriques qui guident l'action et l'apprentissage. Pointer vers une métrique et dire "c'est une métrique de vanité" équivaut à dire "vous utilisez cette métrique comme une métrique de vanité".

Le test de la vanité métrique

Nous avons discuté de divers problèmes qui contribuent à l'utilisation des métriques de vanité et des problèmes associés aux métriques de vanité. Il est maintenant temps de tester vos mesures.

Dans cette section, nous présentons dix énoncés qui décrivent l' utilisation Vous remarquerez les thèmes que nous avons explorés plus tôt dans cet article : le contexte, l'intention, l'action responsable et l'apprentissage.

Pour chaque déclaration, nous vous suggérons :

1. Discutez de l'invite avec votre équipe
2. Rechercher des perspectives diverses
3. Signaler les éléments qui nécessitent votre attention

S1 : L'équipe comprend la justification sous-jacente du suivi de la métrique.

Conseil : incluez l'orientation des métriques dans votre plan d'intégration des employés. Les clients d'Amplitude utilisent fréquemment notre fonctionnalité Notebooks pour fournir un contexte autour des métriques clés.

S2 : Nous présentons la métrique avec des métriques associées qui ajoutent le contexte nécessaire. Lorsqu'ils sont présentés isolément, nous ajoutons les notes de bas de page et les références requises.

Astuce : Normalisez l'affichage de la barrière de sécurité et des mesures associées dans les présentations.

S3 : Les hypothèses (et suppositions) reliant la métrique à des résultats et à un impact significatifs sont clairement articulées, disponibles et ouvertes à la remise en question/discussion.

Astuce : Utilisez des diagrammes en arbre (arbres moteurs, North Star Framework, arbres d'hypothèses, etc.) et des diagrammes de relations causales pour communiquer les relations causales hypothétiques. Envisagez de jouer au jeu "Random Jira Ticket". Pouvez-vous choisir au hasard un ticket Jira et "remonter l'arbre" de cet élément à quelque chose qui comptera à long terme ?

S4 : Le calcul/la définition de la métrique est inspectable, vérifiable et décomposable. Ses divers composants, clauses, fonctionnalités, etc., peuvent être séparés. Quelqu'un avec une bonne connaissance du domaine peut comprendre comment cela fonctionne.

Astuce : Dans la mesure du possible, partagez la métrique afin que quelqu'un puisse « cliquer » sur la façon dont elle est calculée. Par exemple, si la métrique implique un filtre comme "partagé avec plus de 7 utilisateurs au cours des 7 jours", il devrait être possible d'ajuster cette clause et de voir comment ce nombre se compare au nombre total d'utilisateurs. Établissez la confiance en permettant aux gens de recréer la métrique.

S5 : La métrique fait partie d'un tableau de bord, d'une carte de pointage ou d'un rapport régulièrement examiné et discuté. Il a survécu à un examen minutieux. Si la métrique est plus exploratoire et non testée (ou un "j'étais curieux de savoir si…"), ce contexte est clair dès le départ.

Conseil : L'examen est une bonne chose. Plus vous pouvez avoir d'yeux sur une métrique, mieux c'est. Invitez la critique. Enregistrez les questions au fur et à mesure qu'elles se présentent. Améliorez successivement chaque « affichage » de la métrique (par exemple, à toutes les mains ou examen du produit).

S6 : L'équipe a une théorie de travail sur ce que les changements dans la métrique indiquent.

Conseil : Voici une invite de base pour vous faire réfléchir : "Une augmentation de cette métrique est un signal que _______ , et une diminution de cette métrique est un signal que _______."

S7 : Au fil du temps, la métrique offre une valeur et une confiance croissantes. Nous pouvons indiquer des décisions et des actions spécifiques résultant de l'utilisation de la métrique (et ces actions sont révisables). L'entreprise investirait dans la poursuite de son suivi et de sa communication.

Conseil : Indiquez les niveaux de confiance lors de l'affichage des métriques et conservez un journal des décisions/actions. Essayez de normaliser le fait de ne pas être sûr à 100 % au début et d'équilibrer l'affichage de métriques avec des niveaux de confiance élevés avec de nouvelles métriques candidates avec des niveaux de confiance plus faibles.

S8 : L'équipe établit des seuils d'action clairs (par exemple, « si cela dépasse X, alors nous pouvons considérer Y »). La métrique peut descendre. Et s'il tombe en panne, cela inspirera probablement une inspection / une action.

Astuce : organisez un atelier de planification de scénarios pour mieux comprendre comment les mouvements de la métrique dicteront le comportement futur. Configurez des moniteurs dans votre outil d'analyse pour vous avertir lorsque vous avez atteint un seuil.

S9 : La métrique est comparative (au fil du temps, par rapport à des métriques similaires, etc.). En termes plus généraux, si elle est suivie pendant une période prolongée, il est possible de faire des comparaisons pommes contre pommes entre les périodes.

Conseil : incluez des vues d'une période à l'autre dans vos tableaux de bord pour obtenir plus d'informations sur les comparaisons.

S10 : L'équipe utilise la métrique pour communiquer les défis ET les victoires. Non seulement gagne.

Conseil : les dirigeants donnent le ton ici. Discutez des situations qui n'ont pas fonctionné comme prévu et comment vous avez utilisé les données pour comprendre cela.

Sommaire

Les mesures de vanité sont des mesures qui nous font nous sentir bien, mais ne nous aident pas à faire un meilleur travail ou à prendre de meilleures décisions. Personne n'est à l'abri d'utiliser des mesures de vanité ! La clé est de vous assurer de fournir un contexte, d'indiquer l'intention des métriques que vous utilisez et de clarifier les actions et les décisions que la métrique (ou les métriques) conduira.

Pour définir des métriques significatives, consultez le North Star Playbook. L'établissement d'une métrique North Star et d'une constellation d'entrées exploitables est un moyen puissant d'éviter d'utiliser des métriques de vanité.