3 pièges liés aux métriques de produit que vous devez éviter

Dans mon livre, The Insights Driven Product Manager , j'explique pourquoi il est important de suivre moins pour créer plus de concentration et passer plus de temps à extraire de véritables informations de vos données.

L'étape suivante consiste à s'assurer qu'au niveau le plus élémentaire, vous suivez ce que j'appelle des "métriques de bonne qualité". Cet article - un extrait du chapitre 7 de mon livre - se concentrera sur la façon d'améliorer la qualité globale de vos métriques, comment les rendre plus exploitables et les pièges à éviter.

Écueil n°1 : métriques de vanité

Il y a quelques années, je travaillais sur un produit SaaS B2B pour la gestion des environnements de bureau. Nous venons de lancer le produit et avons commencé à diffuser nos premières campagnes publicitaires payantes, j'ai donc mis en place un tableau de bord qui suivait le nombre total d'inscriptions sur 30 jours :

Les chiffres semblaient augmenter, nous étions donc plutôt satisfaits de l'élan.

Le problème était que même si ce graphique avait l'air bien sur les présentations, la dure vérité était que seulement 4 % des nouvelles inscriptions se sont transformées en conversions et en revenus réels, et par conséquent, nous n'avons pas atteint nos objectifs mensuels de revenus récurrents.

C'est un graphique cumulatif, donc le pire des cas serait que le graphique plafonne si nous n'acquérons pas de nouveaux utilisateurs, mais le nombre ne peut jamais diminuer. C'est un exemple classique d'une métrique de vanité :

• Regarder ce graphique nous a fait du bien.
• Cette mesure s'est révélée particulièrement utile dans les présentations aux intervenants.
• Cela ne nous a pas permis de savoir si nous allions bien ou non.
• Parce que cela ne nous a donné aucune idée, cela ne nous a pas poussés à prendre des mesures pour améliorer le produit ou les fonctionnalités de quelque manière que ce soit.
• Et malgré l'examen quotidien de cette métrique, il nous a fallu deux mois (au moment où tous les essais de 30 jours étaient terminés et lancés) pour découvrir qu'il y avait un problème.

Alors qu'une partie du problème était notre manque de connaissances sur la façon de mesurer de meilleures métriques à ce moment-là, le problème dans les organisations est souvent beaucoup plus profond : la plupart des équipes ou des parties prenantes ne sont tout simplement pas prêtes à entendre la vérité à partir de leurs métriques, alors nous regardons pour les chiffres qui nous font bien paraître.

Dans mon entretien avec Crystal Widjaja, CPO chez Kumu et écrivain pour Reforge, elle a magnifiquement résumé comment voir les données comme un moyen de capitaliser sur les échecs et de conduire des améliorations à la place :

"Lorsque les gens font des erreurs (expérience ratée, déploiement raté, etc.), vous avez déjà payé ce coût. Nous devrions considérer les données comme un moyen de capitaliser sur les erreurs et d'en tirer des leçons. Plutôt que de "payer les frais de scolarité de l'échec" et de licencier l'individu, utilisez les informations sur les données pour nous dire POURQUOI c'était un échec, en tirer des leçons et en tirer parti pour que la prochaine itération soit 10 fois meilleure que la première.

– Cristal Widjaja

Afin d'obtenir plus d'informations à partir de vos données, vous devez vraiment arrêter de suivre les métriques de vanité et utiliser à la place les données pour découvrir la vérité et conduire des améliorations réelles. Si vous regardez de plus près, il est fascinant de constater à quelle fréquence les équipes affichent des mesures très sélectives pour apaiser certaines parties prenantes ou faire en sorte que les chiffres sonnent mieux qu'ils ne le sont en réalité. Méfiez-vous des autres exemples classiques de mesures de vanité telles que :

• Nombre de pages vues ou de visiteurs
• Nombre de followers/j'aime
• Temps passé sur le site (durée de la session)
• Nombre de téléchargements

Des mesures telles que les pages vues et la durée de la session sont encore largement utilisées dans l'analyse de sites Web, où l'accent est mis sur la mesure du trafic, de la notoriété et de l'engagement initial. Ils vous donnent un aperçu de ce que nous appelons le haut de l'entonnoir - l'acquisition initiale de clients - mais pas si les clients activent et interagissent réellement avec le produit, ce qui aura une corrélation beaucoup plus significative avec vos objectifs commerciaux et de produit plus larges.

Comment faire mieux : pour vraiment comprendre si une métrique est bonne ou mauvaise, nous devons mettre les chiffres en contexte. Au minimum, vous voulez essayer de comparer un nombre sur différentes périodes, par exemple en comparant vos nombres d'inscriptions ce mois-ci par rapport au mois précédent.

Un autre moyen efficace de rendre vos métriques plus utiles consiste à utiliser des ratios au lieu de nombres totaux. Les ratios sont intrinsèquement comparatifs. Par exemple, les comptables ne se contentent pas d'examiner le revenu total, mais comparent généralement les coûts de production d'un produit avec les ventes qu'ils en ont tirées. De cette façon, les comptables peuvent suivre leur marge bénéficiaire (un excellent exemple de ratio utile) au fil du temps pour évaluer si l'entreprise est saine.

Exemples de mesures meilleures et plus comparables :

• % d'inscriptions par canal d'acquisition
• % d'inscriptions ayant terminé le processus d'inscription complet
• % d'inscriptions ayant effectué une métrique d'activation clé
• % d'utilisateurs utilisant le produit après 4 semaines

Piège n° 2 : ne suivre que les métriques en retard

Un gros problème était le temps qu'il nous fallait pour savoir si nous atteignions nos objectifs de conversion (ou non). Le produit avait un essai gratuit de 30 jours et notre objectif était de les convertir en clients payants après la fin de l'essai, donc même si le premier mois semblait bon en termes d'inscriptions, nous ne saurions finalement qu'à la fin du deuxième mois, combien de ces inscriptions ont été converties en clients payants.

Il s'agit d'un exemple classique de métrique retardée. Les mesures en retard rendent compte rétrospectivement des résultats passés. Par exemple, vos chiffres de revenus pour l'année sont des métriques en retard comme la plupart de vos autres métriques opérationnelles. Vous ne savez si vous avez bien fait qu'une fois que vous avez les résultats.

La valeur réelle du suivi du comportement des utilisateurs grâce à vos analyses de produits est que vous pouvez commencer à rechercher des indicateurs plus tôt que d'avoir à attendre vos chiffres de revenus finaux. Si vos principales mesures ne fonctionnent pas bien, vous avez la possibilité de corriger le cap avant qu'il ne soit trop tard. C'est pourquoi j'ai conçu le Holistic Metrics One Pager au chapitre cinq de mon livre pour inclure à la fois le comportement des clients et les mesures opérationnelles, afin que les équipes puissent suivre un mélange sain de mesures en avance et en retard pour obtenir une image complète.

L'une des principales métriques les plus puissantes est la métrique d'activation. Une bonne métrique d'activation représente le pourcentage de clients qui prennent une action clé pour configurer ou commencer à utiliser le produit. De nombreuses entreprises ont compris que si les utilisateurs effectuent une certaine action dans leur produit lors de l'intégration, ils ont tendance à réaliser la véritable valeur du produit, ce qui conduit à un engagement plus élevé plus tard. Certains appellent cette étape d'activation atteindre le "moment aha" dans leur produit.

Voici quelques exemples simples de principales métriques d'activation :

• Produit de réseau social : un exemple classique était la première métrique d'activation de Facebook consistant à ajouter un minimum de sept amis en 10 jours.
• Produit d'agrégation de tableau de bord : la proposition de valeur consiste à regrouper plusieurs outils dans une seule vue, de sorte que vous constaterez peut-être que les utilisateurs qui ajoutent un minimum de deux ou trois outils lors de l'intégration réalisent tout le potentiel du produit.
• Produit utilitaire : votre proposition de valeur peut être de simplifier ou de numériser une tâche telle que le suivi des conversations de vente dans un CRM, afin que vous puissiez suivre le nombre d'utilisateurs qui complètent leur première entrée client aussi rapidement que possible en tant que métrique d'activation.
• Attention produit : si votre produit est centré sur le divertissement et le contenu, vous pouvez suivre les utilisateurs qui ont consommé une certaine quantité de contenu au cours de la première semaine suivant leur inscription .

Soit dit en passant, les mesures en retard ne sont pas intrinsèquement mauvaises. En fait, ils constituent un élément essentiel du reporting, en particulier pour mesurer les paramètres commerciaux tels que vos résultats financiers. Leur avantage est qu'ils représentent les résultats finaux, les faits réels.

Les principales mesures, d'autre part, incluent souvent un certain nombre d'hypothèses, telles que l'hypothèse selon laquelle un nombre élevé d'appels à froid chaque jour augmente le nombre d'utilisateurs payants plus loin sur la ligne. Au fur et à mesure que vous obtenez plus de données, vous devez vérifier si ces hypothèses sont réellement vraies, mais même dans ce cas, il existe encore une certaine incertitude quant à savoir si la métrique d'activation a réellement causé l'augmentation de la rétention ou si d'autres facteurs y ont contribué.

Cela signifie que les métriques avancées ne seront jamais aussi précises que les métriques retardées, mais elles sont essentielles pour obtenir de véritables informations à partir de vos métriques. Ils nous permettent d'apprendre du comportement des clients et d'identifier les premiers indicateurs susceptibles de modifier nos décisions en matière de produits afin de les optimiser pour de meilleurs résultats commerciaux plus tard. L'utilisation du modèle Holistic Metrics One Pager vous oblige à suivre les indicateurs avancés et retardés, ainsi qu'à réfléchir à la manière dont ceux-ci s'influencent mutuellement.

Écueil n°3 : des métriques que personne ne comprend

Lorsque j'interviewe des chefs de produit, j'entends souvent dire que les connaissances analytiques et les informations sur les données sont cachées dans des coins sombres et mystérieux des bureaux, avec des noms d'événements que seuls quelques analystes hautement spécialisés comprennent. Chaque mois, ces spécialistes rencontraient diverses équipes de produits pour tenter de partager et de traduire certaines de leurs découvertes.

Si nous voulons que nos équipes produit et nos parties prenantes créent une compréhension partagée de nos données et discutent des améliorations du produit de manière collaborative, nous devons travailler activement à la démocratisation de nos données, nous assurer que nos métriques sont accessibles à tous et faciles à comprendre.

Intercom a partagé les enseignements tirés d'un grand nettoyage d'événements il y a quelques années. Ils ont eu environ 350 événements pour leur produit qui ressemblaient à ceci :

Cela vous semble-t-il familier ?

Intercom a partagé qu'ils avaient échoué à un principe clé de l'analyse : ils n'avaient que peu de sens pour qui que ce soit d'autre que l'équipe d'analyse. Ils ont redéfini et reconstruit l'intégralité de la structure de dénomination de tous leurs événements afin d'introduire une meilleure lisibilité comme étape clé pour démocratiser leurs données d'analyse de produits.

Il est également important de rendre les rapports plus accessibles aux différentes parties prenantes et équipes de l'organisation. Malheureusement, je vois souvent des équipes avoir peur d'ouvrir leurs tableaux de bord, car cela révélerait à nouveau les véritables chiffres d'engagement ou d'acquisition qui pourraient ne pas sembler géniaux aux parties prenantes. Pour éviter les conversations inconfortables ou les questions embêtantes, il est souvent plus facile pour les équipes de se cacher derrière un vernis de complexité.

Comment faire mieux :

• Étape 1 : Travaillez avec vos équipes d'ingénieurs et vos analystes pour simplifier les noms des événements d'analyse de vos produits : "Intégration terminée" et "Widget de tableau de bord ajouté" sont des actions que tout le monde comprendra.
• Étape 2 : Si vous avez une équipe d'analyse, incluez-la mieux dans vos équipes de produits. Plus les analystes ont de contexte sur ce sur quoi votre équipe produit travaille, sur les expériences que vous testez et sur les questions auxquelles il faut répondre, mieux ils peuvent vous aider à approfondir les données pour trouver les informations les plus pertinentes. Il devrait s'agir d'une collaboration plutôt que d'une approche d'externalisation.
• Étape 3 : rendez vos tableaux de bord et rapports d'analyse accessibles à l'ensemble de l'organisation. Vos tableaux de bord doivent refléter les métriques clés de votre produit (que vous pouvez définir à l'aide du Holistic Metrics One Pager du livre). Ceci est essentiel pour l'échelle (votre équipe ne veut pas être inondée de demandes de rapports manuels tous les jours) ainsi que pour véritablement créer une culture davantage axée sur les données au sein de l'organisation au sens large.

"Lorsque les équipes sont interrogées sur l'état de l'entreprise, elles peuvent soit aller le chercher, soit faire des suppositions hypothétiques. Il est essentiel de faire du premier le moyen par défaut le plus simple pour que la direction réponde à ces demandes en créant des tableaux de bord détaillés personnalisés et faciles à utiliser pour des éléments tels que les cohortes, les entonnoirs et les événements utilisateur.

-Cristal Widjaja

N'oubliez pas que le travail pour lequel nous avons engagé nos données est de découvrir la vérité afin que nous puissions agir et améliorer nos expériences de produits. Rendre vos métriques faciles à comprendre et plus accessibles sont des étapes clés pour inclure des informations sur les données dans la prise de décision quotidienne dans votre organisation. Une organisation produit solide devrait être plus motivée que jamais pour résoudre ces problèmes une fois qu'elle sait où se situent les problèmes.

Comment améliorer vos métriques à l'aide de la liste de contrôle des métriques

J'ai créé une liste de contrôle simple qui résume les principales caractéristiques de mesures de bonne qualité et exploitables qui vous aideront à obtenir plus d'informations à partir de vos données. Utilisez cette liste de contrôle pour évaluer et améliorer toutes vos métriques existantes :

Il faut de la pratique pour bien définir vos indicateurs clés, et vous constaterez que le diable se cache souvent dans les détails. Il est tout à fait normal, et en fait encouragé, de revoir fréquemment les métriques que vous avez choisies, et de les affiner plusieurs fois pour les rendre plus utiles.

Méfiez-vous des pièges du partage de métriques de vanité, en vous concentrant trop sur des indicateurs retardés où vous n'avez pas le temps de corriger le cours, et assurez-vous de simplifier et de démocratiser vos métriques pour vraiment améliorer la maturité des données dans votre organisation.