Was sind Vanity Metrics und wie kann man sie nicht mehr verwenden?
Veröffentlicht: 2022-07-01Du bist so eitel (du bist so eitel)
Ich wette, Sie denken, diese Metrik bezieht sich auf Sie
Nicht wahr, nicht wahr?
– Carly Simon
Was sind Vanity-Metriken?
Aber jeder wurde irgendwann von guten Nachrichten angelockt und hat seine Wachsamkeit aufgegeben.
Hallo zusammen, seht euch die Unique User Count von gestern an!
Hallo zusammen, seht euch die Registrierung für die Veranstaltung an!
Es ist leicht, Eitelkeitsmetriken zu kritisieren, aber wir kennen das alle.
In diesem Beitrag werde ich drei häufige Probleme beschreiben, die uns zu Vanity-Metriken führen. Dann werde ich den Vanity Metric Test vorstellen, eine Möglichkeit, Metriken zu überprüfen und festzustellen, ob Sie in das Gebiet der Vanity Metrics abdriften. Wenn Sie wenig Zeit haben und direkt zur Bewertung springen möchten, klicken Sie hier.
Vanity-Metrik-Probleme
Beim Chatten mit Teams über Vanity-Metriken sind mir drei grundlegende Probleme aufgefallen.
- Vanity-Metriken fehlt der Kontext.
- Vanity-Metriken haben eine unklare Absicht.
- Eitelkeitsmetriken lenken nicht das Handeln und Lernen.
Problem 1: Vanity-Metriken fehlt der Kontext
Erstens haben wir das Problem des fehlenden Kontexts. Seitenaufrufe, täglich aktive Benutzer und Anmeldungen bedeuten etwas , sind aber isoliert nicht sehr hilfreich. Die Probleme entstehen, wenn wir diese Metriken kommunizieren, ohne das Gesamtbild zu berücksichtigen. Es ist nicht das, was wir sagen, sondern das, was wir nicht sagen – z. B. „im Vergleich zu“, „als Eingabe in“, „ausgeglichen durch“, „ein frühes Signal von“, „Teil von …“ „als ein Verhältnis von“, „mit den folgenden Einschränkungen“ usw.
Fehlender Kontext wirkt sich auf alle aus:
- Marketing: Es gibt viele Möglichkeiten, die Aufrufe von Inhalten kurzfristig zu steigern. Es ist viel schwieriger, einen immergrünen Inhalt zu erstellen, der potenzielle Käufer wochen- und jahrelang anzieht. Eine Steigerung des anfänglichen Traffics ist ein positives frühes Signal , aber es braucht eine Fußnote.
- Verkäufe: Das Erreichen eines vierteljährlichen Verkaufsziels ist eine große Leistung. Es ist aus verschiedenen Gründen bemerkenswert. Aber wie hat die Mannschaft das Tor getroffen? Haben sie sich auf die Preisgestaltung gebeugt? Haben sie die Geschäfte vorangetrieben? Haben sie Peter ausgeraubt, um Paul zu bezahlen? Es ist mehr Kontext erforderlich (z. B. Preisvergleich mit vorangegangenen Quartalen).
- Produkt: Die Einführung einer neuen Funktion ist ein großer Meilenstein. Metriken zur frühen Einführung von Funktionen sind ein positives Signal. Aber die Kunden nutzen die Funktion nicht unbedingt. Sie versuchen die Funktion möglicherweise nur. Tatsächlich können alle In-App-Popups, die den Leuten vorschlagen, die Funktion auszuprobieren, die Neugier-Klicks erhöhen. Das Ausprobieren der Funktion ist ein Input für die Wahrscheinlichkeit einer längerfristigen Nutzung.
Weitere Beispiele für möglicherweise fehlenden Kontext: Die durchschnittlichen Einkäufe sind gestiegen, aber auch die Rückgaben von Bestellungen. Konversionen sind von Anzeigen gestiegen, die nicht Ihrem Leistungsversprechen entsprechen. Ein Kanal kannibalisiert einen anderen Kanal. Die App ist einfacher für neue Benutzer, aber schwieriger für erfahrene Benutzer. Die in der App verbrachte Zeit ist abgelaufen, aber Ihr Ziel ist es, den Menschen Zeit zu sparen. Die Leute fragen die Daten häufiger ab, aber das liegt daran, dass sie Schwierigkeiten haben, die Ergebnisse zu verstehen. Die Kunden sind in der App aktiver, aber sie verschwenden statt wertvolles Networking Zeit.
Beachten Sie, dass in jedem dieser Beispiele der Kontext alles ist. Der Mangel an Gegengewichtsinformationen macht es schwierig, das Gesamtbild zu verstehen und wo die Metrik passt.
Zusätzlich zum umgebenden Kontext müssen wir sicherstellen, dass die Menschen das Warum verstehen.
Problem 2: Vanity-Metriken haben eine unklare Absicht
Zweitens haben wir Verwirrung über die Absicht der Metrik. Die Definition der Metrik mag explizit sein, aber was wir zu messen versuchen, ist unklar. Ein klassisches Beispiel hierfür sind Gegenbesuche. Bin ich zum Produkt zurückgekehrt, weil es mir gefallen hat? Oder weil das Produkt schwer anzuwenden war und ich eine Pause brauchte? Oder brauchten Sie die Hilfe des Kundendienstes?
Viele klassische Web-Engagement-Metriken wie Seitenaufrufe, Zeit auf der Seite und durchschnittliche Sitzungsdauer sind Überbleibsel aus einer Ära vor der mobilen Nutzung, vor dem Gerätetausch, vor den 30-Browser-Tabs und vor der Single-Page-App. Sie waren damals die besten Proxys für Engagement und Werteaustausch, aber sie sind nicht die besten Kennzahlen, die uns jetzt zur Verfügung stehen.
Die Verbindung zwischen dem, was wir zu messen versuchen, und dem von uns gewählten „Proxy“ ist bei einigen Metriken sehr klar. So denken wir jedenfalls! Zum Beispiel erzähle ich einem Freund, dass ich letzte Nacht acht Stunden schlafen konnte. Mein Freund interpretiert meine Absicht so: „John versucht mitzuteilen, dass er gut geschlafen hat.“
Aber Stunden Schlaf sind nur eine von vielen Variablen. Diese Studie erwähnt ~23 Schlafvariablen, die bei der Untersuchung der Schlafqualität verwendet werden, darunter REM-Latenz, REM-Schlaf, kleine Bewegungen im Schlaf, die zeitlichen Abläufe verschiedener Schlafzyklen, die Anzahl der Zyklen usw. Diese Studie erwähnt, dass die Schlafdauer eine „direkte Assoziation mit der Sterblichkeit.“ Huch!
Seine Autoren stellen den Pittsburgh Sleep Quality Index vor und umreißen klar die Absicht der Metrik.
Der Pittsburgh Sleep Quality Index wurde mit mehreren Zielen entwickelt: (1) um ein zuverlässiges, gültiges und standardisiertes Maß für die Schlafqualität bereitzustellen; (2) zwischen „guten“ und „schlechten“ Schläfern zu unterscheiden; (3) Bereitstellung eines Indexes, der für Probanden einfach zu verwenden und für Kliniker und Forscher leicht zu interpretieren ist; und (4) um eine kurze, klinisch nützliche Bewertung einer Vielzahl von Schlafstörungen bereitzustellen, die die Schlafqualität beeinträchtigen.
Die Kommunikation der Absicht ist entscheidend. Diese Autoren waren wahrscheinlich mit Kompromissen konfrontiert. Die Benutzerfreundlichkeit für Probanden entspricht möglicherweise nicht sofort der Anwendungstiefe für Forscher. Standardisierung ist hilfreich für die Vergleichbarkeit, beinhaltet aber oft die Reduzierung kontextueller Faktoren. Die Bewertung ist „kurz“, was einen Kompromiss zwischen der Abschlussquote der Bewertung und der Tiefe der Bewertung beinhaltet.
Eine großartige Absichtserklärung deckt die grundlegenden Kompromisse und Ziele ab.
Wie sieht die effektive Angabe der metrischen Absicht aus?:
Fakten weitergeben. Suche nach Theorien/Erkenntnissen:
Hier ist die Anzahl der Ausfälle, die wir in den letzten 30 Tagen hatten, und wie diese im Vergleich zu früheren Perioden ist. Beachten Sie die Erhöhung. Was ist hier los, denkst du? Was sehen wir?
Als Proxy für etwas nicht direkt Messbares:
Unsere North Star-Metrik ist „Loyale Heimwerker“, definiert als die Anzahl der Benutzer, die hochwertige DIY-Projektaktionen in Kombination mit ihrem Engagement in der Gemeinschaft durchgeführt haben. Es ist ein Indikator für eine Kombination aus Loyalität, Zufriedenheit und der Nutzung unseres Produkts in Übereinstimmung mit unserer gemeinschaftsorientierten Strategie. Die Daten legen nahe – beweisen aber (noch) nicht – dass dies ein Frühindikator für einen höheren Customer Lifetime Value und virale Akquise ist.
Wir wollen eine umsetzbare Metrik finden, die 1) ein Team bewegen kann und 2) zum mittelfristigen Erfolg des Unternehmens beiträgt.
Die Hex Pistols werden sich darauf konzentrieren, die Effektivität des Onboarding-Workflows zu verbessern. Es ist ein Jonglierakt. Wir wissen, dass wir Menschen durchdrängen können, ohne sie zum Erfolg zu führen. Oder wir können es sehr umfassend gestalten und die Wahrscheinlichkeit verringern, dass sie das Produkt in Aktion sehen. Um unsere Arbeit zu leiten, werden wir uns darauf konzentrieren, die 90%-Perzentilzeit bis zur Projektfreigabe zu verringern. Die gemeinsame Nutzung von Projekten ist ein frühes Signal dafür, dass die Benutzer sich wohlfühlen und in der Lage sind, das Produkt zu verwenden.
Absicht zählt!
Problem 3: Vanity-Metriken leiten das Handeln und Lernen nicht
Ich habe kürzlich Twitter und LinkedIn gefragt:
- Was ist Ihr Test, wenn etwas eine Eitelkeitsmetrik ist? (Twitter)
- Woher wissen Sie, ob eine Metrik eine Vanity-Metrik ist? (LinkedIn)
Einer der höchstrangigen „Tests“ war, ob die Metrik Handlungen und Entscheidungen leitet.
Wenn niemand sinnvoll auf das reagieren kann, was es uns zeigt. Wenn kein möglicher Wert für die Metrik uns dazu veranlasst, tatsächlich etwas zu verbessern. Ola Berg
Das Ergebnis ist nicht umsetzbar. Unabhängig davon, ob die Metrik nach oben oder unten geht, ändern wir nicht, was wir tun. Chris Lukassen
Wenn sich niemand Sorgen macht, wenn es aufhört zu steigen/Plateaus/oder abfällt. Beispiel: „Unser NPS-Wert beträgt 90!“ einen Monat gefolgt von „Unser NPS-Wert ist 50!“ nächsten Monat. Heidi Atkinson
Handeln, Entscheidungen und Lernen sind eine große Sache.
Wenn eine Zahl weiter steigt und die einzige Aktion, die sie inspiriert, eine gerunzelte Stirn in einem All-Hands-Meeting ist, haben Sie wahrscheinlich eine Eitelkeitsmetrik in Ihren Händen. Wenn ein Team eine Metrik zum Feiern herausholt, aber wenn sie fällt, ändert es seine Strategie oder Taktik nicht, dann haben Sie es wahrscheinlich mit einer Eitelkeitsmetrik zu tun.
Beispiele für nicht sehr umsetzbare Metriken sind:
- Durchschnittliche Sitzungslänge. Es geht rauf oder runter. Wie geht's?
- Neue Benutzer (abzüglich Akquisitionskanal). Es geht rauf oder runter. Wie geht's?
- Neue Follower. Es geht rauf oder runter. Wie geht's?
Hier gibt es ein paar Vorbehalte.
Eine Metrik kann aussagekräftig, aber nicht sofort umsetzbar sein.
In unseren Nordstern-Workshops betonen wir, dass die Nordstern-Metrik idealerweise etwas außerhalb der Reichweite liegen sollte. Es ist der Output von Teams, die die verschiedenen North Star Inputs beeinflussen. Warum möchten Sie keine umsetzbare Nordstern-Metrik? Der NSM soll als Frühindikator für nachhaltige Unternehmensentwicklung (im Mehrjahreszeitraum) fungieren. Fast per Definition wird es ein bisschen weit weg von der täglichen Arbeit sein. Wir brauchen Inputs, die als „Brücke“ zwischen der täglichen Arbeit und diesem sinnvollen Input zum Geschäftserfolg dienen.
Wir verfolgen unsere North Star Metric, und wenn sie ins Stocken gerät, zwingt uns das dazu, unsere Strategie zu überdenken, aber ein Team wacht nicht jeden Morgen auf und hofft, es direkt beeinflussen zu können.
Eine Metrik kann explorativ sein. Wir wissen noch nicht, was wir damit machen sollen.
Die Teams sind sich im Allgemeinen des „Actionability“-Tests bewusst, aber fast zu einem Fehler. Sie werden Monate und Monate damit verbringen, eine „magische Metrik“ oder eine Reihe magischer Metriken zu finden, die alles können – umsetzbar, vorhersagbar, erklärend usw. Produktleiter sind ernsthaft gestresst, wenn sie eine Metrik zum „Eigen“ übergeben, sind sich aber nicht sicher, ob sie können Bewegungen in der Metrik „steuern“.
Das Ergebnis? Teams verwenden Vanity-Metriken, die „sicher“ sind, weil sie gute Nachrichten vermitteln. Sie sind nicht hilfreich, aber sie geben nicht vor, handlungsfähig zu sein, also stören sie nicht die Federn. Wir wollen das nicht.
Es ist in Ordnung, stattdessen explorative Metriken zu verwenden. Rufen Sie sie einfach an.
Eine leichte Verringerung der Unsicherheit kann ausreichen, um zum Handeln anzuregen.
Bei der Produktarbeit geht es darum, Entscheidungen unter Bedingungen der Ungewissheit zu treffen. Wenn Sie wollen, bis Sie sich einer Sache 100 % sicher sind, handeln Sie zu spät. Daher sollten wir nicht nach perfekten Metriken streben, die alle Unsicherheiten über die von uns ergriffenen Maßnahmen reduzieren.
Goodhart's Law und die Spannung zwischen guter Messung und guten Zielen
Das Goodhartsche Gesetz besagt, dass:
„Wenn eine Maßnahme zu einem Ziel wird, ist sie keine gute Maßnahme mehr.“
Vergleichen Sie dies mit der Anleitung meines Kollegen Adam Greco zu Vanity Metrics:
Wenn jemand nicht befördert oder gefeuert wird, wenn eine Metrik nach oben oder unten geht, handelt es sich wahrscheinlich um eine Vanity-Metrik
Hier haben wir eine Spannung/Paradoxon. Sobald eine Metrik zu einem Ziel wird und ein Signal für gute/schlechte Arbeit wird, riskieren Sie, dass sie zu einer Eitelkeitsmetrik wird, weil die Leute dafür sorgen werden, dass sie steigt. Und dennoch möchten wir, dass unsere Metriken etwas aussagen – relevant sind, gute Stellvertreter sind und relevante Entscheidungen treffen.
Beispiele für Goodharts Gesetz:
- Wenn ein Team das Ziel hat, Funktionen vorhersehbar bereitzustellen, wird es weniger wahrscheinlich unbestätigendes neues Feedback verarbeiten, das „unvorhersehbar“ erscheinen könnte.
- Wenn ein Team das Ziel hat, die durchschnittliche Bestellgröße zu erhöhen, wird es eher die durchschnittliche Bestellgröße auf Kosten zukünftiger Ergebnisse, Markentreue usw. erhöhen.
- Wenn ein Manager das Ziel hat, in einem Quartal eine bestimmte Anzahl von Mitarbeitern einzustellen, wird er eher jemanden einstellen, der nicht der beste Kandidat ist.
Was kann uns das also über die Verwendung effektiverer Metriken und weniger Vanity-Metriken sagen? Erstens sind sie dafür verantwortlich, aussagekräftige Ziele und Zielvorgaben auszuwählen und wirksame „Leitplanken“ zu definieren, um alle nachteiligen Auswirkungen 2. oder 3. Ordnung zu verstehen. Wir können Goodharts Gesetz nicht vollständig aushebeln – Sie müssen davon ausgehen, dass die Leute das Spiel spielen werden, auf dem Sie bestehen –, aber wir können uns bemühen, Checks and Balances zu etablieren.
Mit Adams Tipp können Sie sich auch fragen: „Was wollen wir hier belohnen?“ Für Geschäftsergebnisse verantwortlich zu sein, ist sinnvoll. Aber Sie wollen Leute nicht auf der Grundlage willkürlicher Metriken und Erfolgstheater befördern. Ich glaube fest an Bill Walshs Idee von The Score Takes Care of Itself. Ziele sollten positive Gewohnheiten und Routinen fördern.
Rekapitulieren
Wir haben drei häufige Probleme im Zusammenhang mit Vanity-Metriken beschrieben:
- Vanity-Metriken fehlt der Kontext
- Vanity-Metriken haben eine unklare Absicht
- Eitelkeitsmetriken lenken nicht das Handeln und Lernen
Die effektive Verwendung von Metriken umfasst die Bereitstellung von Kontext, die Angabe Ihrer Absicht und die Auswahl von Metriken, die das Handeln und Lernen leiten. Auf eine Metrik zu zeigen und zu sagen „das ist eine Vanity-Metrik“ ist gleichbedeutend mit der Aussage „Sie verwenden diese Metrik als Vanity-Metrik“.
Der Vanity-Metrik-Test
Wir haben verschiedene Probleme erörtert, die zur Verwendung von Vanity-Metriken beitragen , und Probleme , die mit Vanity-Metriken verbunden sind. Jetzt ist es an der Zeit, Ihre Metriken auf die Probe zu stellen.
In diesem Abschnitt stellen wir zehn Aussagen vor, die den Sie werden die Themen bemerken, die wir zuvor in diesem Beitrag untersucht haben: Kontext, Absicht, verantwortungsbewusstes Handeln und Lernen.
Für jede Aussage empfehlen wir Ihnen:
- Besprechen Sie die Aufforderung mit Ihrem Team
- Suchen Sie nach vielfältigen Perspektiven
- Kennzeichnen Sie Elemente, die Aufmerksamkeit erfordern
S1: Das Team versteht die zugrunde liegende Begründung für die Verfolgung der Metrik.
Tipp: Nehmen Sie die Metrikorientierung in Ihren Onboarding-Plan für Mitarbeiter auf. Amplitude-Kunden nutzen häufig unsere Notizbuchfunktion, um Kontext zu wichtigen Kennzahlen bereitzustellen.
S2: Wir präsentieren die Metrik neben verwandten Metriken, die den notwendigen Kontext hinzufügen. Bei isolierter Darstellung fügen wir erforderliche Fußnoten und Verweise hinzu.
Tipp: Normalisieren Sie die Anzeige von Leitplanken und verwandten Metriken in Präsentationen.
S3: Die Hypothesen (und Annahmen), die die Metrik mit sinnvollen Ergebnissen und Auswirkungen verbinden, sind klar artikuliert, verfügbar und offen für Herausforderungen/Diskussionen.
Tipp: Verwenden Sie Baumdiagramme (Treiberbäume, North Star Framework, Annahmebäume usw.) und kausale Beziehungsdiagramme, um hypothetische kausale Beziehungen zu kommunizieren. Erwägen Sie, das Spiel „Random Jira Ticket“ zu spielen. Können Sie zufällig ein Jira-Ticket auswählen und von diesem Element zu etwas klettern, das langfristig von Bedeutung sein wird?
S4: Die metrische Berechnung/Definition ist inspizierbar, überprüfbar und zerlegbar. Seine verschiedenen Komponenten, Klauseln, Merkmale usw. können getrennt werden. Jemand mit guten Domänenkenntnissen kann verstehen, wie es funktioniert.
Tipp: Geben Sie die Metrik nach Möglichkeit frei, damit sich jemand „einklicken“ kann, wie sie berechnet wird. Wenn die Metrik beispielsweise einen Filter wie „In den 7 Tagen mit mehr als 7 Benutzern geteilt“ enthält, sollte es möglich sein, diese Klausel anzupassen und zu sehen, wie diese Zahl im Vergleich zur Gesamtzahl der Benutzer abschneidet. Bauen Sie Vertrauen auf, indem Sie es Menschen ermöglichen, die Metrik neu zu erstellen.
S5: Die Metrik ist Teil eines regelmäßig überprüften und diskutierten Dashboards, einer Scorecard oder eines Berichts. Es hat eine gesunde Prüfung überstanden. Wenn die Metrik eher explorativ und ungetestet ist (oder ein „Ich war neugierig, ob …“), ist dieser Kontext von Anfang an klar.
Tipp: Kontrolle ist eine gute Sache. Je mehr Augen Sie auf eine Metrik lenken können, desto besser. Kritik einladen. Notieren Sie Fragen, sobald sie auftauchen. Machen Sie jedes „Zeigen“ der Metrik (z. B. bei allen Händen oder Produktbewertungen) sukzessive besser.
S6: Das Team hat eine Arbeitstheorie darüber, was Änderungen in der Metrik anzeigen.
Tipp: Hier ist eine grundlegende Aufforderung, die Sie zum Nachdenken anregen soll: „Ein Anstieg dieser Kennzahl ist ein Signal, dass _______ , und ein Rückgang dieser Kennzahl ist ein Signal, dass _______.“
S7: Im Laufe der Zeit bietet die Metrik zunehmenden Wert und Vertrauen. Wir können auf bestimmte Entscheidungen und Aktionen hinweisen, die sich aus der Verwendung der Metrik ergeben (und diese Aktionen sind überprüfbar). Das Unternehmen würde in die weitere Verfolgung und Kommunikation investieren.
Tipp: Geben Sie Konfidenzniveaus an, wenn Sie Metriken anzeigen, und führen Sie ein Entscheidungs-/Aktionsprotokoll. Versuchen Sie zu normalisieren, sich zunächst nicht 100 % sicher zu sein und die Anzeige von Metriken mit hohem Konfidenzniveau mit neuen Kandidatenmetriken mit niedrigerem Konfidenzniveau auszugleichen.
S8: Das Team legt klare Handlungsschwellen fest (z. B. „wenn es X überschreitet, können wir Y in Betracht ziehen“). Die Metrik kann sinken. Und wenn es untergeht, wird es wahrscheinlich zu Inspektionen/Maßnahmen anregen.
Tipp: Führen Sie einen Workshop zur Szenarioplanung durch, um besser zu verstehen, wie Bewegungen in der Metrik zukünftiges Verhalten diktieren. Richten Sie Monitore in Ihrem Analysetool ein, um Sie zu warnen, wenn Sie einen Schwellenwert erreicht haben.
S9: Die Metrik ist vergleichend (über die Zeit, vs. ähnliche Metriken usw.). Allgemeiner ausgedrückt, wenn sie über einen längeren Zeitraum verfolgt wird, ist es möglich, Vergleiche zwischen Äpfeln und Äpfeln zwischen Perioden anzustellen.
Tipp: Fügen Sie Zeitraum-über-Zeitraum-Ansichten in Ihre Dashboards ein, um Vergleiche besser im Auge zu behalten.
S10: Das Team verwendet die Metrik, um Herausforderungen UND Erfolge zu kommunizieren. Nicht nur gewinnt.
Tipp: Hier geben Leader den Ton an. Besprechen Sie Situationen, die nicht wie erwartet geklappt haben, und wie Sie Daten verwendet haben, um das herauszufinden.
Zusammenfassung
Eitelkeitsmetriken sind Metriken, die uns ein gutes Gefühl geben, uns aber nicht dabei helfen, bessere Arbeit zu leisten oder bessere Entscheidungen zu treffen. Niemand ist immun gegen die Verwendung von Eitelkeitsmetriken! Der Schlüssel ist sicherzustellen, dass Sie Kontext bereitstellen, die Absicht der von Ihnen verwendeten Metriken angeben und die Aktionen und Entscheidungen klären, die die Metrik (oder Metriken) steuern wird.
Um aussagekräftige Metriken zu definieren, sehen Sie sich das North Star Playbook an. Die Einrichtung einer North Star-Metrik und einer Konstellation umsetzbarer Eingaben ist eine wirksame Methode, um die Verwendung von Vanity-Metriken zu vermeiden.