3 Fallstricke bei Produktmetriken, die Sie vermeiden müssen

In meinem Buch The Insights Driven Product Manager erkläre ich , warum es wichtig ist, weniger nachzuverfolgen, um mehr Fokus zu schaffen und mehr Zeit damit zu verbringen, echte Erkenntnisse aus Ihren Daten zu extrahieren.

Der nächste Schritt besteht darin, sicherzustellen, dass Sie im Wesentlichen das verfolgen, was ich „gute Qualitätsmetriken“ nenne. Dieser Beitrag – ein Auszug aus Kapitel 7 meines Buches – konzentriert sich darauf, wie Sie die Gesamtqualität Ihrer Metriken verbessern, sie umsetzbarer machen und welche Fallstricke Sie vermeiden sollten.

Fallstrick Nr. 1: Vanity-Metriken

Vor einigen Jahren arbeitete ich an einem B2B-SaaS-Produkt zur Verwaltung von Büroumgebungen. Wir haben das Produkt gerade auf den Markt gebracht und mit der Durchführung unserer ersten bezahlten Werbekampagnen begonnen, also habe ich ein Dashboard eingerichtet, das die Gesamtzahl der Anmeldungen über 30 Tage verfolgt:

Die Zahlen schienen zu steigen, also waren wir ziemlich glücklich über den Schwung.

Das Problem war, dass dieses Diagramm zwar auf Präsentationen gut aussah, die nackte Wahrheit jedoch darin bestand, dass nur 4 % der Neuanmeldungen zu tatsächlichen Conversions und Umsätzen führten und wir infolgedessen unsere monatlich wiederkehrenden Umsatzziele nicht erreichten.

Es ist ein kumulatives Diagramm, also wäre der schlimmste Fall, dass das Diagramm einfach abflacht, wenn wir keine neuen Benutzer gewinnen, aber die Anzahl kann niemals abnehmen. Es ist ein klassisches Beispiel für eine Vanity-Metrik:

• Der Anblick dieser Grafik gab uns ein gutes Gefühl.
• Diese Kennzahl war besonders nützlich bei Präsentationen mit Interessenvertretern.
• Es gab uns keinen Einblick, ob es uns tatsächlich gut ging oder nicht.
• Da es uns keinen Einblick gab, veranlasste es uns nicht, Maßnahmen zu ergreifen, um das Produkt oder die Funktionen in irgendeiner Weise zu verbessern.
• Und obwohl wir uns diese Metrik täglich ansahen, dauerte es zwei Monate (bis alle 30-Tage-Tests abgeschlossen und abgewandert waren), um herauszufinden, dass es ein Problem gab.

Während ein Teil des Problems damals unser mangelndes Wissen darüber war, wie man bessere Metriken misst, liegt das Problem in Organisationen oft viel tiefer: Die meisten Teams oder Stakeholder sind einfach nicht bereit, die Wahrheit aus ihren Metriken zu hören, also schauen wir nach für die Zahlen, die uns gut aussehen lassen.

In meinem Interview mit Crystal Widjaja, CPO bei Kumu und Autorin für Reforge, hat sie wunderbar zusammengefasst, wie man Daten betrachtet, um aus Fehlern Kapital zu schlagen und stattdessen Verbesserungen voranzutreiben:

„Wenn Leute Fehler machen (fehlgeschlagenes Experiment, fehlgeschlagene Bereitstellung usw.), haben Sie diese Kosten bereits bezahlt. Wir sollten Daten als eine Möglichkeit betrachten, aus Fehlern Kapital zu schlagen und daraus zu lernen. Anstatt ‚die Lehrgelder für das Versagen zu bezahlen‘ und die Person zu feuern, nutzen Sie die Datenerkenntnisse, um uns zu sagen, WARUM es ein Versagen war, lernen Sie daraus und nutzen Sie sie, damit die nächste Iteration 10-mal besser ist als die erste.“

– Kristall Widjaja

Um mehr Erkenntnisse aus Ihren Daten zu gewinnen, müssen Sie wirklich aufhören, Eitelkeitsmetriken zu verfolgen, und stattdessen Daten verwenden, um die Wahrheit aufzudecken und tatsächliche Verbesserungen voranzutreiben. Wenn Sie genau hinsehen, ist es faszinierend, wie oft Teams sehr selektive Metriken zeigen, um bestimmte Stakeholder zu beruhigen oder die Zahlen besser klingen zu lassen, als sie tatsächlich sind. Achten Sie auf andere klassische Beispiele für Vanity-Metriken wie:

• Anzahl der Seitenaufrufe oder Besucher
• Anzahl der Follower/Likes
• Verweildauer vor Ort (Sitzungsdauer)
• Anzahl der Downloads

Metriken wie Seitenaufrufe und Sitzungsdauer werden immer noch stark in der Website-Analyse verwendet, wo der Schwerpunkt auf der Messung von Traffic, Bekanntheit und anfänglichem Engagement liegt. Sie geben Ihnen einen Einblick in das, was wir die Spitze des Trichters nennen – die anfängliche Akquisition von Kunden –, aber nicht, ob Kunden das Produkt tatsächlich aktivieren und sich mit ihm beschäftigen, was eine viel aussagekräftigere Korrelation mit Ihren umfassenderen Produkt- und Geschäftszielen haben wird.

Wie man es besser macht: Um wirklich zu verstehen, ob eine Metrik gut oder schlecht ist, müssen wir Zahlen in einen Kontext stellen. Zumindest sollten Sie versuchen, eine Zahl über verschiedene Zeiträume hinweg zu vergleichen, z. B. Ihre Anmeldezahlen in diesem Monat mit denen des Vormonats zu vergleichen.

Eine weitere effektive Möglichkeit, Ihre Metriken nützlicher zu machen, besteht darin, Verhältnisse anstelle von Gesamtzahlen zu verwenden. Verhältnisse sind von Natur aus vergleichend. Beispielsweise betrachten Buchhalter nicht nur den Gesamtumsatz, sondern vergleichen normalerweise die Kosten für die Herstellung eines Produkts mit den Verkäufen, die sie damit erzielt haben. Auf diese Weise können Buchhalter ihre Gewinnspanne (ein großartiges Beispiel für ein nützliches Verhältnis) im Laufe der Zeit verfolgen, um zu beurteilen, ob das Unternehmen gesund ist.

Beispiele für bessere, vergleichbarere Metriken:

• % der Anmeldungen pro Akquisitionskanal
• % der Anmeldungen, die den vollständigen Anmeldeprozess abgeschlossen haben
• % der Anmeldungen, die eine wichtige Aktivierungsmetrik durchgeführt haben
• % der Benutzer, die das Produkt nach 4 Wochen verwenden

Fallstrick Nr. 2: Nur nacheilende Metriken verfolgen

Ein großes Problem war die Zeit, die wir brauchten, um herauszufinden, ob wir unsere Konversionsziele erreichten (oder nicht). Das Produkt hatte eine 30-tägige kostenlose Testversion und unser Ziel war es, sie nach Ablauf der Testversion in zahlende Kunden umzuwandeln. Während der erste Monat in Bezug auf die Anmeldungen gut aussah, würden wir es letztendlich erst am Ende wissen zweiten Monat, wie viele dieser Anmeldungen zu zahlenden Kunden wurden.

Dies ist ein klassisches Beispiel für eine verzögerte Metrik. Nachlaufende Metriken berichten rückwirkend über vergangene Ergebnisse. Beispielsweise sind Ihre Umsatzzahlen für das Jahr wie die meisten Ihrer anderen Betriebsmetriken hinterherhinkende Metriken. Ob Sie gut abgeschnitten haben, wissen Sie erst, wenn Sie die Ergebnisse haben.

Der wirkliche Wert bei der Verfolgung des Benutzerverhaltens durch Ihre Produktanalysen besteht darin, dass Sie damit beginnen können, nach früheren Indikatoren zu suchen, als auf Ihre endgültigen Umsatzzahlen warten zu müssen. Wenn Ihre führenden Metriken nicht gut abschneiden, haben Sie die Möglichkeit, den Kurs zu korrigieren, bevor es zu spät ist. Aus diesem Grund habe ich den Holistic Metrics One Pager in Kapitel fünf meines Buches so konzipiert, dass er sowohl das Kundenverhalten als auch operative Kennzahlen enthält, damit Teams eine gesunde Mischung aus führenden und nacheilenden Kennzahlen verfolgen können, um sich ein vollständiges Bild zu machen.

Eine der leistungsstärksten führenden Metriken ist die Aktivierungsmetrik. Eine gute Aktivierungsmetrik stellt den Prozentsatz der Kunden dar, die eine wichtige Aktion ausführen, um das Produkt einzurichten oder zu verwenden. Viele Unternehmen haben herausgefunden, dass Benutzer, wenn sie während des Onboardings eine bestimmte Aktion in ihrem Produkt ausführen, dazu neigen, den wahren Wert des Produkts zu erkennen, was später zu einem höheren Engagement führt. Manche nennen diesen Aktivierungsschritt das Erreichen des „Aha-Momentes“ in ihrem Produkt.

Hier sind einige einfache Beispiele für führende Aktivierungsmetriken:

• Soziales Netzwerkprodukt: Ein klassisches Beispiel war die erste Aktivierungsmetrik von Facebook, bei der innerhalb von 10 Tagen mindestens sieben Freunde hinzugefügt wurden.
• Dashboard-Aggregationsprodukt: Das Wertversprechen besteht darin, mehrere Tools in einer Ansicht zu bündeln, sodass Sie möglicherweise feststellen, dass Benutzer, die während des Onboardings mindestens zwei oder drei Tools hinzufügen, das volle Potenzial des Produkts ausschöpfen.
• Utility-Produkt: Ihr Wertversprechen könnte darin bestehen, eine Aufgabe wie das Verfolgen von Verkaufsgesprächen in einem CRM zu vereinfachen oder zu digitalisieren, damit Sie die Anzahl der Benutzer, die ihren ersten Kundeneintrag so schnell wie möglich als Aktivierungsmetrik abschließen, verfolgen können.
• Achtung Produkt: Wenn sich Ihr Produkt auf Unterhaltung und Inhalte konzentriert, können Sie Benutzer verfolgen, die in der ersten Woche nach der Anmeldung eine bestimmte Menge an Inhalten konsumiert haben .

Verzögerte Metriken sind übrigens nicht von Natur aus schlecht. Tatsächlich sind sie ein wichtiger Bestandteil der Berichterstattung, insbesondere zur Messung von Geschäftskennzahlen wie Ihren Finanzergebnissen. Ihr Vorteil ist, dass sie die endgültigen Ergebnisse, die wahren Fakten darstellen.

Auf der anderen Seite beinhalten führende Metriken oft eine Reihe von Annahmen wie die Annahme, dass eine große Anzahl von Kaltakquise jeden Tag die Zahl der zahlenden Benutzer im weiteren Verlauf erhöht. Wenn Sie mehr Daten erhalten, sollten Sie testen, ob diese Annahmen tatsächlich wahr sind, aber selbst dann besteht immer noch eine gewisse Unsicherheit darüber, ob die Aktivierungsmetrik wirklich die Zunahme der Kundenbindung verursacht hat oder ob andere Faktoren dazu beigetragen haben.

Das bedeutet, dass führende Metriken nie so genau sein werden wie hinterherhinkende Metriken, aber sie sind entscheidend, um echte Erkenntnisse aus Ihren Metriken zu gewinnen. Sie ermöglichen es uns, aus dem Kundenverhalten zu lernen und Frühindikatoren zu identifizieren, die unsere Produktentscheidungen ändern können, um später bessere Geschäftsergebnisse zu erzielen. Die Verwendung der Holistic Metrics One Pager-Vorlage zwingt Sie dazu, sowohl führende als auch nacheilende Indikatoren zu verfolgen und darüber nachzudenken, wie sich diese gegenseitig beeinflussen.

Fallstrick Nr. 3: Metriken, die niemand versteht

Wenn ich Produktmanager interviewe, höre ich oft, dass Analytics-Wissen und Dateneinblicke in dunklen, mysteriösen Ecken von Büros versteckt werden, mit Ereignisnamen, die nur ein paar hochspezialisierte Analysten verstehen. Jeden Monat trafen sich diese Spezialisten mit verschiedenen Produktteams, um einige ihrer Erkenntnisse auszutauschen und zu übersetzen.

Wenn wir möchten, dass unsere Produktteams und Stakeholder ein gemeinsames Verständnis unserer Daten schaffen und Verbesserungen am Produkt gemeinsam diskutieren, müssen wir aktiv an der Demokratisierung unserer Daten arbeiten und sicherstellen, dass unsere Metriken für alle zugänglich und leicht verständlich sind.

Intercom teilte seine Erkenntnisse aus einer massiven Aufräumaktion bei Veranstaltungen vor einigen Jahren. Sie hatten rund 350 Events für ihr Produkt, die ungefähr so ​​aussahen:

Kommt Ihnen das bekannt vor?

Intercom teilte mit, dass sie ein Schlüsselprinzip der Analytik verfehlt haben: Sie machten für niemanden außer dem Analyseteam sehr wenig Sinn. Sie haben die gesamte Benennungsstruktur aller ihrer Veranstaltungen neu definiert und neu aufgebaut, um eine bessere Lesbarkeit als einen wichtigen Schritt zur Demokratisierung ihrer Produktanalysedaten einzuführen.

Es ist auch wichtig, Berichte für verschiedene Interessengruppen und Teams in der Organisation zugänglicher zu machen. Leider sehe ich oft Teams, die Angst davor haben, ihre Dashboards zu öffnen, da dies wiederum die wahren Engagement- oder Akquisitionszahlen aufdecken würde, die für die Stakeholder möglicherweise nicht gut aussehen. Um unangenehme Gespräche oder lästige Fragen zu vermeiden, ist es für Teams oft einfacher, sich hinter einer Fassade aus Komplexität zu verstecken.

Wie es besser geht:

• Schritt 1: Arbeiten Sie mit Ihren Engineering-Teams und Analysten zusammen, um die Namen Ihrer Produktanalyse-Ereignisse zu vereinfachen: „Completed Onboarding“ und „Added Dashboard Widget“ sind Aktionen, die jeder verstehen wird.
• Schritt 2: Wenn Sie ein Analytics-Team haben, binden Sie es besser in Ihre Produktteams ein. Je mehr Kontext die Analysten darüber haben, woran Ihr Produktteam arbeitet, welche Experimente Sie testen und welche Fragen beantwortet werden müssen, desto besser können sie Ihnen helfen, die Daten zu durchsuchen, um die relevantesten Erkenntnisse zu finden. Es sollte eher eine Zusammenarbeit als ein Outsourcing-Ansatz sein.
• Schritt 3: Machen Sie Ihre Analyse-Dashboards und Berichte für die gesamte Organisation zugänglich. Ihre Dashboards sollten die Schlüsselmetriken Ihres Produkts widerspiegeln (die Sie mit dem Holistic Metrics One Pager aus dem Buch definieren können). Dies ist entscheidend für die Skalierung (Ihr Team möchte nicht jeden Tag mit manuellen Berichtsanfragen überflutet werden) und um wirklich eine stärker datengesteuerte Kultur innerhalb der gesamten Organisation aufzubauen.

„Wenn Teams nach dem Stand des Geschäfts gefragt werden, können sie entweder nachsehen oder hypothetische Vermutungen anstellen. Es ist entscheidend, Ersteres zur einfachsten Standardmethode für Führungskräfte zu machen, um auf diese Anfragen zu reagieren, indem benutzerdefinierte, benutzerfreundliche Drilldown-Dashboards für Dinge wie Kohorten, Trichter und Benutzerereignisse erstellt werden.“

-Kristall Widjaja

Denken Sie daran, dass die Aufgabe, für die wir unsere Daten eingestellt haben, darin besteht, die Wahrheit aufzudecken, damit wir Maßnahmen ergreifen und unsere Produkterfahrungen verbessern können. Ihre Metriken leicht verständlich und zugänglicher zu machen, sind wichtige Schritte, um Dateneinblicke in die tägliche Entscheidungsfindung in Ihrem Unternehmen einzubeziehen. Eine starke Produktorganisation sollte motivierter denn je sein, diese Probleme zu lösen, sobald sie weiß, wo die Probleme liegen.

So verbessern Sie Ihre Metriken mithilfe der Metrik-Checkliste

Ich habe eine einfache Checkliste erstellt, die die wichtigsten Merkmale von qualitativ hochwertigen, umsetzbaren Metriken zusammenfasst, die Ihnen helfen, mehr Erkenntnisse aus Ihren Daten zu gewinnen. Verwenden Sie diese Checkliste, um alle Ihre vorhandenen Metriken zu bewerten und zu verbessern:

Es braucht echte Übung, um Ihre Schlüsselkennzahlen wirklich richtig hinzubekommen, und Sie werden feststellen, dass der Teufel oft im Detail steckt. Es ist absolut normal und wird sogar empfohlen, die von Ihnen ausgewählten Metriken häufig zu überdenken und sie mehrmals zu verfeinern, um sie nützlicher zu machen.

Achten Sie auf die Fallstricke des Teilens von Vanity-Metriken, konzentrieren Sie sich zu sehr auf nachlaufende Indikatoren, bei denen Sie keine Zeit haben, den Kurs zu korrigieren, und stellen Sie sicher, dass Sie Ihre Metriken vereinfachen und demokratisieren, um die Datenreife in Ihrem Unternehmen wirklich zu verbessern.