Cosa sono le metriche di vanità e come smettere di usarle

Sei così vanitoso (sei così vanitoso)

Scommetto che pensi che questa metrica riguardi te

Non è vero?

– Carly Simone

Cosa sono le metriche di vanità?

Ma tutti, a un certo punto, sono stati attirati da buone notizie e hanno abbassato la guardia.

Ciao a tutti, controlla il conteggio degli utenti unici di ieri!

Ciao a tutti, guardate le iscrizioni all'evento!

È facile criticare le metriche di vanità, ma ci siamo stati tutti.

In questo post, descriverò tre problemi comuni che ci portano alle metriche di vanità. Quindi condividerò The Vanity Metric Test , un modo per rivedere le metriche e sapere se stai virando nel territorio della vanità metrica. Se hai poco tempo e vuoi passare direttamente alla recensione, clicca qui.

Problemi di vanità metrica

Discutendo con i team sulle metriche di vanità, ho notato tre problemi fondamentali.

• Le metriche di vanità mancano di contesto.
• Le metriche di vanità hanno intenzioni poco chiare.
• Le metriche di vanità non guidano l'azione e l'apprendimento.

Problema 1: le metriche di vanità mancano di contesto

In primo luogo, abbiamo il problema del contesto mancante. Visualizzazioni di pagina, Utenti attivi giornalieri e Iscrizioni significano qualcosa ma non sono molto utili da soli. I problemi sorgono quando comunichiamo queste metriche senza fare riferimento al quadro più ampio. Non è ciò che diciamo, ma piuttosto ciò che non diciamo, ad esempio, "rispetto a", "come input in", "bilanciato da", "un primo segnale di", "parte del..." "come un rapporto di,” “con i seguenti avvertimenti,” ecc.

Il contesto mancante ha un impatto su tutti:

• Marketing: ci sono molti modi per aumentare le visualizzazioni dei contenuti a breve termine. È molto più difficile creare un contenuto sempreverde che attiri potenziali acquirenti per settimane e anni. Ottenere un aumento del traffico iniziale è un segnale positivo in anticipo , ma ha bisogno di una nota a piè di pagina.
• Vendite: raggiungere un obiettivo di vendita trimestrale è un enorme risultato. È degno di nota per una serie di motivi. Ma come ha fatto la squadra a centrare l'obiettivo? Si sono piegati ai prezzi? Hanno portato avanti gli affari? Hanno derubato Peter per pagare Paul? È necessario più contesto (ad esempio, confrontare i prezzi con i trimestri precedenti).
• Prodotto: il lancio di una nuova funzionalità è una pietra miliare enorme. Le prime metriche di adozione delle funzionalità sono un segnale positivo. Ma i clienti non stanno necessariamente utilizzando la funzione. Potrebbero solo provare la funzione. In effetti, tutti i popup in-app che suggeriscono alle persone di provare la funzione potrebbero aumentare i clic di curiosità. Provare la funzione è un input nella probabilità di un utilizzo a lungo termine.

Altri esempi di contesto potenzialmente mancante: gli acquisti medi sono in aumento, ma anche i resi degli ordini. Le conversioni sono aumentate da annunci che non rispondono alla tua proposta di valore. Un canale sta cannibalizzando un altro canale. L'app è più facile per i nuovi utenti ma più difficile per gli utenti esperti. Il tempo trascorso nell'app è scaduto, ma il tuo obiettivo è far risparmiare tempo alle persone. Le persone interrogano di più i dati, ma è perché hanno difficoltà a comprendere i risultati. I clienti sono più attivi nell'app, ma sono passati a perdere tempo invece che a reti preziose.

Nota come in ciascuno di questi esempi, il contesto è tutto. La mancanza di informazioni di controbilanciamento rende difficile dare un senso al quadro generale e dove si adatta la metrica.

Oltre al contesto circostante, dobbiamo garantire che le persone comprendano il Perché .

Problema 2: le metriche di vanità hanno intenzioni poco chiare

In secondo luogo, abbiamo confusione sull'intento della metrica. La definizione della metrica può essere esplicita, ma ciò che stiamo cercando di misurare non è chiaro. Un classico esempio qui è Visite di ritorno. Ho restituito il prodotto perché mi piaceva il prodotto? O perché il prodotto era difficile da usare e avevo bisogno di fare una pausa? O hai bisogno dell'aiuto del servizio clienti?

Molte metriche di "coinvolgimento" web classiche come visualizzazioni di pagina, tempo sulla pagina e durata media della sessione sono i resti di un'era pre-mobile, pre-cambio dispositivo, precedente a 30 schede browser e pre-app a pagina singola. Erano i migliori proxy per l'impegno e lo scambio di valore disponibili all'epoca, ma non sono le migliori misure che abbiamo ora a disposizione.

La connessione tra ciò che stiamo tentando di misurare e il "proxy" che abbiamo scelto è estremamente chiara con alcuni parametri. O almeno così pensiamo! Ad esempio, dico a un amico che sono riuscito a dormire otto ore la notte scorsa. Il mio amico interpreta il mio intento come: "John sta cercando di comunicare che ha dormito bene la notte".

Ma le ore di sonno non sono che una delle tante variabili. Questo studio menziona circa 23 variabili del sonno utilizzate nello studio della qualità del sonno, tra cui latenza REM, sonno REM, piccoli movimenti nel sonno, tempi dei diversi cicli del sonno, numero di cicli, ecc. Questo studio afferma che la durata del sonno può avere un associazione con la mortalità”. Accidenti!

I suoi autori introducono il Pittsburgh Sleep Quality Index e delineano chiaramente l' intento della metrica.

L'indice di qualità del sonno di Pittsburgh è stato sviluppato con diversi obiettivi: (1) fornire una misura affidabile, valida e standardizzata della qualità del sonno; (2) discriminare tra dormienti “buoni” e “poveri”; (3) fornire un indice che sia facile da usare per i soggetti e da interpretare per clinici e ricercatori; e (4) fornire una valutazione breve e clinicamente utile di una varietà di disturbi del sonno che influenzano la qualità del sonno.

Comunicare l'intento è fondamentale. Questi autori probabilmente hanno dovuto affrontare dei compromessi. La facilità d'uso per i soggetti potrebbe non essere immediatamente uguale alla profondità di utilizzo per i ricercatori. La standardizzazione è utile per la comparabilità, ma spesso implica la riduzione di fattori contestuali. La valutazione è "breve", che implica un compromesso tra i tassi di completamento della valutazione e la profondità della valutazione.

Una grande dichiarazione di intenti copre i compromessi e gli obiettivi fondamentali.

Che aspetto ha l'indicazione efficace dell'intento della metrica?:

Riferire i fatti. Alla ricerca di teorie/intuizioni:

Ecco il numero di interruzioni che abbiamo avuto negli ultimi 30 giorni e il confronto con i periodi passati. Nota l'aumento. Cosa sta succedendo qui, secondo te? Cosa stiamo vedendo?

Come proxy per qualcosa non direttamente misurabile:

La nostra metrica North Star è "Fai da te fedeli", definita come il numero di utenti che hanno eseguito azioni di progetti fai-da-te di alto valore combinate con il loro coinvolgimento nella comunità. È un proxy per una combinazione di lealtà, soddisfazione e utilizzo del nostro prodotto in modi congruenti con la nostra strategia orientata alla comunità. I dati suggeriscono, ma non provano (ancora), che questo sia un indicatore principale del maggiore valore della vita del cliente e dell'acquisizione virale.

Vogliamo trovare una metrica praticabile che 1) un team possa spostare e 2) contribuisca al successo a medio termine dell'azienda.

Gli Hex Pistols si concentreranno sul miglioramento dell'efficacia del flusso di lavoro di onboarding. È un atto di giocoleria. Sappiamo che possiamo affrettare le persone e non prepararle al successo. Oppure possiamo renderlo molto completo, riducendo la probabilità che vedano il prodotto in azione. Per guidare il nostro lavoro, ci concentreremo sulla riduzione del tempo percentile del 90% per la condivisione del progetto. La condivisione del progetto è un segnale precoce che gli utenti sono a proprio agio e in grado di utilizzare il prodotto.

L'intenzione conta!

Problema 3: le metriche di vanità non guidano l'azione e l'apprendimento

Di recente ho chiesto a Twitter e LinkedIn:

• A cosa serve il tuo test quando qualcosa è una metrica di vanità? (Twitter)
• Come fai a sapere quando una metrica è una metrica di vanità? (LinkedIn)

Uno dei "test" di rango più alto era se la metrica guidasse azioni e decisioni.

Quando nessuno può agire in modo significativo su ciò che ci mostra. Quando nessun valore possibile per la metrica ci spingerà a migliorare effettivamente qualsiasi cosa. Ola Berg

Il risultato non è perseguibile. Indipendentemente dal fatto che la metrica aumenti o diminuisca, non cambiamo ciò che facciamo. Chris Lukassen

Quando nessuno si preoccupa se smette di salire/altopiano/o diminuisce. es: "Il nostro punteggio NPS è 90!" un mese seguito da "Il nostro punteggio NPS è 50!" il prossimo mese. Heidi Atkinson

Azione, decisioni e apprendimento sono un grosso problema.

Se un numero continua a salire e l'unica azione che ispira è un sopracciglio corrugato in una riunione a tutti gli effetti, probabilmente hai una metrica di vanità tra le mani. Se una squadra tira fuori una metrica per festeggiare, ma quando cade non cambia strategia o tattica, probabilmente stai guardando una metrica di vanità.

Gli esempi includono metriche non molto utilizzabili includono:

• Durata media della sessione. Sale o scende. cosa fai?
• Nuovi Utenti (meno canale di acquisizione). Sale o scende. cosa fai?
• Nuovi seguaci. Sale o scende. cosa fai?

Ci sono un paio di avvertimenti qui.

Una metrica può essere significativa ma non immediatamente utilizzabile.

Nei nostri seminari sulla stella polare, sottolineiamo che la metrica della stella polare dovrebbe idealmente essere un po' fuori portata. È l' output delle squadre che influenzano i vari input della stella polare. Perché non vorresti una metrica di North Star utilizzabile? L'NSM intende fungere da indicatore anticipatore della performance aziendale sostenibile (nell'arco temporale pluriennale). Quasi per definizione, sarà un po' distante dal lavoro quotidiano. Abbiamo bisogno di input che servano da "ponte" tra il lavoro quotidiano e quell'input significativo per il successo aziendale.

Tracciamo la nostra metrica della stella polare e, se si blocca, ci costringerà a riconsiderare la nostra strategia, ma una squadra non si sveglia ogni mattina sperando di influenzarla direttamente.

Una metrica può essere esplorativa. Non sappiamo ancora cosa farci.

Le squadre sono generalmente consapevoli del test di "agibilità", ma quasi per colpa. Trascorreranno mesi e mesi cercando di capire una "metrica magica" o un insieme di metriche magiche che fanno tutto: perseguibili, predittive, esplicative, ecc. I leader di prodotto si stressano seriamente quando viene consegnata una metrica da "possedere" ma non sono sicuri se possono "controllare" i movimenti nella metrica.

Il risultato? I team utilizzano metriche di vanità che sono "sicure" perché trasmettono buone notizie. Non sono utili, ma non pretendono di essere azionabili, quindi non arruffano le piume. Non vogliamo questo.

Va invece bene utilizzare metriche esplorative. Basta chiamarli.

Una leggera riduzione dell'incertezza può essere sufficiente per ispirare l'azione.

Il lavoro sul prodotto consiste nel prendere decisioni in condizioni di incertezza. Se vuoi fino a quando non sarai sicuro al 100% di qualcosa, agirai troppo tardi. Pertanto, non dovremmo cercare metriche perfette che riducano tutte le incertezze sulle azioni che intraprendiamo.

La legge di Goodhart e la tensione tra buona misurazione e buoni obiettivi

La legge di Goodhart afferma che:

"Quando una misura diventa un obiettivo, cessa di essere una buona misura."

Confrontalo con la guida del mio collega Adam Greco su Vanity Metrics:

Se qualcuno non verrà promosso o licenziato se una metrica aumenta o diminuisce, è probabilmente una metrica di vanità

Qui abbiamo una tensione/paradosso. Una volta che una metrica diventa un obiettivo e diventa un segnale di fare un buon/cattivo lavoro, rischi che diventi una metrica di vanità perché le persone si assicureranno che salga. Eppure vogliamo che le nostre metriche abbiano un significato: siano rilevanti, siano buoni proxy e informino le decisioni rilevanti.

Esempi di legge di Goodhart:

• Se un team ha l'obiettivo di fornire funzionalità di spedizione prevedibili, sarà meno probabile che elabori nuovi feedback disconfermati che potrebbero apparire "imprevedibili".
• Se un team ha l'obiettivo di aumentare la dimensione media dell'ordine, sarà più probabile che aumenti la dimensione media dell'ordine a scapito dei risultati futuri, della fedeltà al marchio, ecc.
• Se un manager ha l'obiettivo di assumere un certo numero di persone in un trimestre, sarà più probabile che assuma qualcuno che non è il miglior candidato.

Quindi cosa può dirci sull'utilizzo di metriche più efficaci e meno metriche di vanità? In primo luogo sono responsabili della selezione di obiettivi e traguardi significativi e della definizione di "guardrail" efficaci per comprendere eventuali effetti negativi di 2° o 3° ordine. Non possiamo sconfiggere completamente la legge di Goodhart - devi presumere che le persone giocheranno il gioco che tu insisti perché giochino - ma possiamo sforzarci di stabilire controlli ed equilibri.

Usando il consiglio di Adam, puoi anche chiederti: "cosa vogliamo premiare qui?" Essere responsabili dei risultati aziendali ha senso. Ma non vuoi promuovere le persone in base al fatto che colpiscano metriche arbitrarie e teatro del successo. Sono un grande sostenitore dell'idea di Bill Walsh di The Score Takes Care of Itself. Gli obiettivi dovrebbero incoraggiare abitudini e routine positive.

Ricapitolare

Abbiamo descritto tre problemi comuni associati alle metriche di vanità:

• Le metriche di vanità mancano di contesto
• Le metriche di vanità hanno intenzioni poco chiare
• Le metriche di vanità non guidano l'azione e l'apprendimento

L'uso efficace delle metriche include la fornitura del contesto, l'indicazione dell'intento e la selezione di metriche che guidano l'azione e l'apprendimento. Indicare una metrica e dire "questa è una metrica di vanità" equivale a dire "stai usando quella metrica come metrica di vanità".

Il test della metrica di vanità

Abbiamo discusso vari problemi che contribuiscono all'utilizzo delle metriche di vanità e problemi associati alle metriche di vanità. Ora è il momento di mettere alla prova le tue metriche.

In questa sezione, presentiamo dieci affermazioni che descrivono l' uso Noterai i temi che abbiamo esplorato in precedenza in questo post: contesto, intento, azione responsabile e apprendimento.

Per ogni affermazione ti suggeriamo:

1. Discuti la richiesta con il tuo team
2. Cerca diverse prospettive
3. Segnala gli oggetti che richiedono attenzione

S1: Il team comprende la logica alla base del monitoraggio della metrica.

Suggerimento: includi l'orientamento delle metriche nel piano di inserimento dei dipendenti. I clienti di Amplitude utilizzano spesso la nostra funzione Notebook per fornire un contesto attorno alle metriche chiave.

S2: presentiamo la metrica insieme alle metriche correlate che aggiungono il contesto necessario. Se presentati isolatamente, aggiungiamo note e riferimenti obbligatori.

Suggerimento: normalizza la visualizzazione del guardrail e delle relative metriche nelle presentazioni.

S3: Le ipotesi (e ipotesi) che collegano la metrica a risultati e impatto significativi sono chiaramente articolate, disponibili e aperte a sfide/discussioni.

Suggerimento: utilizzare i diagrammi ad albero (alberi del driver, North Star Framework, alberi delle ipotesi, ecc.) e i diagrammi delle relazioni causali per comunicare le relazioni causali ipotizzate. Considera la possibilità di giocare al gioco "Random Jira Ticket". Puoi prendere a caso un biglietto Jira e "camminare sull'albero" da quell'oggetto a qualcosa che avrà importanza a lungo termine?

S4: Il calcolo/definizione della metrica è ispezionabile, verificabile e scomponibile. I suoi vari componenti, clausole, caratteristiche, ecc., possono essere separati. Qualcuno con una buona conoscenza del dominio può capire come funziona.

Suggerimento: quando possibile, condividi la metrica in modo che qualcuno possa "fare clic" su come viene calcolata. Ad esempio, se la metrica prevede un filtro come "condiviso con più di 7 utenti nei 7 giorni", dovrebbe essere possibile modificare tale clausola e vedere come tale numero si confronta con il numero totale di utenti. Crea fiducia consentendo alle persone di ricreare la metrica.

S5: la metrica fa parte di una dashboard, una scorecard o un report regolarmente esaminati e discussi. È sopravvissuto a un sano controllo. Se la metrica è più esplorativa e non testata (o un "Ero curioso di sapere se..."), quel contesto è chiaro fin dall'inizio.

Suggerimento: il controllo è una buona cosa. Più occhi puoi ottenere su una metrica, meglio è. Invita la critica. Registra le domande man mano che emergono. Rendi ogni "mostra" della metrica (ad esempio, a tutte le mani o recensione del prodotto) successivamente migliore.

S6: Il team ha una teoria funzionante su cosa indicano i cambiamenti nella metrica.

Suggerimento: ecco un suggerimento di base per farti pensare: "Un aumento di questa metrica è un segnale che _______ , e una diminuzione di questa metrica è un segnale che _________".

S7: nel tempo, la metrica fornisce valore e affidabilità crescenti. Possiamo indicare decisioni e azioni specifiche risultanti dall'utilizzo della metrica (e tali azioni sono revisionabili). L'azienda investirebbe nel continuare a seguirlo e a comunicarlo.

Suggerimento: indica i livelli di confidenza durante la visualizzazione delle metriche e conserva un registro delle decisioni/azioni. Prova a normalizzare non essere sicuro al 100% all'inizio e bilanciare la visualizzazione di metriche con livelli di confidenza elevati con nuove metriche candidate con livelli di confidenza più bassi.

S8: Il team stabilisce chiare soglie di azione (es. "se supera X, allora possiamo considerare Y"). La metrica può diminuire. E se va giù, probabilmente ispirerà ispezione/azione.

Suggerimento: condurre un seminario di pianificazione degli scenari per comprendere meglio come i movimenti nella metrica determineranno il comportamento futuro. Imposta monitor nel tuo strumento di analisi per avvisarti quando hai raggiunto una soglia.

S9: La metrica è comparativa (nel tempo, rispetto a metriche simili, ecc.) In parole povere, se la si monitora per un periodo prolungato, è possibile fare confronti tra mele e mele tra periodi.

Suggerimento: includi le visualizzazioni periodo su periodo nelle dashboard per avere più occhi sui confronti.

S10: Il team utilizza la metrica per comunicare sfide E vittorie. Non solo vittorie.

Suggerimento: qui i leader danno il tono. Discuti delle situazioni che non hanno funzionato come ti aspettavi e di come hai utilizzato i dati per capirlo.

Riepilogo

Le metriche di vanità sono metriche che ci fanno sentire bene, ma non ci aiutano a lavorare meglio o a prendere decisioni migliori. Nessuno è immune dall'uso delle metriche di vanità! La chiave è assicurarsi di fornire il contesto, indicare l'intento delle metriche che utilizzi e chiarire le azioni e le decisioni che la metrica (o le metriche) guiderà.

Per definire metriche significative, dai un'occhiata al North Star Playbook. Stabilire una metrica della stella polare e una costellazione di input utilizzabili è un modo efficace per evitare l'uso di metriche vanity.