3 insidie ​​metriche del prodotto che devi evitare

Nel mio libro, The Insights Driven Product Manager , spiego perché è importante tenere traccia di meno per creare più attenzione e dedicare più tempo all'estrazione di informazioni reali dai dati.

Il prossimo passo è assicurarti che, a livello essenziale, stai monitorando quelle che chiamo "metriche di buona qualità". Questo post, un estratto dal capitolo 7 del mio libro, si concentrerà su come migliorare la qualità complessiva delle metriche, come renderle più utilizzabili e quali insidie ​​evitare.

Insidia n. 1: metriche di vanità

Alcuni anni fa stavo lavorando a un prodotto SaaS B2B per la gestione degli ambienti d'ufficio. Abbiamo appena lanciato il prodotto e iniziato a eseguire le nostre prime campagne pubblicitarie a pagamento, quindi ho impostato una dashboard che monitorava il numero totale di iscrizioni in 30 giorni:

I numeri sembravano aumentare, quindi siamo stati abbastanza contenti dello slancio.

Il problema era che mentre questo grafico sembrava buono nelle presentazioni, la dura verità era che solo il 4% delle nuove iscrizioni si è trasformato in conversioni ed entrate effettive e, di conseguenza, non abbiamo raggiunto i nostri obiettivi di entrate mensili ricorrenti.

È un grafico cumulativo, quindi il caso peggiore sarebbe che il grafico si stabilirebbe semplicemente se non acquisiamo nuovi utenti, ma il numero non può mai diminuire. È un classico esempio di metrica di vanità:

• Guardare questo grafico ci ha fatto sentire bene.
• Questa metrica è stata particolarmente utile nelle presentazioni degli stakeholder.
• Non ci ha permesso di capire se stavamo effettivamente andando bene o meno.
• Poiché non ci ha fornito alcuna intuizione, non ci ha spinto ad agire per migliorare il prodotto o le funzionalità in alcun modo.
• E nonostante l'analisi di questa metrica su base giornaliera, ci sono voluti due mesi (prima che tutte le prove di 30 giorni fossero terminate e si fossero concluse) per scoprire che c'era un problema.

Mentre una parte del problema era la nostra mancanza di conoscenza su come misurare le metriche migliori in quel momento, il problema nelle organizzazioni spesso è molto più profondo: la maggior parte dei team o delle parti interessate semplicemente non è pronta ad ascoltare la verità dalle loro metriche, quindi guardiamo per i numeri che ci fanno stare bene.

Nella mia intervista con Crystal Widjaja, CPO di Kumu e scrittrice di Reforge, ha riassunto magnificamente come visualizzare i dati come un modo per capitalizzare i fallimenti e guidare invece i miglioramenti:

“Quando le persone commettono errori (esperimento fallito, distribuzione fallita, ecc.), hai già pagato quel costo. Dovremmo pensare ai dati come a un modo per capitalizzare gli errori e imparare da essi. Invece di "pagare la retta del fallimento" e licenziare l'individuo, usa le informazioni sui dati per dirci PERCHÉ è stato un fallimento, impara da esso e sfruttalo affinché l'iterazione successiva sia 10 volte migliore della prima".

– Cristallo Widjaja

Per ottenere maggiori informazioni dai tuoi dati, devi davvero interrompere il monitoraggio delle metriche vanity e utilizzare invece i dati per scoprire la verità e ottenere miglioramenti effettivi. Se guardi da vicino, è affascinante quanto spesso i team mostrino metriche molto selettive per placare alcune parti interessate o far sembrare i numeri migliori di quanto non siano in realtà. Fai attenzione ad altri classici esempi di metriche di vanità come:

• Numero di visualizzazioni di pagina o visitatori
• Numero di follower/mi piace
• Tempo trascorso in loco (durata della sessione)
• Numero di download

Metriche come le visualizzazioni di pagina e la durata della sessione sono ancora ampiamente utilizzate nell'analisi dei siti Web, in cui l'obiettivo è misurare il traffico, la consapevolezza e il coinvolgimento iniziale. Ti danno alcune informazioni su ciò che chiamiamo la parte superiore della canalizzazione, l'acquisizione iniziale di clienti, ma non se i clienti stanno effettivamente attivando e interagendo con il prodotto, il che avrà una correlazione molto più significativa con il tuo prodotto più ampio e gli obiettivi aziendali.

Come farlo meglio: per capire davvero se una metrica è buona o cattiva, dobbiamo contestualizzare i numeri. Come minimo, vuoi provare a confrontare un numero in periodi di tempo diversi, ad esempio confrontando i numeri di iscrizione di questo mese rispetto al mese precedente.

Un altro modo efficace per rendere le tue metriche più utili è utilizzare i rapporti invece dei numeri totali. I rapporti sono intrinsecamente comparativi. Ad esempio, i contabili non si limitano a considerare le entrate totali, ma in genere confrontano i costi di produzione di un prodotto con le vendite che ne ricavano. In questo modo i contabili possono monitorare il loro margine di profitto (un ottimo esempio di rapporto utile) nel tempo per valutare se l'azienda è sana.

Esempi di metriche migliori e più comparabili:

• % di iscrizioni per canale di acquisizione
• % di iscrizioni che hanno completato il processo di registrazione completo
• % di iscrizioni che hanno eseguito una metrica di attivazione chiave
• % di utenti che utilizzano il prodotto dopo 4 settimane

Insidia n. 2: monitoraggio solo delle metriche in ritardo

Un grosso problema è stato il tempo impiegato per scoprire se stavamo raggiungendo (o meno) i nostri obiettivi di conversione. Il prodotto aveva una prova gratuita di 30 giorni e il nostro obiettivo era convertirli in clienti paganti dopo la fine del periodo di prova, quindi mentre il primo mese sembrava buono in termini di iscrizioni, alla fine lo sapremmo solo entro la fine del secondo mese quante di queste iscrizioni sono state convertite in clienti paganti.

Questo è un classico esempio di metrica in ritardo. Le metriche in ritardo generano rapporti retrospettivi sui risultati passati. Ad esempio, i numeri delle tue entrate per l'anno sono metriche in ritardo come la maggior parte delle altre metriche operative. Sai solo se hai fatto bene una volta che hai i risultati.

Il vero valore nel tracciare il comportamento degli utenti attraverso l'analisi del prodotto è che puoi iniziare a cercare indicatori prima del dover aspettare i numeri finali delle entrate. Se le tue metriche principali non funzionano bene, hai la possibilità di correggere il corso prima che sia troppo tardi. Questo è il motivo per cui ho progettato Holistic Metrics One Pager nel capitolo cinque del mio libro per includere sia il comportamento dei clienti che le metriche operative, in modo che i team possano tenere traccia di un sano mix di metriche in anticipo e in ritardo per ottenere un quadro completo.

Una delle metriche principali più potenti è la metrica di attivazione. Una buona metrica di attivazione rappresenta la percentuale di clienti che intraprendono un'azione chiave di configurazione o inizio a utilizzare il prodotto. Molte aziende hanno capito che se gli utenti eseguono una determinata azione all'interno del loro prodotto durante l'onboarding, tendono a realizzare il vero valore del prodotto che porta a un maggiore coinvolgimento più avanti. Alcuni chiamano questo passaggio di attivazione che raggiunge il "momento aha" nel loro prodotto.

Ecco alcuni semplici esempi delle principali metriche di attivazione:

• Prodotto di social network: un classico esempio è stata la prima metrica di attivazione di Facebook con l'aggiunta di un minimo di sette amici in 10 giorni.
• Prodotto di aggregazione dashboard: la proposta di valore è raggruppare diversi strumenti in un'unica vista, quindi potresti scoprire che gli utenti che aggiungono un minimo di due o tre strumenti durante l'onboarding realizzano tutto il potenziale del prodotto.
• Prodotto di utilità: la tua proposta di valore potrebbe essere quella di semplificare o digitalizzare un'attività come il monitoraggio delle conversazioni di vendita in un CRM, in modo da poter tenere traccia del numero di utenti che completano il loro primo inserimento cliente il più rapidamente possibile come metrica di attivazione.
• Prodotto di attenzione: se il tuo prodotto è incentrato sull'intrattenimento e sui contenuti, potresti tenere traccia degli utenti che hanno consumato una certa quantità di contenuti nella prima settimana di registrazione .

Le metriche in ritardo non sono intrinsecamente negative, a proposito. In effetti, sono una parte fondamentale del reporting, in particolare per misurare le metriche aziendali come i risultati finanziari. Il loro vantaggio è che rappresentano i risultati finali, i fatti reali.

Le metriche principali d'altra parte spesso includono una certa quantità di ipotesi come l'ipotesi che una quantità elevata di chiamate a freddo ogni giorno aumenti il ​​numero di utenti paganti più in basso. Man mano che ottieni più dati, dovresti verificare se tali ipotesi sono effettivamente vere, ma anche in questo caso c'è ancora qualche incertezza sul fatto che la metrica di attivazione abbia davvero causato l'aumento della conservazione o se altri fattori vi abbiano contribuito.

Ciò significa che le metriche principali non saranno mai accurate come le metriche in ritardo, ma sono fondamentali per ottenere informazioni reali dalle tue metriche. Ci consentono di imparare dal comportamento dei clienti e di identificare gli indicatori precoci che potrebbero cambiare le nostre decisioni sui prodotti per ottimizzare i risultati di business più avanti nella linea. L'utilizzo del modello Holistic Metrics One Pager ti costringe a tenere traccia sia degli indicatori iniziali che di quelli in ritardo, nonché a pensare a come questi si influenzano a vicenda.

Insidia n. 3: metriche che nessuno capisce

Quando intervisto i product manager sento spesso dire che la conoscenza dell'analisi e le informazioni dettagliate sui dati si nascondono negli angoli oscuri e misteriosi degli uffici, con nomi di eventi che nessuno, tranne un paio di analisti altamente specializzati, capisce. Ogni mese quegli specialisti si incontravano con vari team di prodotto nel tentativo di condividere e tradurre alcuni dei loro risultati.

Se vogliamo che i nostri team di prodotto e le parti interessate creino una comprensione condivisa dei nostri dati e discutano i miglioramenti al prodotto in modo collaborativo, dobbiamo lavorare attivamente sulla democratizzazione dei nostri dati, assicurandoci che le nostre metriche siano accessibili a tutti e di facile comprensione.

Intercom ha condiviso quanto appreso da una massiccia ripulitura di eventi di alcuni anni fa. Avevano circa 350 eventi per il loro prodotto che assomigliavano a questo:

Ti sembra familiare?

Intercom ha affermato di aver fallito in un principio chiave dell'analisi: non avevano molto senso per chiunque tranne il team di analisi. Hanno ridefinito e ricostruito l'intera struttura di denominazione di tutti i loro eventi per introdurre una migliore leggibilità come passaggio chiave per democratizzare i dati di analisi dei prodotti.

È anche importante rendere i report più accessibili per i vari stakeholder e team dell'organizzazione. Sfortunatamente, vedo spesso i team che hanno paura di aprire i propri dashboard, in quanto ciò rivelerebbe di nuovo il vero coinvolgimento o numeri di acquisizione che potrebbero non sembrare ottimi per le parti interessate. Per evitare conversazioni scomode o domande fastidiose, spesso è più facile per i team nascondersi dietro una patina di complessità.

Come farlo meglio:

• Passaggio 1: collabora con i team di ingegneri e gli analisti per semplificare i nomi degli eventi di analisi dei prodotti: "Onboarding completato" e "Widget dashboard aggiunto" sono azioni che tutti capiranno.
• Passaggio 2: se disponi di un team di analisi, includilo meglio nei team di prodotto. Più contesto hanno gli analisti su ciò su cui sta lavorando il tuo team di prodotto, su quali esperimenti stai testando e a quali domande è necessario rispondere, meglio possono aiutarti a scavare nei dati per trovare le informazioni più rilevanti. Dovrebbe essere una collaborazione piuttosto che un approccio di outsourcing.
• Passaggio 3: rendi i dashboard e i report di analisi accessibili all'organizzazione più ampia. I tuoi dashboard dovrebbero riflettere le metriche chiave del tuo prodotto (che puoi definire utilizzando Holistic Metrics One Pager dal libro). Questo è fondamentale per la scalabilità (il tuo team non vuole essere inondato di richieste di report manuali ogni giorno) così come per creare veramente una cultura più basata sui dati all'interno dell'organizzazione più ampia.

“Quando ai team viene chiesto dello stato dell'attività, possono andare a cercarlo o formulare ipotesi ipotetiche. È fondamentale rendere il primo il modo predefinito più semplice per la leadership di rispondere a queste richieste creando dashboard di drill-down personalizzati e facili da usare per cose come coorti, canalizzazioni ed eventi utente".

-Widjaja di cristallo

Ricorda che il lavoro per cui abbiamo assunto i nostri dati è scoprire la verità in modo da poter agire e migliorare le nostre esperienze di prodotto. Rendere le tue metriche più facili da comprendere e più accessibili sono passaggi chiave per includere informazioni dettagliate sui dati nel processo decisionale quotidiano della tua organizzazione. Una forte organizzazione del prodotto dovrebbe essere più motivata che mai a risolvere questi problemi una volta che sanno dove si trovano i problemi.

Come migliorare le tue metriche utilizzando l'elenco di controllo delle metriche

Ho creato una semplice lista di controllo che riassume le caratteristiche chiave di metriche utilizzabili e di buona qualità che ti aiuteranno a ottenere maggiori informazioni dai tuoi dati. Utilizza questo elenco di controllo per valutare e migliorare tutte le metriche esistenti:

Ci vuole pratica reale per ottenere veramente le tue metriche chiave corrette e scoprirai che spesso il diavolo sta nei dettagli. È assolutamente normale, anzi incoraggiato a rivedere frequentemente le metriche che hai scelto e a perfezionarle più volte per renderle più utili.

Fai attenzione alle insidie ​​della condivisione delle metriche di vanità, concentrandoti troppo sugli indicatori in ritardo in cui non hai tempo per correggere il corso e assicurati di semplificare e democratizzare le tue metriche per aumentare davvero la maturità dei dati nella tua organizzazione.