Ce sunt valorile Vanity și cum să nu le mai folosiți

Ești atât de vanitoasă (ești atât de vanitană)

Pun pariu că crezi că această măsură este despre tine

nu-i asa?

– Carly Simon

Ce sunt valorile de vanitate?

Dar toți, la un moment dat, au fost atrași de vești bune și și-au lăsat garda jos.

Salutare tuturor, verificați numărul unic de utilizatori de ieri!

Salutare tuturor, uitați-vă la înregistrarea la eveniment!

Este ușor să critici valorile de vanitate, dar toți am fost acolo.

În această postare, voi descrie trei probleme comune care ne duc la valorile de vanitate. Apoi vă voi împărtăși Testul Vanity Metric , o modalitate de a examina valorile și de a afla dacă vă îndreptați spre teritoriul vanity metric. Dacă nu aveți timp și doriți să treceți direct la recenzie, faceți clic aici.

Probleme de metrice de vanitate

Discuând cu echipele despre valorile de vanitate, am observat trei probleme fundamentale.

• Valorile de vanitate lipsesc de context.
• Valorile de vanitate au intenție neclară.
• Valorile de vanitate nu ghidează acțiunea și învățarea.

Problema 1: valorile vanity nu au context

În primul rând, avem problema lipsei de context. Vizualizările de pagină, utilizatorii activi zilnic și înscrierile înseamnă ceva , dar nu sunt foarte utile în mod izolat. Problemele apar atunci când comunicăm aceste valori fără a face referire la imaginea de ansamblu. Nu este ceea ce spunem, ci mai degrabă ceea ce nu spunem - de exemplu, „comparativ cu”, „ca o intrare în”, „echilibrat de”, „un semnal timpuriu al”, „parte din...” „ca o raportul de”, „cu următoarele avertismente” etc.

Lipsa contextului afectează toată lumea:

• Marketing: Există multe modalități de a crește vizualizările conținutului pe termen scurt. Este mult mai greu să creezi o bucată de conținut veșnic verde care să atragă potențialii cumpărători timp de săptămâni și ani. Obținerea unei creșteri a traficului inițial este un semnal pozitiv timpuriu , dar are nevoie de o notă de subsol.
• Vânzări: atingerea unui obiectiv de vânzări trimestrial este o realizare uriașă. Este demn de remarcat din mai multe motive. Dar cum a atins echipa golul? S-au aplecat asupra prețurilor? Au avansat ofertele? L-au jefuit pe Petru pentru a-l plăti pe Pavel? Este necesar mai mult context (de exemplu, compararea prețurilor cu trimestrele anterioare).
• Produs: Lansarea unei noi funcții este o piatră de hotar uriașă. Valorile de adoptare timpurie a caracteristicilor sunt un semnal pozitiv. Dar clienții nu folosesc neapărat funcția. Poate că încearcă doar funcția. De fapt, toate ferestrele pop-up din aplicație care sugerează utilizatorilor să încerce funcția ar putea crește numărul de clicuri de curiozitate. Încercarea funcției este o intrare în probabilitatea utilizării pe termen lung.

Alte exemple de context potențial lipsă: Achizițiile medii au crescut, dar la fel și retururile comenzilor. Conversiile au crescut din reclame care nu se referă la propunerea dvs. de valoare. Un canal canibalizează un alt canal. Aplicația este mai ușoară pentru utilizatorii noi, dar mai dificilă pentru utilizatorii experimentați. Timpul petrecut în aplicație a crescut, dar scopul tău este să economisești timp oamenilor. Oamenii interoghează mai mult datele, dar asta pentru că întâmpină dificultăți în înțelegerea rezultatelor. Clienții sunt mai activi în aplicație, dar au trecut la pierderea timpului în loc de o rețea valoroasă.

Observați cum, în fiecare dintre aceste exemple, contextul este totul. Lipsa informațiilor de contrabalansare face dificilă înțelegerea imaginii de ansamblu și unde se potrivește metrica.

Pe lângă contextul înconjurător, trebuie să ne asigurăm că oamenii înțeleg De ce .

Problema 2: valorile vanity au intenție neclară

În al doilea rând, avem confuzie cu privire la intenția metricii. Definiția valorii poate fi explicită, dar ceea ce încercăm să măsurăm este neclar. Un exemplu clasic aici este vizitele de întoarcere. Am revenit la produs pentru că mi-a plăcut produsul? Sau pentru că produsul era greu de folosit și trebuia să iau o pauză? Sau ai nevoie de ajutorul serviciului pentru clienți?

Multe valori clasice de „implicare” web, cum ar fi Vizualizările de pagină, Timpul pe pagină și Durata medie a sesiunii, sunt rămășițe ale unei epoci pre-mobil, pre-schimbarea dispozitivului, înainte de 30 de file de browser, pre-o singură pagină-aplicație. Erau cei mai buni proxy pentru implicare și schimb de valoare disponibile la momentul respectiv, dar nu sunt cele mai bune măsuri pe care le avem disponibile acum.

Legătura dintre ceea ce încercăm să măsurăm și „proxy”-ul pe care l-am ales este extrem de clară cu unele valori. Sau așa credem noi! De exemplu, îi spun unui prieten că am putut dormi opt ore noaptea trecută. Prietenul meu interpretează intenția mea ca: „John încearcă să comunice că a dormit bine”.

Dar orele de somn nu sunt decât una dintre multele variabile. Acest studiu menționează ~ 23 de variabile ale somnului utilizate atunci când se studiază calitatea somnului, inclusiv latența REM, somnul REM, mișcări mici în somn, momentele diferitelor cicluri de somn, numărul de cicluri etc. Acest studiu menționează că durata somnului poate avea o „directă”. asocierea cu mortalitatea.” Da!

Autorii săi introduc indicele de calitate a somnului din Pittsburgh și subliniază în mod clar intenția valorii.

Indicele de calitate a somnului din Pittsburgh a fost dezvoltat cu mai multe obiective: (1) pentru a oferi o măsură fiabilă, validă și standardizată a calității somnului; (2) să facă distincție între dormitorii „buni” și „săraci”; (3) să ofere un index ușor de utilizat de către subiecți și de interpretat de către clinicieni și cercetători; și (4) să furnizeze o evaluare scurtă, utilă clinic a unei varietăți de tulburări de somn care afectează calitatea somnului.

Comunicarea intenției este esențială. Acești autori s-au confruntat probabil cu compromisuri. Ușurința de utilizare pentru subiecți poate să nu fie imediat egală cu profunzimea de utilizare pentru cercetători. Standardizarea este utilă pentru comparabilitate, dar adesea implică reducerea factorilor contextuali. Evaluarea este „scurtă”, ceea ce implică un compromis între ratele de finalizare a evaluării și profunzimea evaluării.

O mare declarație de intenție acoperă compromisurile și obiectivele fundamentale.

Cum arată declararea efectivă a intenției valorii?:

Transmiterea faptelor. Căutând teorii/perspective:

Iată numărul de întreruperi pe care le-am avut în ultimele 30 de zile și cum se compară cu perioadele anterioare. Observați creșterea. Ce se întâmplă aici, crezi? Ce vedem?

Ca proxy pentru ceva care nu se poate măsura direct:

Valoarea noastră North Star este „Loyal DIYers”, definită ca numărul de utilizatori care au efectuat acțiuni de mare valoare pentru proiecte DIY combinate cu implicarea lor în comunitate. Este un proxy pentru o combinație de loialitate, satisfacție și utilizarea produsului nostru în moduri congruente cu strategia noastră orientată către comunitate. Datele sugerează – dar nu dovedesc (încă) – că acesta este un indicator principal al valorii mai mari pe durata de viață a clienților și al achiziției virale.

Dorim să găsim o măsură acționabilă pe care 1) o echipă o poate muta și 2) va contribui la succesul pe termen mediu al afacerii.

Hex Pistols se vor concentra pe îmbunătățirea eficienței fluxului de lucru de integrare. Este un act de jonglerie. Știm că putem grăbi oamenii să treacă și să nu îi pregătim pentru succes. Sau îl putem face foarte cuprinzător, reducând probabilitatea ca aceștia să vadă produsul în acțiune. Pentru a ne ghida activitatea, ne vom concentra pe scăderea timpului de 90% pentru partajarea proiectelor. Partajarea proiectelor este un semnal timpuriu că utilizatorii sunt confortabili și capabili să folosească produsul.

Intenția contează!

Problema 3: Valorile de vanitate nu ghidează acțiunea și învățarea

Am întrebat recent Twitter și LinkedIn:

• Care este testul tău atunci când ceva este o valoare de vanitate? (Stare de nervozitate)
• De unde știi când o măsurătoare este o măsurătoare vanitară? (LinkedIn)

Unul dintre „testele” de cel mai înalt rang a fost dacă metrica a ghidat acțiunile și deciziile.

Când nimeni nu poate acționa într-un mod semnificativ asupra a ceea ce ne arată. Când nicio valoare posibilă a valorii nu ne va determina să îmbunătățim de fapt ceva. Ola Berg

Rezultatul nu este acționabil. Indiferent dacă valoarea crește sau scade, nu schimbăm ceea ce facem. Chris Lukassen

Când nimeni nu se îngrijorează dacă încetează să se ridice/podisuri/sau să coboare. ex: „Scorul nostru NPS este 90!” o lună urmată de „Scorul nostru NPS este de 50!” luna viitoare. Heidi Atkinson

Acțiunea, deciziile și învățarea sunt o mare problemă.

Dacă un număr continuă să crească, iar singura acțiune pe care o inspiră este o sprânceană încrețită într-o întâlnire cu toate mâinile, probabil că ai o măsură de vanitate pe mâini. Dacă o echipă scoate o valoare pentru a sărbători, dar când aceasta scade, nu își schimbă strategia sau tactica, probabil că te uiți la o valoare vanitară.

Exemplele includ valorile care nu sunt foarte acționabile includ:

• Durata medie a sesiunii. Merge în sus sau în jos. Ce faci?
• Utilizatori noi (minus canalul de achiziție). Merge în sus sau în jos. Ce faci?
• Noi adepti. Merge în sus sau în jos. Ce faci?

Există câteva avertismente aici.

O valoare poate fi semnificativă, dar nu poate fi acționată imediat.

În atelierele noastre North Star, subliniem faptul că North Star Metric ar trebui, în mod ideal, să fie puțin la îndemână. Este rezultatul echipelor care influențează diferitele intrări North Star. De ce nu ți-ai dori o măsurătoare North Star operabilă? NSM intenționează să acționeze ca un indicator principal al performanței durabile a afacerii (în intervalul de timp multianual). Aproape prin definiție, va fi puțin îndepărtat de munca de zi cu zi. Avem nevoie de inputuri care să servească drept „punte” între munca de zi cu zi și acel input semnificativ în succesul afacerii.

Ne urmărim metrica Steaua Nordului și, dacă se blochează, ne va forța să ne reconsiderăm strategia, dar o echipă nu se trezește în fiecare dimineață sperând să o influențeze direct.

O măsurătoare poate fi exploratorie. Nu știm încă ce să facem cu el.

Echipele sunt în general conștiente de testul de „acțiune”, dar aproape de greșeală. Ei vor petrece luni și luni încercând să descopere o „metrică magică” sau un set de valori magice care să facă totul – acționabilă, predictivă, explicativă etc. pot „controla” mișcările în metrică.

Rezultatul? Echipele folosesc valori de vanitate care sunt „sigure”, deoarece transmit vești bune. Nu sunt de ajutor, dar nu pretind a fi acționabili, așa că nu ciufulesc nicio pene. Nu vrem asta.

Este în regulă să utilizați în schimb valorile exploratorii. Doar cheama-i.

O uşoară reducere a incertitudinii poate fi suficientă pentru a inspira acţiune.

Munca de produs înseamnă luarea de decizii în condiții de incertitudine. Dacă vrei până când vei fi 100% sigur de ceva, vei acționa prea târziu. Prin urmare, nu ar trebui să cautăm valori perfecte care să reducă toată incertitudinea cu privire la acțiunile pe care le întreprindem.

Legea lui Goodhart și tensiunea dintre măsurarea bună și ținte bune

Legea lui Goodhart prevede că:

„Când o măsură devine o țintă, ea încetează să fie o măsură bună.”

Comparați acest lucru cu îndrumările colegului meu Adam Greco despre Vanity Metrics:

Dacă cineva nu va fi promovat sau concediat dacă o valoare crește sau scade, probabil că este o valoare vanitară

Aici avem o tensiune/paradox. Odată ce o măsurătoare devine o țintă și devine un semnal de a face o treabă bună/rea, riști să devină o măsurătoare vanitară, deoarece oamenii se vor asigura că crește. Și totuși dorim ca valorile noastre să însemne ceva - să fie relevante, să fie proxy buni și să informeze deciziile relevante.

Exemple de legea lui Goodhart:

• Dacă o echipă are o țintă de caracteristici de livrare previzibile, va fi mai puțin probabil să proceseze feedback-ul de deconfirmare care ar putea părea „imprevizibil”.
• Dacă o echipă are scopul de a crește dimensiunea medie a comenzii, va fi mai probabil să crească dimensiunea medie a comenzii în detrimentul rezultatelor viitoare, loialitatea mărcii etc.
• Dacă un manager are obiectivul de a angaja un anumit număr de oameni într-un trimestru, va fi mai probabil să angajeze pe cineva care nu este cel mai bun candidat.

Deci, ce ne poate spune acest lucru despre utilizarea unor valori mai eficiente și mai puține valori vanitare? În primul rând, sunt responsabili de selectarea obiectivelor și țintelor semnificative și de definirea unor „paravane” eficiente pentru a înțelege orice efecte adverse de ordinul 2 sau 3. Nu putem înfrânge Legea lui Goodhart complet – trebuie să presupunem că oamenii vor juca jocul pe care insisti să-l joace – dar ne putem strădui să stabilim controale și echilibre.

Folosind sfatul lui Adam, te poți întreba, de asemenea, „ce vrem să recompensăm aici?” A fi responsabil pentru rezultatele afacerii are sens. Dar nu doriți să promovați oamenii pe baza unor valori arbitrare și a unui teatru de succes. Sunt un mare credincios în ideea lui Bill Walsh despre The Score Takes Care of Itself. Țintele ar trebui să încurajeze obiceiurile și rutinele pozitive.

Recapitulare

Am descris trei probleme comune asociate cu valorile de vanitate:

• Valorile de vanitate lipsesc de context
• Valorile de vanitate au intenție neclară
• Valorile de vanitate nu ghidează acțiunea și învățarea

Utilizarea eficientă a valorilor include furnizarea de context, declararea intenției și alegerea valorilor care ghidează acțiunea și învățarea. A arăta spre o măsurătoare și a spune „aceasta este o măsurătoare vanitară” este echivalent cu a spune „folosești acea măsurătoare ca măsură vanitară”.

Testul Metric Vanity

Am discutat despre diverse probleme care contribuie la utilizarea valorilor de vanitate și probleme asociate cu valorile de vanitate. Acum este timpul să vă puneți valorile la încercare.

În această secțiune, prezentăm zece afirmații care descriu utilizarea Veți observa temele pe care le-am explorat mai devreme în această postare: context, intenție, acțiune responsabilă și învățare.

Pentru fiecare afirmație, vă sugerăm:

1. Discutați solicitarea cu echipa dvs
2. Căutați perspective diverse
3. Semnalați articolele care necesită atenție

S1: Echipa înțelege rațiunea de bază pentru urmărirea valorii.

Sfat: includeți orientarea pentru valori în planul dvs. de înscriere a angajaților. Clienții Amplitude folosesc frecvent funcția Notebook-uri pentru a oferi context în jurul valorilor cheie.

S2: Prezentăm metrica alături de valorile conexe care adaugă contextul necesar. Când sunt prezentate izolat, adăugăm notele de subsol și referințele necesare.

Sfat: Normalizați afișarea balustradei și a valorilor aferente în prezentări.

S3: Ipotezele (și ipotezele) care conectează metrica cu rezultate semnificative și impact sunt clar articulate, disponibile și deschise provocării/discuției.

Sfat: Folosiți diagrame de arbore (arbori de conducere, North Star Framework, arbori de ipoteze etc.) și diagrame de relații cauzale pentru a comunica relațiile cauzale ipotetice. Luați în considerare jocul „Random Jira Ticket”. Poți să alegi la întâmplare un bilet Jira și să „mergi în copac” de la acel articol la ceva care va conta pe termen lung?

S4: Calculul/definiția metrice este inspectabilă, verificabilă și descomponabilă. Diversele sale componente, clauze, caracteristici etc. pot fi separate. Cineva cu cunoștințe bune de domeniu poate înțelege cum funcționează.

Sfat: ori de câte ori este posibil, partajați valoarea, astfel încât cineva să poată „face clic” la modul în care este calculată. De exemplu, dacă valoarea implică un filtru precum „distribuit cu mai mult de 7 utilizatori în cele 7 zile”, ar trebui să fie posibilă ajustarea clauzei respective și să vedeți cum se compară acel număr cu numărul total de utilizatori. Creați încredere, permițând oamenilor să recreeze valoarea.

S5: Valoarea face parte dintr-un tablou de bord, un tablou de bord sau un raport revizuit și discutat în mod regulat. A supraviețuit unui control sănătos. Dacă metrica este mai exploratorie și netestată (sau un „eram curios dacă...”), contextul respectiv este clar de la început.

Sfat: Controlul este un lucru bun. Cu cât puteți obține mai mulți ochi pe o metrică, cu atât mai bine. Invită critici. Înregistrați întrebările pe măsură ce apar. Îmbunătățiți succesiv fiecare „afișare” a valorii (de exemplu, la toate mâinile sau revizuirea produsului).

S6: Echipa are o teorie de lucru despre ceea ce indică schimbările în metrică.

Sfat: Iată un mesaj de bază pentru a vă face să vă gândiți: „O creștere a acestei valori este un semnal că _______, iar o scădere a acestei valori este un semnal că _______”.

S7: De-a lungul timpului, metrica oferă valoare și încredere crescânde. Putem indica decizii și acțiuni specifice care rezultă din utilizarea valorii (și acele acțiuni pot fi revizuite). Compania ar investi în continuarea urmăririi și comunicării acesteia.

Sfat: indicați nivelurile de încredere atunci când afișați valorile și păstrați un jurnal de decizii/acțiuni. Încercați să vă normalizați să nu fiți 100% sigur la început și să echilibrați afișarea valorilor cu niveluri ridicate de încredere cu noi valori candidate cu niveluri mai scăzute de încredere.

S8: Echipa stabilește praguri clare de acțiune (de exemplu, „dacă depășește X, atunci putem lua în considerare Y”). Valoarea poate scădea. Și dacă scade, probabil va inspira inspecție/acțiune.

Sfat: desfășurați un atelier de planificare a scenariilor pentru a înțelege mai bine modul în care mișcările din metrică vor dicta comportamentul viitor. Setați monitoare în instrumentul dvs. de analiză pentru a vă avertiza când ați atins un prag.

S9: Valoarea este comparativă (de-a lungul timpului, față de valori similare etc.) Mai larg, dacă o urmăriți pentru o perioadă prelungită, este posibil să faceți comparații între mere și mere între perioade.

Sfat: includeți vizualizările perioadei peste perioade în tablourile de bord pentru a obține mai multă atenție asupra comparațiilor.

S10: Echipa folosește metrica pentru a comunica provocările ȘI câștigurile. Nu doar victorii.

Sfat: liderii dau tonul aici. Discutați situațiile care nu au funcționat așa cum v-ați așteptat și cum ați folosit datele pentru a vă da seama.

rezumat

Valorile de vanitate sunt valori care ne fac să ne simțim bine, dar nu ne ajută să facem o muncă mai bună sau să luăm decizii mai bune. Nimeni nu este imun la utilizarea valorilor de vanitate! Cheia este să vă asigurați că oferiți context, să precizați intenția valorilor pe care le utilizați și să clarificați acțiunile și deciziile pe care le va conduce valoarea (sau valorile).

Pentru a defini valori semnificative, consultați North Star Playbook. Stabilirea unei metrici North Star și a unei constelații de intrări acționabile este o modalitate puternică de a evita utilizarea valorilor vanitare.