Czym są wskaźniki próżności i jak przestać ich używać?

Jesteś taki próżny (jesteś taki próżny)

Założę się, że myślisz, że ta metryka dotyczy Ciebie

Nieprawdaż?

– Carly Simon

Co to są wskaźniki próżności?

Ale wszyscy w pewnym momencie zostali zwabieni przez dobre wieści i stracili czujność.

Cześć wszystkim, sprawdźcie wyjątkową liczbę użytkowników od wczoraj!

Cześć wszystkim, spójrzcie na rejestrację na wydarzenie!

Łatwo jest krytykować wskaźniki próżności, ale wszyscy tam byliśmy.

W tym poście opiszę trzy typowe problemy, które prowadzą nas do metryk próżności. Następnie udostępnię The Vanity Metric Test , sposób na przeglądanie metryk i sprawdzenie, czy skręcasz na terytorium metryk próżności. Jeśli masz mało czasu i chcesz od razu przejść do recenzji, kliknij tutaj.

Problemy z metryką próżności

Rozmawiając z zespołami na temat wskaźników próżności, zauważyłem trzy podstawowe problemy.

• Wskaźniki próżności nie mają kontekstu.
• Wskaźniki próżności mają niejasną intencję.
• Wskaźniki próżności nie kierują działaniami i nauką.

Problem 1: Wskaźniki próżności nie mają kontekstu

Po pierwsze, mamy problem braku kontekstu. Wyświetlenia strony, Aktywni użytkownicy dziennie i rejestracje coś znaczą, ale nie są zbyt pomocne w odosobnieniu. Problemy pojawiają się, gdy przekazujemy te dane bez odwoływania się do szerszego obrazu. Nie chodzi o to, co mówimy, ale raczej o to, czego nie mówimy – np. „w porównaniu z”, „jako dane wejściowe”, „zrównoważone przez”, „wczesny sygnał”, „część…” „jako stosunek”, „z następującymi zastrzeżeniami” itp.

Brakujący kontekst ma wpływ na wszystkich:

• Marketing: Istnieje wiele sposobów na zwiększenie liczby wyświetleń treści w krótkim okresie. Dużo trudniej jest stworzyć kawałek wiecznie zielonego contentu, który przyciągnie potencjalnych nabywców na tygodnie i lata. Zwiększenie początkowego ruchu jest pozytywnym wczesnym sygnałem , ale wymaga przypisu.
• Sprzedaż: Osiągnięcie kwartalnego celu sprzedaży to ogromne osiągnięcie. Warto to zauważyć z wielu powodów. Ale jak drużyna trafiła w bramkę? Czy naginali ceny? Czy przesunęli transakcje do przodu? Czy okradli Piotra, żeby zapłacić Pawłowi? Wymagany jest większy kontekst (np. porównanie cen z poprzednimi kwartałami).
• Produkt: Wprowadzenie nowej funkcji to ogromny kamień milowy. Wskaźniki wczesnego wdrożenia funkcji są pozytywnym sygnałem. Ale klienci niekoniecznie korzystają z tej funkcji. Być może po prostu próbują tej funkcji. W rzeczywistości wszystkie wyskakujące okienka w aplikacji sugerujące wypróbowanie tej funkcji mogą zwiększać liczbę kliknięć z ciekawości. Wypróbowanie tej funkcji to dane wejściowe do prawdopodobieństwa długotrwałego użytkowania.

Inne przykłady potencjalnie brakującego kontekstu: Wzrosła średnia zakupów, ale także zwroty zamówień. Konwersje pochodzą z reklam, które nie odzwierciedlają Twojej propozycji wartości. Jeden kanał kanibalizuje inny kanał. Aplikacja jest łatwiejsza dla nowych użytkowników, ale trudniejsza dla doświadczonych. Czas spędzony w aplikacji dobiegł końca, ale Twoim celem jest zaoszczędzenie czasu. Ludzie częściej pytają o dane, ale to dlatego, że mają problemy ze zrozumieniem wyników. Klienci są bardziej aktywni w aplikacji, ale zamiast na cenne kontakty, zaczęli marnować czas.

Zauważ, że w każdym z tych przykładów kontekst jest wszystkim. Brak informacji równoważących utrudnia zrozumienie całościowego obrazu i miejsca, w którym metryka pasuje.

Oprócz otaczającego kontekstu musimy upewnić się, że ludzie rozumieją Dlaczego .

Problem 2: Wskaźniki próżności mają niejasną intencję

Po drugie, nie mamy pewności co do intencji metryki. Definicja metryki może być jasna, ale to, co próbujemy mierzyć, jest niejasne. Klasycznym przykładem są tutaj odwiedziny powrotne. Czy wróciłem do produktu, ponieważ produkt mi się podobał? A może dlatego, że produkt był trudny w użyciu i musiałem zrobić sobie przerwę? A może potrzebujesz pomocy obsługi klienta?

Wiele klasycznych wskaźników „zaangażowania” w internecie, takich jak wyświetlenia strony, czas spędzony na stronie i średni czas trwania sesji, to pozostałość po epoce, która nie była dostępna na urządzeniach mobilnych, przed zamianą urządzeń, na kartach przeglądarki przed 30 latami czy aplikacjach na jednej stronie. Były to najlepsze dostępne w tamtym czasie proxy do zaangażowania i wymiany wartości, ale nie są to najlepsze dostępne obecnie środki.

Związek między tym, co próbujemy zmierzyć, a wybranym przez nas „proxy”, jest bardzo jasny w przypadku niektórych wskaźników. A przynajmniej tak nam się wydaje! Na przykład mówię przyjacielowi, że ostatniej nocy mogłem spać osiem godzin. Mój przyjaciel interpretuje moją intencję jako: „Jan próbuje przekazać, że dobrze przespał noc”.

Ale godziny snu to tylko jedna z wielu zmiennych. W badaniu tym wymieniono ~23 zmienne snu używane podczas badania jakości snu, w tym opóźnienie REM, sen REM, małe ruchy podczas snu, czasy różnych cykli snu, liczbę cykli itp. W badaniu tym wspomniano, że czas trwania snu może mieć „bezpośrednie związek ze śmiertelnością”. Ojej!

Jego autorzy wprowadzają Wskaźnik Jakości Snu Pittsburgha i jasno określają cel tego miernika.

Wskaźnik jakości snu Pittsburgh został opracowany w kilku celach: (1) zapewnienie wiarygodnej, prawidłowej i znormalizowanej miary jakości snu; (2) rozróżniać pomiędzy „dobrymi” i „słabymi” śpiącymi; (3) zapewnienie indeksu, który jest łatwy w użyciu dla badanych oraz dla klinicystów i badaczy do interpretacji; oraz (4) dostarczenie krótkiej, klinicznie użytecznej oceny różnych zaburzeń snu, które wpływają na jakość snu.

Intencja komunikowania się ma kluczowe znaczenie. Ci autorzy prawdopodobnie musieli stawić czoła kompromisom. Łatwość użycia dla badanych może nie od razu równać się głębi użycia dla badaczy. Standaryzacja jest pomocna dla porównywalności, ale często wiąże się z ograniczeniem czynników kontekstowych. Ocena jest „krótka”, co wiąże się z kompromisem między wskaźnikami ukończenia oceny a głębokością oceny.

Świetna deklaracja intencji obejmuje podstawowe kompromisy i cele.

Jak wygląda skuteczne określanie zamiaru metryki?:

Przekazywanie faktów. Poszukiwanie teorii/spostrzeżeń:

Oto liczba przestojów, które mieliśmy w ciągu ostatnich 30 dni i porównanie z poprzednimi okresami. Zwróć uwagę na wzrost. Jak myślisz, co tu się dzieje? Co widzimy?

Jako pełnomocnik dla czegoś, co nie jest bezpośrednio mierzalne:

Nasz wskaźnik North Star to „lojalni majsterkowicze”, definiowani jako liczba użytkowników, którzy wykonali wartościowe działania związane z projektami DIY w połączeniu z zaangażowaniem społeczności. Jest to pełnomocnik połączenia lojalności, satysfakcji i korzystania z naszego produktu w sposób zgodny z naszą strategią zorientowaną na społeczność. Dane sugerują – ale (jeszcze) nie dowodzą – że jest to wiodący wskaźnik wyższej wartości życiowej klienta i pozyskiwania wirusów.

Chcemy znaleźć praktyczny miernik, który 1) zespół może przenieść i 2) przyczyni się do średnioterminowego sukcesu firmy.

Hex Pistols skoncentrują się na poprawie efektywności przepływu pracy onboardingowej. To żonglerka. Wiemy, że możemy popędzać ludzi i nie nastawiać ich na sukces. Lub możemy uczynić go bardzo kompleksowym, zmniejszając prawdopodobieństwo zobaczenia produktu w akcji. Aby pokierować naszą pracą, skupimy się na skróceniu 90% percentyla czasu na udostępnianie projektów. Udostępnianie projektów to wczesny sygnał, że użytkownicy czują się komfortowo i mogą korzystać z produktu.

Intencja ma znaczenie!

Problem 3: Wskaźniki próżności nie kierują działaniami i nauką

Niedawno zapytałem Twittera i LinkedIn:

• Jaki jest twój test, gdy coś jest wskaźnikiem próżności? (Świergot)
• Skąd wiesz, kiedy metryka jest metryką próżności? (LinkedIn)

Jednym z najwyżej ocenianych „testów” było to, czy metryka kierowała działaniami i decyzjami.

Kiedy nikt nie może działać w znaczący sposób na podstawie tego, co nam pokazuje. Gdy żadna możliwa wartość metryki nie skłoni nas do poprawy czegokolwiek. Ola Berg

Wynik nie jest wykonalny. Bez względu na to, czy wskaźnik idzie w górę czy w dół, nie zmieniamy tego, co robimy. Chris Lukassen

Kiedy nikt się nie martwi, czy przestaje rosnąć/stać/lub spadać. np.: „Nasz wynik NPS to 90!” jeden miesiąc, a następnie „Nasz wynik NPS wynosi 50!” w następnym miesiącu. Heidi Atkinson

Działania, decyzje i nauka to wielka sprawa.

Jeśli liczba ciągle rośnie, a jedyną akcją, którą inspiruje, jest zmarszczenie brwi podczas spotkania wszystkich rąk, prawdopodobnie masz na rękach wskaźnik próżności. Jeśli zespół wywozi metrykę do świętowania, ale gdy spada, nie zmienia swojej strategii ani taktyki, prawdopodobnie patrzysz na metrykę próżności.

Przykłady obejmują mało przydatne dane, takie jak:

• Średnia długość sesji. To idzie w górę lub w dół. Co robisz?
• Nowi użytkownicy (bez kanału akwizycji). To idzie w górę lub w dół. Co robisz?
• Nowi obserwujący. To idzie w górę lub w dół. Co robisz?

Jest tu kilka zastrzeżeń.

Metryka może być istotna, ale nie może być natychmiastowa do wykonania.

W naszych warsztatach North Star podkreślamy, że metryka North Star powinna być w idealnym przypadku nieco poza zasięgiem. Jest to wynik zespołów wpływających na różne wejścia Gwiazdy Północnej. Dlaczego nie chciałbyś mieć praktycznego wskaźnika North Star? NSM zamierza działać jako wiodący wskaźnik zrównoważonych wyników biznesowych (w perspektywie wieloletniej). Niemal z definicji będzie to trochę odległe od codziennej pracy. Potrzebujemy danych wejściowych, które posłużą jako „pomost” między codzienną pracą a znaczącym wkładem w sukces biznesowy.

Śledzimy nasz wskaźnik North Star, a jeśli się zatrzyma, zmusi nas to do ponownego rozważenia naszej strategii, ale zespół nie budzi się każdego ranka z nadzieją, że wpłynie na nią bezpośrednio.

Metryka może być eksploracyjna. Nie wiemy jeszcze, co z tym zrobić.

Zespoły są na ogół świadome testu „wykonalności”, ale prawie do przesady. Spędzą miesiące i miesiące próbując wymyślić „magiczną metrykę” lub zestaw magicznych metryk, które są przydatne, przewidujące, wyjaśniające itp. Liderzy produktów są poważnie zestresowani, gdy przekazują wskaźnik do „własności”, ale nie są pewni, czy mogą „kontrolować” ruchy w metryce.

Wynik? Zespoły używają wskaźników próżności, które są „bezpieczne”, ponieważ przekazują dobre wieści. Nie są pomocne, ale nie udają, że są wykonalne, więc nie marszczą piór. Nie chcemy tego.

Zamiast tego można używać metryk eksploracyjnych. Po prostu ich zawołaj.

Niewielkie zmniejszenie niepewności może wystarczyć, aby zainspirować do działania.

Praca nad produktem polega na podejmowaniu decyzji w warunkach niepewności. Jeśli chcesz, dopóki nie będziesz czegoś w 100% pewien, będziesz działał za późno. Dlatego nie powinniśmy dążyć do doskonałych wskaźników, które zmniejszają niepewność dotyczącą podejmowanych przez nas działań.

Prawo Goodharta i napięcie między dobrym pomiarem a dobrymi celami

Prawo Goodharta stanowi, że:

„Kiedy miara staje się celem, przestaje być dobrą miarą”.

Porównaj to ze wskazówkami mojego współpracownika Adama Greco na temat Vanity Metrics:

Jeśli ktoś nie zostanie awansowany lub zwolniony, jeśli wskaźnik wzrośnie lub spadnie, prawdopodobnie jest to wskaźnik próżności

Tutaj mamy napięcie/paradoks. Gdy metryka stanie się celem i stanie się sygnałem wykonania dobrej/złej pracy, ryzykujesz, że stanie się metryką próżności, ponieważ ludzie upewnią się, że wzrośnie. A jednak chcemy, aby nasze metryki coś znaczyły — były odpowiednie, były dobrymi proxy i informowały o odpowiednich decyzjach.

Przykłady prawa Goodharta:

• Jeśli zespół ma na celu przewidywalne dostarczanie funkcji, będzie mniej prawdopodobne, że przetworzy nowe, niepotwierdzające opinie, które mogą wydawać się „nieprzewidywalne”.
• Jeśli zespół ma na celu zwiększenie średniej wielkości zamówienia, będzie bardziej prawdopodobne, że zwiększy średnią wielkość zamówienia kosztem przyszłych wyników, lojalności wobec marki itp.
• Jeśli celem menedżera jest zatrudnienie określonej liczby osób na kwartał, będzie bardziej prawdopodobne, że zatrudni kogoś, kto nie jest najlepszym kandydatem.

Co więc może nam to powiedzieć o używaniu skuteczniejszych wskaźników i mniejszej liczbie wskaźników próżności? Pierwszy jest odpowiedzialny za wybór znaczących celów i zadań oraz zdefiniowanie skutecznych „barier ochronnych”, aby zrozumieć wszelkie niekorzystne skutki drugiego lub trzeciego rzędu. Nie możemy całkowicie pokonać prawa Goodharta — musisz założyć, że ludzie będą grać w grę, na którą nalegasz — ale możemy dążyć do ustanowienia kontroli i równowagi.

Korzystając z podpowiedzi Adama, możesz też zadać sobie pytanie: „za co chcemy tu nagrodzić?” Odpowiedzialność za wyniki biznesowe ma sens. Ale nie chcesz promować ludzi w oparciu o to, że trafiają w arbitralne wskaźniki i teatr sukcesu. Jestem wielkim zwolennikiem pomysłu Billa Walsha „The Score Takes It Care of Samym”. Cele powinny zachęcać do pozytywnych nawyków i rutyny.

Podsumowanie

Opisaliśmy trzy typowe problemy związane z metrykami próżności:

• Wskaźniki próżności nie mają kontekstu
• Wskaźniki próżności mają niejasną intencję
• Wskaźniki próżności nie kierują działaniami i nauką

Efektywne wykorzystanie metryk obejmuje dostarczanie kontekstu, określanie swoich zamiarów i wybieranie metryk, które kierują działaniami i nauką. Wskazywanie na metrykę i powiedzenie „to jest metryka próżności” jest równoznaczne z powiedzeniem „używasz tej metryki jako metryki próżności”.

Test metryki próżności

Omówiliśmy różne problemy, które przyczyniają się do korzystania z metryk próżności i problemy związane z metrykami próżności. Teraz nadszedł czas, aby przetestować swoje dane.

W tej sekcji przedstawiamy dziesięć stwierdzeń opisujących Zauważysz tematy, które omówiliśmy wcześniej w tym poście: kontekst, zamiar, odpowiedzialne działanie i uczenie się.

Do każdego oświadczenia proponujemy:

1. Porozmawiaj o podpowiedzi ze swoim zespołem
2. Szukaj różnych perspektyw
3. Oznacz elementy wymagające uwagi

S1: Zespół rozumie podstawowe przesłanki śledzenia metryki.

Wskazówka: uwzględnij orientację metryk w planie wdrażania pracowników. Klienci amplitudy często korzystają z naszej funkcji Notatniki, aby zapewnić kontekst wokół kluczowych wskaźników.

S2: Prezentujemy metrykę wraz z powiązanymi metrykami, które dodają niezbędny kontekst. Gdy przedstawiamy je osobno, dodajemy wymagane przypisy i odnośniki.

Porada: Normalizuj wyświetlanie poręczy i powiązanych metryk w prezentacjach.

S3: Hipotezy (i założenia) łączące metrykę z istotnymi wynikami i wpływem są jasno sformułowane, dostępne i otwarte na wyzwania/dyskusję.

Wskazówka: Użyj diagramów drzewa (drzewa sterowników, North Star Framework, drzewa założeń itp.) oraz diagramów związków przyczynowych, aby komunikować hipotetyczne związki przyczynowe. Rozważ zagranie w grę „Losowy bilet Jira”. Czy możesz losowo wybrać bilet Jira i „przejść po drzewie” od tego przedmiotu do czegoś, co będzie miało znaczenie na dłuższą metę?

S4: Obliczenie/definicja metryki jest możliwe do sprawdzenia, sprawdzenia i rozkładu. Można oddzielić jego różne elementy, klauzule, cechy itp. Ktoś z dobrą znajomością domeny może zrozumieć, jak to działa.

Wskazówka: jeśli to możliwe, udostępnij dane, aby ktoś mógł „kliknąć” w sposób, w jaki są obliczane. Na przykład, jeśli dane zawierają filtr typu „udostępniane więcej niż 7 użytkownikom w ciągu 7 dni”, powinno być możliwe dostosowanie tej klauzuli i sprawdzenie, jak ta liczba ma się do łącznej liczby użytkowników. Buduj zaufanie, umożliwiając ludziom odtworzenie metryki.

S5: Metryka jest częścią regularnie przeglądanego i omawianego pulpitu nawigacyjnego, karty wyników lub raportu. Przetrwał zdrową analizę. Jeśli metryka jest bardziej odkrywcza i nieprzetestowana (lub „Byłem ciekaw, czy…”), kontekst jest jasny od samego początku.

Wskazówka: kontrola to dobra rzecz. Im więcej oczu możesz uzyskać na metryce, tym lepiej. Zaproś krytykę. Nagrywaj pytania w miarę ich pojawiania się. Spraw, aby każdy „pokaz” metryki (np. z wszystkich rąk lub przeglądu produktu) był sukcesywnie lepszy.

S6: Zespół ma roboczą teorię dotyczącą tego, co wskazują zmiany w metryce.

Wskazówka: Oto podstawowa zachęta do myślenia: „Wzrost tego wskaźnika jest sygnałem, że _______ , a spadek tego wskaźnika jest sygnałem, że _______”.

S7: Z biegiem czasu metryka zapewnia coraz większą wartość i pewność. Potrafimy wskazać konkretne decyzje i działania wynikające z wykorzystania metryki (a działania te podlegają przeglądowi). Firma zainwestowałaby w dalsze śledzenie go i komunikowanie.

Wskazówka: wskaż poziomy ufności podczas wyświetlania metryk i prowadź dziennik decyzji/działań. Spróbuj znormalizować brak 100% pewności na początku i zrównoważyć wyświetlanie metryk o wysokim poziomie ufności z nowymi metrykami kandydata o niższych poziomach ufności.

S8: Zespół ustala jasne progi działania (np. „jeśli przekracza X, możemy rozważyć Y”). Wskaźnik może spaść. A jeśli spadnie, prawdopodobnie zainspiruje inspekcję/działanie.

Wskazówka: Przeprowadź warsztat planowania scenariusza, aby lepiej zrozumieć, w jaki sposób ruchy w metryce będą dyktować przyszłe zachowanie. Ustaw monitory w swoim narzędziu analitycznym, aby ostrzegały Cię, gdy osiągniesz próg.

S9: Dane są porównawcze (w czasie, w porównaniu z podobnymi danymi itp.) Mówiąc szerzej, jeśli śledzisz je przez dłuższy okres, możliwe jest porównanie jabłek z jabłkami między okresami.

Wskazówka: uwzględnij okresy w widokach okresów w swoich pulpitach nawigacyjnych, aby mieć więcej uwagi na porównania.

S10: Zespół wykorzystuje dane do komunikowania wyzwań ORAZ wygranych. Nie tylko wygrywa.

Wskazówka: tutaj ton nadają liderzy. Omów sytuacje, które nie powiodły się zgodnie z oczekiwaniami oraz sposób wykorzystania danych, aby to ustalić.

Streszczenie

Wskaźniki próżności to wskaźniki, które sprawiają, że czujemy się dobrze, ale nie pomagają nam wykonywać lepszej pracy ani podejmować lepszych decyzji. Nikt nie jest odporny na używanie wskaźników próżności! Kluczem jest zapewnienie kontekstu, określenie celu metryk, których używasz, oraz wyjaśnienie działań i decyzji, które metryka (lub metryki) będzie prowadzić.

Aby zdefiniować miarodajne dane, zapoznaj się z Poradnikiem North Star. Ustanowienie wskaźnika North Star i konstelacji możliwych do zastosowania danych wejściowych to skuteczny sposób na uniknięcie używania wskaźników próżności.