3 pułapki wskaźników produktu, których należy unikać

W mojej książce The Insights Driven Product Manager wyjaśniam , dlaczego ważne jest, aby mniej śledzić, aby skupić się i spędzać więcej czasu na wydobywaniu prawdziwych spostrzeżeń z danych.

Następnym krokiem jest upewnienie się, że na podstawowym poziomie śledzisz to, co nazywam „metrykami dobrej jakości”. Ten post — fragment rozdziału 7 mojej książki — skupi się na tym, jak poprawić ogólną jakość metryk, jak sprawić, by były bardziej przydatne do działania i jakich pułapek należy unikać.

Pułapka nr 1: Wskaźniki próżności

Kilka lat temu pracowałem nad produktem B2B SaaS do zarządzania środowiskami biurowymi. Właśnie wprowadziliśmy produkt i zaczęliśmy prowadzić nasze pierwsze płatne kampanie reklamowe, więc skonfigurowałem pulpit nawigacyjny, który śledził całkowitą liczbę rejestracji w ciągu 30 dni:

Liczby wydawały się rosnąć, więc byliśmy całkiem zadowoleni z rozmachu.

Problem polegał na tym, że chociaż ten wykres wyglądał dobrze w prezentacjach, trudna prawda była taka, że ​​tylko 4% nowych rejestracji przekształciło się w rzeczywiste konwersje i przychody, w wyniku czego nie osiągnęliśmy naszych miesięcznych celów dotyczących powtarzalnych przychodów.

Jest to wykres skumulowany, więc w najgorszym przypadku wykres po prostu ustabilizuje się, jeśli nie pozyskamy nowych użytkowników, ale liczba ta nigdy nie może się zmniejszyć. To klasyczny przykład metryki próżności:

• Spojrzenie na ten wykres sprawiło, że poczuliśmy się dobrze.
• Miernik ten był szczególnie przydatny w prezentacjach interesariuszy.
• Nie dało nam to żadnego wglądu w to, czy rzeczywiście dobrze sobie radzimy, czy nie.
• Ponieważ nie dało nam to żadnego wglądu, nie skłoniło nas to do podjęcia działań w celu ulepszenia produktu lub funkcji w jakikolwiek sposób.
• I pomimo codziennego patrzenia na ten wskaźnik, zajęło nam dwa miesiące (do czasu zakończenia i przerwania wszystkich 30-dniowych prób), aby dowiedzieć się, że wystąpił problem.

Chociaż jednym z elementów problemu był nasz brak wiedzy na temat tego, jak mierzyć lepsze metryki w tamtym czasie, problem w organizacjach często tkwi znacznie głębiej: większość zespołów lub interesariuszy po prostu nie jest gotowa, aby usłyszeć prawdę ze swoich metryk, więc przyglądamy się za liczby, które sprawiają, że wyglądamy dobrze.

W moim wywiadzie z Crystal Widjaja, CPO w Kumu i autorem Reforge, pięknie podsumowała, jak postrzegać dane jako sposób na wykorzystanie niepowodzeń i wprowadzenie ulepszeń:

„Gdy ludzie popełniają błędy (nieudany eksperyment, nieudane wdrożenie itp.), już zapłaciłeś ten koszt. Powinniśmy myśleć o danych jako o sposobie czerpania korzyści z błędów i uczenia się na nich. Zamiast „opłacać czesne za niepowodzenie” i zwalniać pracownika, wykorzystaj wgląd w dane, aby powiedzieć nam, DLACZEGO była to porażka, wyciągnąć z tego wnioski i wykorzystać je, aby następna iteracja była 10 razy lepsza niż pierwsza”.

– Kryształowa Widjaja

Aby uzyskać więcej informacji ze swoich danych, naprawdę musisz przestać śledzić wskaźniki próżności, a zamiast tego używać danych do odkrywania prawdy i wprowadzania rzeczywistych ulepszeń. Jeśli przyjrzysz się uważnie, to fascynujące, jak często zespoły pokazują bardzo selektywne wskaźniki, aby uspokoić niektórych interesariuszy lub sprawić, by liczby brzmiały lepiej niż w rzeczywistości. Uważaj na inne klasyczne przykłady wskaźników próżności, takie jak:

• Liczba odsłon strony lub odwiedzających
• Liczba obserwujących/polubienia
• Czas spędzony na stronie (długość sesji)
• Liczba pobrań

Wskaźniki, takie jak wyświetlenia strony i długość sesji, są nadal intensywnie wykorzystywane w analityce witryn internetowych, gdzie koncentruje się na pomiarze ruchu, świadomości i początkowym zaangażowaniu. Dają one pewien wgląd w to, co nazywamy szczytem ścieżki — początkowe pozyskiwanie klientów — ale nie na temat tego, czy klienci faktycznie aktywują produkt i angażują się w niego, co będzie miało znacznie bardziej znaczącą korelację z Twoim szerszym produktem i celami biznesowymi.

Jak zrobić to lepiej: aby naprawdę zrozumieć, czy metryka jest dobra, czy zła, musimy umieścić liczby w kontekście. Jako minimum chcesz spróbować porównać liczbę w różnych okresach czasu, na przykład porównując liczby rejestracji w tym miesiącu z poprzednim miesiącem.

Innym skutecznym sposobem na zwiększenie użyteczności metryk jest użycie współczynników zamiast liczb całkowitych. Wskaźniki są z natury porównawcze. Na przykład księgowi nie patrzą tylko na całkowity dochód, ale zazwyczaj porównują koszty wytworzenia produktu ze sprzedażą, którą z niego zrobili. W ten sposób księgowi mogą śledzić swoją marżę zysku (świetny przykład przydatnego wskaźnika) w czasie, aby ocenić, czy firma jest zdrowa.

Przykłady lepszych, bardziej porównywalnych wskaźników:

• % rejestracji na kanał pozyskiwania
• % rejestracji, którzy ukończyli pełny proces rejestracji
• % rejestracji, którzy wykonali kluczowy wskaźnik aktywacji
• % użytkowników korzystających z produktu po 4 tygodniach

Pułapka nr 2: Śledzenie tylko wskaźników opóźnionych

Dużym problemem był czas, jaki zajęło nam sprawdzenie, czy osiągamy nasze cele konwersji (czy nie). Produkt miał 30-dniowy bezpłatny okres próbny, a naszym celem było przekonwertowanie ich na płacących klientów po zakończeniu okresu próbnego, więc chociaż pierwszy miesiąc wyglądał dobrze pod względem rejestracji, ostatecznie dowiemy się o tym dopiero pod koniec okresu próbnego. w drugim miesiącu, ile z tych rejestracji przekształciło się w płacących klientów.

To klasyczny przykład opóźnionej metryki. Metryki opóźnione raportują retrospektywnie wyniki z przeszłości. Na przykład Twoje dane o przychodach za rok są opóźnione, podobnie jak większość Twoich innych wskaźników operacyjnych. Dopiero po uzyskaniu wyników wiesz, czy dobrze sobie poradziłeś.

Prawdziwą wartością śledzenia zachowań użytkowników za pomocą analityki produktu jest to, że możesz zacząć szukać wcześniejszych wskaźników, niż czekać na ostateczne dane o przychodach. Jeśli Twoje wiodące wskaźniki nie działają dobrze, masz szansę skorygować kurs, zanim będzie za późno. Dlatego w rozdziale piątym mojej książki zaprojektowałem Holistic Metrics One Pager tak, aby zawierał zarówno wskaźniki zachowania klientów, jak i wskaźniki operacyjne, dzięki czemu zespoły mogą śledzić zdrową kombinację wskaźników wiodących i opóźnionych, aby uzyskać pełny obraz.

Jednym z najpotężniejszych wskaźników wiodących jest wskaźnik aktywacji. Dobry wskaźnik aktywacji reprezentuje odsetek klientów, którzy podejmują kluczowe działanie polegające na skonfigurowaniu lub rozpoczęciu korzystania z produktu. Wiele firm zorientowało się, że jeśli użytkownicy wykonają określone czynności w ramach swojego produktu podczas onboardingu, zdają sobie sprawę z prawdziwej wartości produktu, co prowadzi do większego zaangażowania na dalszych etapach. Niektórzy nazywają ten etap aktywacji osiągnięciem „momentu aha” w ich produkcie.

Oto kilka prostych przykładów wiodących wskaźników aktywacji:

• Produkt sieci społecznościowej: klasycznym przykładem był pierwszy wskaźnik aktywacji Facebooka polegający na dodaniu co najmniej siedmiu znajomych w ciągu 10 dni.
• Produkt agregacji pulpitu nawigacyjnego: propozycja wartości polega na połączeniu kilku narzędzi w jednym widoku, dzięki czemu może się okazać, że użytkownicy, którzy dodają co najmniej dwa lub trzy narzędzia podczas wdrażania, wykorzystują pełny potencjał produktu.
• Produkt użytkowy: Twoją propozycją wartości może być uproszczenie lub zdigitalizowanie zadania, takiego jak śledzenie rozmów sprzedażowych w CRM, dzięki czemu możesz śledzić liczbę użytkowników, którzy ukończyli pierwszy wpis klienta tak szybko, jak to możliwe, jako metryka aktywacji.
• Uwaga produkt: jeśli Twój produkt koncentruje się na rozrywce i treściach, możesz śledzić użytkowników, którzy wykorzystali określoną ilość treści w pierwszym tygodniu rejestracji .

Nawiasem mówiąc, wskaźniki opóźnień nie są z natury złe. W rzeczywistości są one krytyczną częścią raportowania, zwłaszcza do pomiaru wskaźników biznesowych, takich jak wyniki finansowe. Ich zaletą jest to, że reprezentują ostateczne wyniki, rzeczywiste fakty.

Z drugiej strony wiodące wskaźniki często zawierają pewne założenia, takie jak założenie, że duża liczba zimnych połączeń każdego dnia zwiększa liczbę płacących użytkowników na dalszych etapach. Gdy zdobędziesz więcej danych, powinieneś sprawdzić, czy te założenia są rzeczywiście prawdziwe, ale nawet wtedy nadal istnieje pewna niepewność, czy metryka aktywacji rzeczywiście spowodowała wzrost retencji, czy też przyczyniły się do tego inne czynniki.

Oznacza to, że wiodące metryki nigdy nie będą tak dokładne jak metryki opóźnione, ale mają kluczowe znaczenie dla uzyskania prawdziwych informacji na podstawie metryk. Pozwalają nam uczyć się na podstawie zachowań klientów i identyfikować wczesne wskaźniki, które mogą zmienić nasze decyzje dotyczące produktów w celu optymalizacji pod kątem lepszych wyników biznesowych na dalszych etapach. Korzystanie z szablonu Holistic Metrics One Pager zmusza do śledzenia zarówno wskaźników wyprzedzających, jak i opóźnionych, a także do zastanowienia się, jak wpływają one na siebie nawzajem.

Pułapka 3: Wskaźniki, których nikt nie rozumie

Kiedy przeprowadzam wywiady z menedżerami produktu, często słyszę, że wiedza analityczna i wgląd w dane kryją się w ciemnych, tajemniczych zakamarkach biur, z nazwami wydarzeń, których nie rozumie nikt poza kilkoma wysoce wyspecjalizowanymi analitykami. Co miesiąc specjaliści ci spotykali się z różnymi zespołami produktowymi, aby podzielić się i przetłumaczyć niektóre ze swoich ustaleń.

Jeśli chcemy, aby nasze zespoły ds. produktów i interesariusze wspólnie rozumieli nasze dane i wspólnie omawiali ulepszenia produktu, musimy aktywnie pracować nad demokratyzacją naszych danych, upewnić się, że nasze wskaźniki są dostępne dla wszystkich i łatwe do zrozumienia.

Intercom podzielił się swoimi wnioskami z przeprowadzania masowych porządków wydarzeń kilka lat temu. Mieli około 350 wydarzeń dla swojego produktu, które wyglądały tak:

Czy to wygląda znajomo?

Intercom powiedział, że zawiedli kluczową zasadę analityki: nie mieli sensu dla nikogo poza zespołem analityków. Przedefiniowali i przebudowali całą strukturę nazewnictwa wszystkich swoich zdarzeń, aby wprowadzić lepszą czytelność jako kluczowy krok do demokratyzacji danych analitycznych produktów.

Ważne jest również, aby raporty były bardziej dostępne dla różnych interesariuszy i zespołów w organizacji. Niestety, często widzę zespoły, które boją się otworzyć swoje kokpity menedżerskie, ponieważ ponownie ujawniłoby to prawdziwe liczby dotyczące zaangażowania lub przejęć, które mogą nie wyglądać dobrze dla interesariuszy. Aby uniknąć niewygodnych rozmów lub nieznośnych pytań, zespołom często łatwiej jest ukryć się za pozorem złożoności.

Jak zrobić to lepiej:

• Krok 1: Współpracuj ze swoimi zespołami inżynierskimi i analitykami, aby uprościć nazwy zdarzeń analizy produktu: „Ukończone wprowadzenie” i „Dodany widżet pulpitu nawigacyjnego” to działania, które wszyscy zrozumieją.
• Krok 2: Jeśli masz zespół ds. analityki, uwzględnij go lepiej w swoich zespołach produktowych. Im większy kontekst mają analitycy na temat tego, nad czym pracuje Twój zespół ds. produktów, jakie eksperymenty testujesz i na jakie pytania należy odpowiedzieć, tym lepiej mogą pomóc Ci przekopać się do danych, aby znaleźć najtrafniejsze spostrzeżenia. Powinno to być podejście oparte na współpracy, a nie outsourcingu.
• Krok 3: Udostępnij pulpity nawigacyjne i raporty analityczne szerszej organizacji. Twoje pulpity nawigacyjne powinny odzwierciedlać kluczowe metryki Twojego produktu (które możesz zdefiniować za pomocą Holistic Metrics One Pager z książki). Ma to kluczowe znaczenie dla skali (twój zespół nie chce być codziennie zalewany ręcznymi żądaniami raportowania), a także dla prawdziwego budowania kultury opartej na danych w szerszej organizacji.

„Kiedy zespoły są pytane o stan firmy, mogą to sprawdzić lub wymyślić hipotetyczne domysły. Niezwykle ważne jest, aby pierwszy z nich był najłatwiejszym, domyślnym sposobem reagowania przez kierownictwo na te prośby poprzez tworzenie niestandardowych, łatwych w użyciu pulpitów nawigacyjnych dotyczących takich rzeczy, jak kohorty, ścieżki i zdarzenia użytkowników”.

- Kryształowa Widjaja

Pamiętaj, że zadaniem, do którego wynajęliśmy nasze dane, jest odkrycie prawdy, abyśmy mogli podjąć działania i poprawić wrażenia z korzystania z naszych produktów. Uczynienie metryk łatwymi do zrozumienia i bardziej dostępnymi to kluczowe kroki, aby uwzględnić wgląd w dane w codzienne podejmowanie decyzji w Twojej organizacji. Silna organizacja produktowa powinna być bardziej niż kiedykolwiek zmotywowana do rozwiązania tych problemów, gdy już wie, gdzie leżą problemy.

Jak poprawić swoje metryki za pomocą listy kontrolnej metryk

Stworzyłem prostą listę kontrolną, która podsumowuje kluczowe cechy dobrej jakości, praktycznych wskaźników, które pomogą Ci uzyskać więcej wglądu w Twoje dane. Skorzystaj z tej listy kontrolnej, aby ocenić i poprawić wszystkie istniejące dane:

Prawdziwe ustalenie kluczowych wskaźników wymaga prawdziwej praktyki, a diabeł często tkwi w szczegółach. Jest to całkowicie normalne i zachęca do częstego sprawdzania wybranych wskaźników i kilkukrotnego ich poprawiania, aby były bardziej przydatne.

Uważaj na pułapki związane z udostępnianiem próżnych metryk, zbytnio skupiając się na opóźnionych wskaźnikach, w których nie masz czasu na korektę kursu, i upewnij się, że upraszczasz i demokratyzujesz swoje metryki, aby naprawdę wyrównać dojrzałość danych w swojej organizacji.