Odblokuj moc eksperymentów opartych na produktach dzięki naszemu nowemu przewodnikowi

W dzisiejszym konkurencyjnym krajobrazie eksperymenty oparte na produktach to coś więcej niż dobry pomysł — to konieczność, aby zespoły ds. produktów i inżynierów skwantyfikowały ich wpływ.Zespoły muszą jednak kultywować kulturę eksperymentowania i wprowadzać ją na każdym etapie procesu opracowywania produktu, aby budować z pewnością siebie.

Połączyliśmy siły z Reforge, aby stworzyć kompleksowy przewodnik po eksperymentach opartych na produktach, zawierający spostrzeżenia i porady ekspertów w tej dziedzinie. Przewodnik pomoże zespołom produktowym i inżynieryjnym w opracowaniu programów eksperymentalnych i uwolnieniu pełnego potencjału ich produktów. W tym poście przedstawimy przegląd tego, czego możesz się spodziewać w przewodniku.

Pobierz pełny przewodnik —Pewne budowanie: Twój przewodnik po skalowaniu eksperymentów opartych na produktach— aby dowiedzieć się, jak zbudować kulturę eksperymentowania, zrozumieć praktykę eksperymentowania, ustalić priorytety w planie eksperymentowania i nie tylko.

Dlaczego eksperymentowanie ma znaczenie

W dzisiejszym konkurencyjnym środowisku eksperymentowanie nie jest opcjonalne dla zespołów produktowych. To właśnie pomaga zespołom tworzyć udane, innowacyjne produkty i wiązać ich pracę z szerszą organizacją.

Saleem Malkana, Executive in Residence w Reforge, wyjaśnia, że ​​eksperymentowanie pomaga zespołom produktowym mierzyć wpływ ich pracy i ulepszać strategię produktową. „Najlepsze zespoły produktowe wiedzą, że tak naprawdę liczy się nie tylko dostarczanie tych wyników, ale raczej to, jakie wyniki one osiągają” — wyjaśnia.

Aby zmierzyć wpływ zmian produktu, zespoły muszą opracować hipotezy, przeprowadzić eksperymenty i ocenić wyniki. Mogą wykorzystać wyniki eksperymentów do opracowania przyszłej strategii produktowej.

Testowanie jest również sposobem na zmniejszenie ryzyka zmian w produkcie. Zespoły ds. produktów mogą ocenić wpływ decyzji dotyczącej produktu przed udostępnieniem go wszystkim użytkownikom — co może prowadzić do kosztownych błędów.

Wil Pong, szef produktu w firmie Amplitude Experiment, twierdzi, że eksperymenty oparte na produktach zapewniają szybsze wprowadzanie innowacji bez zakłócania cykli rozwoju inżynierii przy użyciu bardziej powierzchownych narzędzi, takich jak metody WYSIWYG.

W przeszłości tylko duże firmy, takie jak Netflix, mogły oferować dostosowane do potrzeb doświadczenia i eksperymentować z różnymi interfejsami produktów lub silnikami rekomendacji. Teraz dzięki nowym aplikacjom, takim jak Amplitude Experiment, organizacje różnej wielkości mogą iterować i udoskonalać swoje produkty w czasie rzeczywistym w oparciu o potrzeby użytkowników.

Eksperymenty oparte na produktach umożliwiają zespołom produktowym przeprowadzanie wysoce ukierunkowanych eksperymentów w obrębie całych produktów przy użyciu flag funkcji, co zapewnia zespołom pełną kontrolę nad włączaniem i wyłączaniem doświadczeń. Pozwala to zespołom na „dostarczanie ściśle ukierunkowanych eksperymentów i wydań funkcji przy użyciu tych samych procesów i technologii, które napędzają resztę [ich] rozwoju produktu”, co ostatecznie doprowadzi do szybkich innowacji bez zakłócania pracy zespołów technicznych, wyjaśnia Wil.

Eksperymentowanie ma również kluczowe znaczenie dla liderów produktów, biorąc pod uwagę ostatnie zmiany w zakresie odpowiedzialności. Bhavik Patel, założyciel i dyrektor zarządzający CAUSL, wyjaśnia, że ​​organizacje przeszły od podejścia opartego na wynikach do podejścia opartego na wynikach, kładąc większy nacisk na liderów produktów. Chociaż trudno jest zmierzyć zwrot z inwestycji zespołów produktowych (organizacje zwykle używają liczby pracowników lub godzin pracy inżynierów), śledzenie wpływu produktu poprzez eksperymenty pomaga zespołowi produktowemu powiązać swoją pracę z szerszymi celami firmy.

Co to znaczy budować kulturę eksperymentowania

Kultura eksperymentowania powinna obejmować wszystkie części organizacji. Aby ustanowić tę kulturę, organizacje muszą przejść przez zmianę sposobu myślenia i zbudować konkretne systemy i procesy wspierające szybkość uczenia się, a nie tylko szybką wysyłkę.

Saleem wyjaśnia, że ​​kultura eksperymentowania nie jest czysto techniczna. To połączenie:

• Ludzie: Członkowie zespołu kierują się danymi.
• Zintegrowane procesy i komunikacja: Eksperymentowanie jest częścią procesów rozwoju produktu ze zdrową komunikacją między zespołami.
• Technologia: Organizacja korzysta z platformy umożliwiającej eksperymentowanie.

Idealnie byłoby, gdyby eksperymenty istniały na każdym poziomie organizacji, z naciskiem na poziom drużyny — to właśnie tworzy podstawę elastyczności i zdolności adaptacyjnych. Testy powinny być również częścią codziennych operacji, aby zespoły otrzymywały stały strumień spostrzeżeń, które mogą wykorzystać do ulepszenia produktu.

Aby stworzyć kulturę eksperymentowania, zespoły powinny rozwinąć sposób myślenia obejmujący ciekawość i „porażkę”, ponieważ oba są mechanizmami uczenia się. Aby nabrać rozpędu wokół eksperymentów, ważne jest również zapewnienie mistrza wykonawczego.

Kierownik, który kupuje eksperymenty, pomoże zapewnić zasoby, takie jak czas, budżet i narzędzia. Pomogą również w tworzeniu kanałów otwartej komunikacji i współpracy między działami.

Przeczytaj więcej w pełnym przewodniku.

Jak rozpocząć swoją eksperymentalną podróż

Wdrażanie programów eksperymentalnych w organizacji wymaga czasu. Oto kilka najlepszych praktyk na początek.

Zacznij od małego i zwiększ skalę

Ostatecznym celem jest wdrożenie eksperymentów w całej organizacji. Jednak przed skalowaniem organizacje powinny zacząć od testów niskiego ryzyka w jednym zespole.

Saleem zaleca ustanowienie jednego „centrum doskonałości”: pojedynczego zespołu, który powinien zweryfikować podstawowy stos eksperymentów i stamtąd go rozbudować. Elena Verna, Growth Advisor i Interim Growth Exec, wyjaśnia: „pojedynczy zespół musi najpierw nauczyć się, jak testować, jak się uczyć i jak wygrywać”.

Kontynuuje: „Kiedy ten zespół rozwinie umiejętności eksperymentowania i sposób myślenia, powinien pracować nad demokratyzacją dostępu do testowania i uczenia się. W ten sposób cała organizacja może nauczyć się, jak wygrywać dzięki eksperymentom”. Ostatecznie członkowie zespołu we wszystkich działach powinni mieć możliwość przeprowadzania testów, aby podejmować codzienne decyzje.

Bhavik sugeruje, aby zespoły zaczynały od testów niskiego ryzyka: „Nie radziłbym na przykład zaczynać od złożonego eksperymentu cenowego, ale jest to świetny cel, nad którym warto pracować”.

Ostrzega również przed przywiązaniem do nierealistycznych liczb. Większość firm nie powinna próbować przeprowadzać tysięcy eksperymentów. Zamiast tego „celem powinno być przeprowadzenie większej liczby [testów] niż w ostatnim kwartale lub roku”, mówi.

Pomysłuj, sprawdzaj, ustalaj priorytety

Przeprowadzanie niepotrzebnych eksperymentów powoduje marnowanie zasobów, dlatego zespoły muszą ostrożnie wybierać, które eksperymenty mają zostać przeprowadzone.

Rozpocznij tworzenie pomysłów od drzewa metrycznego (diagram, który pokazuje, w jaki sposób wszystkie elementy drabiny produktowej prowadzą do celów firmy) lub diagramu słonecznego (przegląd strumieni pracy Twojej organizacji). Przeglądanie tych diagramów za pomocą daje wyobrażenie o tym, gdzie skoncentrować wysiłki związane z eksperymentowaniem.

Aby przetestować pomysły, najpierw zweryfikuj koncepcje testowe, aby określić, które pomysły są warte realizacji. Aby zweryfikować, możesz użyć testów pomalowanych drzwi, badań wtórnych lub przeanalizować wyniki podobnych eksperymentów.

Następnie rozważ czas potrzebny do uzyskania szczegółowych informacji z każdego potencjalnego testu. Elena podkreśla, że ​​zespoły powinny nadać priorytet szybkości uczenia się i zastanowić się, ile czasu zajmuje zbudowanieeksperymentu, a nie tylko jego przeprowadzenie. Saleem sugeruje również podzielenie dużych wyzwań na mniejsze sprawdzalne hipotezy, aby uzyskać szybszą pętlę sprzężenia zwrotnego.

Inne czynniki, które należy wziąć pod uwagę, to:

• Objętość w różnych punktach produktu, ponieważ potrzebujesz wystarczającej liczby ruchu do przeprowadzenia testów
• Czy test, który chcesz przeprowadzić, można zmierzyć za pomocą posiadanych narzędzi analitycznych

Po zweryfikowaniu pomysłów na testy ustal priorytety, które eksperymenty mają zostać przeprowadzone na podstawie:

• Twoja zdolność testowania
• Jak duży wpływ spodziewasz się po teście
• Jak bardzo jesteś pewien, że przyniesie to pożądany efekt
• Nakład pracy związany z uruchomieniem testu

Zaprojektuj swoje eksperymenty, korzystając z najlepszych praktyk

Bhavik wyjaśnia, że ​​dobrze zaprojektowane eksperymenty są zakorzenione w metodzie naukowej. Można je podzielić na następujące etapy: planowanie przed eksperymentem, monitorowanie w trakcie eksperymentu i analiza po eksperymencie.

Po zweryfikowaniu pomysłów na eksperymenty i wybraniu testów do nadania priorytetu należy zaplanować eksperymenty. Udokumentuj powody przeprowadzenia eksperymentu. Wyraźnie określ, co jest testowane i modyfikowane — może to być zmiana projektu, nowa funkcja lub doświadczenie.

Zbuduj hipotezę i ustal jasno zdefiniowane wskaźniki produktu lub kluczowe wskaźniki wydajności dla swojego eksperymentu. Zdecyduj o kolejnych krokach w oparciu o możliwe wyniki. Określ, co się stanie, gdy każdy wariant wygra lub jeśli test nie osiągnie istotności statystycznej.

Zanurz się głębiej w planowaniu przed eksperymentem w pełnym przewodniku.

Podczas eksperymentu utwórz pulpit analityczny, aby stale monitorować test. Po eksperymencie przeanalizuj wyniki i sformułuj wynik. Następnie zespół może posuwać się naprzód z góry ustalonymi kolejnymi krokami.

Buduj z pewnością siebie

Aby uzyskać więcej wskazówek dotyczących przeprowadzania skutecznych programów eksperymentalnych, pobierz przewodnik po eksperymentach opartych na produktach.