Zmień sposób, w jaki podchodzisz do eksperymentów dzięki tym 7-etapowym ramom

Eksperymentowanie jest niezbędne dla zespołów produktowych. Ale jeśli zrobisz to źle, równie dobrze możesz nie robić tego wcale. Aby Twoje eksperymenty były opłacalne, przewidywalne i trwałe, potrzebujesz systemu, który dostosowuje testy do rozwoju firmy i problemów klientów.

Dlaczego potrzebujesz struktury eksperymentalnej

Eksperymentowanie pozwala zespołom pracować z nastawieniem na rozwój, gdzie działają ze zrozumieniem, że ich wiedza o produkcie i jego użytkownikach może się zmieniać. Mogą stosować metody naukowe, aby wypełnić lukę w postrzeganiu i rzeczywistości, która naturalnie występuje w przypadku skalowania produktów i dostosować je do rzeczywistych potrzeb klientów.

Kiedy zespoły eksperymentują w sposób ad hoc, programy eksperymentalne zawodzą, a organizacje eliminują eksperymenty ze swoich wewnętrznych procesów decyzyjnych. Ramy pozwalają uniknąć takiej sytuacji, zapewniając, że eksperymenty przyniosą korzyści użytkownikom, a tym samym Twojej firmie.

Eksperymentowanie jest kluczem do podejmowania decyzji, które mają znaczący wpływ na biznes. Sama intuicja jest świetna i może przynieść dobre rezultaty, ale proces podejmowania decyzji nie będzie zrównoważony ani niezawodny.

Eksperymentowanie pomaga rozwinąć nastawienie na rozwój

Kiedy eksperymentowanie jest integralną częścią twojej pracy, pomaga ci odejść od nastawienia na trwałość – gdzie nigdy nie aktualizujesz swoich przekonań na temat swojego produktu – i pracować z nastawieniem na rozwój. Zamiast polegać na swoich założeniach, stale się uczysz i aktualizujesz swoją wiedzę. Następnie możesz podejmować najlepsze możliwe decyzje dla swojej firmy i klientów.

Eksperymentowanie pomaga zaktualizować swoje instynkty i podejmować lepsze decyzje

Jeśli nie eksperymentujesz, podejmujesz decyzje w oparciu o intuicję lub po prostu to, co najgłośniejszy głos w pokoju uważa za słuszne. Dzięki regularnym eksperymentom możesz podejmować decyzje na podstawie wniosków wyciągniętych z danych.

Możesz z powodzeniem podejmować intuicyjne decyzje przez długi czas, ale trudno jest skalować intuicję w firmie, która się rozwija. Nie możesz też wiedzieć, kiedy twoja intuicja staje się przestarzała i błędna.

Gdy organizacja rozwija się i zmienia, Twoja intuicja — to, w co wierzysz na temat swoich produktów, klientów i najlepszej ścieżki działania — nieustannie się wyczerpuje. Kiedy uczysz się na podstawie eksperymentów, możesz doskonalić i aktualizować swoją intuicję na podstawie uzyskanych danych.

Eksperymentowanie pomaga pozostać blisko klientów

Eksperymentowanie pozwala ograniczyć do minimum lukę w percepcji i rzeczywistości (przestrzeń między tym, czego Twoim zdaniem chcą użytkownicy, a tym, czego naprawdę chcą ). Kiedy jesteś na wczesnym etapie swojego produktu i pracujesz nad dopasowaniem produktu do rynku, jesteś blisko klientów. Rozmawiasz z nimi i jesteś świadomy ich emocji i potrzeb.

Ale gdy zaczynasz skalować, różnica między postrzeganiem a rzeczywistością rośnie. Musisz walczyć z klientami o niższych zamiarach i sąsiednimi użytkownikami. Nie możesz rozmawiać z klientami tak, jak robiłeś to na początkowych etapach rozwoju produktu, ponieważ jest ich zbyt wielu. Eksperymentowanie pomaga znaleźć obszary, w których twoja intuicja jest błędna, dzięki czemu możesz zmniejszyć lukę w postrzeganiu podczas skalowania.

Dlaczego programy eksperymentalne zawodzą

Programy eksperymentalne często zawodzą, gdy ludzie używają eksperymentów jako jednorazowej taktyki, a nie ciągłego procesu. Ludzie również niewłaściwie ukierunkowują swoje eksperymenty, ponieważ oczekują, że przyniosą one korzyści, a nie wiedzę.

Eksperymenty są doraźne

Zespoły często postrzegają eksperymenty jako odosobniony sposób sprawdzania czyjejś intuicji w określonym obszarze. Eksperymenty ad hoc mogą, ale nie muszą, przynosić dobre wyniki, ale wyników tych nie da się przewidzieć i nie jest to zrównoważony sposób działania.

Eksperymenty mają nieprawidłowe cele

Gdy ludzie oczekują, że eksperymenty przyniosą wzrost, oznacza to, że niewłaściwie ukierunkowują swoje eksperymenty. Chociaż zyski z eksperymentów są przyjemne, straty są bardziej wartościowe. Straty pokazują, gdzie miałeś błędne przekonanie o swoim produkcie lub użytkownikach, więc możesz poprawić to przekonanie, idąc naprzód.

Eksperymenty nie są dostosowane do dźwigni wzrostu ani skupione wokół problemu klienta

Eksperymenty powodują problemy, gdy nie dostosowujesz ich do dźwigni wzrostu, na której koncentruje się firma, ponieważ oznacza to, że nie są one przydatne dla Twojej organizacji. Podobnie koncentrowanie się wyłącznie na wynikach biznesowych zamiast skupiania się na eksperymentach wokół problemu klienta stwarza problemy. Jeśli myślisz tylko o problemie biznesowym, interpretujesz swoje dane w sposób stronniczy i opracowujesz rozwiązania, które nie są korzystne dla użytkownika.

Co się dzieje, gdy programy eksperymentalne zawodzą?

Kiedy programy eksperymentalne zawodzą lub są wdrażane nieprawidłowo, organizacje tracą zaufanie do eksperymentów i zbytnio polegają na intuicji. Przestają im ufać jako ścieżce do wypracowania jak najlepszego doświadczenia klienta. Kiedy tak się dzieje, nie przyjmują eksperymentów jako części swojego procesu decyzyjnego, więc tracą całą wartość, jaką wnoszą eksperymenty.

Rzućmy okiem na kilka przykładów nieudanych eksperymentów. Oto, co się dzieje, gdy eksperymentujesz bez użycia struktury, która popycha cię do dostosowania eksperymentów wokół dźwigni biznesowej i problemu klienta.

Współczynnik konwersji bezpłatnych na płatne

Organizacja koncentruje się na zarabianiu i musi zarabiać na swoim produkcie. Zlecają zespołowi poprawę współczynnika konwersji bezpłatnych na płatne.

Firma mówi: „Mamy niski współczynnik konwersji ceny do kasy, więc zoptymalizujmy stronę cenową”. Zespół postanawia przetestować różne kolory i układy, aby poprawić współczynnik konwersji strony.

Jednak eksperymenty mające na celu optymalizację strony cenowej nie koncentrują się wokół problemu klienta. Gdyby zespół rozmawiał z klientami, mógłby stwierdzić, że to nie UX strony cenowej powstrzymuje ich przed aktualizacją. Mogą raczej nie czuć się jeszcze gotowi do zakupu lub rozumieć, dlaczego powinni to zrobić.

W takim przypadku sama optymalizacja strony z cennikiem nie przyniosłaby żadnych rezultatów. Wyobraźmy sobie, że zamiast tego zespół koncentruje swoje eksperymenty na problemie klienta. Mogą spróbować uruchomić wersje próbne produktu premium, aby klienci mogli zapoznać się z jego wartością, zanim jeszcze zobaczą stronę z cennikiem.

Praca, którą ostatecznie wykonasz, i zdobyta wiedza będą zupełnie inne, jeśli zaczniesz eksperymenty od problemu biznesowego („istnieje współczynnik konwersji, który musimy zwiększyć”), a jeśli zaczniesz od problemu klienta („oni nie są jeszcze gotowi do myślenia o zakupie”).

Kwestionariusz wdrożeniowy

Organizacja koncentruje się na pozyskiwaniu klientów, dlatego zespół ds. produktu stara się zminimalizować odsetek osób porzucanych ze strony drugiej na trzecią w kwestionariuszu wprowadzającym. Jeśli myślą tylko o problemie biznesowym, mogą po prostu usunąć stronę trzecią. Zakładają, że jeśli onboarding będzie krótszy, będzie miał niższy wskaźnik rezygnacji.

Załóżmy, że usunięcie strony trzeciej działa, a współczynnik konwersji po wejściu na pokład poprawia się. Więcej osób wypełnia ankietę. Zespół zabiera naukę, którą stosuje w odniesieniu do reszty swojego produktu: powinniśmy uprościć wszystkie podróże klientów, usuwając jak najwięcej kroków.

Ale ta nauka mogła być błędna, ponieważ nie pomyśleli o stronie problemu klienta. Nie zbadali , dlaczego ludzie rezygnują na trzeciej stronie. Być może problemem nie była długość strony, ale rodzaj informacji, o które prosili.

Być może strona trzecia zawierała pytania dotyczące danych osobowych, takich jak numer telefonu lub wynagrodzenie, których ludzie nie chcieli podawać na tak wczesnym etapie swojej podróży. Zamiast usuwać stronę, mogli spróbować uczynić te odpowiedzi opcjonalnymi lub pozwolić użytkownikom na późniejszą edycję odpowiedzi, aby więcej osób przeszło tę część wdrożenia.

7-etapowy schemat eksperymentów

Wykonaj te kroki, aby Twoje eksperymenty były trwałe. Pomoże to dostosować eksperymenty do strategii biznesowej i problemów klientów.

1. Zdefiniuj dźwignię wzrostu

Aby eksperyment miał sens, musi mieć znaczenie dla firmy. Wybierz obszar swojego eksperymentu, który jest zgodny z dźwignią wzrostu, na której koncentruje się Twoja organizacja: pozyskiwanie, utrzymanie lub monetyzacja.

Załóżmy, że koncentrujemy się na pozyskiwaniu i zauważamy, że liczba porzuceń na naszej stronie głównej jest wysoka. Aby sformułować nasz eksperyment, możemy powiedzieć:

• acquisition Przyspieszenie pozyskiwania 2. Zdefiniuj problem klienta

  Zanim przejdziesz dalej, musisz zdefiniować problem, który eksperyment próbuje rozwiązać z perspektywy klienta.

  Znalazłeś dopasowanie produktu do rynku, identyfikując problem klienta, który rozwiązuje Twój produkt. Jednak kiedy wiele organizacji przechodzi na dystrybucję i skalowanie swoich produktów, skupia się na problemach biznesowych. Aby być skutecznym, musisz stale ewoluować i poznawać dopasowanie produktu do rynku, opierając swoją dystrybucję i skalowanie na problemach klientów.

  Będziesz powtarzać problem klienta na podstawie wyników eksperymentu. Zacznij od zdefiniowania początkowego problemu klienta, określając, na czym polega problem.

  Dla przykładu naszej strony głównej może to być:

  • confused Klienci są zdezorientowani Opracuj hipotezę

    Teraz zdefiniuj swoją interpretację przyczyny problemu. Podobnie jak w przypadku problemu z klientem, będziesz powtarzać swoją hipotezę, gdy dowiesz się więcej. Pierwsza wersja problemu i hipotezy klienta stanowi punkt wyjścia do eksperymentów.

    Potencjalne hipotezy dla przykładu naszej strony głównej obejmują:

    • poor messaging Klienci są zdezorientowani z powodu złej komunikacji too many action buttons Nasza strona zawiera zbyt wiele przycisków akcji too vague Nasza kopia jest zbyt niejasna 4. Wymyśl możliwe rozwiązania z KPI

      Wymyśl wszystkie możliwe rozwiązania, które mogłyby rozwiązać problem klienta. Stwórz sposób mierzenia sukcesu każdego rozwiązania, wskazując, do którego kluczowego wskaźnika wydajności (KPI) odnosi się każde rozwiązanie.

      Pobierz nasz Przewodnik po wskaźnikach produktowych, aby poznać listę kluczowych wskaźników wydajności produktów, które mają wpływ na pozyskiwanie, utrzymanie i monetyzację oraz jak je mierzyć.

      Rozwiązanie + KPI dla naszej przykładowej strony głównej może wyglądać tak:

      • Rozwiązanie: KPI: 5. Ustal priorytety rozwiązań

        Zdecyduj, które rozwiązania powinieneś najpierw przetestować, biorąc pod uwagę trzy czynniki: koszt wdrożenia rozwiązania, jego wpływ na biznes oraz pewność, że będzie miało wpływ.

        Aby wyeliminować rozwiązania, które mają niewielki wpływ i są drogie, uszereguj priorytety rozwiązań w następującej kolejności:

        1. Niski koszt, duży wpływ, duże zaufanie
        2. Niski koszt, duży wpływ, mniejsze zaufanie
        3. Niski koszt, mniejszy wpływ, wysokie zaufanie

        Następnie możesz przejść do rozwiązań kosztownych, ale tylko wtedy, gdy ich wpływ jest również wysoki.

        Różne firmy mogą przypisywać tym czynnikom różną wagę. Na przykład dobrze ugruntowana organizacja z dużym budżetem będzie mniej ostrożna w testowaniu kosztownych rozwiązań niż startup z niewielkimi zasobami. Należy jednak zawsze brać pod uwagę trzy czynniki (koszt, wpływ i pewność wpływu).

        Inną korzyścią z eksperymentowania jest to, że pomoże ci doskonalić umiejętność dokonywania oceny pewności siebie. Po eksperymentowaniu sprawdź, czy rozwiązanie przyniosło oczekiwany efekt i wyciągnij wnioski z wyniku.

        6. Utwórz instrukcję eksperymentu i przeprowadź testy

        Zbierz informacje zebrane w krokach 1-5, aby utworzyć oświadczenie, które będzie stanowić ramę dla twojego eksperymentu.

        W przypadku naszej przykładowej strony głównej stwierdzenie to wygląda następująco:

        • growth lever customer hypothesis solution KPI Przyspieszenie pozyskiwania jest naszym priorytetem, a nasza strona docelowa o największym ruchu — strona główna — nie osiąga zadowalających wyników [ dźwignia wzrostu problem z hipoteza rozwiązanie KPI Zdefiniuj punkt odniesienia dla danych, na które chcesz wpłynąć, popraw wyniki i przetestuj.

          7. Ucz się na podstawie wyników i powtarzaj

          W oparciu o wyniki testów wróć do kroku drugiego, zaktualizuj problem i hipotezę klienta, a następnie przejdź przez tę pętlę. Przestań iterować, gdy zmieni się priorytet biznesowy (dźwignia wzrostu), na przykład gdy pozyskiwanie się poprawiło, a Ty chcesz skupić się na monetyzacji. Skonfiguruj swoje eksperymenty zgodnie z nową dźwignią.

          Innym powodem, dla którego powinieneś przestać iterować, jest obserwowanie malejących zwrotów. Może to być spowodowane tym, że nie możesz wymyślić więcej rozwiązań lub nie masz odpowiedniej infrastruktury lub wystarczających zasobów, aby skutecznie rozwiązać problemy klientów.

          Szybciej podejmuj lepsze decyzje

          Aby dostarczać użytkownikom ukierunkowane eksperymenty i mierzyć wpływ zmian w produktach, potrzebujesz odpowiedniej platformy do eksperymentowania z produktami. Amplitude Experiment został stworzony, aby umożliwić współpracę między zespołami ds. produktu, inżynierii i danych w celu planowania, dostarczania, śledzenia i analizowania wpływu zmian w produkcie za pomocą analiz behawioralnych użytkowników. Poproś o demo, aby rozpocząć.

          Jeśli podobał Ci się ten post, śledź mnie na LinkedIn, aby uzyskać więcej informacji na temat rozwoju opartego na produktach. Aby bardziej zagłębić się w eksperymentowanie z produktami, zapoznaj się z moim kursem Eksperymentowanie i testowanie w Reforge .