Korzystaj ze schematów eksperymentów, aby projektować lepsze eksperymenty
Opublikowany: 2023-02-03Niezależnie od tego, czy Twoja firma dopiero rozpoczyna swoją przygodę z eksperymentowaniem, czy też już ustanowiła kulturę eksperymentowania, korzystanie z podsumowań eksperymentów może pomóc zdemokratyzować eksperymenty, zaprojektować lepsze eksperymenty i zapewnić przejrzystość celów i kolejnych etapów każdego eksperymentu.
Demokratyzacja eksperymentów
Co rozumiemy przez demokratyzację? Demokratyzacja jest aktem uczynienia czegoś dostępnym dla każdego. Aby zdemokratyzować eksperymentowanie, organizacje muszą udostępnić dwie rzeczy:
- Możliwość przeprowadzania eksperymentów powinna być dostępna dla każdego w dowolnej części organizacji
- Każdy powinien mieć możliwość szybkiego uzyskania dostępu do kluczowych faktów i wyników każdego eksperymentu
Doskonałym podejściem do demokratyzacji kluczowych faktów i wyników eksperymentu jest wykorzystanie opisu eksperymentu.
Dlaczego Twój zespół powinien korzystać z podsumowania eksperymentu?
Projektuj lepsze eksperymenty
Przeprowadzanie eksperymentów jest podstawowym składnikiem metody naukowej – słowo „naukowy” jest słowem operacyjnym. Projekt eksperymentu jest kluczową częścią procesu, ale wiele zespołów często pomija ten kluczowy etap procesu. Zbadamy to bardziej szczegółowo w następnej sekcji.
Wprowadź przejrzystość do swojego procesu
Bez przejrzystej dokumentacji łatwo jest zracjonalizować decyzje i dopasować je do narracji po poznaniu faktów, co prowadzi do złych wyników eksperymentów. Dokumentując jasne kolejne kroki po uruchomieniu eksperymentu, zespoły znacznie częściej posuwają się naprzód w oparciu o to, czego dowiadują się z eksperymentu.
Jak wygląda dobry eksperyment?
Wielu praktyków zakłada, że eksperyment polega na rozpoczęciu od pomysłu, zbudowaniu prototypu, przetestowaniu go, a następnie zastanowieniu się, co dalej. Źle.
Dobry eksperyment opiera się na szkielecie metody naukowej. Te podstawowe koncepcje przenoszą się do świata eksperymentów cyfrowych wraz z kilkoma niestandardowymi komponentami. Dla przypomnienia, kiedy mówię „dobry eksperyment”, nie mam na myśli wyniku eksperymentu. „Dobry eksperyment” świadczy o dobrze zaprojektowanymeksperymencie ”.
Oto najważniejsze elementy dobrego projektu eksperymentu:
Planowanie (przedeksperyment)
- Udokumentuj obserwacje, które wyjaśnią, dlaczego planujemy przeprowadzić ten eksperyment
- Badania potwierdzające nasze obserwacje. Badania te mogą mieć charakter ilościowy, jakościowy, konkurencyjny itp.
- Zbuduj hipotezę z jasno zdefiniowanymi wskaźnikami lub KPI
- Dostosuj kolejne kroki swojego zespołu w oparciu o każdy możliwy wynik: czy każdy wariant wygrywa lub czy test nie osiąga istotności statystycznej
- Charakterystyka konfiguracji eksperymentu obejmuje czas trwania, odbiorców, podział ruchu, próg krytyczny i inne
- Jasna artykulacja tego, co jest testowane i modyfikowane. Może to być zmiana projektu, nowa funkcja lub doświadczenie i nie tylko
- Potwierdź, że eksperyment można zmierzyć
Podczas trwania eksperymentu
- Pulpity analityczne do ciągłego monitorowania
Po eksperymencie
- Przeanalizuj wyniki
- Przedstaw wynik eksperymentu i wykonaj z góry ustalone kolejne kroki.
Skrót eksperymentu
Teraz, gdy rozumiemy, z czego składa się dobry projekt eksperymentu, możemy stworzyć szablon naszego procesu, aby mieć pewność, że wszystkie krytyczne informacje zostaną udokumentowane przed rozpoczęciem eksperymentu za każdym razem.
Ułatwia to każdemu w organizacji asynchroniczne uzyskiwanie informacji o eksperymencie, co ułatwia demokratyzację.
Faza 1: Zaplanuj
| Plan | ||
| Obserwacje i spostrzeżenia: Jakie obserwacje doprowadziły do tego eksperymentu?Badania te mogą mieć charakter ilościowy, jakościowy, spostrzeżeń dotyczących konkurencji, badań użytkowników i nie tylko. | ||
| Zdefiniuj typ eksperymentu: test hipotezy lub test nieszkodzenia | ||
| Hipoteza | Zaobserwowaliśmy: Udokumentuj jakościowy, ilościowy lub konkurencyjny wgląd | |
| Przez: Wprowadzenie lub modyfikacja zmiennej niezależnej | ||
| Oczekujemy: Zdefiniuj oczekiwaną zmianę zachowania | ||
| Prowadzący do: Określ oczekiwany wpływ na zmienną zależną | ||
| Do testów „nie szkodzić”. | ||
| Metryki: kiedy wprowadzasz poważne zmiany, takie jak nowe doświadczenie w swoim produkcie, użyj testu „Nie szkodzić” zarówno dla podstawowych, jak i podstawowych wskaźników, aby wykryć wszelkie negatywne skutki dla twoich krytycznych wskaźników | Główny: może to być współczynnik konwersji | |
| Poręcze (opcjonalnie) | ||
| Do testów hipotez | ||
| Metryka | Główny: może to być współczynnik konwersji | |
| Drugorzędny (opcjonalnie) | ||
| Poręcze (opcjonalnie) | ||
| Całkowita wielkość próbki | ||
| Minimalny wykrywalny efekt | Podstawowy | |
| Poręcz (opcjonalnie) | ||
| Nazwa zdarzenia eksperymentu | ||
| Parametry zdarzenia eksperymentu | ||
| Działania: Jakie działania podejmiesz w oparciu o każdy z następujących wyników testu? | Wygrać | |
| Stracić | ||
| Mieszkanie | ||
Faza 2: Konfiguracja
| Skonfiguruj | ||
| Projekty odmian | Odmiana 1: Zdefiniuj, czym będzie się różnić od grupy kontrolnej.Powinieneś również zamieścić link do odpowiednich projektów | |
| Wariant 2 (opcjonalnie) | ||
| Przydział | Podział: To może być 50/50 | |
| Kohorta odbiorców: czy kierujemy reklamy do obecnych klientów, nowych użytkowników itp.? | ||
| Platformy | ||
| Sekcja witryny: w której sekcji Twojego produktu przeprowadzany jest test? | ||
| Bilety i analiza JIRA (linki) | Analityka JIRA | Połączyć |
| Technika JIRA | Połączyć | |
| Analiza przed testem | Połączyć | |
| Analiza po teście | Połączyć | |
Faza 3: Monitorowanie
| Monitor | |||
| Planowany termin testu | Od: [MM/DD/RRRR] | Do: [MM/DD/RRRR] | |
| Czas trwania (dni) | |||
| Upewnij się, że śledzenie w analityce działa: Upewnij się, że: (1)zdarzenie uruchamia się na odpowiednich platformach, urządzeniach i grupach użytkowników, (2)masz skonfigurowane spójne nazwy zdarzeń dla kontroli i wariantu na wszystkich platformach, (3)zdarzenie narażenia uruchamia się kiedy użytkownicy są narażeni na eksperyment | |||
Faza 4: Analizuj i decyduj
| Analizuj i decyduj | ||
| Analiza: Udokumentuj wynik eksperymentu | ||
| Decyzja: Zdecyduj o kolejnych krokach na podstawie fazy planowania. | ||
| Monitoruj bieżącą wydajność: Kontynuuj analizę zachowania po eksperymencie | ||
Końcowe przemyślenia
Te podsumowania eksperymentów można łatwo podzielić na kategorie według daty, segmentu, sekcji strony internetowej i platformy. Powinny być również dostępne dla wszystkich, aby ta instytucjonalna wiedza przetrwała, nawet jeśli ludzie przychodzą i odchodzą. Korzystanie ze streszczeń eksperymentów może pomóc Twojemu zespołowi udoskonalić program eksperymentów poprzez przejrzystą dokumentację każdego eksperymentu w celu zdemokratyzowania tych informacji.
Bardzo chciałbym usłyszeć Twoje przemyślenia na temat tego szablonu i wszelkich modyfikacji, które byś wprowadził. Możesz skontaktować się ze mną na LinkedIn lub Twitterze lub sprawdzić mój blog.
Link do skróconego szablonu eksperymentu można znaleźć, klikając ten link → Szablon podsumowania eksperymentu.
