Testy A/B: co to jest błąd typu 1 i typu 2 oraz jak ich uniknąć?

Jednym z głównych powodów przeprowadzania testów A/B jest uzyskanie weryfikowalnych i powtarzalnych wyników. Jedynym sposobem na osiągnięcie tego jest zastosowanie metod naukowych. Celem jest uzyskanie obiektywnej prawdy – wolnej od domysłów, domysłów i wszelkich osobistych odczuć, co do tego, która wariacja jest najlepsza.

Jednak czasami testerzy popełniają błędy i można je łatwo przeoczyć, przynosząc złe wyniki. Gdy marketerzy przeprowadzają testy A/B lub testy wielowariantowe podczas pracy nad optymalizacją współczynnika konwersji, każdy test obarczony jest kilkoma możliwymi błędami. Typowe typy błędów to błąd typu 1 i błąd typu 2.

Pomimo tego, jak łatwe są narzędzia do wykonywania testów A/B, jako użytkownik musisz rozumieć zarówno metodologię naukową, jak i interpretację wyników, aby uniknąć podejmowania złych decyzji.

Twoim zadaniem jest zaprojektowanie testów, i to jest miejsce, w którym pojawiają się błędy w ramach projektu eksperymentalnego. Żadne narzędzie do testowania A/B nie jest w stanie wykryć tych błędów. Od Ciebie zależy, czy zauważysz je, kiedy się pojawią, a raczej zapobiegniesz im.

Czym więc są te błędy, jaka jest różnica między błędem typu 1 a błędem typu 2 i jak uniknąć błędu typu 1 i błędu typu 2?

Dowiedzmy Się!

Fałszywie pozytywny wynik może wystąpić podczas testowania nowej nakładki wyskakującej (odmiana B) w porównaniu z oryginalną kontrolą (odmiana A). Decydujesz się zmienić obraz tła, aby przetestować bardziej emocjonalny.

Po 10 dniach używania wariantu A w porównaniu z wariantem B sprawdzasz wynik. Wyniki wydają się jasne, pokazując dużą poprawę konwersji. W konsekwencji test A/B jest zakończony, a odmiana B zostaje zaimplementowana jako zwycięska.

Jednak po kilku miesiącach wyniki nie były lepsze od oryginału, w rzeczywistości były gorsze.

To jest przykład fałszywego alarmu i błędu typu 1.

Błąd typu 1 to wynik przetestowany eksperymentalnie, wynik sugerujący pozytywną korelację, wskazujący na lepszą opcję, która okazała się nieprawdziwa.

Jak to jest możliwe?

Mówiąc najprościej, jest to czynnik ludzki wprowadzający błędy. Często jest to wynikiem braku wystarczających badań nad tym, co należy przetestować. Istnieje wiele możliwych zmiennych, które należy uwzględnić podczas projektowania testów, wystarczy pominąć jedną, aby hipoteza testowa była błędna.

Gdyby wszystkie rzeczy były równe, wolne od wpływów zewnętrznych, wyniki tego testu A/B dostarczyłyby prawidłowych wyników. Jeśli znajdziesz się w takiej sytuacji, coś przeoczyłeś lub pozwoliłeś czynnikom zewnętrznym wpłynąć na wyniki.

Ostatecznie w twojej metodzie naukowej wystąpił błąd, chodzi o to, że TY jako tester tego nie wyjaśnił.

Dlaczego testy dzielone kończą się niepowodzeniem?

• Twoja osobowość jest zbyt szeroka
• Twoja próbka jest za mała
• Testujesz niewłaściwą rzecz
• Czas trwania testu jest za krótki

Popracujmy nad tym samym scenariuszem powyżej, oryginalna (A) (kontrola) kontra nowa odmiana (B). W tym przypadku wynik nie wykazuje zmian w konwersji między tymi dwoma. W takim przypadku możesz zdecydować się na zachowanie oryginału lub przejście na nową wersję, w oparciu o inne czynniki, takie jak osobiste preferencje.

W takim przypadku Hipoteza Zerowa (definicja poniżej) jest uważana za poprawną (nieprawidłową).

Test był błędny, a wersja B była znacznie lepszą opcją, więc scenariusz potencjalnie prowadzi do błędnej decyzji. Problem w tym scenariuszu polega na tym, że prawdopodobnie nigdy nie będziesz wiedział, że wersja B jest lepsza. To znaczy, chyba że wyeliminujesz błąd przed ponownym testowaniem.

Błąd typu 2 występuje, gdy hipoteza zerowa (brak różnicy) jest uważana za poprawną – niepoprawną.

Testowanie istotności

Przed uruchomieniem testu musisz obliczyć, jaki powinien być poziom istotności testu. Tutaj decydujesz, jaki wynik decyduje o sukcesie.

Ogólnie rzecz biorąc, powinno to być oparte na Hipotezie Zerowej, która jest domyślną pozycją, że nie ma między nimi żadnej znaczącej różnicy.

Jakie pozytywne odchylenie od tej pozycji uważasz za znaczące? Ogólny konsensus jest taki, że przed podjęciem na tej podstawie decyzji należy kontynuować testowanie, aż istotność statystyczna wyniesie co najmniej 90%, ale najlepiej 95% lub więcej, lub innymi słowy, że pewność wyniku przekroczy 95%.

Kolejnym czynnikiem, który należy wziąć pod uwagę, jest wielkość próby. Im mniejszy rozmiar próbki, tym większy margines błędu. Oznacza to, że im wyższe współczynniki konwersji, tym mniejsza wielkość próbki potrzebna do pomiaru poprawy.

Sprawdź ten kalkulator wielkości próbki, aby zrozumieć, co przez to rozumiem i zobaczyć, jaką wielkość próbki powinien mieć Twój test A/B.

• Generalnie tylko A/B testuje jedną zmianę na raz
• Nie przeprowadzaj testów A/B, jeśli masz małą witrynę o małym ruchu, z liczbą konwersji poniżej 1000 miesięcznie. To po prostu nie jest warte twojego czasu.
• Upewnij się, że testujesz właściwą rzecz.