Kiedy testy A/B nie są tego warte

Dla maniaków marketingu, takich jak ty i ja, nic tak nie pobudza krwi jak test A/B. Szybko biegają, a oglądanie wyników jest bardzo satysfakcjonujące. Kiedy już zaczęliśmy, ruszamy na wyścigi i trudno sobie wyobrazić, jak kiedykolwiek byśmy sobie bez tego obywali. Gdybyśmy tylko mogli zrobić to ze wszystkim: zagrać na dwóch bębnach naszych wielkich życiowych decyzji jednocześnie, aby zobaczyć, które wybory są właściwe.

Ale bez starannego rozważenia testy A/B mogą w rzeczywistości stać się stratą naszego cennego czasu. Oto jak najlepiej wykorzystać testy A/B.

Co to są testy A/B? Jak to działa?

Testy A/B umożliwiają przetestowanie doświadczenia lub wiadomości, aby sprawdzić, czy można je ulepszyć. W teście A/B prezentujesz użytkownikom dwie wersje witryny, aplikacji lub funkcji (wersja A i B). Wygrywa wersja, która działa najlepiej według śledzonych danych.

Można przetestować prawie wszystko: przyciski, czcionki, wezwania do działania, style treści redakcyjnych, a nawet szczegóły następnego poziomu, takie jak prędkość przewijania, umieszczając jedną wersję przed pierwszym zestawem użytkowników, zwykle kontrolką (A) i wariant (B) przed drugą grupą użytkowników. Ruch jest w miarę możliwości losowy, więc jedynym testowanym wariantem jest wariant zmieniony w wariancie B. Możesz przetestować wiele zmiennych i/lub wiele wariantów. Jest to znane jako testowanie wielowymiarowe, czyli temat na inny dzień.

Użyj testów A/B, aby przetestować hipotezę

Użyj testów A/B, aby przetestować subiektywne pomysły na rozwiązanie problemu za pomocą obiektywnych, opartych na danych dowodów, które potwierdzą, czy pomysły są słuszne.

Wykonane dobrze, testy A/B są zgodne z podstawowym przepisem. Zacznij od problemu, który chcesz rozwiązać. Być może masz dane lub badania użytkowników sugerujące, że istnieje problem, lub po prostu świadome przeczucie wynikające z wiedzy o Twoim produkcie i odbiorcach.

Następnie opracuj hipotezę określającą, co wydaje się najlepszym rozwiązaniem Twojego problemu. Następnie przeprowadź test, aby zebrać dowody empiryczne, które ostatecznie potwierdzą lub obalą twoją hipotezę. Na koniec podejmij działanie w oparciu o to, czego się nauczyłeś.

Na co zwrócić uwagę przed przystąpieniem do testu A/B

W studium amerykańskiego charakteru De Tocqueville z 1835 r. ( Demokracja w Ameryce ) napisał, że w Stanach Zjednoczonych „opinia publiczna jest podzielona na tysiące minut różnic w kwestiach bardzo mało aktualnych”.

De Tocqueville oczywiście nie miał pojęcia, jak trafne mogą być jego uwagi w kontekście marketingu cyfrowego i mobilnego. Niektóre wyniki po prostu nie gwarantują czasu potrzebnego na odkrycie. Dowiedz się, kiedy nadszedł czas na test A/B, a kiedy lepiej spędzić czas gdzie indziej.

4 powody, aby nie przeprowadzać testu

1. Nie przeprowadzaj testu A/B, gdy: nie masz jeszcze znaczącego ruchu

Testy A/B stały się tak wszechobecne, że bez nich trudno wyobrazić sobie świat rozwoju urządzeń mobilnych lub produktów. Jednak skok na głębszy koniec basenu testowego, zanim jeszcze zmoczysz kostki, może być błędem.

Ważnym pojęciem w testowaniu jest istotność statystyczna. Testując wystarczająco dużą grupę użytkowników, określisz preferencje przeciętnego użytkownika i zmniejszysz prawdopodobieństwo, że zidentyfikowana preferencja jest w rzeczywistości wynikiem błędu próbkowania.

Czy zauważyłeś ruch, ponieważ użytkownicy faktycznie wolą wariant od kontroli? A może nieświadomie podałeś Wariant A osobom, które kochają koty, a Wariant B osobom, które nienawidzą cheeseburgerów, co oznacza, że ​​Twoje wyniki nie mówią nic o Twoim przeciętnym użytkowniku? Aby uchronić się przed tego rodzaju błędem próbkowania, potrzebna jest statystycznie istotna wielkość próby. Jak dowiesz się, czy Twoje wyniki są wystarczająco znaczące, aby uzasadnić działanie? Matematyka!

Możesz zacząć od skorzystania z tego bezpłatnego kalkulatora istotności A/B ( lub tego , jeśli wolisz). Każdy kalkulator porównuje odwiedzających i konwersję po obu stronach wariantu A/B, wykonuje szereg obliczeń matematycznych i podaje „poziom ufności” wyrażony w procentach, informując Cię, że Twój test albo dał wynik, albo nie wyniki, na których możesz śmiało działać.

Testowanie czegoś, co może znacząco wpłynąć na współczynnik konwersji, jest zwykle możliwe przy mniejszym ruchu, ale do testowania niewielkich zmian, takich jak kolor przycisku, potrzebujesz większej próbki. Jeśli jesteś zaniepokojony, pobaw się tym kalkulatorem, aby sprawdzić, czy ruch jest tam, gdzie powinien, zanim przeprowadzisz test A/B.

Jeśli nie masz wystarczającej liczby użytkowników, aby uzyskać sensowne wyniki, Twoje wysiłki mogą być lepiej wykorzystane do przyciągania większej liczby klientów zamiast eksperymentowania. Jeśli zdecydujesz się przeprowadzić test, gdy Twoja baza użytkowników jest wciąż niewielka, być może będziesz musiał pozostawić test aktywny przez wiele tygodni, zanim zobaczysz znaczące wyniki.

2. Nie przeprowadzaj testu A/B, jeśli: nie możesz bezpiecznie spędzić czasu

Andrew Cohen, założyciel i dyrektor generalny Brainscape oraz instruktor TechStars and General Assembly, mówi : „ Wykonywanie testów dzielonych jest po prostu zadaniem wymagającym dużego zarządzania , bez względu na to, jak tanie i wydajne stały się wtyczki do testów A/B. Ktoś musi poświęcić swój czas na ustalenie, co testować, ustawienie testu oraz weryfikację i wdrożenie wyników testu.”

Chociaż zadania te można wykonać ze względną łatwością, wyjaśnia Cohen, nadal wymaga to dużej „przepustowości umysłowej, która jest najrzadszym zasobem w każdej firmie (zwłaszcza we wczesnej fazie uruchamiania)”.

Poświęć czas z góry na podjęcie decyzji, co należy przetestować, aby jak najlepiej wykorzystać czas testowania A/B.

3. Nie wykonuj testu A/B, jeśli: nie masz jeszcze przemyślanej hipotezy

Zbierać informacje. Zidentyfikuj swój problem. Zdefiniuj hipotezę. Następnie sprawdź, czy masz rację. Potraktuj test A/B jak prawdziwą naukę! Dobry naukowiec nigdy nie rozpoczyna eksperymentu bez hipotezy .

Aby zdefiniować swoją hipotezę, poznaj problem, który chcesz rozwiązać, i określ cel konwersji. Załóżmy na przykład, że Twoi klienci zwykle rezygnują z usług w pewnym momencie ścieżki konwersji.

Problem: klienci ładują produkty do koszyka, ale nigdy nie kończą procesu zakupu.

Na podstawie badań rynkowych i własnego, świadomego osądu uważasz, że jeśli dodasz przycisk z napisem „Zakończ mój zakup”, będziesz w stanie zwiększyć konwersję. Ważne jest również zdefiniowanie miernika sukcesu. Jaki jest najmniejszy wzrost konwersji, który z przyjemnością zauważysz? (A dlaczego ta liczba? Co oznacza dla firmy jako całości osiągnięcie tego wzrostu?) To wiąże się również z obliczeniami istotności statystycznej. W tym przykładzie załóżmy, że chcesz zwiększyć konwersję o 20%.

Hipoteza naukowa jest zwykle pisana w formacie „jeśli/to”. Twoja hipoteza brzmi więc: „ Jeśli dodam przycisk „Zakończ mój zakup”, to 20% więcej osób przejdzie przez proces zakupu”.

Pod koniec testu będziesz musiał podjąć kilka decyzji. Jeśli twój test jest pozytywny i potwierdza twoją hipotezę, gratulacje! Wygrałeś. Twoja hipoteza jest teraz sprawdzoną teorią (oczywiście sprawdzoną w procentowym poziomie ufności, który osiągnąłeś). Jeśli Twoja firma jest wystarczająco elastyczna, możesz od razu wprowadzić trwałe rozwiązanie. Możesz nadal testować mniejsze warianty, aby sprawdzić, czy po pierwszym sukcesie jest więcej miejsca na poprawę.

Jeśli twój test jest negatywny, a twoja hipoteza nie jest trafna, również wygrywasz! Oznacza to, że Twoja kontrola jest zwycięską formułą i możesz nadal z niej bezpiecznie korzystać. Znowu jednak możesz chcieć przetestować różne warianty, jeśli nie uzyskujesz oczekiwanych wyników. Sprawdź, czy istnieje inny sposób rozwiązania problemu i opracuj nową hipotezę.

Jeśli Twój test jest niejednoznaczny, wróć do swojego problemu. Czy jesteś pewien, że punkt bólu jest tam, gdzie myślisz, że jest? Czy masz wystarczająco dużo ruchu, aby uzyskać statystycznie istotne wyniki? Pamiętaj, że odpowiedź na problemy Twojego produktu niekoniecznie musi być w teście A/B.

4. Nie przeprowadzaj testu A/B, jeśli: ryzyko podjęcia działania od razu jest niskie

Lynn Wang , szef marketingu w Apptimize , mówi : „ Testy A/B należy pominąć w sytuacjach, w których wiesz , że pomysł prawie na pewno ulepszy Twoją aplikację, a ryzyko związane z… wdrożeniem pomysłu jest niskie”. Dodaje: „ Nie ma powodu, aby poświęcać czas i zasoby na testowanie czegoś, co prawdopodobnie jest dobre i wiąże się z niskim ryzykiem. Przeskok do wdrożenia jest jak najbardziej wskazany.”

Jest to szczególnie przydatne, jeśli masz mało czasu. Pamiętaj, że dany wynik może być prawdziwy, a jednocześnie może być nieistotny.

Dobre narzędzie jest tak przydatne, jak jego inteligentna aplikacja

Testy A/B to niesamowity zasób. Inteligentne, proste działania podjęte w oparciu o jasne wyniki dobrze zastosowanych testów przyniosły sukces w całym cyfrowym krajobrazie . Firmy odnoszące sukcesy wiedzą, kiedy nadszedł czas na cierpliwość i przeprowadzają miarodajny test. Wiedzą również, kiedy polegać na swojej intuicji lub innych źródłach informacji, i iść naprzód bez rzekomej siatki bezpieczeństwa przedłużającego się lub przedwczesnego okresu testowania, który w rzeczywistości nie wniesie żadnej wartości.