Testarea A/B: Ce este o eroare de tip 1 și tip 2 și cum să le evitați

Unul dintre motivele principale pentru a efectua teste A/B este obținerea de rezultate verificabile și repetabile. Singura modalitate de a realiza acest lucru este utilizarea metodelor științifice. Scopul este de a obține adevărul obiectiv - fără presupuneri, presupuneri și orice sentimente personale pe care variația este cea mai bună.

Cu toate acestea, uneori testerii fac erori și acestea pot fi ușor trecute cu vederea, aducând rezultate proaste. Atunci când specialiștii în marketing efectuează teste A/B sau testări multivariante în timpul activității lor de optimizare a ratei de conversie, fiecare test este supus mai multor tipuri posibile de erori. Tipurile comune de erori sunt eroarea de tip 1 și eroarea de tip 2.

În ciuda cât de ușoare instrumentele fac testarea A/B, tu, ca utilizator, trebuie să înțelegi atât metodologia științifică, cât și cum să interpretezi rezultatele pentru a evita luarea unor decizii proaste.

Este datoria ta să proiectezi testele și aici tind să apară erorile, în cadrul designului experimental. Niciun instrument de testare A/B nu poate detecta aceste erori. Depinde de tine să le vezi când apar, sau mai degrabă să previi în primul rând să se întâmple.

Deci, care sunt aceste erori, care este diferența dintre o eroare de tip 1 și de tip 2 și cum să evitați o eroare de tip 1 și o eroare de tip 2?

Să aflăm!

Un fals pozitiv poate apărea atunci când se testează o nouă suprapunere pop-up (variația B) față de controlul original (varianta A). Decizi să schimbi imaginea de fundal pentru a testa una mai emoționantă.

După 10 zile de rulare a variației A față de varianta B, verificați rezultatul. Rezultatele par clare, arătând o mare îmbunătățire a conversiei. În consecință, testul A/B este încheiat și varianta B este implementată ca câștigător.

Cu toate acestea, după câteva luni, rezultatele nu au fost mai bune decât cele originale, de fapt, au fost mai rele.

Acesta este un exemplu de fals pozitiv și o eroare de tip 1.

O eroare de tip 1 este un rezultat testat experimental, un rezultat care sugerează o corelație pozitivă, indicând o opțiune superioară care s-a dovedit a nu fi adevărată.

Cum este posibil acest lucru?

Mai simplu spus, este factorul uman care introduce erori. Adesea, acesta este rezultatul nerespectării suficiente a ceea ce ar trebui testat. Există multe variabile posibile care trebuie luate în considerare atunci când proiectați teste, trebuie să omiteți doar una pentru ca ipoteza dvs. de testare să fie greșită.

Dacă toate lucrurile sunt egale, fără influențe externe, rezultatele acestui test A/B ar fi oferit rezultate corecte. Dacă te regăsești în această poziție, ai omis ceva sau lași factorii externi să influențeze rezultatele.

În cele din urmă, a existat un defect în metoda ta științifică, ideea este că TU, ca tester, nu ai dat seama de asta.

De ce eșuează testele separate?

• Personajul tău este prea vast
• Dimensiunea eșantionului dvs. este prea mică
• Testezi lucrul greșit
• Durata testului este prea scurtă

Să lucrăm cu același scenariu de mai sus, originalul (A) (control) vs noua variație (B). În acest caz, rezultatul nu arată nicio modificare a conversiei între cele două. În acest caz, puteți decide să păstrați versiunea originală sau să treceți la noua versiune, pe baza altor factori, cum ar fi preferințele personale.

În acest caz, Ipoteza Nulă (definiția de mai jos) este considerată corectă (incorect).

Testul a fost greșit și versiunea B a fost o opțiune mult mai bună, astfel încât scenariul poate duce la o decizie incorectă. Problema în acest scenariu este că este probabil să nu știți niciodată că versiunea B a fost mai bună. Asta cu excepția cazului în care eliminați eroarea înainte de retestare.

O eroare de tip 2 este atunci când ipoteza nulă (nicio diferență) este considerată corectă – incorect.

Testarea semnificației

Înainte de a rula testul, trebuie să calculați care ar trebui să fie nivelul de semnificație al testului. Aici decideți ce rezultat determină succesul.

În general, aceasta ar trebui să se bazeze pe ipoteza nulă, care este poziția implicită conform căreia nu există o diferență semnificativă între cele două.

Ce abatere pozitivă de la această poziție ar trebui să considerați semnificativă? Consensul general este că ar trebui să continuați să testați până când semnificația dvs. statistică este de cel puțin 90%, dar de preferință 95% sau peste, înainte de a lua o decizie bazată pe aceasta, sau cu alte cuvinte, încrederea dvs. în rezultat este de peste 95%.

Un alt factor care trebuie luat în considerare este dimensiunea eșantionului. Cu cât dimensiunea eșantionului este mai mică, cu atât marja de eroare este mai mare. Acest lucru înseamnă că, pe măsură ce ratele de conversie cresc, cu atât dimensiunea eșantionului de care aveți nevoie pentru a măsura îmbunătățirea este mai mică.

Consultați acest calculator pentru dimensiunea eșantionului pentru a înțelege ce vreau să spun prin aceasta și pentru a vedea ce dimensiune a eșantionului ar trebui să aibă testul dvs. A/B.

• În general, doar A/B testează câte o schimbare la un moment dat
• Nu testați A/B dacă aveți un site web mic, cu trafic redus, cu un volum de conversii sub 1000 pe lună. Doar că nu merită timpul tău.
• Asigurați-vă că testați ceea ce trebuie.