A/B Testi: Tip 1 ve Tip 2 Hata Nedir ve Nasıl Önlenir?

A/B testi yapmanın ana nedenlerinden biri, tekrarlanabilir doğrulanabilir sonuçlar elde etmektir. Bunu sağlamanın tek yolu bilimsel yöntemler kullanmaktır. Amaç, varsayımlardan, varsayımlardan ve varyasyonun en iyi olduğu herhangi bir kişisel duygudan bağımsız olarak nesnel gerçeği elde etmektir.

Ancak, bazen testçiler hatalar yapar ve bunlar kolayca gözden kaçabilir ve kötü sonuçlar doğurabilir. Pazarlamacılar, dönüşüm oranı optimizasyon çalışmaları sırasında A/B testi veya çok değişkenli testler yaptıklarında, her test çeşitli olası hata türlerine tabidir. Yaygın hata türleri, tip 1 hata ve tip 2 hatadır.

Araçların A/B testini ne kadar kolay hale getirdiğine rağmen, kullanıcı olarak siz, yanlış kararlar vermekten kaçınmak için hem bilimsel metodolojiyi hem de sonuçları nasıl yorumlayacağınızı anlamalısınız.

Testleri tasarlamak sizin işiniz ve deneysel tasarımda hataların ortaya çıktığı yer burasıdır. Hiçbir A/B test aracı bu hataları tespit edemez. Bunları meydana geldiklerinde tespit etmek ya da daha en başta meydana gelmelerini önlemek size kalmış.

Peki bu hatalar nelerdir, 1. tip ve 2. tip hata arasındaki fark nedir ve 1. tip hata ile 2. tip hatadan nasıl kaçınılır?

Hadi bulalım!

Yeni bir açılır pencere yerleşimi (varyasyon B) ve orijinal kontrol (varyasyon A) test edilirken yanlış pozitif oluşabilir. Daha duygusal olanı test etmek için arka plan resmini değiştirmeye karar verdiniz.

A varyasyonunu B varyasyonuna karşı çalıştırdıktan 10 gün sonra sonucu kontrol edersiniz. Sonuçlar net görünüyor ve dönüşümde büyük bir gelişme gösteriyor. Sonuç olarak, A/B testi sonuçlandırılır ve B varyasyonu kazanan olarak uygulanır.

Ancak birkaç ay sonra sonuçlar orijinalinden daha iyi değildi, aslında daha kötüydü.

Bu, yanlış pozitif ve tip 1 hata örneğidir.

Tip 1 hata, deneysel olarak test edilmiş bir sonuçtur; pozitif bir korelasyon öneren ve doğru olmadığı ortaya çıkan üstün bir seçeneği gösteren bir sonuçtur.

Bu nasıl mümkün olabilir?

Basitçe söylemek gerekirse, hataları ortaya çıkaran insan faktörüdür. Genellikle bu, neyin test edilmesi gerektiği konusunda yeterli araştırma yapılmamasının sonucudur. Testleri tasarlarken hesaba katılması gereken birçok olası değişken vardır, test hipotezinizin yanlış olması için yalnızca birini kaçırmanız yeterlidir.

Her şey eşit olsaydı, dış etkilerden arınmış olsaydı, bu A/B testinin sonuçları doğru sonuçlar verirdi. Kendinizi bu durumda bulursanız, bir şeyi kaçırdınız veya dış faktörlerin sonuçları etkilemesine izin verdiniz.

Nihayetinde bilimsel yönteminizde bir kusur vardı, mesele şu ki, test eden kişi olarak SİZ bunu hesaba katmadınız.

Bölünmüş testler neden başarısız oluyor?

• Kişiliğiniz çok geniş
• Örnek boyutunuz çok küçük
• yanlış şeyi test ediyorsun
• Test süreniz çok kısa

Orijinal (A) (kontrol) ile yeni varyasyon (B) arasındaki yukarıdaki aynı senaryo ile çalışalım. Bu durumda, sonuç, ikisi arasında dönüşümde bir değişiklik göstermez. Bu durumda, kişisel tercih gibi diğer faktörlere bağlı olarak, orijinalini korumaya veya yeni sürüme geçmeye karar verebilirsiniz.

Bu durumda, Boş Hipotezi (aşağıdaki tanım) doğru (yanlış) olarak kabul edilir.

Test hatalıydı ve B versiyonu çok daha iyi bir seçenekti, bu nedenle senaryo potansiyel olarak yanlış bir karara yol açıyor. Bu senaryodaki sorun, B sürümünün daha iyi olduğunu asla bilemeyecek olmanızdır. Bu, yeniden test etmeden önce hatayı ortadan kaldırmadığınız sürece geçerlidir.

Tip 2 hata, boş hipotezin (fark yok) doğru – yanlış olarak kabul edilmesidir.

Test önemi

Testinizi çalıştırmadan önce, test için önem düzeyinin ne olması gerektiğini hesaplamanız gerekir. Burada hangi sonucun başarıyı belirlediğine siz karar veriyorsunuz.

Genellikle bu, ikisi arasında önemli bir fark olmadığı varsayılan konum olan Boş Hipoteze dayanmalıdır.

Bu pozisyondan hangi pozitif sapmayı önemli görmelisiniz? Genel fikir birliği, buna dayalı bir karar vermeden önce istatistiksel anlamlılığınız en az %90, ancak tercihen %95 veya üzeri olana kadar veya başka bir deyişle sonuca olan güveniniz %95'in üzerinde olana kadar teste devam etmeniz gerektiğidir.

Dikkate alınması gereken bir diğer faktör de örneklem büyüklüğüdür. Örnek boyutu ne kadar küçük olursa, hata payı o kadar büyük olur. Bunun anlamı, dönüşüm oranlarınız yükseldikçe, iyileştirmeyi ölçmek için ihtiyaç duyduğunuz örnek boyutu küçülür.

Bununla ne demek istediğimi anlamak ve A/B testinizin hangi numune boyutuna sahip olması gerektiğini görmek için bu numune boyutu hesaplayıcısına göz atın.

• Genellikle bir seferde yalnızca A/B testi bir değişiklik
• Dönüşüm hacmi ayda 1000'in altında olan, düşük trafikli küçük bir web siteniz varsa A/B testi yapmayın. Sadece zaman ayırmaya değmez.
• Doğru şeyi test ettiğinizden emin olun.