A/B Testine Değer Vermediğinde

Senin ve benim gibi pazarlama meraklıları için hiçbir şey kanın A/B testi gibi akmasını sağlayamaz. Hızlı koşarlar ve sonuçların akışını izlemek son derece tatmin edicidir. Bir kez başladığımızda, yarışlara gidiyoruz ve onsuz nasıl yaptığımızı hayal etmek zor. Keşke bunu her şeyle yapabilseydik: Hangi seçimlerin doğru olduğunu görmek için büyük yaşam kararlarımızın iki makarasını aynı anda oynayın.

Ancak dikkatli bir değerlendirme yapılmadan, A/B testi aslında değerli zamanımızı boşa harcayabilir. A/B testinden en iyi şekilde nasıl yararlanabileceğiniz aşağıda açıklanmıştır.

A/B testi nedir? O nasıl çalışır?

A/B testi, geliştirilip geliştirilmeyeceğini görmek için bir deneyimi veya mesajı test etmenize olanak tanır. Bir A/B testinde, kullanıcılara bir sitenin, uygulamanın veya özelliğin iki sürümünü sunarsınız (sürüm A ve B). İzlediğiniz metrik ne olursa olsun en iyi performansı gösteren sürüm kazanır.

Kişi hemen hemen her şeyi test edebilir: düğmeler, yazı tipleri, harekete geçirme ifadeleri, editoryal içerik stilleri ve hatta kaydırma hızı gibi sonraki düzey ayrıntılar, bir sürümü ilk kullanıcı grubunun önüne, genellikle kontrol (A) ve ikinci bir kullanıcı grubunun önünde bir değişken (B). Trafik mümkün olduğunca rastgele dağıtılır, bu nedenle test ettiğiniz tek varyant B varyantında değiştirilen varyanttır. Birden fazla değişkeni ve/veya birden fazla varyantı test edebilirsiniz ve bu, başka bir günün konusu olan çok değişkenli test olarak bilinir.

Bir hipotezi test etmek için A/B testini kullanın

Fikirlerin sağlam olup olmadığını doğrulayacak nesnel, veriye dayalı kanıtlarla bir sorunun nasıl çözüleceğine ilişkin öznel fikirleri test etmek için A/B testini kullanın.

İyi yapıldığında, A/B testi temel bir tarifi takip eder. Çözmek istediğiniz bir problemle başlayın. Belki bir sorun olduğunu gösteren verileriniz veya kullanıcı araştırmalarınız var ya da yalnızca ürününüz ve hedef kitlenizle ilgili bilgilerden elde edilen bilinçli bir önseziniz var.

Ardından, probleminize en iyi çözüm olarak görünen şeyi tanımlayan bir hipotez geliştirin. Ardından, hipotezinizi eninde sonunda kanıtlayacak veya çürütecek ampirik kanıtlar toplamak için testinizi çalıştırın. Son olarak, öğrendiklerinize göre harekete geçin.

A/B testine başlamadan önce nelere dikkat etmelisiniz?

De Tocqueville'in 1835'te Amerikan karakteri ( Democracy in America ) üzerine yaptığı çalışmada, ABD'de “kamuoyu, çok küçük sorular üzerine bin dakikalık farklılığın tonlarına bölünmüştür” diye yazmıştı.

De Tocqueville, elbette, sözlerinin dijital ve mobil pazarlama bağlamında ne kadar alakalı olabileceği hakkında hiçbir fikri yoktu. Bazı sonuçlar, ortaya çıkmaları için gereken süreyi garanti etmez. A/B testi zamanının ne zaman geldiğini ve zamanınızın ne zaman başka bir yerde daha iyi harcanabileceğini bilin.

Test yapmamak için 4 neden

1. Şu durumlarda A/B testi yapmayın: Henüz anlamlı bir trafiğiniz yoksa

A/B testi o kadar yaygın hale geldi ki, mobil veya ürün geliştirme dünyasını onsuz hayal etmek zor. Yine de, daha bileklerinizi ıslatmadan test havuzunun derinlerine atlamak bir hata olabilir.

İstatistiksel önem, test etmede önemli bir kavramdır. Yeterince büyük bir kullanıcı grubunu test ederek, ortalama bir kullanıcının neyi tercih ettiğini belirleyecek ve belirlediğiniz tercihin aslında örnekleme hatasının sonucu olma olasılığını azaltacaksınız.

Kullanıcılar kontrol yerine varyantı tercih ettikleri için hareket mi gördünüz? Veya örneğin, bilmeden Kedileri seven insanlara Varyant A'yı ve çizburgerlerden nefret edenlere Varyant B'yi mi sundunuz, yani sonuçlarınız size ortalama kullanıcınız hakkında hiçbir şey söylemiyor mu? Bu tür bir örnekleme hatasına karşı korunmak için istatistiksel olarak anlamlı bir örneklem büyüklüğüne ihtiyacınız vardır. Sonuçlarınızın harekete geçmeyi garanti edecek kadar önemli olup olmadığını nasıl anlarsınız? Matematik!

Bu ücretsiz A/B önem hesaplayıcısını ( veya isterseniz bunu) kullanarak başlayabilirsiniz . Her hesap makinesi, A/B varyantınızın her iki tarafındaki ziyaretçileri ve dönüşümü karşılaştırır, bir dizi arka uç matematiği yapar ve size yüzde olarak ifade edilen bir "güven düzeyi" vererek, testinizin sonuç alıp almadığını bilmenizi sağlar. güvenle hareket edebileceğiniz sonuçlar.

Dönüşüm oranında büyük bir fark yaratmasını beklediğiniz bir şeyi test etmek genellikle daha düşük trafikle yapılabilir, ancak bir düğmenin rengi gibi küçük değişiklikleri test etmek için daha büyük bir örnek boyutuna ihtiyacınız olacaktır. Endişeniz varsa, bir A/B testi yapmadan önce trafiğinizin olması gereken yerde olup olmadığını görmek için bu hesap makinesiyle oynayın .

Anlamlı sonuçları bildirmek için yeterli kullanıcınız yoksa, çabalarınızı denemek yerine daha fazla müşteri çekmek için harcamanız daha iyi olabilir. Kullanıcı tabanınız hala küçükken bir test çalıştırmaya karar verirseniz, anlamlı sonuçlar görmeden önce testinizi haftalarca canlı bırakmanız gerekebilir.

2. Aşağıdaki durumlarda A/B testi yapmayın: zamanı güvenli bir şekilde geçiremiyorsanız

Brainscape'in Kurucusu ve CEO'su ve TechStars ve Genel Kurul'da eğitmen olan Andrew Cohen, “ A /B testi eklentileri ne kadar ucuz ve verimli hale gelirse gelsin, bölünmüş testler yapmak yönetim açısından yoğun bir iştir. Birisinin zamanını neyin test edileceğini belirlemeye, testi kurmaya ve testin sonuçlarını doğrulamaya ve uygulamaya ayırmaya ihtiyacı var.”

Cohen, bu görevlerin göreceli olarak kolaylıkla gerçekleştirilebilmesine rağmen, yine de bol miktarda, “herhangi bir şirkette (özellikle erken aşamadaki bir başlangıç) en kıt kaynak olan zihinsel bant genişliği” gerektirdiğini açıklıyor.

Neyi test etmeniz gerektiğine karar vermek için önceden zaman harcayın, böylece A/B testi zamanınızı en iyi şekilde değerlendirirsiniz.

3. Aşağıdaki durumlarda A/B testi yapmayın: Henüz bilgilendirilmiş bir hipoteziniz yoksa

Bilgi toplamak. Sorununuzu tanımlayın. Bir hipotez tanımlayın. Sonra haklı olup olmadığınızı test edin. A/B testine gerçek bilim gibi davranın! İyi bir bilim adamı asla bir deneye hipotez olmadan başlamaz .

Hipotezinizi tanımlamak için çözmek istediğiniz sorunu bilin ve bir dönüşüm hedefi belirleyin. Örneğin, müşterilerinizin dönüşüm hunisinin belirli bir noktasında ayrılma eğiliminde olduğunu varsayalım.

Sorun: müşteriler ürünleri sepetlerine yüklüyor, ancak satın alma sürecini asla bitirmiyor.

Biraz pazar araştırmasına ve kendi bilgili yargınıza dayanarak, "satın almamı bitir" yazan bir düğme eklerseniz, dönüşümü artırabileceğinizi düşünüyorsunuz. Başarı ölçütünüzü tanımlamanız da önemlidir. Görmekten mutlu olacağınız dönüşümdeki en küçük artış nedir? (Ve neden bu sayı? Bu artışı elde etmek, bir bütün olarak işletmeniz için ne anlama geliyor?) Bu, istatistiksel anlamlılık hesaplamalarınızla da bağlantılıdır. Bu örnek için, dönüşümü %20 artırmak istediğinizi varsayalım.

Bilimsel bir hipotez genellikle eğer/öyleyse biçiminde yazılır. Böylece hipoteziniz şu olur: " Satın almamı bitir" düğmesi eklersem , satın alma sürecini %20 daha fazla insan takip edecek .

Testinizin sonunda, vermeniz gereken bazı kararlar olacak. Testiniz pozitifse ve hipotezinizi doğrularsa, tebrikler! Sen kazandın. Hipoteziniz artık kanıtlanmış bir teoridir (elbette elde ettiğiniz yüzde güven düzeyi dahilinde kanıtlanmıştır). İşletmeniz yeterince çevikse, hemen kalıcı bir çözüm oluşturabilirsiniz. İlk başarınızı geliştirmek için daha fazla alan olup olmadığını görmek için daha küçük varyantları test etmeye devam etmek isteyebilirsiniz.

Testiniz negatifse ve hipoteziniz isabetli değilse, siz de kazanırsınız! Bu, kontrolünüzün kazanan formül olduğu ve bunu güvenle kullanmaya devam edebileceğiniz anlamına gelir. Yine de, ihtiyacınız olan sonuçları almıyorsanız farklı varyantları test etmek isteyebilirsiniz. Sorununuzu çözmenin başka bir yolu olup olmadığına bakın ve yeni bir hipotez geliştirin.

Testiniz sonuçsuzsa, sorununuzu tekrar gözden geçirin. Ağrı noktasının düşündüğünüz yer olduğundan emin misiniz? İstatistiksel olarak anlamlı sonuçları bildirmek için yeterli trafiğiniz var mı? Ürününüze neyin zarar verdiğinin cevabının mutlaka bir A/B testinde olmayabileceğini unutmayın.

4. Aşağıdaki durumlarda A/B testi yapmayın: hemen harekete geçme riski düşükse

Apptimize pazarlama müdürü Lynn Wang , " Bir fikrin uygulamanızı iyileştireceğini neredeyse kesin olarak bildiğiniz ve fikrin uygulanmasıyla ilgili risklerin düşük olduğu durumlarda A/B testi atlanmalıdır" diyor . “ Muhtemelen iyi ve düşük riskli bir şeyi test etmek için zaman ve kaynak harcamak için hiçbir neden yok. Uygulamaya atlamak kesinlikle tavsiye edilir.”

Bu, zamanınızın az olup olmadığını hatırlamak için özellikle yararlıdır. Belirli bir sonucun doğru olabileceğini ve aynı zamanda önemsiz olabileceğini unutmayın.

İyi bir araç, yalnızca akıllı uygulaması kadar faydalıdır

A/B testi inanılmaz bir kaynaktır. İyi uygulanmış testlerden elde edilen net sonuçlara dayalı olarak alınan akıllı, basit eylemler , dijital ortamda başarıyı fırlattı . Başarılı işletmeler ne zaman sabırlı olunacağını bilir ve anlamlı bir test gerçekleştirir. Ayrıca sezgilerine veya diğer bilgi kaynaklarına ne zaman güveneceklerini bilirler ve aslında herhangi bir değer katmayacak uzun veya erken bir test döneminin varsayılan güvenlik ağı olmadan ilerlerler.