Ketika Pengujian A/B Tidak Layak

Untuk geeks pemasaran seperti Anda dan saya, tidak ada yang membuat darah mengalir seperti tes A/B. Mereka cepat berlari dan sangat memuaskan untuk melihat hasilnya mengalir masuk. Begitu kita mulai, kita pergi ke balapan, dan sulit membayangkan bagaimana kita bisa melakukannya tanpanya. Kalau saja kita bisa melakukan ini dengan segalanya: mainkan dua gulungan keputusan besar kita sekaligus untuk melihat pilihan mana yang benar.

Namun tanpa pertimbangan yang matang, pengujian A/B sebenarnya hanya membuang-buang waktu kita yang berharga. Berikut cara mendapatkan hasil maksimal dari pengujian A/B.

Apa itu pengujian A/B? Bagaimana cara kerjanya?

Pengujian A/B memungkinkan Anda menguji pengalaman atau pesan untuk melihat apakah itu dapat ditingkatkan. Dalam pengujian A/B, Anda memberi pengguna dua versi situs, aplikasi, atau fitur (versi A vs. B). Versi yang berkinerja terbaik, menurut metrik apa pun yang Anda lacak, menang.

Seseorang dapat menguji apa saja: tombol, font, ajakan bertindak, gaya konten editorial, dan bahkan detail tingkat berikutnya seperti kecepatan gulir, dengan menempatkan satu versi di depan kelompok pengguna pertama, biasanya kontrol (A), dan varian (B) di depan kumpulan pengguna kedua. Lalu lintas diacak sebanyak mungkin sehingga satu-satunya varian yang Anda uji adalah yang diubah di varian B. Anda dapat menguji beberapa variabel dan/atau beberapa varian dan ini dikenal sebagai pengujian multivariasi, topik untuk hari lain.

Gunakan pengujian A/B untuk menguji hipotesis

Gunakan pengujian A/B untuk menguji gagasan subjektif tentang cara menyelesaikan masalah dengan bukti objektif berbasis data yang akan mengonfirmasi apakah gagasan itu masuk akal.

Selesai dengan baik, pengujian A/B mengikuti resep dasar. Mulailah dengan masalah yang ingin Anda pecahkan. Mungkin Anda memiliki data atau riset pengguna yang menunjukkan bahwa ada masalah, atau hanya firasat yang didapat dari pengetahuan tentang produk dan audiens Anda.

Selanjutnya, kembangkan hipotesis yang mengidentifikasi apa yang tampaknya menjadi solusi terbaik untuk masalah Anda. Kemudian, jalankan tes Anda untuk mengumpulkan bukti empiris yang pada akhirnya akan membuktikan atau menyangkal hipotesis Anda. Terakhir, ambil tindakan berdasarkan apa yang telah Anda pelajari.

Apa yang harus diwaspadai sebelum Anda memulai pengujian A/B

Dalam studi De Tocqueville tahun 1835 tentang karakter Amerika ( Demokrasi di Amerika ), ia menulis bahwa di AS, "opini publik terbagi menjadi seribu menit perbedaan di atas pertanyaan-pertanyaan dari momen yang sangat sedikit."

De Tocqueville, tentu saja, tidak tahu seberapa relevan pernyataannya dalam konteks pemasaran digital dan seluler. Beberapa hasil tidak menjamin waktu yang dibutuhkan untuk menggali. Ketahui kapan waktunya untuk pengujian A/B, dan kapan waktu Anda mungkin lebih baik dihabiskan di tempat lain.

4 alasan untuk tidak menjalankan tes

1. Jangan uji A/B ketika: Anda belum memiliki lalu lintas yang berarti

Pengujian A/B telah menjadi begitu umum, sulit membayangkan dunia pengembangan produk atau seluler tanpanya. Namun, melompat ke ujung kolam pengujian yang dalam bahkan sebelum pergelangan kaki Anda basah bisa menjadi kesalahan.

Signifikansi statistik merupakan konsep penting dalam pengujian. Dengan menguji sekelompok pengguna yang cukup besar, Anda akan menentukan apa yang disukai rata-rata pengguna dan memperkecil kemungkinan bahwa preferensi yang Anda identifikasi sebenarnya merupakan hasil dari kesalahan pengambilan sampel.

Apakah Anda melihat pergerakan karena pengguna sebenarnya lebih menyukai varian daripada kontrol? Atau, misalnya, apakah Anda tanpa sadar menyajikan Varian A kepada orang-orang yang menyukai kucing dan Varian B kepada orang-orang yang membenci burger keju, yang berarti bahwa hasil Anda sebenarnya tidak memberi tahu Anda apa pun tentang rata-rata pengguna Anda? Untuk melindungi dari kesalahan pengambilan sampel semacam ini, Anda memerlukan ukuran sampel yang signifikan secara statistik. Bagaimana Anda mengetahui apakah hasil Anda cukup signifikan untuk menjamin tindakan? Matematika!

Anda dapat memulai dengan menggunakan kalkulator signifikansi A/B gratis ini ( atau yang ini , jika Anda mau). Setiap kalkulator membandingkan pengunjung dan konversi di kedua sisi varian A/B Anda, melakukan banyak perhitungan back-end , dan memberi Anda "tingkat kepercayaan" yang dinyatakan sebagai persentase, memberi tahu Anda bahwa pengujian Anda telah atau belum menghasilkan hasil yang Anda yakin dapat bertindak atas.

Menguji sesuatu yang Anda harapkan untuk membuat perbedaan besar dalam rasio konversi biasanya dapat dilakukan dengan lalu lintas yang lebih rendah, tetapi untuk menguji perubahan kecil, seperti warna tombol, Anda memerlukan ukuran sampel yang lebih besar. Jika Anda khawatir, bermain-main dengan kalkulator ini untuk melihat apakah lalu lintas Anda berada di tempat yang seharusnya sebelum Anda menjalankan pengujian A/B.

Jika Anda tidak memiliki cukup pengguna untuk menginformasikan hasil yang berarti, upaya Anda mungkin lebih baik dihabiskan untuk menarik lebih banyak pelanggan daripada bereksperimen. Jika Anda memutuskan untuk melanjutkan dan menjalankan pengujian saat basis pengguna Anda masih kecil, Anda mungkin perlu membiarkan pengujian Anda hidup selama berminggu-minggu sebelum Anda melihat hasil yang berarti.

2. Jangan uji A/B jika: Anda tidak dapat menghabiskan waktu dengan aman

Andrew Cohen, Pendiri & CEO Brainscape, dan instruktur di TechStars and General Assembly, mengatakan , “ Melakukan tes terpisah hanyalah tugas manajemen yang intensif , tidak peduli seberapa murah dan efisien plugin pengujian A/B … telah menjadi. Seseorang perlu mencurahkan waktu mereka untuk menentukan apa yang akan diuji, menyiapkan tes dan memverifikasi serta menerapkan hasil tes.”

Meskipun tugas-tugas ini dapat dijalankan dengan relatif mudah, Cohen menjelaskan, itu masih membutuhkan banyak, "bandwidth mental, yang merupakan sumber daya paling langka di perusahaan mana pun (terutama startup tahap awal)."

Luangkan waktu di awal untuk memutuskan apa yang harus Anda uji, jadi Anda memanfaatkan waktu pengujian A/B Anda sebaik mungkin.

3. Jangan uji A/B jika: Anda belum memiliki hipotesis yang tepat

Mengumpulkan informasi. Identifikasi masalah Anda. Tentukan hipotesis. Kemudian uji untuk melihat apakah Anda benar. Perlakukan tes A/B seperti sains nyata! Seorang ilmuwan yang baik tidak pernah memulai eksperimen tanpa hipotesis .

Untuk menentukan hipotesis Anda, ketahui masalah yang ingin Anda pecahkan, dan identifikasi sasaran konversi. Misalnya, katakanlah pelanggan Anda cenderung berhenti pada titik tertentu di corong konversi.

Masalahnya: pelanggan memuat barang ke keranjang mereka, tetapi tidak pernah menyelesaikan proses pembelian.

Berdasarkan sedikit riset pasar dan penilaian Anda sendiri, Anda yakin bahwa jika Anda menambahkan tombol yang mengatakan, "selesaikan pembelian saya", Anda akan dapat meningkatkan konversi. Penting juga untuk menentukan metrik keberhasilan Anda. Apa peningkatan terkecil dalam konversi yang Anda senang lihat? (Dan mengapa angka itu? Apa artinya bagi bisnis Anda secara keseluruhan untuk memenangkan peningkatan itu?) Ini juga terkait dengan perhitungan signifikansi statistik Anda. Untuk contoh ini, katakanlah Anda ingin meningkatkan konversi sebesar 20%.

Hipotesis ilmiah biasanya ditulis dalam format if/then. Jadi hipotesis Anda menjadi, “ Jika saya menambahkan tombol 'selesaikan pembelian saya', maka 20% lebih banyak orang akan mengikuti proses pembelian.”

Di akhir tes Anda, Anda akan memiliki beberapa keputusan untuk dibuat. Jika tes Anda positif dan mengkonfirmasi hipotesis Anda, selamat! Kamu menang. Hipotesis Anda sekarang menjadi teori yang terbukti (terbukti dalam persentase tingkat kepercayaan yang Anda capai, tentu saja). Jika bisnis Anda cukup gesit, Anda dapat segera melembagakan solusi permanen. Anda mungkin ingin terus menguji varian yang lebih kecil untuk melihat apakah ada lebih banyak ruang untuk meningkatkan kesuksesan pertama Anda.

Jika tes Anda negatif, dan hipotesis Anda tidak tepat sasaran, Anda juga menang! Ini berarti kendali Anda adalah formula kemenangan, dan Anda dapat terus menggunakannya dengan percaya diri. Namun, sekali lagi, Anda mungkin ingin menguji varian yang berbeda jika Anda tidak mendapatkan hasil yang Anda butuhkan. Lihat apakah ada cara lain untuk memecahkan masalah Anda, dan kembangkan hipotesis baru.

Jika tes Anda tidak meyakinkan, tinjau kembali masalah Anda. Apakah Anda yakin titik sakitnya ada di tempat yang Anda pikirkan? Apakah Anda memiliki lalu lintas yang cukup untuk menginformasikan hasil yang signifikan secara statistik? Ingat, bahwa jawaban atas apa yang membuat produk Anda sakit belum tentu ada dalam uji A/B.

4. Jangan melakukan uji A/B jika: risikonya rendah untuk segera mengambil tindakan

Lynn Wang , kepala pemasaran di Apptimize mengatakan , " Pengujian A/B harus dilewati dalam situasi di mana Anda tahu bahwa sebuah ide hampir pasti akan meningkatkan aplikasi Anda dan risiko yang terkait dengan ... mengimplementasikan ide itu rendah." Dia menambahkan, “ Tidak ada alasan untuk menghabiskan waktu dan sumber daya untuk menguji sesuatu yang mungkin baik dan memiliki risiko rendah. Melompat ke implementasi sangat disarankan. ”

Ini sangat berguna untuk diingat jika waktu Anda langka. Ingatlah bahwa hasil yang diberikan mungkin benar, dan pada saat yang sama, itu mungkin tidak penting.

Alat yang bagus hanya berguna seperti aplikasi pintarnya

Pengujian A/B adalah sumber daya yang luar biasa. Tindakan cerdas dan sederhana yang diambil berdasarkan hasil yang jelas dari pengujian yang diterapkan dengan baik telah melambungkan kesuksesan di seluruh lanskap digital . Bisnis yang sukses tahu kapan saatnya untuk bersabar, dan menjalankan ujian yang berarti. Mereka juga tahu kapan harus mengandalkan intuisi atau sumber informasi lain, dan bergerak maju tanpa jaring pengaman yang seharusnya dari periode pengujian yang berlarut-larut atau prematur yang sebenarnya tidak akan menambah nilai apa pun.