Blog Personalisasi E-niaga

Diterbitkan: 2020-12-11

Apa tes ab e-niaga yang paling efektif? Meskipun Anda dapat menggunakan kerangka kerja pengujian AB apa pun dengan Barilliance, kami telah menemukan sejumlah praktik terbaik yang menghasilkan pengalaman pelanggan terbaik.


Pertama, kami mendefinisikan konsep pengujian seperti pengujian AB, bandit bersenjata lengkap, dan ukuran audiens. Kedua, kami akan merinci manfaat yang dijanjikan pengujian AB. Terakhir, kami akan menguraikan praktik terbaik pengujian AB, dan mengilustrasikannya dengan contoh.

Jika Anda ingin langsung beralih ke praktik terbaik pengujian AB, klik di sini.


Daftar isi
Apa itu tes AB? (dalam lingkungan eCommerce)
Manfaat Pengujian AB: Cara Menggunakan Pengujian untuk Meningkatkan Toko eCommerce
Manfaat Pengujian AB 1: Meningkatkan ROI dari Lalu Lintas Saat Ini
Manfaat Pengujian AB 2: Meningkatkan pengalaman pelanggan
Manfaat Pengujian AB 3: Meningkatkan interaksi pelanggan di luar lokasi
Tes AB mana yang harus saya lakukan terlebih dahulu?
1. Titik sentuh lalu lintas tinggi
2. Segmen pelanggan penting
3. Identifikasi kemacetan
Praktik Terbaik Pengujian AB: Bagaimana melakukan Tes AB dengan cara yang benar
1. Tentukan kriteria kesuksesan Anda
2. Eksplorasi keseimbangan vs pengoptimalan - pertimbangkan pengungkit besar.
3. Optimalkan ukuran sampel Anda
4. Jangan percaya rata-rata. Segmentasikan hasil Anda
Contoh Tes AB yang Berhasil
Bagaimana MOO menggunakan pengujian AB untuk meningkatkan konversi
Langkah selanjutnya...

Apa itu tes AB? (dalam lingkungan eCommerce)

Pengujian AB adalah jenis eksperimen terkontrol yang spesifik. Tes AB digunakan untuk menentukan pilihan terbaik dari kisaran yang mungkin. Dalam konteks eCommerce, ini dapat menentukan penawaran mana yang akan ditampilkan, produk apa yang direkomendasikan, atau bahkan gambar atau tata letak produk mana yang paling sesuai untuk kriteria keberhasilan tertentu.


Seperti tes bandit multi-lengan lainnya, ada dua bagian yang berbeda. Pertama, ada fase eksplorasi di mana banyak opsi dipertimbangkan. Setelah pemenang ditentukan, tahap kedua eksploitasi dimulai. Pada fase ini, pemenang dipilih dan yang kalah dibuang.

Tes AB yang dibangun dengan benar terdiri dari bagian-bagian berikut:

  • Hipotesis - pernyataan yang dapat diuji memprediksi apa yang akan terjadi dalam tes.
  • Variabel Independen - Variabel independen adalah apa yang kita ubah untuk melihat pengaruhnya. Dalam konteks pengujian AB eCommerce, ini mungkin mengubah bundel yang kami tawarkan, atau insentif yang berbeda (seperti pengiriman gratis vs diskon).
  • Variabel Dependen (Kriteria Sukses) - Variabel dependen adalah bagaimana kita mengukur kesuksesan. Untuk pengujian AB eCommerce, variabel dependen sering kali merupakan KPI yang Anda coba tingkatkan seperti tingkat konversi, peningkatan nilai pesanan rata-rata, atau pesanan berulang.
  • Grup Uji dan Kontrol - Grup uji dan kontrol adalah pengunjung, prospek, atau pelanggan yang mengalami variabel independen yang berbeda dan yang tindakannya mewakili variabel dependen.

“Tes AB digunakan untuk menentukan opsi terbaik dari kisaran yang mungkin.

Meskipun mendefinisikan pengujian AB itu bagus, akan sangat membantu untuk memberikan beberapa contoh ilustratif tentang bagaimana pengujian AB dapat bermanfaat bagi toko eCommerce.

Manfaat Pengujian AB: Cara Menggunakan Pengujian untuk Meningkatkan Toko eCommerce

Ingatlah bahwa tes AB menentukan opsi terbaik dari kisaran yang mungkin. Dengan mengingat hal ini, kita dapat dengan cepat melalui sejumlah peluang pengujian AB.

Kami dapat menguji penawaran apa yang paling sesuai dengan pelanggan yang kembali.

Kami dapat menguji rekomendasi produk mana yang paling cocok untuk sku produk tertentu.

Pengalaman pelanggan juga dapat diuji. Misalnya, kami dapat menguji untuk melihat apakah pop-up sambutan berkinerja lebih baik daripada bilah pesan.

Manfaat Pengujian AB 1: Meningkatkan ROI dari Lalu Lintas Saat Ini

Sebagai alat dasar dalam pengoptimalan tingkat konversi, pengujian memaksimalkan kemampuan Anda untuk memonetisasi lalu lintas yang ada.


Dengan menggunakan pengujian AB, Anda dapat:

  • Langsung melipatgandakan keuntungan
  • Turunkan biaya per akuisisi pelanggan
  • Buka kunci saluran untuk menghasilkan prospek
  • Tingkatkan manfaat & pembayaran afiliasi tanpa memengaruhi laba

Beranda 2016

Beranda 2018

Manfaat Pengujian AB 2: Meningkatkan pengalaman pelanggan

Sebagai alat untuk perangkat lunak personalisasi, pengujian membuka kunci peningkatan informasi berdasarkan data untuk pengalaman pelanggan Anda.

Sementara Barilliance menggunakan pembelajaran mesin untuk secara otomatis mengoptimalkan pengalaman yang dipersonalisasi, Anda juga memiliki pilihan untuk mengganti pengalaman berbasis mesin dengan varian berbasis aturan.

Ini sangat membantu saat Anda memiliki acara, liburan, produk, kategori, atau kampanye baru yang akan datang.

Dalam hal ini, penting untuk memanfaatkan pengujian untuk mendapatkan hasil terbaik.

  • Tingkatkan penemuan produk
  • Personalisasi konten berbasis aturan yang lebih baik

Di atas adalah pratinjau editor langsung Barilliance. Pelanggan menggunakannya untuk membuat pengalaman yang dipersonalisasi dengan cepat tanpa memerlukan sumber daya pengembang.

Manfaat Pengujian AB 3: Meningkatkan interaksi pelanggan di luar lokasi

Terakhir, pengujian AB dapat, dan harus, diterapkan pada semua pengalaman pelanggan. Untuk menjalankan strategi omnichannel secara efektif, kemampuan pengujian mutlak diperlukan.

Beberapa manfaat pengujian AB di luar situs termasuk

  • Pengabaian keranjang dan jelajahi kampanye pengabaian yang lebih efektif .
  • Buat urutan email sambutan kelas dunia .
  • Kampanye media sosial seperti Facebook messenger

Di atas, Instacart mengulangi kampanye aktivasi mereka. Dalam email ini, mereka memperkenalkan penawaran baru, diskon tambahan $5.

Tes AB mana yang harus saya lakukan terlebih dahulu?

Setiap bisnis memiliki sumber daya yang terbatas.

Dalam pengujian, kualitas dan jumlah pengujian yang dapat Anda jalankan akan dibatasi oleh:

  • Ukuran Audiens - Ukuran audiens akan menentukan berapa banyak tes yang dapat Anda jalankan dan masih sampai pada hasil yang konklusif.
  • Waktu - Anda harus menyeimbangkan upaya pengujian AB dengan tanggung jawab berkelanjutan seperti pembuatan kampanye, persiapan liburan, dan operasi lainnya.
  • Keahlian - demikian juga, pengujian AB memerlukan berbagai keahlian yang mungkin terbatas pada tim Anda. Ini termasuk desain, copywriting, dan sumber produk.
  • Pendanaan - Pada akhirnya, semua kendala lain lebih lanjut dibatasi oleh pertimbangan pendanaan.

Mengingat kendala ini, pertanyaan berikutnya adalah tes apa yang harus Anda lakukan?


Meskipun konteks bisnis Anda akan unik, berikut adalah beberapa panduan untuk membantu Anda mengidentifikasi pengujian AB terbaik untuk dijalankan.

1. Titik sentuh lalu lintas tinggi

Bagian mana dari pengalaman pelanggan Anda yang paling banyak dialami pelanggan?

Misalnya, jika satu kategori produk menyumbang 75% dari penjualan, Anda harus memprioritaskan tes AB di area itu terlebih dahulu. Di sisi lain, jika kategori lain saat ini menerima lalu lintas marjinal, tunggu untuk mengoptimalkan bagian-bagian ini sampai Anda mendapatkan kemenangan di area perdagangan yang lebih tinggi.

2. Segmen pelanggan penting

Kedua, segmen pelanggan apa yang penting bagi bisnis Anda?

Sebaiknya gunakan Analisis RFM untuk menentukan segmen pelanggan yang paling penting bagi bisnis Anda.

3. Identifikasi kemacetan

Terakhir, pertimbangkan hambatan apa yang ada dalam bisnis Anda.


Kemacetan adalah tempat di mana setiap pelanggan harus melewatinya. Untuk sebagian besar toko eCommerce, ini termasuk proses checkout Anda, halaman produk, dan mungkin iklan.

Praktik Terbaik Pengujian AB: Bagaimana melakukan Tes AB dengan cara yang benar

Ada banyak cara untuk sukses dengan optimasi eCommerce. Namun, kami menemukan bahwa praktik terbaik ini menghasilkan hasil yang lebih konsisten dan lebih cepat.

1. Tentukan kriteria kesuksesan Anda

Tanyakan pada diri Anda, "Apa yang akan membuat tes ini berhasil?" Anda harus mengidentifikasi satu KPI terbaik untuk mengevaluasi tes.

Biasanya, metrik evaluasi Anda akan menjadi metrik gabungan, seperti laba atas investasi pemasaran. Ini harus menjadi prediksi hasil jangka panjang.

Harvard Business Review memiliki tulisan yang sangat baik yang merinci sejumlah tantangan yang dihadapi Bing dalam menentukan metrik mana yang akan diprioritaskan.

Meskipun pada awalnya mungkin tampak bahwa pendapatan yang dihasilkan akan menjadi metrik yang baik, mereka menemukan bahwa mereka dapat memanipulasi pendapatan dengan menambahkan lebih banyak iklan. Sayangnya, metrik tersebut tidak sepenuhnya menangkap biaya peningkatan pendapatan ini - yaitu pengalaman pelanggan yang lebih buruk dan pada akhirnya lebih sedikit orang yang menggunakan Bing.

Tim datang dengan alternatif. Mereka ingin fokus pada pengalaman pelanggan terlebih dahulu, sehingga metrik utamanya adalah meminimalkan jumlah kueri yang diperlukan untuk menyelesaikan satu sesi, namun memaksimalkan jumlah sesi per pengguna.

2. Eksplorasi keseimbangan vs pengoptimalan - pertimbangkan pengungkit besar.

Ada ketegangan konstan antara mengeksplorasi kemungkinan baru dan mengeksploitasi temuan sebelumnya.

Dengan pengujian AB, Anda mungkin tergoda untuk menghindari desain ulang yang besar dan sebagai gantinya hanya fokus pada pengoptimalan yang lebih kecil. Namun, terobosan besar lebih mungkin datang dari pengungkit besar - perubahan besar dalam penawaran atau desain Anda.

Pastikan Anda meninggalkan ruang untuk eksperimen yang lebih besar ini.

3. Optimalkan ukuran sampel Anda

Salah satu kesalahpahaman umum adalah bahwa ukuran audiens kontrol dan pengujian Anda harus sama.

Yang benar adalah, kontrol Anda mewakili pemenang dari semua tes AB sebelumnya. Ini adalah pengalaman efektif yang dicoba dan benar yang menghasilkan penjualan.

Karena itu, paling umum untuk mendedikasikan lebih banyak lalu lintas ke grup kontrol, sambil mencari peningkatan dengan persentase lalu lintas yang lebih kecil.

Di sisi lain, jika Anda ingin meningkatkan hasil pengujian yang dapat Anda lakukan, Anda dapat meningkatkan lalu lintas yang didedikasikan untuk grup pengujian.

4. Jangan percaya rata-rata. Segmentasikan hasil Anda

Tes AB Anda akan memiliki hasil yang beragam. Ini akan berdampak positif bagi beberapa pengunjung, dan berdampak negatif bagi yang lain.

Jika Anda hanya memercayai angka agregat, Anda berisiko mengasingkan seluruh segmen pelanggan.

Jawabannya adalah dengan memecah hasil berdasarkan segmen pelanggan. Jika Anda belum menetapkan segmen yang ditentukan dalam alat personalisasi Anda, saya sarankan menjalankan Analisis RFM untuk mengidentifikasi segmen prioritas tinggi.

Pada akhirnya, Anda ingin mengisolasi grup pelanggan tertentu tempat eksperimen bekerja, lalu membuat pemenang ditampilkan hanya untuk segmen tersebut dan segmen tersebut.

Otomatiskan Analisis RFM Anda:

Barilliance menghubungkan data pelanggan offline dan online Anda. Anda dapat menentukan segmen sebanyak yang Anda suka, secara otomatis mendaftarkan pelanggan berdasarkan tindakan mereka, dan memicu sejumlah kampanye pemasaran. Pelajari lebih lanjut di sini .

Contoh Tes AB yang Berhasil

Kami memiliki kumpulan contoh pengujian AB eCommerce yang berhasil di sini.

Dalam panduan itu, kami menguraikan secara rinci contoh tes. Di sini, kami akan secara singkat menampilkan pengujian dari toko eCommerce yang lebih besar.

Bagaimana MOO menggunakan pengujian AB untuk meningkatkan konversi

Moo adalah toko eCommerce terkemuka di kartu nama dan ruang stasioner.


Di atas adalah tangkapan layar beranotasi dari beranda mereka saat ini di paro atas. Di bawah ini kami memiliki halaman yang sama, hanya satu tahun yang lalu.

Moo 2019

Membandingkan dua halaman, ada enam peningkatan besar yang telah diterapkan oleh tim di Moo. Untuk rincian lengkap tentang apa peningkatan ini dan mengapa mereka berhasil, klik di sini.

Langkah selanjutnya...

Untuk melakukan pengujian AB dengan benar, Anda memerlukan mitra personalisasi.

Kami menulis panduan terperinci tentang cara memilih mitra personalisasi untuk toko eCommerce Anda di sini.

Namun, singkatnya, Anda menginginkan teknologi yang dapat menghubungkan data Anda di satu tempat, mengidentifikasi segmen yang menguntungkan, dan memberikan pengalaman yang dipersonalisasi dan pengujian AB yang ditargetkan untuk segmen tersebut.

Jika Anda ingin melihat mengapa ratusan toko eCommerce perusahaan memilih Barilliance sebagai solusi pengujian AB mereka, minta demo di sini.