Ubah Cara Anda Mendekati Eksperimen dengan Kerangka Kerja 7 Langkah Ini

Eksperimen sangat penting untuk tim produk. Tetapi jika Anda salah melakukannya, Anda mungkin juga tidak melakukannya sama sekali. Agar eksperimen Anda bermanfaat, dapat diprediksi, dan berkelanjutan, Anda memerlukan sistem yang menyelaraskan pengujian Anda seputar pertumbuhan bisnis dan masalah pelanggan.

Mengapa Anda membutuhkan kerangka eksperimen

Eksperimen memungkinkan tim untuk bekerja dengan mindset berkembang, di mana mereka beroperasi dengan pemahaman bahwa pengetahuan mereka tentang produk dan penggunanya dapat berubah. Mereka dapat menerapkan metode ilmiah untuk menjembatani kesenjangan persepsi dan realitas yang secara alami terjadi dalam penskalaan produk dan menyelaraskan dengan apa yang sebenarnya dibutuhkan pelanggan.

Ketika tim bereksperimen dengan cara ad hoc, program eksperimen gagal dan organisasi menghentikan eksperimen dari proses pengambilan keputusan internal mereka. Kerangka kerja menghindari situasi tersebut dengan memastikan eksperimen Anda bermanfaat bagi pengguna dan, dengan demikian, bisnis Anda.

Eksperimen adalah kunci untuk membuat keputusan yang memiliki dampak bisnis yang berarti. Intuisi saja sudah bagus, dan mungkin memberi Anda hasil yang baik, tetapi proses pengambilan keputusan Anda tidak akan berkelanjutan atau dapat diandalkan.

Eksperimen membantu Anda mengembangkan mindset berkembang

Ketika eksperimen menjadi bagian integral dari pekerjaan Anda, ada baiknya Anda beralih dari mindset tetap—di mana Anda tidak pernah memperbarui apa yang Anda yakini tentang produk Anda—dan bekerja dengan mindset berkembang. Alih-alih mengandalkan asumsi Anda, Anda terus belajar dan memperbarui pengetahuan Anda. Kemudian, Anda dapat membuat keputusan terbaik untuk bisnis dan pelanggan Anda.

Eksperimen membantu Anda memperbarui naluri dan membuat keputusan yang lebih baik

Jika Anda tidak bereksperimen, Anda membuat keputusan berdasarkan intuisi atau apa yang dianggap benar oleh suara paling keras di ruangan itu. Dengan eksperimen reguler, Anda dapat mengambil keputusan berdasarkan pembelajaran dari data.

Anda mungkin berhasil membuat keputusan intuitif untuk waktu yang lama, tetapi sulit untuk mengukur intuisi di seluruh perusahaan seiring pertumbuhannya. Anda juga tidak bisa tahu kapan intuisi Anda menjadi usang dan salah.

Saat organisasi tumbuh dan berubah, intuisi Anda—apa yang Anda yakini tentang produk, pelanggan, dan jalur tindakan terbaik Anda—akan terus-menerus kadaluarsa. Ketika Anda belajar dari eksperimen, Anda dapat mengasah dan memperbarui intuisi Anda berdasarkan data yang Anda dapatkan.

Eksperimen membantu Anda tetap dekat dengan pelanggan

Eksperimen memungkinkan Anda meminimalkan kesenjangan persepsi dan realitas (jarak antara apa yang menurut Anda diinginkan pengguna dan apa yang sebenarnya mereka inginkan ). Saat Anda berada di tahap awal produk dan berupaya menemukan kecocokan produk-pasar, Anda dekat dengan pelanggan. Anda berbicara dengan mereka, dan Anda menyadari emosi dan kebutuhan mereka.

Namun saat Anda mulai menskalakan, kesenjangan persepsi dan realitas tumbuh. Anda harus bersaing dengan pelanggan yang berniat lebih rendah dan pengguna yang berdekatan. Anda tidak dapat berbicara dengan pelanggan seperti yang Anda lakukan pada tahap pengembangan produk awal karena jumlah mereka terlalu banyak. Eksperimen membantu Anda menemukan area di mana intuisi Anda salah sehingga Anda dapat mengurangi kesenjangan persepsi saat Anda mengukur.

Mengapa program eksperimen gagal

Program eksperimen sering gagal ketika orang menggunakan eksperimen sebagai taktik satu kali daripada proses yang berkelanjutan. Orang-orang juga salah menargetkan eksperimen mereka karena mereka mengharapkan eksperimen mereka menghasilkan kemenangan daripada pembelajaran.

Eksperimen bersifat ad hoc

Tim sering melihat eksperimen sebagai cara tersendiri untuk memvalidasi intuisi seseorang di area tertentu. Eksperimen ad hoc mungkin atau mungkin tidak memberikan hasil yang baik, tetapi hasil tersebut tidak dapat diprediksi, dan itu bukan cara operasi yang berkelanjutan.

Eksperimen memiliki tujuan yang salah

Saat orang mengharapkan eksperimen menghasilkan peningkatan, mereka salah menyasar eksperimennya. Meskipun mendapatkan kemenangan dari eksperimen Anda terasa menyenangkan, kekalahan lebih berharga. Kerugian menunjukkan di mana Anda memiliki keyakinan yang salah tentang produk atau pengguna Anda, sehingga Anda dapat memperbaiki keyakinan tersebut di masa mendatang.

Eksperimen tidak diselaraskan dengan pengungkit pertumbuhan atau dibingkai di sekitar masalah pelanggan

Eksperimen menyebabkan masalah jika Anda tidak menyelaraskannya dengan pengungkit pertumbuhan yang menjadi fokus bisnis karena itu berarti eksperimen tersebut tidak berguna bagi organisasi Anda. Sama halnya, hanya berfokus pada hasil bisnis alih-alih membingkai eksperimen seputar masalah pelanggan yang akan menciptakan masalah. Jika Anda hanya memikirkan masalah bisnis, Anda menginterpretasikan data Anda dengan cara yang bias dan mengembangkan solusi yang tidak bermanfaat bagi pengguna.

Apa yang terjadi ketika program percobaan gagal?

Ketika program eksperimen gagal atau diimplementasikan secara tidak tepat, organisasi kehilangan kepercayaan dalam eksperimen dan terlalu bergantung pada intuisi. Mereka berhenti mempercayai mereka sebagai jalan untuk mengembangkan pengalaman pelanggan sebaik mungkin. Ketika itu terjadi, mereka tidak mengadopsi eksperimen sebagai bagian dari proses pengambilan keputusan mereka, sehingga mereka kehilangan semua nilai yang dibawa oleh eksperimen.

Mari kita lihat beberapa contoh eksperimen yang salah. Inilah yang terjadi ketika Anda bereksperimen tanpa menggunakan kerangka kerja yang mendorong Anda untuk menyelaraskan eksperimen Anda di sekitar pengungkit bisnis dan masalah pelanggan.

Tingkat konversi gratis ke berbayar

Sebuah organisasi berfokus pada monetisasi dan perlu memonetisasi produknya. Mereka menugaskan tim untuk meningkatkan rasio konversi gratis ke berbayar.

Perusahaan mengatakan: "Kami memiliki tingkat konversi harga-ke-pembayaran yang rendah, jadi mari optimalkan halaman harga." Tim memutuskan untuk menguji berbagai warna dan tata letak untuk meningkatkan tingkat konversi halaman.

Namun, percobaan untuk mengoptimalkan halaman harga tidak dibingkai di sekitar masalah pelanggan. Jika tim telah berbicara dengan pelanggan, mereka mungkin menemukan bahwa bukan UX halaman harga yang menghentikan mereka untuk meningkatkan. Sebaliknya, mereka mungkin belum merasa siap untuk membeli atau mengerti mengapa mereka harus membeli.

Dalam hal ini, mengoptimalkan halaman harga saja tidak akan memberikan hasil apa pun. Bayangkan tim malah memfokuskan eksperimen mereka pada masalah pelanggan. Mereka mungkin mencoba menjalankan uji coba produk premium sehingga pelanggan mengetahui nilainya bahkan sebelum mereka melihat halaman harga.

Pekerjaan yang akhirnya Anda lakukan, dan pembelajaran yang Anda peroleh, sangat berbeda jika Anda memulai eksperimen dengan masalah bisnis (“ada tingkat konversi yang perlu kami tingkatkan”) dibandingkan jika Anda memulai dengan masalah pelanggan (“mereka belum siap berpikir untuk membeli”).

Kuesioner orientasi

Sebuah organisasi berfokus pada akuisisi, sehingga tim produk berusaha untuk meminimalkan tingkat drop-off dari halaman dua ke halaman tiga dari kuesioner orientasi mereka. Jika mereka hanya memikirkan masalah bisnis, mereka mungkin akan menghapus halaman tiga. Mereka berasumsi bahwa jika onboarding lebih pendek, itu akan memiliki tingkat drop-off yang lebih rendah.

Katakanlah menghapus halaman tiga berfungsi, dan tingkat konversi orientasi meningkat. Lebih banyak orang mengisi kuesioner. Tim menghilangkan pembelajaran yang mereka terapkan pada produk mereka yang lain: Kita harus menyederhanakan semua perjalanan pelanggan dengan menghapus langkah sebanyak mungkin.

Namun pembelajaran ini bisa saja salah karena mereka tidak memikirkan sisi pelanggan dari masalah tersebut. Mereka tidak menyelidiki mengapa orang berhenti di halaman tiga. Mungkin bukan panjang halaman yang menjadi masalah tetapi jenis informasi yang mereka minta.

Mungkin halaman tiga berisi pertanyaan tentang informasi pribadi, seperti nomor telepon atau gaji, yang membuat orang tidak nyaman memberikannya di awal perjalanan mereka. Alih-alih menghapus halaman, mereka dapat mencoba membuat jawaban tersebut opsional atau mengizinkan pengguna untuk mengedit jawaban mereka nanti agar lebih banyak orang lulus bagian orientasi itu.

Kerangka percobaan 7 langkah

Ikuti langkah-langkah berikut agar eksperimen Anda berkelanjutan. Ini akan membantu menjaga eksperimen Anda selaras dengan strategi bisnis dan masalah pelanggan.

1. Tentukan tuas pertumbuhan

Agar eksperimen bermakna, eksperimen harus penting bagi bisnis. Pilih area untuk eksperimen Anda yang selaras dengan tuas pertumbuhan yang menjadi fokus organisasi Anda: akuisisi, retensi, atau monetisasi.

Katakanlah kita berfokus pada akuisisi dan kita melihat penurunan di beranda kita tinggi. Untuk membingkai percobaan kami, kami dapat mengatakan:

• acquisition Mempercepat akuisisi 2. Tentukan masalah pelanggan

  Sebelum melangkah lebih jauh, Anda perlu menentukan masalah yang coba diatasi oleh eksperimen dari sudut pandang pelanggan.

  Anda menemukan kecocokan pasar-produk dengan mengidentifikasi masalah pelanggan yang dipecahkan oleh produk Anda. Namun ketika banyak organisasi bergerak untuk mendistribusikan dan menskalakan produk mereka, mereka mengalihkan fokus mereka ke masalah bisnis. Agar efektif, Anda perlu terus berkembang dan mempelajari kesesuaian produk-pasar Anda dengan mengaitkan distribusi dan penskalaan Anda pada masalah pelanggan.

  Anda akan mengulangi masalah pelanggan berdasarkan hasil eksperimen Anda. Mulailah dengan mendefinisikan masalah pelanggan awal dengan menyatakan menurut Anda apa masalahnya.

  Untuk contoh beranda kami, itu mungkin:

  • confused Pelanggan bingung Kembangkan hipotesis

    Sekarang, tentukan interpretasi Anda tentang mengapa masalah itu ada. Seperti halnya masalah pelanggan, Anda akan mengulangi hipotesis Anda saat Anda mempelajari lebih lanjut. Versi pertama dari masalah dan hipotesis pelanggan Anda memberi Anda titik awal untuk eksperimen.

    Hipotesis potensial untuk contoh beranda kami meliputi:

    • poor messaging Pelanggan bingung karena pengiriman pesan yang buruk too many action buttons Laman kami memiliki terlalu banyak tombol tindakan too vague Salinan kami terlalu kabur 4. Temukan kemungkinan solusi dengan KPI

      Munculkan semua kemungkinan solusi yang dapat menyelesaikan masalah pelanggan. Buat cara untuk mengukur keberhasilan setiap solusi dengan menunjukkan indikator kinerja utama (KPI) mana yang ditangani setiap solusi.

      Unduh Panduan Metrik Produk kami untuk daftar KPI produk yang berpengaruh seputar akuisisi, retensi, dan monetisasi serta cara mengukurnya.

      Solusi + KPI untuk contoh beranda kami mungkin:

      • Solusi: KPI: 5. Prioritaskan solusi

        Putuskan solusi mana yang harus Anda uji terlebih dahulu dengan mempertimbangkan tiga faktor: biaya penerapan solusi, dampaknya terhadap bisnis, dan keyakinan Anda bahwa solusi tersebut akan berdampak.

        Untuk menyisihkan solusi yang berdampak rendah dan berbiaya tinggi, prioritaskan solusi Anda dalam urutan berikut:

        1. Biaya rendah, dampak tinggi, kepercayaan diri tinggi
        2. Biaya rendah, dampak tinggi, kepercayaan diri rendah
        3. Biaya rendah, dampak lebih rendah, kepercayaan diri tinggi

        Kemudian Anda dapat beralih ke solusi berbiaya tinggi, tetapi hanya jika dampaknya juga tinggi.

        Perusahaan yang berbeda mungkin memberikan bobot yang berbeda pada faktor-faktor ini. Misalnya, organisasi mapan dengan anggaran besar akan kurang berhati-hati dalam menguji solusi berbiaya tinggi dibandingkan startup dengan sedikit sumber daya. Namun, Anda harus selalu mempertimbangkan tiga faktor (biaya, dampak, dan kepercayaan dampak).

        Manfaat lain dari eksperimen adalah akan membantu mengasah kemampuan Anda untuk membuat penilaian kepercayaan diri. Setelah bereksperimen, periksa apakah solusi memiliki dampak yang diharapkan dan pelajari dari hasilnya.

        6. Buat pernyataan eksperimen dan jalankan pengujian Anda

        Kumpulkan informasi yang Anda kumpulkan di langkah 1-5 untuk membuat pernyataan yang membingkai percobaan Anda.

        Untuk contoh beranda kami, pernyataan itu terlihat seperti:

        • growth lever customer hypothesis solution KPI Percepatan akuisisi adalah prioritas kami, dan laman landas dengan lalu lintas tertinggi kami—beranda—berperforma buruk [ pengungkit pertumbuhan masalah hipotesis solusi KPI Tentukan garis dasar untuk metrik yang ingin Anda pengaruhi, dapatkan peningkatan, dan uji coba.

          7. Belajar dari hasil dan ulangi

          Berdasarkan hasil dari pengujian Anda, kembali ke langkah kedua, perbarui masalah dan hipotesis pelanggan Anda, lalu teruskan melalui putaran ini. Hentikan iterasi saat prioritas bisnis (pengungkit pertumbuhan) berubah, misalnya saat akuisisi membaik, dan Anda ingin fokus pada monetisasi. Siapkan eksperimen Anda selaras dengan tuas baru.

          Alasan lain mengapa Anda harus berhenti mengulang adalah ketika Anda melihat hasil yang semakin berkurang. Ini mungkin karena Anda tidak dapat menemukan solusi lagi, atau Anda tidak memiliki infrastruktur yang tepat atau sumber daya yang cukup untuk menyelesaikan masalah pelanggan Anda secara efektif.

          Membuat keputusan yang lebih baik lebih cepat

          Untuk memberikan eksperimen yang ditargetkan kepada pengguna dan mengukur dampak perubahan produk, Anda memerlukan platform eksperimen produk yang tepat. Eksperimen Amplitudo dibuat untuk memungkinkan kolaborasi antara tim produk, teknik, dan data untuk merencanakan, menyampaikan, melacak, dan menganalisis dampak perubahan produk dengan analitik perilaku pengguna. Minta demo untuk memulai.

          Jika Anda menikmati posting ini, ikuti saya di LinkedIn untuk informasi lebih lanjut tentang pertumbuhan yang dipimpin produk. Untuk mempelajari eksperimen produk lebih lanjut, lihat kursus Eksperimen dan Pengujian saya di Reforge .