Gunakan Ringkasan Eksperimen untuk Merancang Eksperimen yang Lebih Baik
Diterbitkan: 2023-02-03Baik perusahaan Anda baru saja memulai perjalanan eksperimennya atau telah membangun budaya eksperimen, menggunakan Ringkasan Eksperimen dapat membantu mendemokratisasi eksperimen, merancang eksperimen yang lebih baik, dan menciptakan transparansi tentang tujuan dan langkah selanjutnya untuk setiap eksperimen.
Mendemokrasikan eksperimen
Apa yang kita maksud dengan demokratisasi? Demokratisasi adalah tindakan membuat sesuatu dapat diakses oleh semua orang. Untuk mendemokratisasi eksperimen, organisasi perlu membuat dua hal dapat diakses:
- Kemampuan untuk menjalankan eksperimen harus dapat diakses oleh siapa saja di bagian organisasi mana pun
- Siapapun harus dapat dengan cepat mendapatkan akses ke fakta kunci dan hasil dari setiap percobaan
Pendekatan yang sangat baik untuk mendemokratisasi fakta dan hasil utama dari sebuah eksperimen adalah dengan menggunakan Ringkasan Eksperimen.
Mengapa tim Anda harus menggunakan Ringkasan Eksperimen?
Rancang eksperimen yang lebih baik
Eksperimen yang berjalan adalah komponen fundamental dari metode ilmiah—ilmiah adalah kata kuncinya. Rancangan percobaan adalah bagian penting dari proses, tetapi banyak tim sering mengabaikan langkah penting ini dalam proses. Kami akan mengeksplorasi ini secara lebih mendalam di bagian selanjutnya.
Bangun transparansi ke dalam proses Anda
Tanpa dokumentasi yang transparan, mudah untuk merasionalisasi keputusan dan memasukkannya ke dalam narasi setelah mempelajari faktanya, yang mengarah pada hasil eksperimen yang buruk. Dengan mendokumentasikan langkah-langkah selanjutnya yang jelas setelah eksperimen berjalan, tim lebih mungkin untuk bergerak maju berdasarkan apa yang mereka pelajari dari eksperimen tersebut.
Seperti apa eksperimen yang baik itu?
Banyak praktisi berasumsi bahwa eksperimen terdiri dari memulai dengan sebuah ide, membangun prototipe, mengujinya, dan kemudian mencari tahu apa yang harus dilakukan selanjutnya. Salah.
Eksperimen yang baik mengikuti kerangka metode ilmiah. Konsep inti ini terbawa ke dunia eksperimen digital, bersama dengan beberapa komponen yang dipesan lebih dahulu. Sebagai catatan, ketika saya mengatakan "eksperimen yang bagus", saya tidak mengacu pada hasil eksperimen. "Eksperimen yang bagus" berbicara tentang eksperimenyang dirancang dengan baik ."
Berikut adalah komponen penting dari desain eksperimen yang baik:
Perencanaan (pra-eksperimen)
- Dokumentasikan observasi yang mengklarifikasi alasan kami berencana menjalankan eksperimen ini
- Penelitian untuk memvalidasi pengamatan kami. Penelitian ini bisa bersifat kuantitatif, kualitatif, wawasan kompetitif, dll.
- Bangun hipotesis dengan metrik atau KPI yang jelas
- Buat penyelarasan pada langkah tim Anda selanjutnya berdasarkan setiap kemungkinan hasil: apakah setiap varian menang, atau jika pengujian tidak mencapai signifikansi statistik
- Karakteristik penyiapan eksperimen meliputi durasi, pemirsa, pemisahan lalu lintas, ambang kritis, dan lainnya
- Artikulasi yang jelas tentang apa yang sedang diuji dan dimodifikasi. Ini bisa berupa perubahan desain, fitur atau pengalaman baru, dan banyak lagi
- Konfirmasikan bahwa percobaan dapat diukur
Selama percobaan berjalan
- Dasbor analitik untuk pemantauan berkelanjutan
Pasca percobaan
- Analisis hasilnya
- Artikulasikan hasil percobaan dan lanjutkan dengan langkah selanjutnya yang telah ditentukan sebelumnya.
Ringkasan Eksperimen
Sekarang setelah kami memahami terdiri dari desain eksperimen yang baik, kami dapat membuat pola proses kami untuk memastikan bahwa semua informasi penting didokumentasikan sebelum eksperimen dimulai, setiap saat.
Hal ini memudahkan siapa pun di organisasi Anda untuk mempelajari eksperimen secara asinkron yang membantu mengaktifkan demokratisasi.
Fase 1: Rencanakan
| Rencana | ||
| Pengamatan dan Wawasan: Pengamatan apa yang menyebabkan percobaan ini?Riset ini bisa bersifat kuantitatif, kualitatif, wawasan kompetitif, riset pengguna, dan lainnya. | ||
| Tentukan jenis eksperimen: Uji hipotesis atau uji Do No Harm | ||
| Hipotesa | Kami mengamati: Mendokumentasikan wawasan kualitatif, kuantitatif, atau kompetitif | |
| Oleh: Memperkenalkan atau memodifikasi variabel independen | ||
| Kami mengharapkan: Tentukan perubahan perilaku yang Anda harapkan | ||
| Mengarah ke: Sebutkan dampak yang diharapkan pada variabel dependen Anda | ||
| Untuk Tes Tidak Membahayakan | ||
| Metrik: Saat Anda memperkenalkan perubahan besar, seperti pengalaman baru dalam produk Anda, gunakan uji Do No Harm untuk metrik utama dan pagar pembatas untuk mendeteksi dampak negatif apa pun pada metrik penting Anda | Primer: Ini bisa menjadi tingkat konversi | |
| Pagar pembatas (opsional) | ||
| Untuk Uji Hipotesis | ||
| Metrik | Primer: Ini bisa menjadi tingkat konversi | |
| Sekunder (opsional) | ||
| Pagar pembatas (opsional) | ||
| Ukuran Sampel Total | ||
| Efek Terdeteksi Minimum | Utama | |
| Pagar pembatas (opsional) | ||
| Nama Peristiwa Eksperimen | ||
| Parameter Peristiwa Eksperimen | ||
| Tindakan: Tindakan apa yang akan Anda ambil berdasarkan setiap hasil tes berikut? | Menang | |
| Kehilangan | ||
| Datar | ||
Tahap 2: Konfigurasi
| Konfigurasi | ||
| Desain Variasi | Variasi 1: Tentukan perbedaannya dari grup kontrol.Anda juga harus menautkan ke desain yang relevan | |
| Variasi 2 (opsional) | ||
| Alokasi | Split: Ini bisa menjadi 50/50 | |
| Kelompok audiens: Apakah kami menargetkan pelanggan lama, pengguna baru, dll.? | ||
| Platform | ||
| Bagian situs: Di bagian mana dari produk Anda pengujian dilakukan? | ||
| Tiket & Analisis JIRA (tautan) | Analisis JIRA | Tautan |
| Teknologi JIRA | Tautan | |
| Analisis Pra-tes | Tautan | |
| Analisis Pasca Tes | Tautan | |
Fase 3: Pantau
| Memantau | |||
| Tanggal tes yang direncanakan | Dari: [MM/DD/YYYY] | Ke: [MM/DD/YYYY] | |
| Durasi (hari) | |||
| Pastikan pelacakan dalam analitik berfungsi: Pastikan bahwa: (1)Peristiwa diaktifkan pada platform, perangkat, dan grup pengguna yang relevan, (2)Anda telah mengonfigurasi nama peristiwa yang konsisten untuk kontrol dan varian di semua platform, (3)Peristiwa paparan diaktifkan saat pengguna diekspos ke eksperimen | |||
Fase 4: Menganalisis dan Memutuskan
| Analisis dan Putuskan | ||
| Analisis: Dokumentasikan hasil percobaan | ||
| Keputusan: Putuskan langkah selanjutnya berdasarkan fase perencanaan Anda. | ||
| Pantau performa yang sedang berlangsung: Lanjutkan untuk menganalisis perilaku pasca eksperimen | ||
Pikiran terakhir
Ringkasan Eksperimen ini dapat dengan mudah dikategorikan menurut tanggal, segmen, bagian situs web, dan platform. Mereka juga harus dapat diakses oleh semua orang sehingga pengetahuan institusional ini bertahan meskipun orang datang dan pergi. Menggunakan Ringkasan Eksperimen dapat membantu tim Anda meningkatkan program eksperimen Anda dengan mendokumentasikan setiap eksperimen secara transparan untuk mendemokratisasi informasi ini.
Saya ingin mendengar pendapat Anda tentang template ini dan modifikasi apa pun yang akan Anda buat. Anda dapat menghubungi saya di LinkedIn atau Twitter, atau lihat blog saya.
Tautan ke templat singkat eksperimen dapat ditemukan dengan mengikuti tautan ini → Templat Singkat Eksperimen.
