Menggunakan Eksperimen untuk Mendorong Pertumbuhan yang Dipimpin Produk Menampilkan Forrester & Elena Verna

Elena Verna, Kepala Pertumbuhan di Amplitude, dan pembicara tamu Chris Condo, Analis Utama di Forrester, baru-baru ini membahas pertumbuhan yang dipimpin produk (PLG) dan eksperimen peran yang dimainkan dalam membantu bisnis menentukan produk atau fitur apa yang layak untuk fokus dan investasi lebih lanjut.

Produk sebagai pusat pendapatan

Elena membuka webinar dengan menyoroti bagaimana tujuan akhir dari bisnis apa pun adalah pertumbuhan. "Pengungkit pertumbuhan" datang dalam bentuk akuisisi, perhatian (atau aktivasi), dan monetisasi. Sementara pertumbuhan yang dipimpin penjualan dan pemasaran masih berguna dan dapat menjadi upaya pelengkap, pertumbuhan yang dipimpin produk memiliki keunggulan yang berbeda—terutama karena dapat diprediksi, berkelanjutan, dan dapat dipertahankan secara kompetitif.

• Dalam pertumbuhan yang dipimpin produk , pengguna memperoleh pengguna lain, secara efektif bertindak sebagai pemasar. Mereka mengarah pada pembelian atau peningkatan tanpa sentuhan manusia, dan penggunaannya dapat memicu lebih banyak penggunaan. Ini sering kali karena produk tersebut sesuai dengan minat atau kebutuhan mereka, yang mengarah pada peningkatan personalisasi atau nilai.
• Dalam pertumbuhan yang dipimpin pemasaran , perolehan prospek berasal dari platform atau properti pihak ketiga di mana prospek dalam pasar sudah aktif. Pemasaran kemudian bekerja untuk membangun kesadaran akan opsi pembelian atau saluran pipa. Setelah konversi, pemasaran mendidik pengguna untuk memicu penggunaan mereka yang berkelanjutan atau diperluas.
• Dalam pertumbuhan yang didorong oleh penjualan , komunikasi keluar menarik pembeli baru, dan kontrak sering kali ditutup secara manual. Check-in berkala memberikan nilai untuk retensi pelanggan, baik yang diatur waktunya dengan ulasan bisnis triwulanan atau sebagai bagian dari penjangkauan kesuksesan pelanggan.

Penting untuk dicatat bahwa semua bentuk pertumbuhan ini biasanya diperlukan. Tetapi prioritas atau pengurutan area ini bergantung pada kebutuhan bisnis yang unik dan bervariasi dari kasus ke kasus.

Dalam B2B, pertumbuhan yang dipimpin oleh pemasaran dan penjualan sering kali bergantung pada wawancara pelanggan. Mereka juga sering memiliki lebih sedikit pelanggan dan pasar yang lebih kecil, sehingga mengoptimalkan nilai seumur hidup pelanggan menjadi keharusan bisnis.

Dalam pertumbuhan yang dipimpin produk, tekanan akuisisi, retensi, dan monetisasi berlaku untuk produk itu sendiri. Sebagai bagian dari pergeseran ini, intuisi hanya dapat membawa Anda sejauh ini, dan eksperimen tidak dapat dinegosiasikan.

Meskipun wawancara pelanggan dapat menjembatani kesenjangan pengetahuan dalam pertumbuhan yang dipimpin oleh pemasaran dan penjualan, Anda memerlukan data, metodologi, dan kerangka kerja eksperimental yang tepat saat membuat perubahan pada produk itu sendiri.

Menjaga pengguna tetap terlibat

Dalam arti tertentu, pertumbuhan yang dipimpin produk adalah tentang berinvestasi pada pengguna Anda versus pemasaran. Ini tentang membuat orang-orang yang berinteraksi dengan produk Anda tetap terlibat.

Fokus dalam B2B akhirnya bergeser ketika perusahaan bergerak menuju produk yang dapat “menjual diri mereka sendiri.” B2B mungkin "terlambat 10 tahun ke pesta," perkiraan Elena, tetapi sekarang eksperimen adalah suatu keharusan. Mereka yang tidak bereksperimen lebih rentan terhadap gangguan karena memperlebar kesenjangan persepsi vs realitas.

Elena menjelaskan bahwa umpan balik kualitatif dari wawancara pelanggan cenderung terlalu menekankan umpan balik dari suara paling keras di ruangan itu. “Kami fokus pada orang yang paling vokal; kami sering fokus pada power user karena mereka paling vokal,” jelasnya. Ini dapat terjadi dengan mengorbankan kasus penggunaan inti yang terdiri dari sebagian besar pasar.

Chris mencatat bahwa pertumbuhan yang dipimpin produk melibatkan perubahan produk dan menentukan kegunaan fitur atau pengaturan lanjutan. Ini memungkinkan perusahaan untuk mendapatkan umpan balik dari pengguna akhir yang sebenarnya untuk menguji hipotesis, membandingkan versi yang berbeda, dan akhirnya menentukan "apa yang penting bagi pelanggan?" Terkadang, jawabannya berlawanan dengan intuisi, itulah sebabnya tebakan bukanlah metode yang cukup ketika mencoba menilai kecocokan pasar.

PLG mengurangi biaya & memenuhi kebutuhan bisnis inti

Melakukan investasi yang tepat sangat penting selama krisis ekonomi. Untungnya, pertumbuhan yang dipimpin produk dapat mengurangi biaya dalam banyak cara dan memenuhi kebutuhan bisnis inti Anda.

Lebih sedikit dolar masuk ke vakum iklan digital

Pertumbuhan yang dipimpin produk menjadi populer sebagian karena hemat biaya. Berinvestasi di PLG memungkinkan Anda untuk mengalokasikan kembali belanja iklan Google dan sosial yang mahal dan sering berfluktuasi ke penelitian dan pengembangan yang mendorong pertumbuhan.

Ini mempercepat irama rilis dan memprioritaskan ulang pipeline

Perubahan juga diperlukan karena, bagi banyak perusahaan, irama rilis produk mereka terhenti. “Terlalu banyak fitur hutang teknis yang terbuang yang didorong melalui jalur pipa yang tidak memiliki nilai,” Chris mengamati, alih-alih pengujian tambahan untuk menemukan fitur unggulan dan berorientasi pada pertumbuhan yang dipimpin produk.

Model yang dipimpin produk menghilangkan item-item backlog bernilai rendah yang tidak sesuai dengan kebutuhan pengguna. Selain itu, dengan mengubah apa yang dimasukkan ke dalam pipa, produktivitas individu dan organisasi meningkat.

Beban dukungan pelanggan berkurang

Pengalaman pelanggan yang ditingkatkan dapat memangkas biaya backend untuk pertanyaan layanan dan dukungan pelanggan. Produk menjadi lebih mudah digunakan, dan nilainya dapat dengan cepat diekstraksi saat pengguna mencapai momen "aha".

Pelanggan menghabiskan lebih banyak

Meningkatkan pengalaman pelanggan cenderung mengakibatkan pelanggan menghabiskan lebih banyak di seluruh industri. Dalam webinar, Chris menyediakan tabel dari Forrester yang menunjukkan bahwa keuntungan marjinal pun dapat memiliki dampak pendapatan yang signifikan bila dikalikan dengan basis pelanggan yang besar.

Lebih mudah untuk mempertahankan pelanggan

Ada juga risiko kehilangan pelanggan dengan tidak melakukan pertumbuhan yang didorong oleh produk. Ironisnya, ketakutan akan kegagalan dapat menghambat eksperimen dan menyebabkan kesalahan yang sama berulang kali sampai pelanggan menyerah pada produk dan churn.

Siapa yang bisa bereksperimen & mengapa mereka harus melakukannya?

Beberapa organisasi, seperti bank, mungkin menganggap eksperimen terlarang. Tetapi eksperimen dapat menjadi pendekatan yang lebih terkontrol untuk menguji fitur atau variasi secara internal atau dengan subset yang lebih kecil, diikuti dengan peluncuran progresif ke basis pengguna Anda nanti. Menurut Chris, ini "memberi Anda kontrol atas penerapan versus kontrol atas rilis, daripada menyandera sisa tim produk ke siklus rilis."

Selain itu, organisasi dapat mempertahankan kelembamannya atas perubahan tambahan dan biaya penerapan yang lebih rendah. Pendekatan ini jauh lebih berkelanjutan daripada berfokus pada satu rilis tunggal yang mungkin tidak memiliki keselarasan pasar, kemudian meninggalkan investasi enam bulan kemudian.

Mencari kesepakatan yang lengkap dan seragam atau keputusan eksekutif dari orang berpangkat tertinggi di ruangan itu dapat memiliki efek yang merugikan—entah menciptakan produk yang tidak orisinal atau produk yang terlambat dipasarkan di pihak yang pertama atau menurunkan moral tim di pihak yang terakhir. Lagi pula, konsensus tentang produk yang diusulkan tidak akan memacu inovasi, dan tidak ada yang suka mendengar bahwa sudut pandang mereka tidak penting.

Jauh lebih akuntabel dan inklusif untuk menggunakan data pelanggan yang objektif untuk menyempurnakan intuisi, memandu eksperimen, dan memberdayakan pertumbuhan yang didorong oleh produk. Hasilnya adalah pengalaman pelanggan yang unggul yang berpusat di sekitar produk yang bermanfaat, bukan persyaratan proyek yang sewenang-wenang.

Cara menjalankan eksperimen & mengukur apa yang berhasil (atau tidak)

Tim multi-fungsi sekarang mulai menjalankan eksperimen pada tingkat yang lebih dalam. Pertumbuhan yang dipimpin produk mewakili perpindahan dari arsitektur kompleks dengan perluasan layanan mikro dan permainan tebak-tebakan pengguna akhir, di mana tim berspekulasi tentang apa yang diinginkan pengguna versus melakukannya dengan benar pertama kali (atau, paling tidak, lebih awal). Pengujian internal atau eksperimen produk yang layak dengan cakupan yang ketat dapat mengoptimalkan pengalaman pelanggan tanpa memengaruhi seluruh basis pengguna, dan perusahaan dapat memperkenalkan telemetri untuk menetapkan dasar metrik produk.

Seperti yang dinyatakan Chris, untuk melepaskan diri dari kekakuan organisasi, setidaknya ada baiknya bereksperimen untuk menentukan apakah versi, fitur, atau produk baru memberikan tingkat layanan, kegunaan, dan fungsionalitas yang sama seperti yang dimaksudkan untuk diganti. Mungkin saja versi baru dan yang dianggap lebih unggul menghapus beberapa fungsi yang dihargai pengguna. Dengan eksperimen apa pun, kegagalan bisa sangat instruktif.

Terkadang, perusahaan mengharapkan peluncuran atau rilis besar untuk meningkatkan metrik mereka, tetapi ternyata tidak. Mengidentifikasi bahwa persepsi vs. kesenjangan realitas dapat bermanfaat untuk mendorong perubahan dan konsensus organisasi. Perusahaan perlu belajar bagaimana mengukur kegagalan dan menentukan alasan mereka — pada dasarnya, “belajar bagaimana belajar.” Ini pada akhirnya mengarah pada kemenangan yang lebih dapat diprediksi dan kesuksesan yang berulang.

Eksperimen dapat berusaha untuk menyederhanakan, meningkatkan, menyusun ulang, menyusun ulang, menambah, atau menemukan kembali; optimasi bertujuan untuk mengurangi gesekan; inovasi berpotensi memperluas nilai.

Selama webinar, Elena dan Chris memberikan panduan eksperimen berikut:

JANGAN bereksperimen jika:

• Biaya eksperimen terlalu tinggi.
• Tidak ada cukup data untuk mengumpulkan pembelajaran.
• Tidak ada hipotesis yang jelas.
• Tes ini tidak selaras secara strategis dengan hasil bisnis.
• Tidak ada pembelajaran yang bisa didapat.
• Tidak ada kemungkinan kerugian.

Setelah memutuskan untuk bereksperimen, ingatlah untuk:

• Mulailah dengan hipotesis yang kuat (tim mungkin memiliki firasat, tetapi mereka perlu diuji).
• Berhati-hatilah saat membuat eksperimen dengan terlalu banyak variabel.
• Miliki sumber daya teknologi yang memadai untuk tugas tersebut, dan ketahuilah bahwa alat buatan sendiri dapat merusak tata kelola data.
• Hindari bias konfirmasi. Dalam sains, tujuannya adalah untuk mencari tahu mengapa sesuatu berhasil; dalam bisnis, sering kali ada keraguan untuk menyentuh sesuatu yang berhasil atau masuk lebih dalam ke penjelasan meskipun nilai dari melakukannya.
• Mengenali pentingnya manajemen perubahan.
• Bangun budaya untuk menjadi eksperimen terlebih dahulu.

Sangat penting untuk merancang eksperimen per asumsi untuk membuatnya lebih nyata dan lebih mudah untuk memecah masalah yang lebih besar menjadi tes yang lebih kecil. Sebuah perusahaan pada tahap awal mungkin memiliki volume data yang rendah, membuat signifikansi statistik tampak lebih jauh dari jangkauan. Tetapi bahkan ini tidak menghalangi beberapa bentuk eksperimen. Organisasi masih dapat melakukan pengujian beta, uji coba, atau menyesuaikan metode pengujiannya. Bisa dibilang, ini adalah waktu yang paling tepat untuk menilai ide-ide untuk melihat apa yang melekat.

Memulai eksperimen

Eksperimen memastikan bahwa pelanggan melihat fitur yang tepat dan menerima nilai yang menciptakan loyalitas—yang pada akhirnya membantu mengembangkan bisnis Anda. Itu membuat eksekutif dan tim terlibat dan terkoordinasi di sekitar proses rilis efektif yang meningkatkan nilai waktu dan merangkul metodologi tangkas.

Jika Anda memiliki sumber daya, ada baiknya meletakkan dasar bagi budaya berbasis eksperimen di perusahaan Anda. Anda akan dapat dengan percaya diri menghilangkan dugaan dalam meluncurkan produk sekaligus mendorong lingkungan internal kolaborasi dan akuntabilitas.

Jika Anda menikmati rekap ini, tonton webinar lengkapnya atau pelajari lebih lanjut tentang pertumbuhan dan eksperimen yang dipimpin produk dengan mendaftar ke akun Amplitude gratis .

Tanya Jawab Webinar

Webinar diikuti dengan sesi tanya jawab di mana kami mengeksplorasi lebih lanjut peran eksperimen dalam pertumbuhan yang dipimpin produk. Baca terus untuk melihat jawaban kami:

1. Bagaimana Anda menerapkan pertumbuhan yang dipimpin produk di luar pengguna inti Anda? Beberapa perusahaan memiliki target audiens inti yang membeli produk mereka. Bagaimana Anda menerapkan pertumbuhan yang dipimpin produk ke persona lain yang mungkin hanya pemirsa atau konsumen?

Ketika kami berbicara tentang pertumbuhan yang dipimpin produk di webinar, kami melihat tiga tujuan inti: retensi, akuisisi, dan monetisasi. Ketika orang lain adalah konsumen produk Anda (seperti eksekutif yang melihat laporan atau dasbor yang dikeluarkan produk Anda) tetapi tidak menggunakannya setiap hari, itu masih membantu retensi Anda secara keseluruhan.

Pengguna inti Anda mendapatkan banyak nilai dari produk Anda karena membantu mereka melakukan pekerjaan mereka dengan lebih baik, membuat produk Anda lebih lengket. Namun, penting untuk mempertimbangkan bukan hanya pengguna inti tersebut tetapi seluruh ekosistem di sekitar mereka dan bagaimana produk Anda dapat secara bertahap mendorong peningkatan untuk memengaruhi adopsi dari dalam.

2. Metrik data kinerja apa yang harus diorientasikan oleh perusahaan kita untuk memahami apakah kita dipimpin oleh produk?

Seperti yang dibahas dalam webinar, Elena melihat pertumbuhan yang dipimpin produk sebagai puncak dari retensi, akuisisi, dan monetisasi. Dia juga melihat matriks pertumbuhan di seluruh produk, pemasaran, dan prospek penjualan.

Misalnya, jika akuisisi Anda dipimpin oleh produk, Anda akan melihat metrik seperti berapa banyak pengguna yang mengundang pengguna lain ke produk tersebut. Tetapi jika itu didorong oleh penjualan, Anda akan memiliki lebih banyak aktivitas keluar untuk pembeli dan pengguna baru.

Tanda webinar menit 5:14 memiliki ikhtisar yang bagus tentang ini.

3. Nilai eksperimen cukup jelas, tetapi meyakinkan seluruh organisasi untuk mengadopsi eksperimen merupakan tantangan. Adakah rekomendasi tentang cara mengatasi ini?

Kami membahas ini lebih lanjut di webinar, tetapi perlu diperhatikan tema umumnya. Jika Anda mengalami kesulitan dengan dukungan di seluruh organisasi dan hingga kepemimpinan, mulailah jauh lebih kecil. Mulailah dengan satu tim dan minta mereka menjalankan eksperimen.

Caranya adalah dengan membagikan temuan Anda, baik dan buruk. Menampilkan hasil bagus yang menunjukkan peningkatan dan hasil positif dan hasil yang menunjukkan bahwa merilis fitur akan berbahaya (risiko dimitigasi).

Pada akhirnya, tim lain akan tertarik pada bagaimana mereka bisa mendapatkan data yang begitu berharga untuk menunjukkan bahwa apa yang mereka kirimkan penting. Bukti sosial adalah alat yang ampuh!

Lihat tanda 45:45 menit dalam tayangan ulang untuk jawaban yang lebih mendalam.

4. Bagaimana Anda mendekati eksperimen dalam konteks produk B2B di mana lalu lintas jauh lebih rendah?

Ini adalah area yang sulit bagi banyak perusahaan. Biasanya, ini akan memerlukan analisis statistik yang berbeda di mana Anda dapat mencapai signifikansi statistik pada percobaan tanpa memerlukan ukuran sampel yang besar. Terkadang, ini mungkin lebih terarah, tetapi Anda masih melihat peningkatan yang bagus. Mungkin Anda tidak benar-benar mencapai stat sig yang sebenarnya, tetapi dari konteks keputusan bisnis, cukup baik untuk tetap merilis fitur tersebut. Tetap disini karena kami memiliki beberapa pembaruan menarik tentang cara yang akan membantu menyelesaikan ini.

5. Berapa jumlah minimum pengguna yang diperlukan untuk mempertimbangkan sesuatu sebagai eksperimen yang benar atau valid?

Tidak ada jawaban langsung untuk ini di mana kami dapat memberi Anda nomor pasti untuk dipukul. Hal ini tergantung pada beberapa faktor, seperti seberapa besar dampak yang Anda harapkan dari eksperimen Anda, seberapa yakin Anda dengan hasil yang Anda inginkan, tingkat positif palsu yang ingin Anda terima, dan jenis analisis statistik apa yang Anda sedang melakukan.

Apa yang mungkin Anda cari adalah kalkulator ukuran sampel. Kami memiliki satu yang terpasang dalam produk kami untuk membantu menjawab pertanyaan ini, tetapi ada banyak kalkulator manual dan otomatis online untuk membantu mendapatkan ukuran sampel yang disarankan.

6. Bagaimana Anda mendapatkan umpan balik pelanggan untuk setiap pengujian A/B? Wawancara? Formulir umpan balik?

Ini adalah peran khas manajer produk di sebagian besar perusahaan, dan umpan balik tentang apa yang harus dibangun berasal dari beberapa tempat. Ini bisa berupa wawancara atau panggilan pelanggan 1:1, atau bisa juga berasal dari panggilan penjualan, umpan balik analis, survei pasar, atau lebih baik lagi, data pelanggan nyata.

Kami tidak setuju dengan yang terakhir karena itulah alasan utama orang menggunakan Amplitude Analytics. Dengan produk analitik kami, Anda dapat melihat bagaimana pengguna bergerak di seluruh produk Anda, fitur apa yang mereka gunakan, tingkat konversi mereka di berbagai tahap penggunaan produk, dll. Anda dapat menemukan tempat di mana pengguna melepaskan, berhenti, atau menjadi bingung . Anda akan tahu pengguna mana yang mengalami hal ini, sehingga Anda dapat mengirim survei yang ditargetkan atau memicu umpan balik dalam aplikasi saat mereka mencapai titik gesekan itu.

Anda dapat dengan cepat mengidentifikasi beberapa cara untuk membuat bagian dari pengalaman itu lebih mulus dan menerapkannya. Lemparkan pengalaman baru di balik tanda fitur dan bereksperimenlah untuk melihat apakah itu memberi Anda peningkatan dalam keterlibatan yang ingin Anda perbaiki. Jika ya, luncurkan ke semua orang. Jika tidak, buang tanpa membahayakan dan coba sesuatu yang baru.

7. Apakah menjalankan eksperimen dengan kumpulan pengguna saat ini memengaruhi realitas data?

Pasti bisa, baik positif maupun negatif. Dalam beberapa kasus, Anda dapat merilis perubahan yang terasa menggelegar bagi pengguna Anda, dan mereka akan menolak untuk terlibat dengannya hanya karena itu adalah sesuatu yang baru. Dalam kasus lain, Anda akan merilis perubahan yang akan terasa seperti "objek baru yang mengkilap". Lebih banyak orang akan terlibat dengannya, tetapi efeknya mungkin berumur pendek.

Dalam kedua kasus, Anda masih akan mendapatkan informasi berharga. Jika ada sesuatu yang menggelegar karena baru, mungkin ada baiknya untuk melihat cara memperkenalkan fitur baru secara perlahan kepada pengguna sehingga mereka tidak merasa terkejut. Jika Anda mencurigai adanya masalah "objek baru yang mengilap", Anda dapat mempertimbangkan untuk menjalankan eksperimen lebih lama untuk melihat bagaimana ukuran efek menjadi normal saat orang terbiasa dengan fitur baru tersebut.

Dengan alat seperti Amplitudo, Anda juga dapat menjelajahi kelompok pengguna dalam eksperimen lebih dekat melalui analisis kelompok. Apakah mereka berulang kali menggunakan fitur baru, atau apakah mereka menggunakannya hanya sekali karena itu adalah "objek baru yang mengkilap?"

8. Eksperimen telah ada selama beberapa waktu di dunia pemasaran, dengan hal-hal seperti mengubah gambar halaman arahan, warna tombol, atau salinan iklan. Apa yang menahan tim produk dari merangkul eksperimen?

Jawaban paling sederhana adalah bahwa mereka hanya berbeda, terutama dalam bagaimana perubahan dilakukan pada pengalaman (salinan halaman arahan vs. fungsionalitas dalam suatu produk). Dampak keseluruhan dari perubahan mungkin memiliki ancaman yang lebih besar (nyata atau yang dirasakan) pada produk. Jika Anda membuat keputusan yang salah tentang perubahan pada produk, bahkan jika itu adalah eksperimen, Anda berisiko kehilangan pengguna atau pelanggan sama sekali. Jika Anda membuat keputusan yang buruk tentang salinan iklan, Anda tidak akan memiliki prospek masuk sebanyak yang Anda harapkan.

Namun dalam lingkungan yang berisiko tinggi dan bernilai tinggi, seperti produk dalam produksi, lebih baik kehilangan beberapa pengguna karena keputusan fitur yang buruk yang diluncurkan melalui eksperimen daripada kehilangan sebagian besar pengguna Anda karena fitur yang buruk yang diluncurkan ke semua orang . Adalah umum untuk melebih-lebihkan kemampuan kita sementara juga sangat menghindari risiko. Eksperimen secara inheren memiliki makna tersembunyi dari "kita akan menguji sesuatu yang kita tidak yakin"—dan bagi tim produk, tidak yakin itu menakutkan.

Lihat replay webinar sekitar menit 42:00 untuk jawaban yang lebih mendalam.

9. Bagaimana Anda menangani masalah ketika eksperimen membutuhkan waktu lama untuk dijalankan karena Anda menunggu pengguna memberikan umpan balik?

Di sinilah platform eksperimen yang sebenarnya dapat membantu karena Anda tidak mengandalkan pengguna untuk mengatakan apakah mereka menyukainya. Sebagai gantinya, Anda memantau dan mengukur perilaku pengguna setelah mereka berinteraksi dengan eksperimen.

Misalnya, Anda menjalankan eksperimen yang melacak alur pembayaran baru untuk toko e-niaga Anda. Jika pengguna di alur pembayaran baru melakukan pembayaran lebih cepat dan menyelesaikan lebih banyak transaksi, Anda tidak memerlukan umpan balik lisan atau tertulis untuk mengetahui bahwa alur pembayaran baru lebih baik. Itulah kekuatan eksperimen dan analitik yang digabungkan.

10. Bagaimana Anda merekomendasikan ungkapan dan membentuk hipotesis? Apakah kita mulai dengan dasar? Apa yang harus menjadi kriteria kita untuk sebuah “perbaikan?”

Kami menyusun hipotesis kami dalam produk kami dengan cara yang relatif umum, di mana Anda menetapkan sasaran untuk eksperimen yang dinyatakan sebagai metrik produk yang ingin Anda pengaruhi dan seberapa besar Anda berharap untuk memengaruhinya. Misalnya, "kami percaya bahwa varian A akan meningkatkan tingkat penyelesaian checkout sebesar 8% di atas kontrol." Di sinilah alat analitik yang kuat seperti Amplitude berperan untuk memastikan Anda memiliki dasar historis tentang kinerja metrik. Jika Anda tidak tahu apa yang Anda lakukan sebelumnya, Anda tidak akan dapat mengetahui apakah Anda melakukan lebih baik atau lebih buruk dengan pengalaman baru.

Dalam hal peningkatan seperti apa, itu sangat tergantung pada konteks bisnis Anda. Beberapa perusahaan perlu melihat peningkatan 10-15% dalam metrik untuk mendapatkan hasil bisnis yang berarti, seperti pendapatan, keterlibatan, atau retensi yang lebih tinggi. Untuk perusahaan lain—biasanya yang lebih besar dengan produk yang sangat dioptimalkan dan banyak pengguna—peningkatan 1% sudah cukup bagi mereka untuk mendapatkan hasil bisnis yang besar.

11. Dapatkah Anda merekomendasikan beberapa alat eksperimen terbaik di kelasnya yang dapat dimulai oleh perusahaan hari ini?

Ini akan sedikit mementingkan diri sendiri karena kami menjual platform eksperimen terbaik di kelasnya, Eksperimen Amplitudo, yang bisa dibilang yang terbaik di pasar untuk eksperimen produk. Produk kami menyediakan semua yang Anda butuhkan dalam platform lengkap, tempat Anda dapat merencanakan, mengonfigurasi, memantau, dan menganalisis eksperimen produk di satu tempat. Kami juga memiliki sistem pengelolaan fitur yang sepenuhnya matang untuk mengirimkan eksperimen tersebut dan melacaknya secara otomatis untuk Anda.

Kaitkan itu dengan platform analitik kami untuk pelacakan metrik yang kuat dan wawasan mendalam tentang perilaku pelanggan di luar eksperimen, dan Anda akan tahu cara mengubah wawasan tersebut menjadi tindakan yang memengaruhi hasil bisnis nyata.

12. Dapatkah Anda memberikan contoh eksperimen berbasis non-UI?

Banyak orang akrab dengan eksperimen yang berfokus pada pengoptimalan konversi di dunia pemasaran. Ini terlihat seperti mengubah teks, gambar, atau warna untuk melihat mana yang lebih disukai pengguna. Anda juga dapat melakukan semua itu dengan Amplitude, tetapi kami terutama berfokus pada membuat perubahan pada pengalaman produk—pikirkan alur checkout, orientasi pengguna, perubahan navigasi, struktur halaman aplikasi, opsi konfigurasi, dan banyak lagi. Apa pun yang berkaitan dengan bagaimana pengguna Anda berinteraksi dengan produk Anda untuk menyelesaikan pekerjaan mereka, Anda dapat memengaruhi dengan eksperimen.

13. Sebagai manajer produk, terkadang kita membangun indra keenam atau firasat tentang perubahan produk. Haruskah kita membiarkan diri kita pergi dengan firasat kita bahkan dalam menghadapi data yang mengatakan sebaliknya?

Data hanya itu—data. Ada hal-hal yang tidak diketahui data tentang bisnis Anda yang mungkin memengaruhi seberapa besar bobot yang Anda masukkan ke dalam apa yang dikatakannya. Mungkin ada hal-hal tentang arah strategi perusahaan Anda atau bagaimana pasar berubah secara keseluruhan yang data eksperimen saat ini tidak dapat memberi tahu Anda.

Namun, biasanya, firasat kita sebagai manajer produk berasal dari sesuatu, tetapi kita mungkin tidak dapat mengungkapkan apa itu. Gunakan eksperimen dan data untuk pengambilan keputusan dengan cara yang paling masuk akal bagi Anda saat itu. Kadang-kadang, itu mungkin berarti bersandar sepenuhnya pada hasil dan memutuskan berdasarkan itu, atau itu mungkin berarti pergi ke arah yang sedikit berbeda karena Anda memiliki bukti kuat di tempat lain bahwa data tidak dapat memberi tahu Anda.

14. Apa jebakan umum setelah memulai eksperimen pertama Anda yang dapat membuat seluruh program mengalami penurunan?

Dalam banyak kasus, ketika eksperimen menjadi bagian yang tertanam dalam budaya perusahaan, banyak eksperimen akan gagal. Dengan kata lain, hasil eksperimen akan memberi tahu Anda bahwa perubahan produk tidak akan memiliki peningkatan yang Anda harapkan—atau dalam beberapa kasus, akan merugikan produk jika diluncurkan sepenuhnya.

Jika eksperimen pertama yang Anda jalankan kebetulan merupakan salah satu eksperimen tersebut dan Anda tidak mendapatkan kemenangan besar untuk dirayakan, hal itu dapat membuat tim yang melakukan pekerjaan tersebut kehilangan motivasi, mengeluarkan kodenya, lalu melihat data yang memberi tahu mereka untuk tidak melakukannya. bergerak maju dengan rilis. Itu salah satu alasan Elena menunjukkan bahwa langkah penting untuk membangun budaya ini adalah “belajar bagaimana belajar.” Ini berarti Anda memperoleh pengetahuan dan wawasan yang berharga tentang pengguna Anda bahkan dengan eksperimen yang "gagal".

Jika Anda harus memilih antara mengetahui fitur mana yang akan merugikan produk Anda dan fitur mana yang disukai pelanggan, lebih baik Anda mengetahui fitur yang pertama. Itu adalah perubahan pola pikir yang besar dan tidak nyaman bagi banyak orang. Mengakui dan bahkan berjuang untuk eksperimen yang "gagal" dapat menyehatkan dan membantu agar tidak mengalami penurunan itu.

15. Siapa yang harus memiliki strategi pertumbuhan yang dipimpin produk di sebuah perusahaan? Haruskah itu tim produk? Atau tim pemasaran pertumbuhan? Atau keduanya?

Pertumbuhan adalah tugas setiap orang di perusahaan, dan banyak faktor dapat membuat pertumbuhan yang dipimpin produk berhasil. Beberapa di antaranya adalah pengoptimalan konversi dan membuat lebih banyak pengguna beralih dari gratis ke berbayar atau kesadaran ke uji coba. Bagian lain memastikan Anda memiliki produk rockstar yang orang tidak bisa hidup tanpanya. Pada akhirnya, ini tentang menyelaraskan tujuan dan memahami bagaimana, sebagai kekuatan gabungan, Anda memengaruhi retensi, akuisisi, dan monetisasi untuk pertumbuhan yang lebih kuat.

Kami membahas ini di awal webinar—lihat 10 menit pertama.

16. Apakah ada rekaman webinar ini?

Sangat! Jika Anda melewatkannya atau ingin berbagi webinar dengan kolega Anda, Anda dapat menonton tayangan ulangnya.