3 Kesalahan Metrik Produk yang Harus Anda Hindari

Dalam buku saya, The Insights Driven Product Manager , saya membahas mengapa penting untuk melacak lebih sedikit untuk menciptakan lebih banyak fokus dan menghabiskan lebih banyak waktu untuk mengekstraksi wawasan yang benar dari data Anda.

Langkah selanjutnya adalah memastikan bahwa pada tingkat seluk beluk, Anda melacak apa yang saya sebut "metrik berkualitas baik". Postingan ini—kutipan dari bab 7 buku saya—akan berfokus pada bagaimana meningkatkan kualitas metrik Anda secara keseluruhan, bagaimana membuatnya lebih dapat ditindaklanjuti, dan jebakan apa yang harus dihindari.

Kesalahan #1: Metrik kesombongan

Beberapa tahun yang lalu saya sedang mengerjakan produk SaaS B2B untuk mengelola lingkungan kantor. Kami baru saja meluncurkan produk dan mulai menjalankan kampanye iklan berbayar pertama kami, jadi saya menyiapkan dasbor yang melacak jumlah total pendaftaran selama 30 hari:

Angka-angka tampaknya akan naik, jadi kami cukup senang dengan momentumnya.

Masalahnya adalah meskipun grafik ini terlihat bagus dalam presentasi, kenyataan pahitnya adalah bahwa hanya 4% dari pendaftaran baru yang berubah menjadi konversi dan pendapatan aktual, dan akibatnya, kami tidak memenuhi sasaran pendapatan rutin bulanan kami.

Ini adalah bagan kumulatif, jadi kasus terburuknya adalah grafik hanya akan mendatar jika kita tidak mendapatkan pengguna baru, tetapi jumlahnya tidak akan pernah berkurang. Ini adalah contoh klasik dari metrik rias:

• Melihat grafik ini membuat kami merasa baik.
• Metrik ini sangat berguna dalam presentasi pemangku kepentingan.
• Itu tidak memberi kami wawasan tentang apakah kami benar-benar melakukannya dengan baik, atau tidak.
• Karena tidak memberi kami wawasan apa pun, itu tidak mendorong kami untuk mengambil tindakan untuk meningkatkan produk atau fitur dengan cara apa pun.
• Dan meskipun melihat metrik ini setiap hari, kami membutuhkan waktu dua bulan (saat semua uji coba 30 hari telah selesai dan bergejolak) untuk mengetahui bahwa ada masalah.

Sementara satu bagian dari masalahnya adalah kurangnya pengetahuan kami tentang cara mengukur metrik yang lebih baik pada saat itu, masalah dalam organisasi sering kali terletak jauh lebih dalam: sebagian besar tim atau pemangku kepentingan tidak siap untuk mendengar kebenaran dari metrik mereka, jadi kami melihat untuk angka-angka yang membuat kita terlihat baik.

Dalam wawancara saya dengan Crystal Widjaja, CPO di Kumu dan penulis untuk Reforge, dia merangkum dengan indah bagaimana melihat data sebagai cara untuk memanfaatkan kegagalan dan mendorong peningkatan sebagai gantinya:

“Ketika orang membuat kesalahan (eksperimen gagal, penerapan gagal, dll), Anda telah membayar biaya itu. Kita harus memikirkan data sebagai cara untuk memanfaatkan kesalahan dan belajar darinya. Daripada 'membayar biaya kegagalan' dan memecat individu, gunakan wawasan data untuk memberi tahu kami MENGAPA itu gagal, belajar darinya, dan memanfaatkannya untuk iterasi berikutnya menjadi 10x lebih baik daripada yang pertama.

– Crystal Widjaja

Untuk mendapatkan lebih banyak wawasan dari data Anda, Anda benar-benar harus berhenti melacak metrik kesombongan, dan alih-alih menggunakan data untuk mengungkap kebenaran dan mendorong peningkatan yang sebenarnya. Jika Anda melihat lebih dekat, sungguh menakjubkan betapa seringnya tim menunjukkan metrik yang sangat selektif untuk menenangkan pemangku kepentingan tertentu atau membuat angkanya terdengar lebih baik daripada yang sebenarnya. Perhatikan contoh klasik metrik rias lainnya seperti:

• Jumlah tampilan halaman atau pengunjung
• Jumlah pengikut/suka
• Waktu yang dihabiskan di situs (lama sesi)
• Jumlah unduhan

Metrik seperti tampilan halaman dan panjang sesi masih banyak digunakan dalam analisis situs web, di mana fokusnya adalah untuk mengukur lalu lintas, kesadaran, dan keterlibatan awal. Mereka memberi Anda beberapa wawasan tentang apa yang kami sebut bagian atas corong—akuisisi awal pelanggan—tetapi bukan apakah pelanggan benar-benar aktif dan terlibat dengan produk, yang akan memiliki korelasi yang jauh lebih bermakna dengan produk dan tujuan bisnis Anda yang lebih luas.

Cara melakukannya dengan lebih baik: untuk benar-benar memahami apakah suatu metrik baik atau buruk, kita perlu memasukkan angka ke dalam konteks. Paling tidak, Anda ingin mencoba membandingkan angka selama periode waktu yang berbeda, seperti membandingkan jumlah pendaftaran Anda bulan ini dengan bulan sebelumnya.

Cara lain yang efektif untuk membuat metrik Anda lebih berguna adalah dengan menggunakan rasio, bukan jumlah total. Rasio pada dasarnya bersifat komparatif. Sebagai contoh, akuntan tidak hanya melihat total pendapatan, tetapi biasanya membandingkan biaya produksi suatu produk dengan penjualan yang mereka hasilkan dari produk tersebut. Dengan cara ini akuntan dapat melacak margin keuntungan mereka (contoh yang bagus dari rasio yang berguna) dari waktu ke waktu untuk menilai apakah bisnis itu sehat.

Contoh metrik yang lebih baik dan lebih sebanding:

• % pendaftaran per saluran akuisisi
• % pendaftaran yang menyelesaikan proses pendaftaran lengkap
• % pendaftaran yang melakukan metrik aktivasi utama
• % pengguna menggunakan produk setelah 4 minggu

Kesalahan #2: Hanya melacak metrik yang tertinggal

Masalah besar adalah jumlah waktu yang kami perlukan untuk mengetahui apakah kami mencapai sasaran konversi (atau tidak). Produk memiliki uji coba gratis 30 hari dan tujuan kami adalah mengubahnya menjadi pelanggan yang membayar setelah uji coba berakhir, jadi meskipun bulan pertama terlihat bagus dalam hal pendaftaran, kami pada akhirnya hanya akan mengetahuinya di akhir bulan kedua berapa banyak dari pendaftaran tersebut yang dikonversi menjadi pelanggan yang membayar.

Ini adalah contoh klasik dari metrik tertinggal. Metrik tertinggal melaporkan secara retrospektif pada hasil sebelumnya. Misalnya, angka pendapatan Anda untuk tahun ini adalah metrik tertinggal seperti kebanyakan metrik operasional Anda yang lain. Anda hanya tahu apakah Anda melakukannya dengan baik setelah Anda mendapatkan hasilnya.

Nilai sebenarnya dalam melacak perilaku pengguna melalui analisis produk Anda adalah Anda dapat mulai mencari indikator lebih awal daripada harus menunggu angka pendapatan akhir Anda. Jika metrik utama Anda tidak berkinerja baik, Anda memiliki kesempatan untuk mengoreksi arah sebelum terlambat. Inilah sebabnya saya merancang Holistic Metrics One Pager di bab lima buku saya untuk menyertakan metrik perilaku pelanggan dan operasional, sehingga tim dapat melacak perpaduan yang sehat antara metrik terdepan dan tertinggal untuk mendapatkan gambaran lengkap.

Salah satu metrik terkemuka yang paling kuat adalah metrik aktivasi. Metrik aktivasi yang baik mewakili persentase pelanggan yang mengambil tindakan utama untuk menyiapkan atau mulai menggunakan produk. Banyak perusahaan telah mengetahui bahwa jika pengguna melakukan tindakan tertentu dalam produk mereka selama orientasi, mereka cenderung menyadari nilai sebenarnya dari produk yang mengarah ke keterlibatan yang lebih tinggi di masa mendatang. Beberapa menyebut langkah aktivasi ini mencapai "momen aha" dalam produk mereka.

Berikut adalah beberapa contoh sederhana dari metrik aktivasi terkemuka:

• Produk jejaring sosial: contoh klasik adalah metrik aktivasi pertama Facebook yang menambahkan minimal tujuh teman dalam 10 hari.
• Produk agregasi dasbor: proposisi nilai adalah untuk menggabungkan beberapa alat ke dalam satu tampilan, sehingga Anda mungkin menemukan bahwa pengguna yang menambahkan minimal dua atau tiga alat selama orientasi menyadari potensi penuh produk.
• Produk utilitas: proposisi nilai Anda mungkin untuk menyederhanakan atau mendigitalkan tugas seperti melacak percakapan penjualan di CRM, sehingga Anda dapat melacak jumlah pengguna yang menyelesaikan entri pelanggan pertama mereka secepat mungkin sebagai metrik aktivasi.
• Produk perhatian: jika produk Anda berfokus pada hiburan dan konten, Anda mungkin melacak pengguna yang mengonsumsi konten dalam jumlah tertentu pada minggu pertama pendaftaran .

Omong-omong, metrik yang tertinggal pada dasarnya tidak buruk. Faktanya, mereka adalah bagian penting dari pelaporan, terutama untuk mengukur metrik bisnis seperti hasil keuangan Anda. Keuntungan mereka adalah bahwa mereka mewakili hasil akhir, fakta nyata.

Metrik terkemuka di sisi lain sering menyertakan sejumlah asumsi seperti asumsi bahwa jumlah panggilan dingin yang tinggi setiap hari meningkatkan jumlah pengguna yang membayar lebih jauh. Saat Anda mendapatkan lebih banyak data, Anda harus menguji apakah asumsi tersebut benar, tetapi meskipun demikian masih ada beberapa ketidakpastian apakah metrik aktivasi benar-benar menyebabkan peningkatan retensi, atau apakah faktor lain berkontribusi terhadapnya.

Ini berarti metrik terkemuka tidak akan pernah seakurat metrik tertinggal, tetapi metrik tersebut sangat penting untuk mendapatkan wawasan yang benar dari metrik Anda. Mereka memungkinkan kami untuk belajar dari perilaku pelanggan dan mengidentifikasi indikator awal yang dapat mengubah keputusan produk kami untuk mengoptimalkan hasil bisnis yang lebih baik di masa mendatang. Menggunakan templat One Pager Metrik Holistik memaksa Anda untuk melacak indikator utama dan indikator tertinggal, serta memikirkan bagaimana keduanya saling memengaruhi.

Kesalahan #3: Metrik yang tidak dipahami oleh siapa pun

Ketika saya mewawancarai manajer produk, saya sering mendengar bahwa pengetahuan analitik dan wawasan data tersembunyi di sudut-sudut gelap kantor yang misterius, dengan nama peristiwa yang tidak dipahami oleh siapa pun kecuali beberapa analis yang sangat terspesialisasi. Setiap bulan para spesialis tersebut akan bertemu dengan berbagai tim produk dalam upaya untuk berbagi dan menerjemahkan beberapa temuan mereka.

Jika kami ingin tim produk dan pemangku kepentingan kami menciptakan pemahaman bersama tentang data kami dan mendiskusikan peningkatan produk secara kolaboratif, kami perlu secara aktif berupaya mendemokratisasikan data kami, memastikan metrik kami dapat diakses oleh semua orang dan mudah dipahami.

Intercom berbagi pembelajaran mereka dari melakukan pembersihan acara besar-besaran beberapa tahun yang lalu. Mereka mengadakan sekitar 350 acara untuk produk mereka seperti ini:

Apakah ini terlihat familier bagi Anda?

Intercom berbagi bahwa mereka gagal dalam prinsip utama analitik: mereka sangat tidak masuk akal bagi siapa pun kecuali tim analitik. Mereka mendefinisikan ulang dan membangun kembali seluruh struktur penamaan semua acara mereka untuk memperkenalkan keterbacaan yang lebih baik sebagai langkah kunci untuk mendemokratisasikan data analitik produk mereka.

Penting juga untuk membuat laporan lebih mudah diakses oleh berbagai pemangku kepentingan dan tim dalam organisasi. Sayangnya, saya sering melihat tim takut membuka dasbor mereka, karena hal itu akan mengungkap lagi jumlah keterlibatan atau akuisisi yang sebenarnya yang mungkin tidak terlihat bagus bagi pemangku kepentingan. Untuk menghindari percakapan yang tidak nyaman atau pertanyaan yang mengganggu, seringkali lebih mudah bagi tim untuk bersembunyi di balik lapisan kerumitan.

Bagaimana melakukannya dengan lebih baik:

• Langkah 1: Bekerja dengan tim teknik dan analis Anda untuk menyederhanakan nama peristiwa analisis produk Anda: “Penyelesaian Orientasi” dan “Widget Dasbor Ditambahkan” adalah tindakan yang akan dipahami semua orang.
• Langkah 2: Jika Anda memiliki tim analitik, sertakan mereka dengan lebih baik di tim produk Anda. Semakin banyak konteks yang dimiliki analis tentang apa yang sedang dikerjakan oleh tim produk Anda, eksperimen mana yang Anda uji, dan pertanyaan mana yang perlu dijawab, semakin baik mereka dapat membantu Anda menggali data untuk menemukan wawasan yang paling relevan. Ini harus menjadi kolaborasi daripada pendekatan outsourcing.
• Langkah 3: Jadikan dasbor dan laporan analitik Anda dapat diakses oleh organisasi yang lebih luas. Dasbor Anda harus mencerminkan metrik utama produk Anda (yang dapat Anda tentukan menggunakan Holistic Metrics One Pager dari buku). Ini penting untuk skala (tim Anda tidak ingin dibanjiri permintaan pelaporan manual setiap hari) serta untuk benar-benar membangun budaya yang lebih didorong oleh data dalam organisasi yang lebih luas.

“Ketika tim ditanya tentang keadaan bisnis, mereka dapat mencarinya atau membuat tebakan hipotetis. Sangat penting untuk menjadikan yang pertama cara termudah dan default bagi kepemimpinan untuk menanggapi permintaan ini dengan membuat dasbor penelusuran khusus yang mudah digunakan untuk hal-hal seperti kelompok, corong, dan acara pengguna.”

-Crystal Widjaja

Ingatlah bahwa tugas kami mempekerjakan data kami adalah untuk mengungkap kebenaran sehingga kami dapat mengambil tindakan dan meningkatkan pengalaman produk kami. Membuat metrik Anda mudah dipahami dan lebih mudah diakses adalah langkah kunci untuk memasukkan wawasan data ke dalam pengambilan keputusan sehari-hari di organisasi Anda. Organisasi produk yang kuat harus lebih termotivasi dari sebelumnya untuk memecahkan masalah itu begitu mereka tahu di mana letak masalahnya.

Cara meningkatkan metrik Anda menggunakan daftar periksa metrik

Saya membuat daftar periksa sederhana yang merangkum karakteristik utama dari metrik berkualitas baik dan dapat ditindaklanjuti yang akan membantu Anda mendapatkan lebih banyak wawasan dari data Anda. Gunakan daftar periksa ini untuk menilai dan meningkatkan semua metrik yang ada:

Dibutuhkan latihan nyata untuk benar-benar mendapatkan metrik kunci Anda dengan benar, dan Anda akan menemukan bahwa iblis sering kali terletak pada detailnya. Ini benar-benar normal, dan bahkan dianjurkan untuk sering mengunjungi kembali metrik yang telah Anda pilih, dan menyempurnakannya beberapa kali agar lebih bermanfaat.

Berhati-hatilah dengan jebakan berbagi metrik kesombongan, terlalu fokus pada indikator tertinggal di mana Anda tidak punya waktu untuk mengoreksi arah, dan pastikan Anda menyederhanakan dan mendemokratisasi metrik Anda untuk benar-benar meningkatkan kematangan data di organisasi Anda.