Apa Itu Metrik Kesombongan dan Bagaimana Cara Berhenti Menggunakannya

Anda sangat sia-sia (Anda sangat sia-sia)

Saya yakin Anda berpikir metrik ini tentang Anda

Bukankah begitu?

– Carly Simon

Apa itu metrik kesombongan?

Tetapi setiap orang, pada titik tertentu, telah terpikat oleh kabar baik dan lengah.

Hai semuanya, lihat jumlah pengguna unik dari kemarin!

Hai semuanya, lihat pendaftaran untuk acaranya!

Sangat mudah untuk mengkritik metrik kesombongan, tetapi kita semua pernah ke sana.

Dalam posting ini, saya akan menjelaskan tiga masalah umum yang membawa kita ke metrik kesombongan. Kemudian saya akan membagikan The Vanity Metric Test , sebuah cara untuk meninjau metrik dan mengetahui apakah Anda berbelok ke wilayah metrik kesombongan. Jika Anda kekurangan waktu dan ingin langsung ke ulasan, klik di sini.

Masalah metrik kesombongan

Saat mengobrol dengan tim tentang metrik kesombongan, saya melihat tiga masalah mendasar.

• Metrik kesombongan tidak memiliki konteks.
• Metrik kesombongan memiliki maksud yang tidak jelas.
• Metrik kesombongan tidak memandu tindakan dan pembelajaran.

Masalah 1: Metrik kesombongan tidak memiliki konteks

Pertama, kita memiliki masalah konteks yang hilang. Tampilan Halaman, Pengguna Aktif Harian, dan Pendaftaran berarti sesuatu tetapi tidak terlalu membantu secara terpisah. Masalah muncul ketika kami mengomunikasikan metrik ini tanpa merujuk pada gambaran yang lebih besar. Bukan apa yang kita katakan, melainkan apa yang tidak kita katakan—misalnya, “dibandingkan dengan”, “sebagai masukan ke dalam”, “diseimbangkan oleh”, “sinyal awal”, “bagian dari…” “sebagai rasio," "dengan peringatan berikut," dll.

Konteks yang hilang berdampak pada semua orang:

• Pemasaran: Ada banyak cara untuk meningkatkan tampilan konten dalam jangka pendek. Jauh lebih sulit untuk membuat konten yang selalu hijau yang menarik pembeli potensial selama berminggu-minggu dan bertahun-tahun. Mendapatkan peningkatan lalu lintas awal adalah sinyal awal yang positif , tetapi perlu catatan kaki.
• Penjualan: Mencapai tujuan penjualan triwulanan adalah pencapaian besar. Ini penting karena berbagai alasan. Tapi bagaimana tim mencapai tujuan? Apakah mereka membungkuk pada harga? Apakah mereka memajukan kesepakatan? Apakah mereka merampok Peter untuk membayar Paul? Lebih banyak konteks diperlukan (misalnya, membandingkan harga dengan kuartal sebelumnya).
• Produk: Meluncurkan fitur baru adalah pencapaian besar. Metrik adopsi fitur awal adalah sinyal positif. Tetapi pelanggan belum tentu menggunakan fitur tersebut. Mereka mungkin hanya mencoba fitur tersebut. Faktanya, semua pop-up dalam aplikasi yang menyarankan orang untuk mencoba fitur tersebut dapat meningkatkan klik rasa ingin tahu. Mencoba fitur tersebut merupakan masukan ke dalam kemungkinan penggunaan jangka panjang.

Contoh lain dari konteks yang berpotensi hilang: Pembelian rata-rata naik, tetapi begitu juga pengembalian pesanan. Konversi meningkat dari iklan yang tidak sesuai dengan proposisi nilai Anda. Satu saluran mengkanibal saluran lain. Aplikasi ini lebih mudah bagi pengguna baru tetapi lebih sulit bagi pengguna berpengalaman. Waktu yang dihabiskan di aplikasi sudah habis, tetapi tujuan Anda adalah menghemat waktu orang. Orang-orang lebih banyak menanyakan data, tetapi itu karena mereka kesulitan memahami hasilnya. Pelanggan lebih aktif dalam aplikasi, tetapi mereka telah beralih ke membuang-buang waktu daripada membangun jaringan yang berharga.

Perhatikan bagaimana dalam setiap contoh ini, konteks adalah segalanya. Kurangnya informasi penyeimbang membuat sulit untuk memahami gambaran besar dan di mana metriknya cocok.

Selain konteks di sekitarnya, kita perlu memastikan orang memahami Mengapa .

Masalah 2: Metrik kesombongan memiliki maksud yang tidak jelas

Kedua, kami memiliki kebingungan tentang maksud metrik. Definisi metrik mungkin eksplisit, tetapi apa yang kami coba ukur tidak jelas. Contoh klasik di sini adalah Kunjungan Kembali. Apakah saya kembali ke produk karena saya menyukai produk tersebut? Atau karena produknya sulit digunakan, dan saya perlu istirahat? Atau membutuhkan bantuan layanan pelanggan?

Banyak metrik "keterlibatan" web klasik seperti Tampilan Halaman, Waktu di Halaman, dan Durasi Sesi Rata-rata adalah sisa dari era pra-seluler, pra-pertukaran perangkat, pra-tab browser, pra-halaman-aplikasi. Mereka adalah proxy terbaik untuk keterlibatan dan pertukaran nilai yang tersedia saat itu, tetapi bukan ukuran terbaik yang kami miliki sekarang.

Hubungan antara apa yang kami coba ukur dan "proxy" yang kami pilih sangat jelas dengan beberapa metrik. Atau begitulah menurut kami! Misalnya, saya memberi tahu seorang teman bahwa saya bisa tidur delapan jam tadi malam. Teman saya menafsirkan maksud saya sebagai, “John sedang mencoba mengomunikasikan bahwa dia tidur nyenyak di malam hari.”

Tapi jam tidur hanyalah salah satu dari banyak variabel. Studi ini menyebutkan ~23 variabel tidur yang digunakan saat mempelajari kualitas tidur, termasuk latensi REM, tidur REM, gerakan kecil dalam tidur, waktu siklus tidur yang berbeda, jumlah siklus, dll. hubungannya dengan kematian.” Astaga!

Penulisnya memperkenalkan Indeks Kualitas Tidur Pittsburgh dan dengan jelas menguraikan maksud dari metrik tersebut.

Indeks Kualitas Tidur Pittsburgh dikembangkan dengan beberapa tujuan: (1) untuk memberikan ukuran kualitas tidur yang andal, valid, dan terstandarisasi; (2) membedakan antara orang yang tidur “baik” dan “miskin”; (3) untuk menyediakan indeks yang mudah digunakan oleh subjek dan bagi klinisi dan peneliti untuk menginterpretasikannya; dan (4) untuk memberikan penilaian singkat yang berguna secara klinis dari berbagai gangguan tidur yang mempengaruhi kualitas tidur.

Mengkomunikasikan niat sangat penting. Para penulis ini kemungkinan menghadapi trade-off. Kemudahan penggunaan untuk subjek mungkin tidak langsung sama dengan kedalaman penggunaan bagi peneliti. Standardisasi sangat membantu untuk komparabilitas tetapi sering kali melibatkan pengurangan faktor kontekstual. Penilaiannya bersifat “singkat”, yang melibatkan pertukaran antara tingkat penyelesaian penilaian dan kedalaman penilaian.

Pernyataan niat yang baik mencakup pengorbanan dan tujuan mendasar.

Seperti apa pernyataan niat metrik secara efektif?:

Menyampaikan fakta. Mencari teori/wawasan:

Berikut adalah jumlah pemadaman yang kami alami dalam 30 hari terakhir dan bagaimana perbandingannya dengan periode sebelumnya. Perhatikan peningkatannya. Apa yang terjadi di sini, menurutmu? Apa yang kita lihat?

Sebagai proxy untuk sesuatu yang tidak dapat diukur secara langsung:

Metrik Bintang Utara kami adalah “Pekerja DIY yang Setia”, yang didefinisikan sebagai jumlah pengguna yang melakukan tindakan proyek DIY bernilai tinggi yang dikombinasikan dengan keterlibatan komunitas mereka. Ini adalah proxy untuk kombinasi loyalitas, kepuasan, dan menggunakan produk kami dengan cara yang sesuai dengan strategi berorientasi komunitas kami. Data menunjukkan—tetapi tidak membuktikan (belum)—bahwa ini adalah indikator utama nilai seumur hidup pelanggan dan akuisisi viral yang lebih tinggi.

Kami ingin menemukan metrik yang dapat ditindaklanjuti yang 1) tim dapat bergerak dan 2) akan berkontribusi pada kesuksesan jangka menengah bisnis.

Hex Pistols akan fokus pada peningkatan efektivitas alur kerja orientasi. Ini adalah tindakan juggling. Kami tahu bahwa kami dapat membuat orang terburu-buru dan tidak mengatur mereka untuk sukses. Atau kita bisa membuatnya sangat komprehensif, mengurangi kemungkinan mereka melihat produk beraksi. Untuk memandu pekerjaan kami, kami akan fokus pada pengurangan waktu persentil 90% untuk berbagi proyek. Berbagi proyek adalah sinyal awal bahwa pengguna merasa nyaman dan dapat menggunakan produk.

Niat penting!

Masalah 3: Metrik kesombongan tidak memandu tindakan dan pembelajaran

Saya baru-baru ini bertanya kepada Twitter dan LinkedIn:

• Apa tes Anda ketika sesuatu adalah metrik kesombongan? (Twitter)
• Bagaimana Anda tahu jika metrik adalah metrik cantik? (LinkedIn)

Salah satu "tes" dengan peringkat tertinggi adalah apakah metrik memandu tindakan dan keputusan.

Ketika tidak ada yang bisa bertindak dengan cara yang berarti atas apa yang ditunjukkannya kepada kita. Bila tidak ada nilai yang memungkinkan untuk metrik tersebut, akan mendorong kami untuk benar-benar meningkatkan apa pun. Ola Berg

Hasilnya tidak bisa ditindaklanjuti. Terlepas dari [apakah] metriknya naik atau turun, kami tidak mengubah apa yang kami lakukan. Chris Lukassen

Ketika tidak ada yang khawatir jika berhenti naik/dataran tinggi/atau menurun. mis: “Skor NPS kami adalah 90!” satu bulan diikuti oleh “Skor NPS kami adalah 50!” bulan depan. Heidi Atkinson

Tindakan, keputusan, dan pembelajaran adalah masalah besar.

Jika angka terus naik, dan satu-satunya tindakan yang diilhami adalah alis berkerut dalam pertemuan semua tangan, Anda mungkin memiliki metrik kesombongan di tangan Anda. Jika sebuah tim mengeluarkan metrik untuk merayakan, tetapi ketika turun, mereka tidak mengubah strategi atau taktik mereka, Anda mungkin melihat metrik kesombongan.

Contohnya termasuk metrik yang tidak terlalu dapat ditindaklanjuti meliputi:

• Durasi Sesi Rata-Rata. Itu naik atau turun. Apa pekerjaanmu?
• Pengguna Baru (dikurangi saluran akuisisi). Itu naik atau turun. Apa pekerjaanmu?
• Pengikut baru. Itu naik atau turun. Apa pekerjaanmu?

Ada beberapa peringatan di sini.

Metrik bisa bermakna tetapi tidak dapat segera ditindaklanjuti.

Dalam Lokakarya Bintang Utara kami, kami menekankan bahwa Metrik Bintang Utara idealnya harus sedikit di luar jangkauan. Ini adalah output dari tim yang mempengaruhi berbagai Input Bintang Utara. Mengapa Anda tidak menginginkan Metrik Bintang Utara yang dapat ditindaklanjuti? NSM bermaksud untuk bertindak sebagai indikator utama kinerja bisnis yang berkelanjutan (dalam jangka waktu multi-tahun). Hampir menurut definisi, itu akan agak jauh dari pekerjaan sehari-hari. Kami membutuhkan masukan untuk menjadi "jembatan" antara pekerjaan sehari-hari dan masukan yang berarti ke dalam kesuksesan bisnis.

Kami melacak Metrik Bintang Utara kami, dan jika macet, itu akan memaksa kami untuk mempertimbangkan kembali strategi kami, tetapi sebuah tim tidak bangun setiap pagi dengan harapan dapat memengaruhinya secara langsung.

Metrik dapat bersifat eksploratif. Kami belum tahu apa yang harus dilakukan dengannya.

Tim umumnya menyadari tes "kemampuan bertindak", tetapi hampir salah. Mereka akan menghabiskan waktu berbulan-bulan untuk mencoba mencari tahu "metrik ajaib" atau serangkaian metrik ajaib yang melakukan semuanya—dapat ditindaklanjuti, prediktif, penjelasan, dll. Pemimpin produk menjadi sangat stres ketika menyerahkan metrik kepada "milik" tetapi tidak yakin apakah mereka dapat "mengontrol" pergerakan dalam metrik.

Hasil? Tim menggunakan metrik kesombongan yang "aman" karena mereka menyampaikan kabar baik. Mereka tidak membantu, tetapi mereka tidak berpura-pura dapat ditindaklanjuti, jadi mereka tidak mengacak-acak bulu apa pun. Kami tidak menginginkan ini.

Tidak apa-apa untuk menggunakan metrik eksplorasi sebagai gantinya. Panggil saja mereka.

Sedikit pengurangan dalam ketidakpastian mungkin cukup untuk menginspirasi tindakan.

Pekerjaan produk adalah tentang membuat keputusan dalam kondisi ketidakpastian. Jika Anda ingin sampai Anda 100% yakin tentang sesuatu, Anda akan bertindak terlambat. Oleh karena itu, kita tidak boleh memotret metrik sempurna yang mengurangi semua ketidakpastian tentang tindakan yang kita ambil.

Hukum Goodhart dan ketegangan antara pengukuran yang baik dan target yang baik

Hukum Goodhart menyatakan bahwa:

"Ketika ukuran menjadi target, itu berhenti menjadi ukuran yang baik."

Bandingkan ini dengan panduan rekan kerja saya Adam Greco tentang Metrik Kesombongan:

Jika seseorang tidak akan dipromosikan atau dipecat jika metrik naik atau turun, itu mungkin metrik kesombongan

Di sini kita memiliki ketegangan/paradoks. Setelah metrik menjadi target dan menjadi sinyal melakukan pekerjaan yang baik/buruk, Anda berisiko menjadi metrik kesombongan karena orang akan memastikannya naik. Namun kami ingin metrik kami berarti sesuatu— menjadi relevan, menjadi proxy yang baik, dan menginformasikan keputusan yang relevan.

Contoh Hukum Goodhart:

• Jika tim memiliki target fitur pengiriman yang dapat diprediksi, mereka cenderung tidak akan memproses penolakan konfirmasi umpan balik baru yang mungkin tampak “tidak dapat diprediksi”.
• Jika sebuah tim memiliki target untuk meningkatkan ukuran pesanan rata-rata, mereka akan cenderung meningkatkan ukuran pesanan rata-rata dengan mengorbankan hasil di masa mendatang, loyalitas merek, dll.
• Jika seorang manajer memiliki target untuk mempekerjakan sejumlah orang dalam satu kuartal, mereka akan cenderung mempekerjakan seseorang yang bukan kandidat terbaik.

Jadi, apa yang dapat diberitahukan kepada kami tentang penggunaan metrik yang lebih efektif dan metrik cantik yang lebih sedikit? Pertama bertanggung jawab untuk memilih tujuan dan target yang berarti dan mendefinisikan “pagar pembatas” yang efektif untuk memahami efek urutan ke-2 atau ke-3 yang merugikan. Kita tidak bisa mengalahkan Hukum Goodhart sepenuhnya—Anda harus berasumsi bahwa orang akan memainkan permainan yang Anda paksakan untuk mereka mainkan—tetapi kita bisa berusaha untuk membangun checks and balances.

Menggunakan tip Adam, Anda juga dapat bertanya pada diri sendiri, “apa yang ingin kami berikan di sini?” Bertanggung jawab atas hasil bisnis masuk akal. Tetapi Anda tidak ingin mempromosikan orang-orang berdasarkan pada metrik yang sewenang-wenang dan teater kesuksesan. Saya sangat percaya pada ide Bill Walsh tentang The Score Takes Care of Itself. Target harus mendorong kebiasaan dan rutinitas positif.

rekap

Kami menjelaskan tiga masalah umum yang terkait dengan metrik kesombongan:

• Metrik kesombongan tidak memiliki konteks
• Metrik kesombongan memiliki maksud yang tidak jelas
• Metrik kesombongan tidak memandu tindakan dan pembelajaran

Penggunaan metrik yang efektif termasuk menyediakan konteks, menyatakan niat Anda, dan memilih metrik yang memandu tindakan dan pembelajaran. Menunjuk ke metrik dan mengatakan "itu adalah metrik rias" sama dengan mengatakan "Anda menggunakan metrik itu sebagai metrik rias."

Tes Metrik Kesombongan

Kami telah membahas berbagai masalah yang berkontribusi pada penggunaan metrik rias dan masalah yang terkait dengan metrik rias. Sekarang saatnya untuk menguji metrik Anda.

Di bagian ini, kami menyajikan sepuluh pernyataan yang menggambarkan Anda akan melihat tema yang kami jelajahi sebelumnya dalam posting ini: konteks, niat, tindakan yang bertanggung jawab, dan pembelajaran.

Untuk setiap pernyataan, kami menyarankan Anda:

1. Diskusikan prompt dengan tim Anda
2. Carilah perspektif yang beragam
3. Tandai item yang perlu diperhatikan

S1: Tim memahami alasan yang mendasari pelacakan metrik.

Tip: Sertakan orientasi metrik dalam rencana orientasi karyawan Anda. Pelanggan amplitudo sering menggunakan fitur Notebook kami untuk memberikan konteks seputar metrik utama.

S2: Kami menyajikan metrik bersama metrik terkait yang menambahkan konteks yang diperlukan. Saat disajikan secara terpisah, kami menambahkan catatan kaki dan referensi yang diperlukan.

Tip: Normalisasi tampilan pagar pembatas dan metrik terkait dalam presentasi.

S3: Hipotesis (dan asumsi) yang menghubungkan metrik dengan hasil dan dampak yang berarti diartikulasikan dengan jelas, tersedia, dan terbuka untuk tantangan/diskusi.

Tip: Gunakan diagram pohon (pohon driver, Kerangka Bintang Utara, pohon asumsi, dll.) dan diagram hubungan sebab akibat untuk mengkomunikasikan hipotesis hubungan sebab akibat. Pertimbangkan untuk memainkan game “Tiket Jira Acak”. Bisakah Anda secara acak memilih tiket Jira dan "berjalan di pohon" dari item itu ke sesuatu yang penting dalam jangka panjang?

S4: Perhitungan/definisi metrik dapat diperiksa, dapat diperiksa, dan dapat diurai. Berbagai komponen, klausa, fitur, dll., dapat dipisahkan. Seseorang dengan pengetahuan domain yang baik dapat memahami cara kerjanya.

Kiat: Jika memungkinkan, bagikan metrik sehingga seseorang dapat “mengklik” untuk mengetahui cara penghitungannya. Misalnya, jika metrik melibatkan filter seperti "dibagikan dengan lebih dari 7 pengguna dalam 7 hari", klausa tersebut seharusnya dapat disesuaikan dan melihat bagaimana jumlah tersebut dibandingkan dengan jumlah total pengguna. Bangun kepercayaan dengan memungkinkan orang membuat ulang metrik.

S5: Metrik adalah bagian dari dasbor, kartu skor, atau laporan yang ditinjau dan didiskusikan secara berkala. Itu telah selamat dari pengawasan yang sehat. Jika metrik lebih eksploratif dan belum teruji (atau “Saya ingin tahu apakah….”), konteksnya sudah jelas sejak awal.

Tip: Pengawasan adalah hal yang baik. Semakin banyak perhatian Anda pada metrik, semakin baik. Undang kritik. Rekam pertanyaan saat muncul. Jadikan setiap "penampilan" metrik (misalnya, di semua sisi atau ulasan produk) berturut-turut lebih baik.

S6: Tim memiliki teori kerja tentang perubahan apa yang ditunjukkan oleh metrik.

Kiat: Berikut adalah petunjuk dasar untuk membuat Anda berpikir: “Peningkatan metrik ini adalah sinyal bahwa _______ , dan penurunan metrik ini adalah sinyal bahwa _______.”

S7: Seiring waktu, metrik memberikan peningkatan nilai dan kepercayaan diri. Kami dapat menunjukkan keputusan dan tindakan spesifik yang dihasilkan dari penggunaan metrik (dan tindakan tersebut dapat ditinjau). Perusahaan akan berinvestasi untuk terus melacak dan mengomunikasikannya.

Tip: Tunjukkan tingkat kepercayaan saat menampilkan metrik, dan simpan log keputusan/tindakan. Cobalah untuk menormalkan yang awalnya tidak 100% yakin dan menyeimbangkan tampilan metrik dengan tingkat kepercayaan tinggi dengan metrik kandidat baru dengan tingkat kepercayaan yang lebih rendah.

S8: Tim menetapkan ambang batas tindakan yang jelas (misalnya, "jika melebihi X, maka kami dapat mempertimbangkan Y"). Metriknya bisa turun. Dan jika turun, kemungkinan akan menginspirasi inspeksi/tindakan.

Tip: Lakukan lokakarya perencanaan skenario untuk lebih memahami bagaimana pergerakan dalam metrik akan menentukan perilaku di masa depan. Atur monitor di alat analitik Anda untuk memperingatkan Anda ketika Anda telah mencapai ambang batas.

S9: Metriknya bersifat komparatif (dari waktu ke waktu, vs. metrik serupa, dll.) Secara lebih luas, jika melacaknya untuk periode yang berlarut-larut, dimungkinkan untuk membuat perbandingan apel vs apel antar periode.

Kiat: Sertakan tampilan periode demi periode di dasbor Anda untuk mendapatkan lebih banyak perhatian pada perbandingan.

S10: Tim menggunakan metrik untuk mengomunikasikan tantangan DAN kemenangan. Bukan hanya menang.

Tip: Pemimpin mengatur nada di sini. Diskusikan situasi yang tidak berjalan seperti yang Anda harapkan dan bagaimana Anda menggunakan data untuk mengetahuinya.

Ringkasan

Metrik kesombongan adalah metrik yang membuat kita merasa baik, tetapi tidak membantu kita melakukan pekerjaan yang lebih baik atau membuat keputusan yang lebih baik. Tidak ada yang kebal untuk menggunakan metrik kesombongan! Kuncinya adalah memastikan Anda memberikan konteks, menyatakan maksud metrik yang Anda gunakan, dan mengklarifikasi tindakan dan keputusan yang akan didorong oleh metrik (atau metrik).

Untuk menentukan metrik yang berarti, lihat Buku Pedoman Bintang Utara. Menetapkan Metrik Bintang Utara dan konstelasi input yang dapat ditindaklanjuti adalah cara ampuh untuk menghindari penggunaan metrik cantik.