Gösteriş Metrikleri Nedir ve Bunları Kullanmayı Nasıl Durdurursunuz?

Çok kibirlisin (çok kibirlisin)

Bahse girerim bu ölçümün seninle ilgili olduğunu düşünüyorsun

değil mi?

-Carly Simon

Vanity metrikleri nelerdir?

Ancak bir noktada herkes iyi haberlere kapıldı ve gardını indirdi.

Herkese merhaba, dünkü benzersiz kullanıcı sayısına bir bakın!

Herkese merhaba, etkinlik için kayıtlara bakın!

Gösteriş ölçütlerini eleştirmek kolay ama hepimiz oradaydık.

Bu yazıda, bizi makyaj ölçümlerine götüren üç yaygın sorunu anlatacağım. Ardından, metrikleri gözden geçirmenin ve özel metrik alanına girip girmediğinizi bilmenin bir yolu olan The Vanity Metric Test'i paylaşacağım. Zamanınız kısıtlıysa ve doğrudan incelemeye geçmek istiyorsanız burayı tıklayın.

Gösteriş metrik sorunları

Ekiplerle gösteriş ölçümleri hakkında sohbet ederken, üç temel sorun fark ettim.

• Gösteriş metrikleri bağlamdan yoksundur.
• Gösteriş metriklerinin belirsiz bir amacı vardır.
• Gösteriş ölçütleri, eyleme ve öğrenmeye rehberlik etmez.

Sorun 1: Gösteriş metrikleri bağlamdan yoksun

İlk olarak, eksik bağlam sorunumuz var. Sayfa Görünümleri, Günlük Aktif Kullanıcılar ve Kayıtlar bir anlam ifade eder, ancak tek başına çok yardımcı olmaz. Bu ölçümleri büyük resme bakmadan ilettiğimizde sorunlar ortaya çıkıyor. Söylediklerimiz değil , daha çok söylemediklerimizdir—örneğin, “karşılaştırıldığında”, “bir girdi olarak”, “dengelenir”, “erken bir sinyal”, “bir parçası olarak…” “bir parça olarak. oranı”, “aşağıdaki uyarılarla” vb.

Eksik bağlam herkesi etkiler:

• Pazarlama: Kısa vadede içerik görüntülemelerini artırmanın birçok yolu vardır. Potansiyel alıcıları haftalar ve yıllar boyunca çeken, her daim yeşil bir içerik oluşturmak çok daha zordur. İlk trafiğin artması olumlu bir erken sinyaldir , ancak bir dipnota ihtiyacı vardır.
• Satışlar: Üç aylık bir satış hedefine ulaşmak büyük bir başarıdır. Çeşitli nedenlerle dikkat çekicidir. Ama takım golü nasıl buldu? Fiyatta eğildiler mi? Anlaşmaları ileriye taşıdılar mı? Paul'e ödeme yapmak için Peter'ı mı soydular? Daha fazla bağlam gereklidir (örneğin, fiyatlandırmanın önceki çeyreklerle karşılaştırılması).
• Ürün: Yeni bir özelliğin kullanıma sunulması büyük bir dönüm noktasıdır. Erken özellik benimseme metrikleri olumlu bir sinyaldir. Ancak müşteriler bu özelliği mutlaka kullanmıyor . Sadece özelliği deniyor olabilirler. Aslında, insanların bu özelliği denemelerini öneren uygulama içi açılır pencerelerin tümü, merak uyandıran tıklamaları artırıyor olabilir. Özelliği denemek, daha uzun süreli kullanım olasılığına bir girdidir.

Potansiyel olarak eksik bağlamın diğer örnekleri: Ortalama satın almalar arttı, ancak sipariş iadeleri de arttı. Değer teklifinizi yansıtmayan reklamlardan gelen dönüşümler arttı. Bir kanal başka bir kanalı yamyamlaştırıyor. Uygulama, yeni kullanıcılar için daha kolay ancak deneyimli kullanıcılar için daha zordur. Uygulamada geçirilen süre doldu, ancak amacınız insanlara zaman kazandırmak. İnsanlar verileri daha fazla sorguluyor, ancak bunun nedeni sonuçları anlamakta zorlanmaları. Müşteriler uygulamada daha aktif, ancak değerli ağlar yerine zaman kaybetmeye yöneldiler.

Bu örneklerin her birinde bağlamın her şey olduğuna dikkat edin. Dengeleyici bilgilerin eksikliği, büyük resmi ve ölçünün nereye uyduğunu anlamayı zorlaştırıyor.

Çevredeki bağlama ek olarak, insanların Neden'i anlamalarını sağlamalıyız.

Sorun 2: Gösteriş ölçümlerinin belirsiz bir amacı var

İkincisi, metriğin amacı konusunda kafamız karıştı. Metrik tanımı açık olabilir, ancak ölçmeye çalıştığımız şey belirsizdir. Buradaki klasik bir örnek, Tekrar Ziyaretler'dir. Ürünü beğendiğim için mi iade ettim? Ya da ürünün kullanımı zor olduğu ve ara vermem gerektiği için mi? Veya müşteri hizmetlerinin yardımına mı ihtiyacınız var?

Sayfa Görüntüleme Sayısı, Sayfada Geçirilen Süre ve Ortalama Oturum Süresi gibi birçok klasik web "etkileşim" metriği, mobil öncesi, cihaz değiştirme öncesi, 30 öncesi tarayıcı sekmesi, tek sayfalı uygulama öncesi dönemin kalıntılarıdır. O zamanlar mevcut olan en iyi katılım ve değer değişimi vekilleriydiler, ancak şu anda elimizdeki en iyi önlemler değiller.

Ölçmeye çalıştığımız şey ile seçtiğimiz "vekil" arasındaki bağlantı, bazı metriklerle son derece açıktır. Ya da biz öyle düşünüyoruz! Örneğin, bir arkadaşıma dün gece sekiz saat uyuyabildiğimi söylüyorum. Arkadaşım niyetimi şu şekilde yorumluyor: "John iyi bir uyku çektiğini iletmeye çalışıyor."

Ancak uyku saatleri birçok değişkenden sadece biridir. Bu çalışma, uyku kalitesi çalışılırken kullanılan REM gecikmesi, REM uykusu, uykudaki küçük hareketler, farklı uyku döngülerinin zamanlamaları, döngü sayısı vb. dahil olmak üzere ~23 uyku değişkeninden bahseder. Bu çalışma, uyku süresinin “doğrudan ölümle ilişkisi.” Evet!

Yazarları Pittsburgh Uyku Kalitesi İndeksini tanıtıyor ve metriğin amacını açıkça ortaya koyuyor.

Pittsburgh Uyku Kalitesi endeksi birkaç hedefle geliştirilmiştir: (1) güvenilir, geçerli ve standartlaştırılmış bir uyku kalitesi ölçüsü sağlamak; (2) “iyi” ve “kötü” uyuyanlar arasında ayrım yapmak; (3) denekler için kullanımı kolay ve klinisyenler ve araştırmacılar için yorumlanması kolay bir dizin sağlamak; ve (4) uyku kalitesini etkileyen çeşitli uyku bozukluklarının kısa, klinik olarak faydalı bir değerlendirmesini sağlamak.

İletişim niyeti çok önemlidir. Bu yazarlar muhtemelen takaslarla karşı karşıya kaldı. Denekler için kullanım kolaylığı, araştırmacılar için hemen kullanım derinliğine eşit olmayabilir. Standardizasyon, karşılaştırılabilirlik için yararlıdır, ancak genellikle bağlamsal faktörlerin azaltılmasını içerir. Değerlendirme, değerlendirme tamamlama oranları ile değerlendirmenin derinliği arasında bir dengeyi içeren “kısa”dır.

Harika bir niyet beyanı, temel ödünleşimleri ve hedefleri kapsar.

Metrik amacını etkili bir şekilde belirtmek neye benzer?:

Gerçekleri aktarmak. Teoriler/içgörüler aramak:

İşte son 30 gün içinde yaşadığımız kesintilerin sayısı ve bunun geçmiş dönemlerle karşılaştırması. Artışı not edin. Burada neler oluyor, sence? Ne görüyoruz?

Doğrudan ölçülemeyen bir şeyin vekili olarak:

Kuzey Yıldızı Metriğimiz, topluluk katılımıyla birlikte yüksek değerli Kendin Yap projesi eylemleri gerçekleştiren kullanıcı sayısı olarak tanımlanan "Sadık Kendin Yapçılar"dır. Sadakat, memnuniyet ve ürünümüzü topluluk odaklı stratejimizle uyumlu şekillerde kullanmanın bir vekildir. Veriler, bunun daha yüksek müşteri yaşam boyu değeri ve viral kazanımın önde gelen bir göstergesi olduğunu öne sürüyor - ancak (henüz) kanıtlamıyor.

1) bir ekibin hareket edebileceği ve 2) işletmenin orta vadeli başarısına katkıda bulunacağı eyleme geçirilebilir bir ölçüm bulmak istiyoruz.

Hex Pistols, işe alım iş akışının etkinliğini artırmaya odaklanacak. Bu bir hokkabazlık eylemidir. İnsanları acele ettirebileceğimizi ve onları başarıya hazırlayamayacağımızı biliyoruz. Veya ürünü çalışırken görme olasılıklarını azaltarak çok kapsamlı hale getirebiliriz. Çalışmalarımızı yönlendirmek için, proje paylaşımına kadar geçen yüzde 90'lık dilimi azaltmaya odaklanacağız. Proje paylaşımı, kullanıcıların rahat ve ürünü kullanabildiğinin erken bir işaretidir.

Niyet önemli!

Sorun 3: Gösteriş ölçütleri eyleme ve öğrenmeye rehberlik etmez

Geçenlerde Twitter ve LinkedIn'e sordum:

• Bir şey bir makyaj metriği olduğunda testiniz nedir? (Twitter)
• Bir metriğin gösteriş metriği olduğunu nasıl anlarsınız? (LinkedIn)

En yüksek dereceli "testlerden" biri, metriğin eylemlere ve kararlara rehberlik edip etmediğiydi.

Kimse bize gösterdiklerine göre anlamlı bir şekilde hareket edemezken. Metrik için olası hiçbir değer, herhangi bir şeyi gerçekten iyileştirmemizi istemediğinde. Ola Berg

Sonuç uygulanabilir değil. Metrik yükselip alçalmadığından bağımsız olarak, yaptığımız şeyi değiştirmiyoruz. Chris Lukassen

Yükselmeyi/platoları/veya düşüşleri durdurursa kimse endişelenmez. ör: “NPS puanımız 90!” bir ay sonra “NPS puanımız 50!” gelecek ay. Heidi Atkinson

Eylem, kararlar ve öğrenme çok önemlidir.

Bir sayı yükselmeye devam ederse ve bunun ilham verdiği tek eylem, herkesin katıldığı bir toplantıda çatık bir kaşsa, muhtemelen elinizde bir makyaj metriği vardır. Bir takım kutlamak için bir metrik çıkarırsa, ancak düştüğünde stratejilerini veya taktiklerini değiştirmezlerse, muhtemelen bir boş metriğe bakıyorsunuzdur.

Örnekler arasında çok fazla işlem yapılabilir olmayan metrikler yer alır:

• Ortalama Oturum Uzunluğu. Yukarı veya aşağı gider. Ne yapıyorsun?
• Yeni Kullanıcılar (eksi edinme kanalı). Yukarı veya aşağı gider. Ne yapıyorsun?
• Yeni takipçiler. Yukarı veya aşağı gider. Ne yapıyorsun?

Burada birkaç uyarı var.

Bir metrik anlamlı olabilir, ancak hemen eyleme geçirilemez.

Kuzey Yıldızı Çalıştaylarımızda, Kuzey Yıldızı Metriğinin ideal olarak biraz erişilemez olması gerektiğini vurguluyoruz. Çeşitli Kuzey Yıldızı Girdilerini etkileyen ekiplerin çıktısıdır . Neden eyleme geçirilebilir bir Kuzey Yıldızı Metriği istemiyorsunuz? NSM, sürdürülebilir iş performansının önde gelen bir göstergesi olarak hareket etmeyi amaçlamaktadır (çok yıllı zaman diliminde). Neredeyse tanımı gereği, günlük işlerden biraz uzak olacak. Günlük iş ile iş başarısına giden anlamlı girdi arasında “köprü” görevi görecek girdilere ihtiyacımız var.

Kuzey Yıldız Metriğimizi takip ediyoruz ve eğer durursa, bizi stratejimizi yeniden gözden geçirmeye zorlayacaktır, ancak bir takım her sabah onu doğrudan etkilemeyi umarak uyanmaz.

Bir metrik keşif amaçlı olabilir. Bununla ne yapacağımızı henüz bilmiyoruz.

Ekipler genellikle “eylem yapılabilirlik” testinin farkındadır, ancak neredeyse bir hatadır. Aylarca ve aylarca bir "sihirli metrik" veya her şeyi yapan sihirli metrikler kümesini bulmaya çalışacaklar - eyleme geçirilebilir, tahmine dayalı, açıklayıcı vb. metrikteki hareketleri “kontrol edebilirler”.

Sonuç? Ekipler, iyi haberleri ilettikleri için "güvenli" olan gösteriş ölçümlerini kullanır. Yardımcı değiller, ancak eyleme geçirilebilir gibi görünmüyorlar, bu yüzden tüyleri kabartmıyorlar. Bunu istemiyoruz.

Bunun yerine keşif metriklerini kullanmak uygundur. Sadece onları ara.

Eyleme ilham vermek için belirsizlikte hafif bir azalma yeterli olabilir.

Ürün çalışması, belirsizlik koşulları altında karar vermekle ilgilidir. Bir şeyden %100 emin olana kadar istiyorsanız, çok geç hareket edeceksiniz. Bu nedenle, yaptığımız eylemlerle ilgili tüm belirsizliği azaltan mükemmel ölçümler için ateş etmemeliyiz.

Goodhart Yasası ve iyi ölçüm ile iyi hedefler arasındaki gerilim

Goodhart Yasası şunları belirtir:

“Bir önlem hedef haline geldiğinde, iyi bir önlem olmaktan çıkar.”

Bunu iş arkadaşım Adam Greco'nun Vanity Metrics hakkındaki rehberliğiyle karşılaştırın:

Bir metrik yükselirse veya düşerse birisi terfi etmeyecek veya kovulmayacaksa, bu muhtemelen bir gösteriş metriğidir.

Burada bir gerilim/paradoks var. Bir metrik hedef haline geldiğinde ve iyi/kötü bir iş yapmanın bir işareti haline geldiğinde, bunun bir gösteriş metriği haline gelme riskini alırsınız çünkü insanlar onun yükselmesini sağlayacaktır. Yine de metriklerimizin bir anlam ifade etmesini istiyoruz - alakalı olmak, iyi vekiller olmak ve ilgili kararları bilgilendirmek.

Goodhart Yasasına Örnekler:

• Bir ekibin özellikleri tahmin edilebilir bir şekilde gönderme hedefi varsa, "öngörülemez" görünebilecek yeni geri bildirimleri onaylamamaları daha az olası olacaktır.
• Bir ekibin ortalama sipariş boyutunu artırma hedefi varsa, gelecekteki sonuçlar, marka sadakati vb. pahasına ortalama sipariş boyutunu artırma olasılıkları daha yüksek olacaktır.
• Bir yöneticinin bir çeyrekte belirli sayıda kişiyi işe alma hedefi varsa, en iyi aday olmayan birini işe alma olasılıkları daha yüksek olacaktır.

Peki bu bize daha etkili metrikler ve daha az boş metrik kullanmak hakkında ne söyleyebilir? Birincisi, anlamlı amaç ve hedefleri seçmekten ve 2. veya 3. sıradaki olumsuz etkileri anlamak için etkili “korkuluklar” tanımlamaktan sorumludur. Goodhart Yasasını tamamen yenemeyiz -insanların, ısrar ettiğiniz oyunu oynayacaklarını varsaymalısınız- ama biz dengeler ve dengeler kurmaya çalışabiliriz.

Adam'ın ipucunu kullanarak kendinize “burada neyi ödüllendirmek istiyoruz?” diye de sorabilirsiniz. İş sonuçlarından sorumlu olmak mantıklıdır. Ancak, keyfi ölçütlere ve başarı tiyatrosuna ulaşmalarına dayalı olarak insanları terfi ettirmek istemezsiniz. Bill Walsh'ın Skor Kendi Kendine Bakar fikrine büyük bir inancım var. Hedefler olumlu alışkanlıkları ve rutinleri teşvik etmelidir.

Özet

Özel metriklerle ilişkili üç yaygın sorunu tanımladık:

• Gösteriş metrikleri bağlamdan yoksun
• Gösteriş metriklerinin belirsiz bir amacı var
• Gösteriş metrikleri, eyleme ve öğrenmeye rehberlik etmez

Metriklerin etkin kullanımı, bağlam sağlamayı, amacınızı belirtmeyi ve eyleme ve öğrenmeye rehberlik eden metrikleri seçmeyi içerir. Bir metriğe işaret etmek ve "bu bir gösteriş ölçüsüdür" demek, "o ölçütü bir gösteriş ölçüsü olarak kullanıyorsunuz" demekle eşdeğerdir.

Gösteriş Metrik Testi

Gösteriş ölçütlerinin kullanımına katkıda bulunan çeşitli sorunları ve gösteriş ölçütleriyle ilişkili sorunları tartıştık. Şimdi metriklerinizi test etme zamanı.

Bu bölümde, metriklerin sağlıklı Bu gönderide daha önce incelediğimiz temaları fark edeceksiniz: bağlam, amaç, sorumlu eylem ve öğrenme.

Her bir ifade için size şunları öneriyoruz:

1. İstemi ekibinizle tartışın
2. Farklı bakış açıları arayın
3. Dikkat edilmesi gereken öğeleri işaretleyin

S1: Ekip, metriği izlemenin altında yatan mantığı anlıyor.

İpucu: Çalışan işe alım planınıza metrik yönünü dahil edin. Amplitude müşterileri, temel ölçümler etrafında bağlam sağlamak için Defterler özelliğimizi sıklıkla kullanır.

S2: Metriği, gerekli bağlamı ekleyen ilgili metriklerin yanında sunuyoruz. Ayrı ayrı sunulduğunda, gerekli dipnotları ve referansları ekleriz.

İpucu: Sunumlarda korkuluk ve ilgili ölçümlerin görüntülenmesini normalleştirin.

S3: Metriği anlamlı sonuçlara ve etkiye bağlayan hipotezler (ve varsayımlar) açıkça ifade edilmiştir, mevcuttur ve tartışmaya/tartışmaya açıktır.

İpucu: Varsayılan nedensel ilişkileri iletmek için ağaç diyagramlarını (sürücü ağaçları, Kuzey Yıldız Çerçevesi, varsayım ağaçları vb.) ve nedensel ilişki diyagramlarını kullanın. “Random Jira Ticket” oyununu oynamayı düşünün. Rastgele bir Jira bileti seçip o öğeden uzun vadede önemli olacak bir şeye "ağaçta yürüyebilir" misiniz?

S4: Metrik hesaplama/tanım incelenebilir, denetlenebilir ve ayrıştırılabilir. Çeşitli bileşenleri, yan tümceleri, özellikleri vb. ayrılabilir. Alan bilgisi iyi olan biri nasıl çalıştığını anlayabilir.

İpucu: Mümkün olduğunda, birinin nasıl hesaplandığına "tıklayabilmesi" için metriği paylaşın. Örneğin, metrik "7 gün içinde 7'den fazla kullanıcıyla paylaşıldı" gibi bir filtre içeriyorsa, bu maddeyi ayarlamak ve bu sayının toplam kullanıcı sayısıyla nasıl karşılaştırıldığını görmek mümkün olmalıdır. İnsanların metriği yeniden oluşturmasını sağlayarak güven oluşturun.

S5: Metrik, düzenli olarak gözden geçirilen ve tartışılan bir pano, puan kartı veya raporun parçasıdır. Sağlıklı bir incelemeden kurtuldu. Metrik daha açıklayıcı ve test edilmemişse (ya da “…. olup olmadığını merak ediyordum.”), bu bağlam en baştan açıktır.

İpucu: İnceleme iyi bir şeydir. Bir metriğe ne kadar çok göz atarsanız o kadar iyidir. Eleştiriye davet edin. Soruları çıktıkça kaydedin. Metriğin her "gösterilmesini" (örneğin, her yerde veya ürün incelemesinde) art arda daha iyi hale getirin.

S6: Takımın, metrikteki değişikliklerin neyi gösterdiğine dair çalışan bir teorisi var.

İpucu: İşte size şunu düşündürecek temel bir bilgi istemi: "Bu metrikteki bir artış _______ işaretidir ve bu metrikteki düşüş _______ işaretidir."

Ö7: Zamanla, metrik artan değer ve güven sağlar. Metrik kullanımından kaynaklanan belirli kararları ve eylemleri gösterebiliriz (ve bu eylemler gözden geçirilebilir). Şirket, onu izlemeye ve iletmeye devam etmek için yatırım yapacaktı.

İpucu: Metrikleri görüntülerken güven düzeylerini belirtin ve bir karar/eylem günlüğü tutun. İlk başta %100 emin olmamayı ve yüksek güven seviyelerine sahip metrikleri görüntülemeyi daha düşük güven seviyelerine sahip yeni aday metriklerle dengelemeye çalışın.

S8: Ekip, net eylem eşikleri belirler (örneğin, “X'i aşarsa, Y'yi düşünebiliriz”). Metrik düşebilir. Ve eğer düşerse, muhtemelen teftiş/eylem için ilham verecektir.

İpucu: Metrikteki hareketlerin gelecekteki davranışları nasıl belirleyeceğini daha iyi anlamak için bir senaryo planlama çalıştayı düzenleyin. Bir eşiğe ulaştığınızda sizi uyarması için analiz aracınızda monitörler ayarlayın.

S9: Metrik karşılaştırmalı (zaman içinde, benzer metriklere karşı vb.) Daha geniş bir ifadeyle, uzun bir süre için izleniyorsa, elmalar ve elmalar arasında periyotlar arasında karşılaştırmalar yapmak mümkündür.

İpucu: Karşılaştırmalara daha fazla göz atmak için gösterge tablolarınıza dönemler arası görünümler ekleyin.

S10: Ekip, zorlukları VE kazançları iletmek için metriği kullanır. Sadece kazanmak değil.

İpucu: Liderler burada tonu ayarlar. Beklediğiniz gibi gitmeyen durumları ve bunu anlamak için verileri nasıl kullandığınızı tartışın.

Özet

Gösteriş ölçütleri, kendimizi iyi hissettiren, ancak daha iyi işler yapmamıza veya daha iyi kararlar vermemize yardımcı olmayan ölçütlerdir. Hiç kimse kibir ölçümlerini kullanmaya karşı bağışık değildir! Anahtar, bağlam sağlamanızı, kullandığınız metriklerin amacını belirtmenizi ve metriğin (veya metriklerin) yönlendireceği eylemleri ve kararları netleştirmenizi sağlamaktır.

Anlamlı ölçümler tanımlamak için Kuzey Yıldızı Başucu Kitabı'na bakın. Bir Kuzey Yıldızı Metriği ve eyleme geçirilebilir girdiler kümesi oluşturmak, boş ölçütleri kullanmaktan kaçınmanın güçlü bir yoludur.