Kaçınmanız Gereken 3 Ürün Metrik Tuzağı

The Insights Driven Product Manager adlı kitabımda, daha fazla odak oluşturmak ve verilerinizden gerçek içgörüleri çıkarmak için daha fazla zaman harcamak için daha az izlemenin neden önemli olduğunu ele alıyorum.

Bir sonraki adım, temel düzeyde, "kaliteli metrikler" dediğim şeyi izlediğinizden emin olmaktır. Kitabımın 7. bölümünden bir alıntı olan bu gönderi, metriklerinizin genel kalitesini nasıl iyileştireceğinize, bunları nasıl daha uygulanabilir hale getireceğinize ve hangi tuzaklardan kaçınmanız gerektiğine odaklanacaktır.

Tuzak 1: Gösteriş metrikleri

Birkaç yıl önce ofis ortamlarını yönetmek için bir B2B SaaS ürünü üzerinde çalışıyordum. Ürünü yeni piyasaya sürdük ve ilk ücretli reklam kampanyalarımızı yayınlamaya başladık, bu yüzden 30 gün boyunca toplam kayıt sayısını izleyen bir gösterge panosu oluşturdum:

Rakamlar artıyor gibi görünüyordu, bu yüzden momentumdan oldukça memnunduk.

Sorun şu ki, bu grafik sunumlarda iyi görünse de, gerçek şu ki, yeni kayıtların yalnızca %4'ü gerçek dönüşümlere ve gelire dönüşüyordu ve sonuç olarak, aylık yinelenen gelir hedeflerimize ulaşamadık.

Bu kümülatif bir çizelgedir, bu nedenle en kötü durum, yeni kullanıcılar edinmezsek grafiğin plato yapması, ancak sayının asla azalmaması olabilir. Bu, gösteriş metriğinin klasik bir örneğidir:

• Bu grafiğe bakmak bizi iyi hissettirdi.
• Bu metrik özellikle paydaş sunumlarında kullanışlıydı.
• Aslında iyi olup olmadığımız konusunda bize herhangi bir fikir vermedi.
• Bize herhangi bir fikir vermediği için, ürünü veya özellikleri herhangi bir şekilde geliştirmek için harekete geçmemize neden olmadı.
• Ve bu metriğe her gün bakmamıza rağmen, bir sorun olduğunu anlamamız iki ayımızı aldı (30 günlük denemelerin tamamı bitip çalkalanana kadar).

Sorunun bir kısmı, o zamanlar daha iyi metriklerin nasıl ölçüleceğine dair bilgi eksikliğimiz olsa da, kuruluşlardaki sorun genellikle çok daha derinlerdedir: çoğu ekip veya paydaş, metriklerinden gerçeği duymaya hazır değildir, bu yüzden bizi iyi gösteren sayılar için.

Kumu CPO'su ve Reforge yazarı Crystal Widjaja ile yaptığım röportajda, verileri başarısızlıklardan yararlanmanın ve bunun yerine iyileştirmeleri sağlamanın bir yolu olarak nasıl göreceğini güzel bir şekilde özetledi:

"İnsanlar hata yaptığında (başarısız deney, başarısız dağıtım vb.), bu bedeli zaten ödemişsinizdir. Verileri, hatalardan yararlanmanın ve onlardan öğrenmenin bir yolu olarak düşünmeliyiz. 'Başarısızlığın eğitimini ödemek' ve bireyi kovmak yerine, bize NEDEN bir başarısızlık olduğunu söylemek için veri içgörülerini kullanın, bundan ders çıkarın ve bir sonraki yinelemenin ilkinden 10 kat daha iyi olması için ondan yararlanın.

– Kristal Widjaja

Verilerinizden daha fazla içgörü elde etmek için, boş ölçümleri izlemeyi gerçekten bırakmanız ve bunun yerine gerçeği ortaya çıkarmak ve gerçek iyileştirmeleri sağlamak için verileri kullanmanız gerekir. Yakından bakarsanız, ekiplerin belirli paydaşları memnun etmek veya sayıların gerçekte olduğundan daha iyi görünmesini sağlamak için ne sıklıkla çok seçici ölçümler gösterdiği büyüleyicidir. Gösteriş ölçütlerinin diğer klasik örneklerine dikkat edin, örneğin:

• Sayfa görüntüleme veya ziyaretçi sayısı
• Takipçi/beğeni sayısı
• Sitede geçirilen süre (oturum uzunluğu)
• İndirme sayısı

Sayfa görüntülemeleri ve oturum uzunluğu gibi metrikler, odağın trafiği, farkındalığı ve ilk etkileşimi ölçmek olduğu web sitesi analizlerinde hâlâ yoğun bir şekilde kullanılmaktadır. Dönüşüm hunisinin tepesi olarak adlandırdığımız şey (müşterilerin ilk edinilmesi) hakkında size biraz fikir verirler, ancak müşterilerin daha geniş ürün ve iş hedeflerinizle çok daha anlamlı bir korelasyona sahip olacak olan ürünü gerçekten etkinleştirip etkinleştirmediklerini değil.

Nasıl daha iyi yapılır: Bir metriğin iyi mi yoksa kötü mü olduğunu gerçekten anlamak için sayıları bağlama oturtmamız gerekir. En azından, bu ayki kayıt numaralarınızı önceki ayla karşılaştırmak gibi farklı zaman dilimlerinde bir sayıyı karşılaştırmayı denemek istersiniz.

Metriklerinizi daha kullanışlı hale getirmenin bir başka etkili yolu da toplam sayılar yerine oranları kullanmaktır. Oranlar doğası gereği karşılaştırmalıdır. Örnek olarak, muhasebeciler sadece toplam gelire bakmazlar, tipik olarak bir ürün üretmenin maliyetlerini o üründen yaptıkları satışlarla karşılaştırırlar. Bu şekilde muhasebeciler, işletmenin sağlıklı olup olmadığını değerlendirmek için zaman içinde kar marjlarını (faydalı bir oranın harika bir örneği) izleyebilirler.

Daha iyi, daha karşılaştırılabilir metriklere örnekler:

• Edinme kanalı başına kayıtların yüzdesi
• Tam kayıt sürecini tamamlayan kayıtların yüzdesi
• Anahtar etkinleştirme metriğini gerçekleştiren kayıtların yüzdesi
• 4 hafta sonra ürünü kullanan kullanıcıların yüzdesi

Tuzak #2: Yalnızca gecikmeli metrikleri izleme

Büyük bir sorun, dönüşüm hedeflerimize ulaşıp ulaşmadığımızı (ya da ulaşmadığımızı) anlamamız için geçen süreydi. Ürün 30 günlük ücretsiz deneme süresine sahipti ve hedefimiz, deneme süresi sona erdikten sonra onları ödeme yapan müşterilere dönüştürmekti. ikinci ayda bu kayıtlardan kaçının ödeme yapan müşterilere dönüştüğü.

Bu, gecikmeli bir metriğe klasik bir örnektir. Gecikme metrikleri, geçmiş sonuçları geriye dönük olarak rapor eder. Örneğin, yıl için gelir rakamlarınız, diğer operasyonel metriklerinizin çoğu gibi gecikmeli metriklerdir. İyi yapıp yapmadığınızı ancak sonuçları aldıktan sonra bilirsiniz.

Ürün analizleriniz aracılığıyla kullanıcı davranışını izlemenin gerçek değeri, nihai gelir rakamlarınızı beklemek zorunda kalmadan daha erken göstergeleri aramaya başlayabilmenizdir. Önde gelen metrikleriniz iyi performans göstermiyorsa, çok geç olmadan rotayı düzeltme şansınız var. Bu nedenle, kitabımın beşinci bölümünde Bütünsel Metrikler Tek Çağrı Cihazı'nı hem müşteri davranışı hem de operasyonel metrikleri içerecek şekilde tasarladım, böylece ekipler tam resmi elde etmek için önde gelen ve gecikmeli metriklerin sağlıklı bir karışımını izleyebilir.

En güçlü önde gelen metriklerden biri etkinleştirme metriğidir. İyi bir etkinleştirme metriği, ürünü kurmak veya kullanmaya başlamak için önemli bir eylemi gerçekleştiren müşterilerin yüzdesini temsil eder. Birçok şirket, kullanıcılar ilk katılım sırasında ürünleri içinde belirli bir eylemde bulunurlarsa, ürünün gerçek değerini fark etme eğiliminde olduklarını ve bunun da daha yüksek etkileşime yol açtığını anladı. Bazıları, ürünlerinde “aha anı” na ulaşan bu aktivasyon adımına diyor.

Aşağıda, önde gelen etkinleştirme metriklerine ilişkin bazı basit örnekler verilmiştir:

• Sosyal ağ ürünü: Klasik bir örnek, Facebook'un 10 günde en az yedi arkadaş eklemeye yönelik ilk etkinleştirme metriğiydi.
• Gösterge paneli toplama ürünü: değer önerisi, birkaç aracı tek bir görünümde bir araya getirmektir, böylece işe alım sırasında en az iki veya üç araç ekleyen kullanıcıların ürünün tüm potansiyelini fark ettiğini görebilirsiniz.
• Faydalı ürün: değer öneriniz, bir CRM'deki satış konuşmalarını izlemek gibi bir görevi basitleştirmek veya dijitalleştirmek olabilir, böylece bir etkinleştirme metriği olarak ilk müşteri girişini mümkün olduğunca çabuk tamamlayan kullanıcıların sayısını izleyebilirsiniz.
• Dikkat ürünü: Ürününüz eğlence ve içerik odaklıysa, kaydolmanın ilk haftasında belirli miktarda içerik tüketen kullanıcıları izleyebilirsiniz.

Bu arada, gecikmeli metrikler doğal olarak kötü değil. Aslında, özellikle finansal sonuçlarınız gibi iş metriklerini ölçmek için raporlamanın kritik bir parçasıdırlar. Avantajları, nihai sonuçları, gerçek gerçekleri temsil etmeleridir.

Öte yandan, önde gelen ölçümler genellikle, her gün yüksek miktarda soğuk aramanın ödeme yapan kullanıcı sayısını daha da artırdığı varsayımı gibi bazı varsayımları içerir. Daha fazla veri elde ettikçe, bu varsayımların gerçekten doğru olup olmadığını test etmelisiniz, ancak o zaman bile, aktivasyon metriğinin gerçekten elde tutma artışına neden olup olmadığı veya diğer faktörlerin buna katkıda bulunup bulunmadığı konusunda hala bazı belirsizlikler var.

Bu, önde gelen metriklerin asla gecikmeli metrikler kadar doğru olmayacağı, ancak metriklerinizden gerçek bilgiler elde etmek için çok önemli oldukları anlamına gelir. Müşteri davranışlarından öğrenmemize ve ileride daha iyi iş sonuçları için optimize etmek üzere ürün kararlarımızı değiştirebilecek erken göstergeleri belirlememize olanak tanırlar. Holistic Metrics One Pager şablonunu kullanmak, sizi hem öncü hem de gecikmeli göstergeleri izlemeye ve bunların birbirlerini nasıl etkilediğini düşünmeye zorlar.

Tuzak #3: Kimsenin anlamadığı metrikler

Ürün yöneticileriyle görüştüğümde, analitik bilgisinin ve veri içgörülerinin, ofislerin karanlık gizemli köşelerinde, birkaç son derece uzmanlaşmış analist dışında kimsenin anlayamayacağı olay adlarıyla gizlendiğini sık sık duyuyorum. Her ay bu uzmanlar, bulgularından bazılarını paylaşmak ve tercüme etmek amacıyla çeşitli ürün ekipleriyle buluşacaktı.

Ürün ekiplerimizin ve paydaşlarımızın verilerimiz hakkında ortak bir anlayış oluşturmasını ve üründeki iyileştirmeleri işbirliği içinde tartışmasını istiyorsak, verilerimizi demokratikleştirmek için aktif olarak çalışmamız, ölçümlerimizin herkes tarafından erişilebilir ve kolay anlaşılır olduğundan emin olmamız gerekir.

Intercom, birkaç yıl önce büyük bir olay temizliği yapmaktan öğrendiklerini paylaştı. Ürünleri için şuna benzeyen yaklaşık 350 etkinliği vardı:

Bu sana tanıdık geliyor mu?

Intercom, analitiğin temel bir ilkesinde başarısız olduklarını paylaştı: Analitik ekibi dışında kimseye çok az anlam ifade ettiler. Ürün analitiği verilerini demokratikleştirmenin önemli bir adımı olarak daha iyi okunabilirlik sunmak için tüm etkinliklerinin tüm adlandırma yapılarını yeniden tanımladılar ve yeniden oluşturdular.

Raporları kuruluştaki çeşitli paydaşlar ve ekipler için daha erişilebilir hale getirmek de önemlidir. Ne yazık ki, paydaşlar için harika görünmeyebilecek gerçek katılım veya edinme sayılarını tekrar ortaya çıkaracağından, ekiplerin gösterge tablolarını açmaktan korktuklarını sık sık görüyorum. Rahatsız edici konuşmalardan veya sinir bozucu sorulardan kaçınmak için, ekiplerin karmaşık bir maskenin arkasına saklanması genellikle daha kolaydır.

Nasıl daha iyi yapılır:

• Adım 1: Ürün analitiği olay adlarınızı basitleştirmek için mühendislik ekipleriniz ve analistlerinizle birlikte çalışın: "Tamamlanan İlk Katılım" ve "Eklenen Pano Widget'ı", herkesin anlayacağı eylemlerdir.
• Adım 2: Bir analiz ekibiniz varsa, onları ürün ekiplerinize daha iyi dahil edin. Analistler, ürün ekibinizin üzerinde çalıştığı şey, hangi deneyleri test ettiğiniz ve hangi soruların yanıtlanması gerektiği konusunda ne kadar fazla içeriğe sahip olursa, en alakalı bilgileri bulmak için verileri incelemenize o kadar iyi yardımcı olabilirler. Dış kaynak kullanımı yaklaşımından ziyade bir işbirliği olmalıdır.
• 3. Adım: Analitik panolarınızı ve raporlarınızı daha geniş kuruluş için erişilebilir hale getirin. Panolarınız, ürününüzün temel metriklerini (kitaptaki Bütünsel Metrikler Tek Çağrı Cihazı'nı kullanarak tanımlayabileceğiniz) yansıtmalıdır. Bu, ölçeklendirme (ekibiniz her gün manuel raporlama istekleriyle dolup taşmak istemez) ve daha geniş bir organizasyon içinde gerçekten daha veri odaklı bir kültür oluşturmak için kritik öneme sahiptir.

"Ekiplere işin durumu sorulduğunda, ya gidip araştırabilir ya da varsayımsal tahminlerde bulunabilirler. Gruplar, huniler ve kullanıcı etkinlikleri gibi şeyler için özel, kullanımı kolay detaya inme panoları oluşturarak liderliğin bu isteklere yanıt vermesinin en kolay ve varsayılan yolu haline getirmek çok önemlidir."

-Kristal Widjaja

Verilerimizi işe aldığımız işin, harekete geçebilmemiz ve ürün deneyimlerimizi iyileştirebilmemiz için gerçeği ortaya çıkarmak olduğunu unutmayın. Ölçümlerinizi kolay anlaşılır ve daha erişilebilir hale getirmek, kuruluşunuzda günlük karar alma süreçlerine veri içgörüleri eklemek için önemli adımlardır. Güçlü bir ürün organizasyonu, sorunların nerede yattığını öğrendikten sonra bu sorunları çözmek için her zamankinden daha fazla motive olmalıdır.

Metrik kontrol listesini kullanarak metriklerinizi nasıl iyileştirebilirsiniz?

Verilerinizden daha fazla içgörü elde etmenize yardımcı olacak, kaliteli, eyleme geçirilebilir metriklerin temel özelliklerini özetleyen basit bir kontrol listesi oluşturdum. Mevcut tüm metriklerinizi değerlendirmek ve geliştirmek için bu kontrol listesini kullanın:

Temel metriklerinizi gerçekten doğru bir şekilde elde etmek gerçek bir pratik gerektirir ve şeytanın genellikle ayrıntılarda yattığını göreceksiniz. Bu kesinlikle normaldir ve aslında seçtiğiniz metrikleri sık sık gözden geçirmeniz ve onları daha kullanışlı hale getirmek için birkaç kez iyileştirmeniz önerilir.

Yanlış ölçütleri paylaşmanın tuzaklarına dikkat edin, rotayı düzeltmek için zamanınız olmayan gecikmeli göstergelere çok fazla odaklanın ve organizasyonunuzdaki veri olgunluğunu gerçekten yükseltmek için ölçütlerinizi basitleştirip demokratikleştirdiğinizden emin olun.