Ürününüzü Analytics ile Optimize Ederek Daha Güvenli Bahisler Yapın

Ürün yöneticileri (PM'ler) olarak, esasen ürünlerimiz için ileriye dönük en iyi yola bahis koyarız. Ancak tüm paranızı tek bir şeye harcamak yeterli değildir. PM'lerin ilk etapta en akıllı bahisleri nasıl yapacaklarını anlaması ve ardından bir sonraki tur için oranları iyileştirmek için neyin işe yarayıp neyin yaramadığını belirlemesi gerekir.

Jumbo Interactive'de, ürün stratejisini hücum ve savunma bahisleri açısından düşünme eğilimindeyiz. Jumbo, dünyanın en iyi piyango deneyimlerini sağlamak için çözümler geliştiriyor ve ben büyüme alanında bir PM olarak bir yıldan biraz fazla bir süredir Jumbo ile birlikteyim. İşin büyüme tarafında, neredeyse tüm bahislerimiz saldırgan olacak, bu yüzden daha iyi ve daha hızlı dönmelerini sağlamak için büyüme döngülerimizi araştırıyor, ekliyor veya optimize ediyorum.

PM'lerin akıllı bahislerin nasıl yapıldığını anlaması ve ardından bir sonraki tur için oranları iyileştirmek için neyin işe yarayıp neyin yaramadığını belirlemesi gerekir.

Ürünlerimizden biri, büyük ikramiyede daha iyi bir şans için arkadaşların paralarını bir araya getirmenin bir yolu olan Lotto Partisi'dir. Loto Partisi, belirli bir çekiliş için kimin neye katkıda bulunduğunu takip eder. Bu şekilde, bir parti büyük kazanırsa, herkese bilgi verilir ve otomatik olarak pastadan payını alır.

Jumbo'nun büyümeye yaklaşımı, Lotto Party gibi ürünlerin sağladığı viral büyüme döngülerinin peşinden gitmektir. Sadece doğrusal olarak değil, katlanarak da büyümek önemlidir. Loto Partisi bileşik büyüme sağlar: birisi arkadaşlarını katılmaya davet eder ve sonra bu arkadaşların bir alt grubu kendi loto partilerini oluşturacak ve daha fazla arkadaş davet edecektir.

Jumbo'nun büyüme motoru, daha sonra ücretli reklam döngüleriyle tamamlanan bu viral büyüme döngülerinden birkaçını içerir: Ücretli reklamlar, daha sonra daha fazla potansiyel müşteri bulmak için harcadığımız sermayeyi oluşturan potansiyel müşteriler oluşturur. Ücretli ve viral - ikisi birlikte çalışır.

Bu bahisleri güvenle yapmak, keşfi teşvik etmek ve başarımızı ölçmek için Amplitude'a güveniyoruz. Geçen yıl Loto Partisi'nde aylık aktif kullanıcılarda %40'lık bir artış gördük ve bunun büyük bir kısmı Genişlik Analizi, Genişlik Deneyi ve Genişlik Kitlelerinden edindiğimiz içgörülere atfedilebilir.

Analytics, herkesin aynı sayfada olmasını sağlar

Analytics ile yaptığımız ana şey, öncü ve gecikmeli göstergelerimizi ölçmektir. Dolayısıyla, Loto Partisi için izlediğimiz önemli bir ölçüt, kaç grubun oluşturulduğudur, çünkü yeni bir grup hem bir döngünün sonunu hem de yeni bir döngünün başlangıcını ifade eder. Yeni grubu başlatan kişi yeni bir partiye katıldı mı, değil mi? Bu, eşlik eden büyüme mekanizmasını anlamamıza yardımcı olur.

Ancak Analytics'teki bu bilgilere sadece ben bakmıyorum: bu şirket genelinde. Çalıştığım her mühendislik ekibinin gösterge tablolarıma ve çizelgelerime erişimi var ve onları sık sık bakmaları için teşvik ediyorum. Takım alanlarını yönetiyorum ve oynadığımız her bahis için bir Defter oluşturuyorum. Mühendislik ekibinin incelemesi için tüm analizleri o deftere atacağım.

Ayrıca, başka türlü karmaşık olabilecek bilgileri kısa ve öz bir şekilde açıklamak için Analytics'te belirli bir gösterge panosu veya bir grafik için kısa Loom videoları hazırlıyorum. Bunları mühendisler, veri analistleri, diğer PM'ler, patronlarım ve patronumun patronları dahil herkesle paylaşıyorum. Sekiz farklı toplantı planlamaya çalışmak yerine, analizlerin dört dakikalık bir videosunu herkesle paylaşabilirim. Herkes ne yaptığımı, bu çalışmanın sonuçlarını görebilir ve bu, kullanıcıların ürünü gerçekte nasıl kullandığına dair içgüdüsel varsayımlarımızı daha doğru hale getirmemize yardımcı olur.

Deney bize hangi yatırımların her şeye değer olduğunu söyler

Analytics'te gördüklerimiz, doğal olarak, Deneme'de A/B testine yol açar. Bu testler, hipotez ifadeleri oluşturmamıza, bunların doğru veya yanlış olup olmadığına karar vermemize ve sonra nereye gideceğimizi (veya nereden geri çekileceğimizi) bilmemize izin verir. Deney, bize net bir risk-fayda analizi sağladığı için belirli bir bahsi koyma konusundaki güvenimizi artırır.

Sorunu açıkladığımız ve sorun ve olası fırsat hakkında mümkün olduğunca çok destekleyici kanıt sağladığımız bir deney tasarım belgesi oluşturarak başlıyoruz. Daha sonra bir hipotez yazarız ve genellikle bir değiş tokuş metriği olarak tanımladığımız birincil metriği çağırırız. Çoğu deneyde, birkaç ikincil metriği de listeleriz. Bu bilgi, başarının veya başarısızlığın neye benzediğini ve ayrıca istatistiksel anlamlılık için ihtiyaç duyduğumuz örnek boyutunu belirleyecek ve bu da deney süresini belirleyecektir.

Deney tasarımı belgesi, Deney'de test ettiğimiz şeylerin güçlü tanımlarını verir. Ayrıca deneylere öncelik vermemize yardımcı olur. Üç aylık bir deney oldukça yavaştır. Bir deneyin bu kadar uzun süreceğini biliyorsak, daha uzun olana başlamadan önce birkaç haftalık deneyleri aradan çıkarmak daha iyidir.

Deney tasarımı önemlidir, çünkü her şeyi hızlı, kirli ve ucuza inşa etmek istiyoruz. Daha fazla veri toplayabilmemiz için mümkün olan en kısa sürede bir şeyler çıkarmak istiyoruz ve mümkün olduğunca küçük bir başlangıç ​​yatırımı yapmak, kapsamlı bir şekilde test etmemize ve akıllıca oluşturmamıza olanak tanıyor.

Mümkün olduğunca küçük bir başlangıç ​​yatırımı yapmak, ürün ekiplerinin kapsamlı bir şekilde test etmesine ve akıllıca oluşturmasına olanak tanır.

Lotto Party'den bir örnek, ürün çevresinde keşfedilebilirliğin olmamasıydı. Bir platformdaki kullanıcıların çoğu bizim "oyun" deneyimimiz dediğimiz deneyimdedir ve Lotto Party bu deneyimden oldukça kopmuştur. Loto Partisi'ni oyun deneyimine daha fazla katarsak, bunun etkisi ne olur? Bu hareket, mühendislikten önemli bir artış ve sonuç olarak önemli bir yatırım gerektirecekti.

Deney zihniyetimiz, ürün, mühendislik, Soru-Cevap, sürece dahil olan herkesi, en küçük yatırımdan en büyük içgörüleri elde etmek için bu deneyi düzene koymayı düşünmeye getiriyor. Deneyde, Lotto Play'i oyun deneyimine dahil etmenin Lotto Party satışlarını neredeyse ikiye katladığını ve oluşturulan grup sayısını iki katından fazlasına çıkardığını gördük. Buna daha fazla yatırım yapmak hiç akıllıca değildi.

Kitleler, daha kişiselleştirilmiş alışveriş sepetleriyle işlem değerini artırır

Kitleleri, e-posta erişimi ve ayrıca satın alma akışına dahil ettiğimiz daha akıllı alışveriş sepeti önerileri yapmak için kullanırız. Kullanıcının geçmişte satın aldığı veya almak üzere olduğu bir şey olsun, beğenebilecekleri ek ürünler veya “Daha önce oynadığınız bu bileti tekrar oynayın” gibi bir öneri sunuyoruz. Bu klasik soruya daha akıllıca bir dönüş, "Bununla patates kızartması ister misin?" İzleyiciler bu müşterinin patates kızartması istemediğini biliyor - ama milkshake'i seviyorlar. Kullanıcının isteklerini anlamak için kendi algoritmik çerçevemizi oluşturmak oldukça zor olurdu, ancak Amplitude bunu bizim için sağlıyor.

Öneri ne kadar kişiselleştirilirse, kullanıcının onu seçme olasılığı o kadar artar.

Amazon Personalize tarafından desteklenen Kitlelerdeki öneriler, kendileri için kolayca ödeme yapar. Öneri ne kadar kişiselleştirilirse, kullanıcının onu seçme olasılığı o kadar artar. Jumbo bunu biliyor çünkü biz Kitleleri kullanmaya başlamadan önce alışveriş sepeti yerleşimlerimiz vardı ve bu yerleşimler o zamandan beri çok daha iyi performans gösterdi.

Yaklaşık sekiz ay önce, sepet yerleştirmelerimizdeki ürünler hakkında bir fikrim vardı. Önceden, alışveriş sepeti yerleşimleri, yardım çekilişleriyle ilgili bir ürün alt grubuna odaklanıyordu, ancak bunu tüm ürünlerimize genişletmek ve her müşteri için neyin en iyi olduğuna Kitlelerin karar vermesine izin vermek istedim. Bakın, tıklamalarda ve işlem değerlerinde bir artış gördük. Kitleler ile ne kadar çok seçenek sunarsanız, o kadar çok kişiye ulaşırsınız.

Mevcut kullanıcıları koruyun ve yenilerini kazanmak için akıllı bahisler yapın

Bu kişiselleştirme, Amplitude'ün mesajlaşma için kullandığımız Braze ile entegrasyonu için de önemlidir. Büyüme motorumuzu düşünürseniz, müşteri üreten tüm bu satın alma döngülerine sahibiz, ancak bunun diğer tarafı - motorumuzun özü - elde tutma ve katılımdır ve Braze'in oturduğu yer burasıdır. Bir kullanıcıya ne zaman mesaj gönderileceğini bilmek konusunda daha akıllı olmak tüm farkı yaratır ve doğru kanalı bilmek de aynı derecede önemlidir. Kişi belirli bir uygulamayı sık sık kullanıyorsa, ona bir e-posta göndermektense bir push bildirimi veya uygulama içi mesaj göndermek muhtemelen daha mantıklıdır.

Braze, alışkanlık döngülerine devam etmemize yardımcı olmak için orada. Bir alışkanlık döngüsünü, müşterinin aktivasyondan sonraki iki ay boyunca aktif bir oyuncu olarak tanımlıyoruz. İki ay oynarlarsa, alışılmış bir oyuncu haline gelirler. Bu alışkanlık döngülerini tetiklemek için Braze kullanıyoruz ve elde tutmamızı sağlamak için onları döndürmeye devam ediyoruz. Ancak bunu yapmak için Braze'e akan en iyi veriye sahip olmamız gerekir. Analytics, daha akıllı gruplar oluşturarak ve içeriği kişiselleştirerek bunu yapmamıza yardımcı olur. Bu içerik, zamanlaması ve dağıtımı hakkında ne kadar spesifik olursak, bu kampanyaların sonuçları o kadar iyi olur.

Jumbo'da çalışmaktan çok şey öğrendim ve büyüme konusunda yepyeni bir bakış açım var. Amplitude ile çalışmak da büyük bir kazanç oldu. Amplitude olmadan Loto Partisi için aylık aktif kullanıcı artışını görmezdik. Platform, en akıllı bahisleri yapmamızı sağlar.