Korelasyondan Nedenselliğe: Self Servis Analitiği Kucaklamak Dönüşümleri 28 Kat İyileştirdi

Brainly'de biz öğrenmeyi seviyoruz. Aylık 300 milyon kullanıcıya sahip lider bir küresel eğitim uygulaması olduğumuz bölgeyle birlikte gelir. Sitelerimiz ve uygulamalarımız öğrencilerin, velilerin ve öğretmenlerin ev ödevi soruları sorup yanıtlamasına olanak tanır ve çevrimiçi topluluğumuzun üyelerini de birbirlerinin sorularını yanıtlamaya teşvik ederiz.

Perde arkasında meraklı ve veri odaklıyız ve işimizi ileriye taşımak için mümkün olduğunca çok soru sormaya inanıyoruz. Ürün büyümesini teşvik etmek için verileri kullanırız, ancak kullanıcı olaylarını anlamak, analitiği yorumlamak ve her ikisini de kârlılığımıza bağlamak zor olabilir.

Meraktan hareketle, ancak veri analitiği araçlarımızla aksayan

Brainly'nin Veri Analitiği Müdürü olarak, ekiplerimizin trendleri anlamasına, korelasyonları keşfetmesine ve nedensellik kurmasına yardımcı oluyorum. Bir Google Analytics mağazası olduğumuz için, önceki kurulumumuzla verilerimizden eyleme dönüştürülebilir içgörüler çıkarmak zordu. Veri analistlerimizden SQL, Python ve R'de sorgular yazmalarını ve ardından bulgularını ürün yöneticilerinin ve dahili paydaşların anlayabileceği grafikler ve diğer görselleştirmeler olarak sunmalarını isterdik. Hızlı tempolu bir ortamız ve cevaplar çok yavaş geliyordu. Analistlerimizin aşırı yükü vardı ve çoğu zaman kendimizi acil bir soruya yanıt bulmak için bir veya iki hafta beklerken bulduk.

Google Analytics'ten veri çıkarmak bir yüktü. Dönüşüm hunilerimiz ayrıntılıdır ve kullanıcılarımızı çeşitli davranış gruplarına ayırırız. El ile kodlanmış sorgular (yavaş da olsa) sonuç verirken, Google Analytics'in kullanıcı arayüzü kullanıcı dostu değildi ve bir karmaşıklık katmanı ekledi. Sezgilere aykırı bir dizi menüyle mücadele etmeden verilerimizi görselleştiremiyorduk ve o zaman bile segmentasyon ve görselleştirme seçeneklerimiz son derece sınırlıydı. Zengin bir bilgi birikimimiz vardı, ancak verilerimizin içine atlamadan giremezdik.

Birkaç ay içinde haftalık 10 ila 80 kullanıcı

Alternatif analitik platformlarına bakmaya başladık. Birkaç satıcıyı ürünlerini tanıtmaları için davet ettik, ancak patronumun aklında her zaman Amplitude Analytics vardı ve ekip hayal kırıklığına uğratmadı. Bize dikkate almadığımız kullanım durumlarını gösterdiler ve Brainly kullanıcı verilerini nasıl bölümlere ayırabileceğimizi ve görselleştirebileceğimizi göstermek için sahte veriler oluşturdular.

Kullanıcı dostu bir analiz aracı, analiz ekiplerinin üzerindeki baskıyı ortadan kaldırır ve kullanıcı verilerini ihtiyacı olan herkesin kullanımına sunar.

En önemlisi, bu demolar, şirketin ekiplerimizin kullanıcı verilerini çekmek için aşırı yüklü analistlerimizden bunu yapmasını istemek yerine Amplitude'un self servis analitik araçlarını kullanabileceğini fark etmesine yardımcı oldu. Analitik ekibimizin üzerindeki baskının bir kısmını ortadan kaldıran ve kullanıcı verilerini ihtiyacı olan herkesin kullanımına sunan bir ortak çalışma aracı bulduk.

Analytics'i Şubat 2022'de haftalık 10 aktif kullanıcıyla kullanıma sunduk. Kasım ayına kadar, bu sayı haftalık 80 aktif kullanıcıya ve 140 kayıtlı kullanıcıya yükseldi. Platformun self servis öğesinin, ekiplerin verilerle etkileşim biçimini değiştirdiğini gördük. Ürün yöneticilerimiz de dahil olmak üzere çeşitli ekiplerimiz, analistleri beklemeden dönüşüm hunisi ve dönüşüm metriklerini çıkarmak için Analytics'i kullanır. Kullanıcı etkinlikleri oluşturan mobil mühendislerimiz bunu uygulama amacıyla kullanır ve QA ekibimiz, etkinliklerin gerçek zamanlı olarak doğru çalıştığını doğrulamak için platformu kullanır.

Ancak, en büyük etki içerik oluşturmamız üzerinde oldu.

Temel içeriğimizi dönüştürmek

Brainly'nin özü, Topluluk Soru-Cevap ürünümüzdür. Öğrenciler oturum açar ve sorular sorar ve diğer öğrenciler yanıtlayabilir. Her yanıt puan kazandırarak kullanıcıları kendi sorularını sormaya, sayfaların kilidini açmaya ve topluluk durumlarını iyileştirmeye teşvik eder. İçerik ekibimiz bu yanıtları doğrular ve doğru yanıtları yeşil çeklerle ödüllendirir. Bu uzmanlar tarafından doğrulanmış yanıtlar daha sonra anında yanıtlar olarak sunulur, böylece kullanıcıların bir çözüm için veritabanımızda arama yapmasına gerek kalmaz. Anında yanıtların kullanıcı deneyimini iyileştirdiğinden ve öğrencileri ücretsiz deneme için kaydolmaya yönlendirdiğinden şüpheleniyorduk, ancak bunun korelasyon mu yoksa nedensellik mi olduğunu doğrulayacak rakamlara sahip değildik.

Analytics sayesinde, sitede veya uygulamada geçirdikleri ilk yedi gün içinde daha fazla anında yanıt gören kullanıcıların ücretsiz denemeye kaydolma olasılığının, hiçbirini görmeyenlere göre çok daha yüksek olduğunu belirledik. Dönüşüm oranı harikaydı ve beklediğimizden çok daha yüksekti. Bu farkındalık, doğrulanmış yanıtlarımızı iyileştirmeyi ve anında yanıt eşleşme oranımızı artırmayı en önemli içerik önceliklerimiz haline getirdi. Bunu yapmak için, içerik ekibimizin doğruladığı bir anlık yanıt veritabanı oluşturduk.

Artık, yüksek kaliteli yanıtlar olma olasılığı daha yüksek olduğundan, belirli sayıda kişi tarafından beğenilen veya olumlu puan verilen yanıtları otomatik olarak doğrulamak için yapay zeka (AI) ve makine öğreniminden (ML) yararlanıyoruz.

Genlik Deneyi ile A/B testlerini güçlendirme

Kısa bir süre önce A/B testini basitleştirmek ve kullanıcıları aynı anda birden fazla test senaryosuna maruz bırakmadan eşzamanlı deneyler yapmak için Genlik Deneyini benimsedik. Daha önce bu testleri web sitemizde çalıştırmak için Google Optimize'ı ve uygulamamızı test etmek için Firebase'i kullanıyorduk. Google Optimize test verilerini Analytics'e aktaran bir saldırı bulduk, ancak Firebase verilerini aktarmanın bir yolu yoktu. Deney, test ve analitiği tek bir ekosistemde entegre etmemize izin verir, bu da onu basit hale getirir.

Deneyi kullanmaya başladığımız ilk ayda, biri ürünün gücünü gösteren çeşitli hipotezleri test etmek için altı deney başlattık. Doğrulanmış yanıtlarımızı optimize etmeye ve önceliklendirmeye başladıktan sonra, arama sonuçlarındaki anında yanıtların yüzdesi %5'ten %10'a yükseldi. Deneyi kullanarak, artan sayıda kullanıcının beşten fazla anında yanıt gördüğünü ve buna bağlı olarak dönüşüm oranlarının da yükseldiğini doğruladık.

Platformu 2022'nin sonuna kadar Brainly'deki herkesin kullanımına sunmayı umuyoruz.

Güçlü özellikler ve sorunsuz entegrasyonlar

Analytics'te en çok kullanılan özellikler, davranışsal kohortlar ve segmentasyon çizelgeleridir. Diğerlerinin yanı sıra ürün yöneticilerimiz, farklı davranış gruplarının yeni ve mevcut özelliklerle nasıl etkileşime girdiğini anlamak için son derece özelleştirilmiş kullanıcı segmentleri oluşturur. Elde tutma çizelgeleri de aynı derecede popülerdir ve biz bunları, kullanıcıların yeni içerik oluşturmak için ne sıklıkla geri döndüklerini ve haftalık öğrenme etkileşimlerine katılıp katılmadıklarını görmek için kullanırız. Bunlar arasında okuma, yanıtlama veya soru sorma ve özel ders alma yer alır. Birisi her hafta bu türden en az bir eylemde bulunursa, bu, kümülatif öğrenmeye yol açan olumlu bir kullanıcı deneyimi yaşadıkları anlamına gelir.

Kullanıcı segmentlerini karşılaştırmak için Analytics'in segment bölümündeki formülleri kullanıyorum. Ayrıca veri tablolarını inanılmaz derecede faydalı buluyorum çünkü dönüşümler gibi belirli metriklere bakabiliyorum ve farklı sayfaları, özellikleri ve kullanıcıları, hunilerimiz hakkında daha derin içgörüler sağlayan görselleştirmelerde bir araya getirebiliyorum.

Analytics, diğer analiz araçlarıyla, özellikle Branch.io ve Snowflake ile sorunsuz bir şekilde bütünleşir. Branch.io'yu, web sitemizden mobil uygulamamıza geçiş yapan oturum açmamış kullanıcıları izlemek için kullanıyoruz. Bu büyük bir kazanç, çünkü web'de hangi deneylere maruz kaldıklarını görebilir ve kullanıcıları uygulamaya en çok hangi içerik ve özelliklerin yönlendirdiğini belirleyebiliriz.

Tüm arka uç verilerimiz için Snowflake kullanıyoruz, ancak Amplitude ile entegrasyon, kullanıcı olaylarını değiştirmemize izin veriyor. Örneğin, B Kullanıcısı, A Kullanıcısının bir soruya verdiği yanıta yorum yaptığında, Analytics B Kullanıcısının yorumu için bir etkinlik oluşturur, ancak B Kullanıcısının oturumu B Kullanıcısı başlattığı için A Kullanıcısının bir yorum aldığını belirten bir etkinlik oluşturamaz. Snowflake ile denklemi tersine çevirebilir ve A Kullanıcısının B Kullanıcısından bir yorum aldığını gösteren pasif bir olay oluşturabilir ve bu bilgiyi Analytics'e geri gönderebiliriz. Bu eylem, A Kullanıcısının bir yorum aldıktan sonra davranışının nasıl değiştiğini daha iyi görmemizi sağlar. Perspektifteki bu basit değişiklikle ne kadar çok şey öğrenebileceğimiz inanılmaz.

Kuzey Yıldızımız ve sonraki adımlar

Sadece yedi ayda aktif kullanıcı tabanımızı yaklaşık 120 kişiye çıkardık ve Brainly içinde bir Amplitude topluluğu oluşturduk. Amplitude kullanıcılarının platform hakkında gerçek zamanlı tartışmalara katılabileceği bir Slack kanalımız ve nasıl yapılır makaleleri, ipuçları ve püf noktaları ve diğer önemli bağlantıları içeren bir Confluence sayfamız var. Ayrıca, Amplitude'da yeni olan Brainly çalışanlarına elçi ve akıl hocası olarak hizmet eden güçlü kullanıcılar olan bir grup 'Ampliteer' oluşturduk. Her zaman soru temelli bir kültürümüz vardı, ancak şimdi demokratikleşti ve veri analistlerimizle sınırlı değil.

Kullanıcıları demografi yerine etkinliklerine göre segmentlere ayırarak daha kişiselleştirilmiş bir deneyim oluşturabilirsiniz.

Genlik, Kuzey Yıldızımızı bulmamıza yardımcı oldu. Anında yanıtların dönüşümleri artırdığını anladığımızda, ağ etkisine dayalı yeni bir büyüme stratejisini değiştirdik ve benimsedik. Kullanıcılarımız ne kadar çok soru cevaplarsa, sitemize o kadar çok insan çekilir. Artan kullanıcı tarafından oluşturulan içerik, SEO sıralamamızı da iyileştirir.

Tek değişiklik bu değil. Kullanıcıları sitemizde gerçekleştirdikleri eylemlerin türüne ve sıklığına göre segmentlere ayırmak için Amplitude'da yeni davranış grupları oluşturuyoruz. Onları demografi yerine faaliyetlerine göre segmentlere ayırarak, bu yıl ve gelecek yıllarda eğitimleri boyunca onlara rehberlik edecek daha kişiselleştirilmiş bir deneyim yaratmayı umuyoruz. Sadece anında bireysel yardım sağlamak yerine uzun vadeli bir eğitim yolculuğu oluşturmak istiyoruz. Bu heyecan verici bir gelişme ve Brainly'yi diğer eğitim sitelerinden ve uygulamalarından daha da farklılaştıran yeni özelliklere dönüşeceğinden eminim.

Amplitude, Brainly'nin verilerden yararlanma becerisini dönüştürdü. Kullanıcı ve olay verilerine daha kolay ve daha hızlı erişebiliyoruz ve bilgileri doğrulamamıza ve eyleme dönüştürülebilir içgörüler oluşturmamıza olanak tanıyan sayısız yolla görselleştirebiliyoruz. Çalışanlarımız, meraklarını gideren ve platformumuza bağımlı öğrenciler için daha iyi sonuçlara yol açan uygun sorular sorma araçlarına sahiptir.