Daha İyi Deneyler Tasarlamak için Deney Özetlerini Kullanın
Yayınlanan: 2023-02-03Şirketiniz ister deney yolculuğuna yeni başlıyor ister halihazırda bir deney kültürü oluşturmuş olsun, Deney Özetlerini kullanmak deneyleri demokratikleştirmeye, daha iyi deneyler tasarlamaya yardımcı olabilir ve her deney için hedefler ve sonraki adımlar hakkında şeffaflık yaratır.
Deneyi demokratikleştirin
Demokratikleşmeden ne anlıyoruz? Demokratikleşme, bir şeyi herkes için erişilebilir hale getirme eylemidir. Deneyleri demokratikleştirmek için kuruluşların iki şeyi erişilebilir hale getirmesi gerekir:
- Deney yapma yeteneği, kuruluşun herhangi bir bölümündeki herkes tarafından erişilebilir olmalıdır.
- Herkes, her deneyin temel gerçeklerine ve sonuçlarına hızla erişebilmelidir.
Bir deneyin temel gerçeklerini ve sonuçlarını demokratikleştirmek için mükemmel bir yaklaşım, bir Deney Özeti kullanmaktır.
Ekibiniz neden bir Deney Özeti kullanmalıdır?
Daha iyi deneyler tasarlayın
Yürütülen deneyler, bilimsel yöntemin temel bir bileşenidir - etkin kelime bilimseldir. Bir deney tasarımı, sürecin çok önemli bir parçasıdır, ancak birçok ekip genellikle süreçteki bu önemli adımı gözden kaçırır. Bunu bir sonraki bölümde daha derinlemesine inceleyeceğiz.
Sürecinizde şeffaflık oluşturun
Şeffaf belgeler olmadan, kötü deney sonuçlarına yol açan gerçekleri öğrendikten sonra kararları rasyonelleştirmek ve bunları bir anlatıya sığdırmak kolaydır. Ekipler, bir deney çalıştırıldıktan sonraki sonraki adımları net bir şekilde belgeleyerek, deneyden öğrendiklerine dayanarak ilerleme olasılıklarını çok daha artırır.
İyi bir deney neye benzer?
Pek çok uygulayıcı, bir deneyin bir fikirle başlamak, bir prototip oluşturmak, onu test etmek ve sonra ne yapılması gerektiğini bulmaktan oluştuğunu varsayar. Yanlış.
İyi bir deney, bilimsel yöntemin iskeletini takip eder. Bu temel kavramlar, birkaç ısmarlama bileşenle birlikte dijital deneyler dünyasına taşınıyor. Kayıt için, "iyi deney" dediğimde, deneyin sonucundan bahsetmiyorum . "İyi bir deney", iyi tasarlanmışbirdeneydensöz eder."
İyi bir deney tasarımının kritik bileşenleri şunlardır:
Planlama (deney öncesi)
- Bu deneyi neden yapmayı planladığımızı açıklayan gözlemleri belgeleyin
- Gözlemlerimizi doğrulamak için araştırma. Bu araştırma nicel, nitel, rekabetçi içgörüler vb. olabilir.
- Açıkça tanımlanmış metrikler veya KPI'lar ile bir hipotez oluşturun
- Olası her sonuca göre ekibinizin sonraki adımlarında uyum oluşturun: her varyantın kazanıp kazanmadığı veya testin istatistiksel anlamlılığa ulaşıp ulaşmadığı
- Deneme kurulumunun özellikleri arasında süre, hedef kitle, trafik dağılımı, kritik eşik ve daha fazlası yer alır
- Neyin test edildiğinin ve değiştirildiğini net bir şekilde ifade edin. Bu bir tasarım değişikliği, yeni bir özellik veya deneyim ve daha fazlası olabilir.
- Deneyin ölçülebileceğini onaylayın
Deneme çalışırken
- Devam eden izleme için analitik kontrol panelleri
deney sonrası
- Sonuçları analiz edin
- Deneyin sonucunu açıklayın ve önceden belirlenmiş sonraki adımlarınızla ilerleyin.
Deney Özeti
Artık iyi deney tasarımının nelerden oluştuğunu anladığımıza göre, her seferinde deney başlamadan önce tüm kritik bilgilerin belgelenmesini sağlamak için sürecimizi şablon haline getirebiliriz.
Bu, kuruluşunuzdaki herkesin deneyi eşzamansız olarak öğrenmesini kolaylaştırır ve bu da demokratikleşmeye yardımcı olur.
Aşama 1: Planla
Plan | ||
Gözlemler ve İçgörüler: Bu deneye hangi gözlemler yol açtı?Bu araştırma nicel, nitel, rekabetçi görüşler, kullanıcı araştırması ve daha fazlası olabilir. | ||
Deney türünü tanımlayın: Hipotez testi veya Zarar Verme testi | ||
Hipotez | Gözlemledik: Niteliksel, niceliksel veya rekabetçi içgörüyü belgeleyin | |
Gönderen: Bağımsız değişkeni tanıtmak veya değiştirmek | ||
Bekliyoruz: Beklediğiniz davranış değişikliğini tanımlayın | ||
Yönlendirmek: Bağımlı değişkeniniz üzerinde beklenen etkiyi belirtin |
Zarar Vermeme Testleri İçin | ||
Metrikler: Ürününüzde yeni bir deneyim gibi büyük değişiklikler getirdiğinizde, kritik ölçümleriniz üzerindeki herhangi bir olumsuz etkiyi tespit etmek için hem birincil hem de koruma metrikleri için bir Zarar Verme testi kullanın. | Birincil: Bu bir dönüşüm oranı olabilir | |
Korkuluklar (isteğe bağlı) |
Hipotez Testleri İçin | ||
Metrikler | Birincil: Bu bir dönüşüm oranı olabilir | |
İkincil (isteğe bağlı) | ||
Korkuluklar (isteğe bağlı) | ||
Toplam Örnek Büyüklüğü | ||
Minimum Tespit Edilebilir Etki | Öncelik | |
Korkuluk (isteğe bağlı) | ||
Deney Etkinlik Adı | ||
Deney Olay Parametreleri | ||
Eylemler: Testin aşağıdaki sonuçlarının her birine göre hangi eylemleri gerçekleştireceksiniz? | Kazanç | |
Kaybetmek | ||
Düz |
2. Aşama: Yapılandırma
Yapılandır | ||
Varyasyon Tasarımları | Varyasyon 1: Kontrol grubundan nasıl farklı olacağını tanımlayın.Ayrıca ilgili tasarımlara da bağlantı vermelisiniz. | |
Varyasyon 2 (isteğe bağlı) | ||
Paylaştırma | Bölünmüş: Bu 50/50 olabilir | |
Kitle grubu: Mevcut müşterileri mi, yeni kullanıcıları mı hedefliyoruz? | ||
Platformlar | ||
Site bölümü: Ürününüzün hangi bölümünde test yapılıyor? | ||
JIRA Biletleri ve Analizi (bağlantılar) | Analitik JIRA | Bağlantı |
Teknik JIRA | Bağlantı | |
Ön Test Analizi | Bağlantı | |
Son Test Analizi | Bağlantı |
Aşama 3: İzleme
monitör | |||
Planlanan test tarihi | Kimden: [AA/GG/YYYY] | Kime: [AA/GG/YYYY] | |
Süre (gün) | |||
Analitikte izlemenin çalıştığından emin olun: (1)Olayın ilgili platformlarda, cihazlarda ve kullanıcı gruplarında tetiklendiğinden, (2)Tüm platformlarda kontrol ve varyant için tutarlı olay adları yapılandırdığınızdan, (3)Teşhir olayının tetiklendiğinden emin olun kullanıcılar deneye maruz kaldığında |
4. Aşama: Analiz Et ve Karar Ver
Analiz Et ve Karar Ver | ||
Analiz: Deneyin sonucunu belgeleyin | ||
Karar: Planlama aşamanıza göre sonraki adımlara karar verin. | ||
Devam eden performansı izleyin: Deney sonrası davranışı analiz etmeye devam edin |
Son düşünceler
Bu Deney Özetleri tarihe, segmente, web sitesi bölümüne ve platforma göre kolaylıkla kategorilere ayrılabilir. Ayrıca herkes tarafından erişilebilir olmalı ki insanlar gelip gitse de bu kurumsal bilgi devam etsin. Deney Özetlerini kullanmak, bu bilgiyi demokratikleştirmek için her deneyi şeffaf bir şekilde belgeleyerek ekibinizin deney programınızı güçlendirmesine yardımcı olabilir.
Bu şablon ve yapacağınız değişiklikler hakkındaki düşüncelerinizi duymak isterim. Bana LinkedIn veya Twitter'dan ulaşabilir veya bloguma göz atabilirsiniz.
Deney kısa şablonuna bir bağlantı şu bağlantıyı takip ederek bulunabilir → Deney Kısa Şablonu.