Daha İyi Deneyler Tasarlamak için Deney Özetlerini Kullanın

Yayınlanan: 2023-02-03

Şirketiniz ister deney yolculuğuna yeni başlıyor ister halihazırda bir deney kültürü oluşturmuş olsun, Deney Özetlerini kullanmak deneyleri demokratikleştirmeye, daha iyi deneyler tasarlamaya yardımcı olabilir ve her deney için hedefler ve sonraki adımlar hakkında şeffaflık yaratır.

Deneyi demokratikleştirin

Demokratikleşmeden ne anlıyoruz? Demokratikleşme, bir şeyi herkes için erişilebilir hale getirme eylemidir. Deneyleri demokratikleştirmek için kuruluşların iki şeyi erişilebilir hale getirmesi gerekir:

  1. Deney yapma yeteneği, kuruluşun herhangi bir bölümündeki herkes tarafından erişilebilir olmalıdır.
  2. Herkes, her deneyin temel gerçeklerine ve sonuçlarına hızla erişebilmelidir.

Bir deneyin temel gerçeklerini ve sonuçlarını demokratikleştirmek için mükemmel bir yaklaşım, bir Deney Özeti kullanmaktır.

Ekibiniz neden bir Deney Özeti kullanmalıdır?

Daha iyi deneyler tasarlayın

Yürütülen deneyler, bilimsel yöntemin temel bir bileşenidir - etkin kelime bilimseldir. Bir deney tasarımı, sürecin çok önemli bir parçasıdır, ancak birçok ekip genellikle süreçteki bu önemli adımı gözden kaçırır. Bunu bir sonraki bölümde daha derinlemesine inceleyeceğiz.

Sürecinizde şeffaflık oluşturun

Şeffaf belgeler olmadan, kötü deney sonuçlarına yol açan gerçekleri öğrendikten sonra kararları rasyonelleştirmek ve bunları bir anlatıya sığdırmak kolaydır. Ekipler, bir deney çalıştırıldıktan sonraki sonraki adımları net bir şekilde belgeleyerek, deneyden öğrendiklerine dayanarak ilerleme olasılıklarını çok daha artırır.

İyi bir deney neye benzer?

Pek çok uygulayıcı, bir deneyin bir fikirle başlamak, bir prototip oluşturmak, onu test etmek ve sonra ne yapılması gerektiğini bulmaktan oluştuğunu varsayar. Yanlış.

İyi bir deney, bilimsel yöntemin iskeletini takip eder. Bu temel kavramlar, birkaç ısmarlama bileşenle birlikte dijital deneyler dünyasına taşınıyor. Kayıt için, "iyi deney" dediğimde, deneyin sonucundan bahsetmiyorum . "İyi bir deney", iyi tasarlanmışbirdeneydensöz eder."

İyi bir deney tasarımının kritik bileşenleri şunlardır:

Planlama (deney öncesi)

  1. Bu deneyi neden yapmayı planladığımızı açıklayan gözlemleri belgeleyin
  2. Gözlemlerimizi doğrulamak için araştırma. Bu araştırma nicel, nitel, rekabetçi içgörüler vb. olabilir.
  3. Açıkça tanımlanmış metrikler veya KPI'lar ile bir hipotez oluşturun
  4. Olası her sonuca göre ekibinizin sonraki adımlarında uyum oluşturun: her varyantın kazanıp kazanmadığı veya testin istatistiksel anlamlılığa ulaşıp ulaşmadığı
  5. Deneme kurulumunun özellikleri arasında süre, hedef kitle, trafik dağılımı, kritik eşik ve daha fazlası yer alır
  6. Neyin test edildiğinin ve değiştirildiğini net bir şekilde ifade edin. Bu bir tasarım değişikliği, yeni bir özellik veya deneyim ve daha fazlası olabilir.
  7. Deneyin ölçülebileceğini onaylayın

Deneme çalışırken

  1. Devam eden izleme için analitik kontrol panelleri

deney sonrası

  1. Sonuçları analiz edin
  2. Deneyin sonucunu açıklayın ve önceden belirlenmiş sonraki adımlarınızla ilerleyin.

Deney Özeti

Artık iyi deney tasarımının nelerden oluştuğunu anladığımıza göre, her seferinde deney başlamadan önce tüm kritik bilgilerin belgelenmesini sağlamak için sürecimizi şablon haline getirebiliriz.

Bu, kuruluşunuzdaki herkesin deneyi eşzamansız olarak öğrenmesini kolaylaştırır ve bu da demokratikleşmeye yardımcı olur.

Aşama 1: Planla

Plan
Gözlemler ve İçgörüler: Bu deneye hangi gözlemler yol açtı?Bu araştırma nicel, nitel, rekabetçi görüşler, kullanıcı araştırması ve daha fazlası olabilir.
Deney türünü tanımlayın: Hipotez testi veya Zarar Verme testi
Hipotez Gözlemledik: Niteliksel, niceliksel veya rekabetçi içgörüyü belgeleyin
Gönderen: Bağımsız değişkeni tanıtmak veya değiştirmek
Bekliyoruz: Beklediğiniz davranış değişikliğini tanımlayın
Yönlendirmek: Bağımlı değişkeniniz üzerinde beklenen etkiyi belirtin
Zarar Vermeme Testleri İçin
Metrikler: Ürününüzde yeni bir deneyim gibi büyük değişiklikler getirdiğinizde, kritik ölçümleriniz üzerindeki herhangi bir olumsuz etkiyi tespit etmek için hem birincil hem de koruma metrikleri için bir Zarar Verme testi kullanın. Birincil: Bu bir dönüşüm oranı olabilir
Korkuluklar (isteğe bağlı)
Hipotez Testleri İçin
Metrikler Birincil: Bu bir dönüşüm oranı olabilir
İkincil (isteğe bağlı)
Korkuluklar (isteğe bağlı)
Toplam Örnek Büyüklüğü
Minimum Tespit Edilebilir Etki Öncelik
Korkuluk (isteğe bağlı)
Deney Etkinlik Adı
Deney Olay Parametreleri
Eylemler: Testin aşağıdaki sonuçlarının her birine göre hangi eylemleri gerçekleştireceksiniz? Kazanç
Kaybetmek
Düz

2. Aşama: Yapılandırma

Yapılandır
Varyasyon Tasarımları Varyasyon 1: Kontrol grubundan nasıl farklı olacağını tanımlayın.Ayrıca ilgili tasarımlara da bağlantı vermelisiniz.
Varyasyon 2 (isteğe bağlı)
Paylaştırma Bölünmüş: Bu 50/50 olabilir
Kitle grubu: Mevcut müşterileri mi, yeni kullanıcıları mı hedefliyoruz?
Platformlar
Site bölümü: Ürününüzün hangi bölümünde test yapılıyor?
JIRA Biletleri ve Analizi (bağlantılar) Analitik JIRA Bağlantı
Teknik JIRA Bağlantı
Ön Test Analizi Bağlantı
Son Test Analizi Bağlantı

Aşama 3: İzleme

monitör
Planlanan test tarihi Kimden: [AA/GG/YYYY] Kime: [AA/GG/YYYY]
Süre (gün)
Analitikte izlemenin çalıştığından emin olun: (1)Olayın ilgili platformlarda, cihazlarda ve kullanıcı gruplarında tetiklendiğinden, (2)Tüm platformlarda kontrol ve varyant için tutarlı olay adları yapılandırdığınızdan, (3)Teşhir olayının tetiklendiğinden emin olun kullanıcılar deneye maruz kaldığında

4. Aşama: Analiz Et ve Karar Ver

Analiz Et ve Karar Ver
Analiz: Deneyin sonucunu belgeleyin
Karar: Planlama aşamanıza göre sonraki adımlara karar verin.
Devam eden performansı izleyin: Deney sonrası davranışı analiz etmeye devam edin

Son düşünceler

Bu Deney Özetleri tarihe, segmente, web sitesi bölümüne ve platforma göre kolaylıkla kategorilere ayrılabilir. Ayrıca herkes tarafından erişilebilir olmalı ki insanlar gelip gitse de bu kurumsal bilgi devam etsin. Deney Özetlerini kullanmak, bu bilgiyi demokratikleştirmek için her deneyi şeffaf bir şekilde belgeleyerek ekibinizin deney programınızı güçlendirmesine yardımcı olabilir.

Bu şablon ve yapacağınız değişiklikler hakkındaki düşüncelerinizi duymak isterim. Bana LinkedIn veya Twitter'dan ulaşabilir veya bloguma göz atabilirsiniz.

Deney kısa şablonuna bir bağlantı şu bağlantıyı takip ederek bulunabilir → Deney Kısa Şablonu.

Satışlarla irtibat kurun