Utilizați Experiment Briefs pentru a crea experimente mai bune
Publicat: 2023-02-03Indiferent dacă compania dvs. abia își începe călătoria de experimentare sau a stabilit deja o cultură a experimentării, utilizarea Experiment Briefs poate ajuta la democratizarea experimentelor, la proiectarea experimentelor mai bune și la crearea transparenței cu privire la obiectivele și pașii următori pentru fiecare experiment.
Democratizează experimentarea
Ce înțelegem prin democratizare? Democratizarea este actul de a face ceva accesibil tuturor. Pentru a democratiza experimentarea, organizațiile trebuie să facă accesibile două lucruri:
- Capacitatea de a derula experimente ar trebui să fie accesibilă oricui din orice parte a organizației
- Oricine ar trebui să poată avea acces rapid la faptele și rezultatele cheie ale fiecărui experiment
O abordare excelentă pentru democratizarea faptelor și rezultatelor cheie ale unui experiment este utilizarea unui Experiment Brief.
De ce ar trebui echipa ta să folosească un Experiment Brief?
Proiectați experimente mai bune
Derularea experimentelor este o componentă fundamentală a metodei științifice – științific fiind cuvântul operativ. Designul unui experiment este o parte crucială a procesului, dar multe echipe trec adesea cu vederea acest pas cheie al procesului. Vom explora acest lucru mai în profunzime în secțiunea următoare.
Creați transparență în procesul dvs
Fără o documentare transparentă, este ușor să raționalizați deciziile și să le încadrați într-o narațiune după aflarea faptelor, ceea ce duce la rezultate proaste ale experimentelor. Documentând pașii următori clari după rularea unui experiment, echipele sunt mult mai probabil să avanseze pe baza a ceea ce învață din experiment.
Cum arată un experiment bun?
Mulți practicieni presupun că un experiment constă în a începe cu o idee, a construi un prototip, a-l testa și apoi a afla ce să facă în continuare. Gresit.
Un experiment bun urmează scheletul metodei științifice. Aceste concepte de bază sunt transmise în lumea experimentelor digitale, împreună cu câteva componente personalizate. Pentru înregistrare, când spun „experiment bun”, nu mă refer la rezultatul experimentului. Un „experiment bun” se referă la un experimentbine conceput .”
Iată componentele critice ale unui design bun de experiment:
Planificare (pre-experiment)
- Documentați observațiile care clarifică de ce intenționăm să derulăm acest experiment
- Cercetări pentru a ne valida observațiile. Această cercetare poate fi insight cantitativ, calitativ, competitiv etc.
- Construiți o ipoteză cu valori sau KPI-uri clar definite
- Creați o aliniere a următorilor pași ai echipei dvs. pe baza fiecărui rezultat posibil: dacă fiecare variantă câștigă sau dacă testul nu atinge semnificație statistică
- Caracteristicile configurației experimentului includ durata, publicul, împărțirea traficului, pragul critic și multe altele
- Articularea clară a ceea ce este testat și modificat. Aceasta ar putea fi o schimbare de design, o nouă caracteristică sau experiență și multe altele
- Confirmați că experimentul poate fi măsurat
În timp ce experimentul derulează
- Tablouri de bord analitice pentru monitorizarea continuă
Post-experiment
- Analizați rezultatele
- Articulează rezultatul experimentului și mergi mai departe cu următorii pași predeterminați.
Rezumatul Experimentului
Acum că înțelegem în ce constă designul bun al experimentului, ne putem modela procesul pentru a ne asigura că toate informațiile esențiale sunt documentate înainte de începerea experimentului, de fiecare dată.
Acest lucru facilitează pentru oricine din organizația dvs. să învețe despre experiment în mod asincron, ceea ce ajută la activarea democratizării.
Faza 1: Planificare
| Plan | ||
| Observații și perspective: Ce observații au condus la acest experiment?Această cercetare poate fi cantitativă, calitativă, perspective competitive, cercetare asupra utilizatorilor și multe altele. | ||
| Definiți tipul de experiment: testul de ipoteză sau un test Nu face rău | ||
| Ipoteză | Am observat: Documentați perspectiva calitativă, cantitativă sau competitivă | |
| Prin: Introducerea sau modificarea variabilei independente | ||
| Ne așteptăm: definiți schimbarea comportamentului la care vă așteptați | ||
| Conduce la: Indicați impactul așteptat asupra variabilei dvs. dependente | ||
| Pentru testele nu văd | ||
| Valori: atunci când introduceți modificări majore, cum ar fi o nouă experiență în produsul dvs., utilizați un test Do No Harm atât pentru valorile principale, cât și pentru valorile de protecție pentru a detecta orice impact negativ asupra valorilor dvs. critice | Primar: aceasta ar putea fi o rată de conversie | |
| Balustrade (optional) | ||
| Pentru teste de ipoteză | ||
| Metrici | Primar: aceasta ar putea fi o rată de conversie | |
| Secundar (opțional) | ||
| Balustrade (optional) | ||
| Dimensiunea totală a probei | ||
| Efect minim detectabil | Primar | |
| Balustradă (opțional) | ||
| Numele evenimentului din experiment | ||
| Experimentați parametrii evenimentului | ||
| Acțiuni: Ce acțiuni veți întreprinde pe baza fiecăruia dintre următoarele rezultate ale testului? | Victorie | |
| Pierde | ||
| Apartament | ||
Faza 2: Configurare
| Configurați | ||
| Modele de variație | Varianta 1: Definiți cum va diferi de grupul de control.De asemenea, ar trebui să faceți un link către orice modele relevante | |
| Varianta 2 (opțional) | ||
| Alocare | Split: Acesta ar putea fi 50/50 | |
| Cohorta de public: țintăm clienții existenți, utilizatorii noi etc.? | ||
| Platforme | ||
| Secțiunea site-ului: În ce secțiune a produsului dumneavoastră se efectuează testul? | ||
| Bilete și analize JIRA (link-uri) | Analytics JIRA | Legătură |
| Tech JIRA | Legătură | |
| Analiza pre-test | Legătură | |
| Analiza post-test | Legătură | |
Faza 3: Monitorizare
| Monitorizați | |||
| Data planificată a testului | De la: [LL/ZZ/AAAA] | Către: [LL/ZZ/AAAA] | |
| Durata (zile) | |||
| Asigurați-vă că urmărirea în analiză funcționează: asigurați-vă că: (1)evenimentul se declanșează pe platformele, dispozitivele și grupurile de utilizatori relevante, (2)ați configurat nume de evenimente consecvente pentru control și variante pe toate platformele, (3)evenimentul de expunere se declanșează atunci când utilizatorii sunt expuși experimentului | |||
Faza 4: Analizați și decideți
| Analizați și decideți | ||
| Analiză: Documentați rezultatul experimentului | ||
| Decizie: decideți următorii pași pe baza fazei de planificare. | ||
| Monitorizați performanța continuă: continuați să analizați comportamentul după experiment | ||
Gânduri finale
Aceste Experiment Briefs pot fi ușor clasificate în funcție de dată, segment, secțiune de site și platformă. De asemenea, ar trebui să fie accesibile tuturor, astfel încât aceste cunoștințe instituționale să persistă chiar dacă oamenii vin și pleacă. Utilizarea Experiment Briefs vă poate ajuta echipa să vă supraalimenteze programul de experimentare, documentând în mod transparent fiecare experiment pentru a democratiza aceste informații.
Mi-ar plăcea să aud părerile dumneavoastră despre acest șablon și despre orice modificări pe care le-ați face. Puteți să mă contactați pe LinkedIn sau Twitter, sau să verificați blogul meu.
Un link către șablonul de scurt experiment poate fi găsit accesând acest link → șablon de scurt experiment.
