Usa i brief dell'esperimento per progettare esperimenti migliori
Pubblicato: 2023-02-03Indipendentemente dal fatto che la tua azienda stia appena iniziando il suo percorso di sperimentazione o abbia già stabilito una cultura della sperimentazione, l'utilizzo di Experiment Briefs può aiutare a democratizzare la sperimentazione, progettare esperimenti migliori e creare trasparenza sugli obiettivi e sui passaggi successivi per ogni esperimento.
Democratizzare la sperimentazione
Cosa intendiamo per democratizzazione? La democratizzazione è l'atto di rendere qualcosa accessibile a tutti. Per democratizzare la sperimentazione, le organizzazioni devono rendere accessibili due cose:
- La capacità di eseguire esperimenti dovrebbe essere accessibile a chiunque in qualsiasi parte dell'organizzazione
- Chiunque dovrebbe essere in grado di accedere rapidamente ai fatti chiave e ai risultati di ogni esperimento
Un approccio eccellente per democratizzare i fatti e i risultati chiave di un esperimento consiste nell'utilizzare un breve esperimento.
Perché il tuo team dovrebbe utilizzare una sintesi dell'esperimento?
Progetta esperimenti migliori
L'esecuzione di esperimenti è una componente fondamentale del metodo scientifico: scientifico è la parola chiave. La progettazione di un esperimento è una parte cruciale del processo, ma molti team spesso trascurano questo passaggio chiave del processo. Esploreremo questo in modo più approfondito nella prossima sezione.
Crea trasparenza nel tuo processo
Senza una documentazione trasparente, è facile razionalizzare le decisioni e inserirle in una narrazione dopo aver appreso i fatti, il che porta a pessimi risultati della sperimentazione. Documentando chiaramente i passaggi successivi dopo l'esecuzione di un esperimento, è molto più probabile che i team procedano in base a ciò che apprendono dall'esperimento.
Che aspetto ha un buon esperimento?
Molti professionisti presumono che un esperimento consista nel partire da un'idea, costruire un prototipo, testarlo e quindi capire cosa fare dopo. Sbagliato.
Un buon esperimento segue lo scheletro del metodo scientifico. Questi concetti fondamentali vengono trasferiti nel mondo degli esperimenti digitali, insieme ad alcuni componenti su misura. Per la cronaca, quando dico "buon esperimento", non mi riferisco al risultato dell'esperimento. Un "buon esperimento" parla di un esperimentoben progettato .
Ecco i componenti critici di un buon progetto sperimentale:
Pianificazione (pre-esperimento)
- Osservazioni del documento che chiariscono perché intendiamo eseguire questo esperimento
- Ricerca per convalidare le nostre osservazioni. Questa ricerca può essere quantitativa, qualitativa, competitiva, ecc.
- Costruisci un'ipotesi con metriche o KPI chiaramente definiti
- Crea un allineamento sui prossimi passi del tuo team in base a ogni possibile risultato: se ogni variante vince o se il test non raggiunge la significatività statistica
- Le caratteristiche della configurazione dell'esperimento includono la durata, il pubblico, la suddivisione del traffico, la soglia critica e altro ancora
- Chiara articolazione di ciò che viene testato e modificato. Potrebbe trattarsi di una modifica del design, di una nuova funzionalità o esperienza e altro ancora
- Confermare che l'esperimento può essere misurato
Durante l'esecuzione dell'esperimento
- Dashboard di analisi per il monitoraggio continuo
Post-esperimento
- Analizzare i risultati
- Articola il risultato dell'esperimento e procedi con i passaggi successivi prestabiliti.
Il riassunto dell'esperimento
Ora che abbiamo compreso in cosa consiste una buona progettazione dell'esperimento, possiamo modellare il nostro processo per assicurarci che tutte le informazioni critiche siano documentate prima dell'inizio dell'esperimento, ogni volta.
In questo modo è facile per chiunque nella tua organizzazione conoscere l'esperimento in modo asincrono, il che aiuta a consentire la democratizzazione.
Fase 1: Piano
Piano | ||
Osservazioni e approfondimenti: quali osservazioni hanno portato a questo esperimento?Questa ricerca può essere quantitativa, qualitativa, approfondimenti sulla concorrenza, ricerca sugli utenti e altro ancora. | ||
Definisci il tipo di esperimento: test di ipotesi o test Non nuocere | ||
Ipotesi | Abbiamo osservato: Documentare l'intuizione qualitativa, quantitativa o competitiva | |
Da: Introducendo o modificando la variabile indipendente | ||
Ci aspettiamo: definisci il cambiamento di comportamento che ti aspetti | ||
Porta a: indica l'impatto previsto sulla tua variabile dipendente |
Per i test di non nuocere | ||
Metriche: quando introduci cambiamenti importanti, come una nuova esperienza nel tuo prodotto, utilizza un test Non nuocere sia per le metriche primarie che per quelle di protezione per rilevare eventuali impatti negativi sulle tue metriche critiche | Principale: questo potrebbe essere un tasso di conversione | |
Guardrail (facoltativo) |
Per test di ipotesi | ||
Metrica | Principale: questo potrebbe essere un tasso di conversione | |
Secondario (facoltativo) | ||
Guardrail (facoltativo) | ||
Dimensione totale del campione | ||
Effetto minimo rilevabile | Primario | |
Parapetto (opzionale) | ||
Nome dell'evento dell'esperimento | ||
Parametri dell'evento dell'esperimento | ||
Azioni: quali azioni intraprenderai in base a ciascuno dei seguenti risultati del test? | Vincita | |
Perdere | ||
Appartamento |
Fase 2: Configura
Configura | ||
Disegni di variazione | Variazione 1: definire in che modo differirà dal gruppo di controllo.Dovresti anche collegarti a qualsiasi progetto pertinente | |
Variante 2 (opzionale) | ||
Allocazione | Divisione: questo potrebbe essere 50/50 | |
Coorte di pubblico: ci rivolgiamo a clienti esistenti, nuovi utenti e così via? | ||
Piattaforme | ||
Sezione del sito: in quale sezione del tuo prodotto viene condotto il test? | ||
Ticket e analisi JIRA (link) | Analisi JIRA | Collegamento |
Tecnologia JIRA | Collegamento | |
Analisi pre-test | Collegamento | |
Analisi post-test | Collegamento |
Fase 3: monitoraggio
Tenere sotto controllo | |||
Data prevista per il test | Da: [MM/GG/AAAA] | A: [MM/GG/AAAA] | |
Durata (giorni) | |||
Assicurati che il monitoraggio nell'analisi funzioni: assicurati che: (1)l'evento si attivi su piattaforme, dispositivi e gruppi di utenti pertinenti, (2)hai configurato nomi di eventi coerenti per il controllo e la variante su tutte le piattaforme, (3)l'evento di esposizione si attiva quando gli utenti sono esposti all'esperimento |
Fase 4: analizzare e decidere
Analizzare e decidere | ||
Analisi: documentare l'esito dell'esperimento | ||
Decisione: decidere i passaggi successivi in base alla fase di pianificazione. | ||
Monitora le prestazioni in corso: continua ad analizzare il comportamento dopo l'esperimento |
Pensieri finali
Questi brief sull'esperimento possono essere facilmente classificati per data, segmento, sezione del sito Web e piattaforma. Dovrebbero anche essere accessibili a tutti in modo che questa conoscenza istituzionale persista anche se le persone vanno e vengono. L'utilizzo di Experiment Briefs può aiutare il tuo team a potenziare il tuo programma di sperimentazione documentando in modo trasparente ogni esperimento al fine di democratizzare queste informazioni.
Mi piacerebbe sentire i tuoi pensieri su questo modello e su eventuali modifiche che apporterai. Puoi contattarmi su LinkedIn o Twitter o dare un'occhiata al mio blog.
È possibile trovare un collegamento al modello di sintesi dell'esperimento seguendo questo collegamento → Modello di sintesi dell'esperimento.