Usa i brief dell'esperimento per progettare esperimenti migliori

Pubblicato: 2023-02-03

Indipendentemente dal fatto che la tua azienda stia appena iniziando il suo percorso di sperimentazione o abbia già stabilito una cultura della sperimentazione, l'utilizzo di Experiment Briefs può aiutare a democratizzare la sperimentazione, progettare esperimenti migliori e creare trasparenza sugli obiettivi e sui passaggi successivi per ogni esperimento.

Democratizzare la sperimentazione

Cosa intendiamo per democratizzazione? La democratizzazione è l'atto di rendere qualcosa accessibile a tutti. Per democratizzare la sperimentazione, le organizzazioni devono rendere accessibili due cose:

  1. La capacità di eseguire esperimenti dovrebbe essere accessibile a chiunque in qualsiasi parte dell'organizzazione
  2. Chiunque dovrebbe essere in grado di accedere rapidamente ai fatti chiave e ai risultati di ogni esperimento

Un approccio eccellente per democratizzare i fatti e i risultati chiave di un esperimento consiste nell'utilizzare un breve esperimento.

Perché il tuo team dovrebbe utilizzare una sintesi dell'esperimento?

Progetta esperimenti migliori

L'esecuzione di esperimenti è una componente fondamentale del metodo scientifico: scientifico è la parola chiave. La progettazione di un esperimento è una parte cruciale del processo, ma molti team spesso trascurano questo passaggio chiave del processo. Esploreremo questo in modo più approfondito nella prossima sezione.

Crea trasparenza nel tuo processo

Senza una documentazione trasparente, è facile razionalizzare le decisioni e inserirle in una narrazione dopo aver appreso i fatti, il che porta a pessimi risultati della sperimentazione. Documentando chiaramente i passaggi successivi dopo l'esecuzione di un esperimento, è molto più probabile che i team procedano in base a ciò che apprendono dall'esperimento.

Che aspetto ha un buon esperimento?

Molti professionisti presumono che un esperimento consista nel partire da un'idea, costruire un prototipo, testarlo e quindi capire cosa fare dopo. Sbagliato.

Un buon esperimento segue lo scheletro del metodo scientifico. Questi concetti fondamentali vengono trasferiti nel mondo degli esperimenti digitali, insieme ad alcuni componenti su misura. Per la cronaca, quando dico "buon esperimento", non mi riferisco al risultato dell'esperimento. Un "buon esperimento" parla di un esperimentoben progettato .

Ecco i componenti critici di un buon progetto sperimentale:

Pianificazione (pre-esperimento)

  1. Osservazioni del documento che chiariscono perché intendiamo eseguire questo esperimento
  2. Ricerca per convalidare le nostre osservazioni. Questa ricerca può essere quantitativa, qualitativa, competitiva, ecc.
  3. Costruisci un'ipotesi con metriche o KPI chiaramente definiti
  4. Crea un allineamento sui prossimi passi del tuo team in base a ogni possibile risultato: se ogni variante vince o se il test non raggiunge la significatività statistica
  5. Le caratteristiche della configurazione dell'esperimento includono la durata, il pubblico, la suddivisione del traffico, la soglia critica e altro ancora
  6. Chiara articolazione di ciò che viene testato e modificato. Potrebbe trattarsi di una modifica del design, di una nuova funzionalità o esperienza e altro ancora
  7. Confermare che l'esperimento può essere misurato

Durante l'esecuzione dell'esperimento

  1. Dashboard di analisi per il monitoraggio continuo

Post-esperimento

  1. Analizzare i risultati
  2. Articola il risultato dell'esperimento e procedi con i passaggi successivi prestabiliti.

Il riassunto dell'esperimento

Ora che abbiamo compreso in cosa consiste una buona progettazione dell'esperimento, possiamo modellare il nostro processo per assicurarci che tutte le informazioni critiche siano documentate prima dell'inizio dell'esperimento, ogni volta.

In questo modo è facile per chiunque nella tua organizzazione conoscere l'esperimento in modo asincrono, il che aiuta a consentire la democratizzazione.

Fase 1: Piano

Piano
Osservazioni e approfondimenti: quali osservazioni hanno portato a questo esperimento?Questa ricerca può essere quantitativa, qualitativa, approfondimenti sulla concorrenza, ricerca sugli utenti e altro ancora.
Definisci il tipo di esperimento: test di ipotesi o test Non nuocere
Ipotesi Abbiamo osservato: Documentare l'intuizione qualitativa, quantitativa o competitiva
Da: Introducendo o modificando la variabile indipendente
Ci aspettiamo: definisci il cambiamento di comportamento che ti aspetti
Porta a: indica l'impatto previsto sulla tua variabile dipendente
Per i test di non nuocere
Metriche: quando introduci cambiamenti importanti, come una nuova esperienza nel tuo prodotto, utilizza un test Non nuocere sia per le metriche primarie che per quelle di protezione per rilevare eventuali impatti negativi sulle tue metriche critiche Principale: questo potrebbe essere un tasso di conversione
Guardrail (facoltativo)
Per test di ipotesi
Metrica Principale: questo potrebbe essere un tasso di conversione
Secondario (facoltativo)
Guardrail (facoltativo)
Dimensione totale del campione
Effetto minimo rilevabile Primario
Parapetto (opzionale)
Nome dell'evento dell'esperimento
Parametri dell'evento dell'esperimento
Azioni: quali azioni intraprenderai in base a ciascuno dei seguenti risultati del test? Vincita
Perdere
Appartamento

Fase 2: Configura

Configura
Disegni di variazione Variazione 1: definire in che modo differirà dal gruppo di controllo.Dovresti anche collegarti a qualsiasi progetto pertinente
Variante 2 (opzionale)
Allocazione Divisione: questo potrebbe essere 50/50
Coorte di pubblico: ci rivolgiamo a clienti esistenti, nuovi utenti e così via?
Piattaforme
Sezione del sito: in quale sezione del tuo prodotto viene condotto il test?
Ticket e analisi JIRA (link) Analisi JIRA Collegamento
Tecnologia JIRA Collegamento
Analisi pre-test Collegamento
Analisi post-test Collegamento

Fase 3: monitoraggio

Tenere sotto controllo
Data prevista per il test Da: [MM/GG/AAAA] A: [MM/GG/AAAA]
Durata (giorni)
Assicurati che il monitoraggio nell'analisi funzioni: assicurati che: (1)l'evento si attivi su piattaforme, dispositivi e gruppi di utenti pertinenti, (2)hai configurato nomi di eventi coerenti per il controllo e la variante su tutte le piattaforme, (3)l'evento di esposizione si attiva quando gli utenti sono esposti all'esperimento

Fase 4: analizzare e decidere

Analizzare e decidere
Analisi: documentare l'esito dell'esperimento
Decisione: decidere i passaggi successivi in ​​base alla fase di pianificazione.
Monitora le prestazioni in corso: continua ad analizzare il comportamento dopo l'esperimento

Pensieri finali

Questi brief sull'esperimento possono essere facilmente classificati per data, segmento, sezione del sito Web e piattaforma. Dovrebbero anche essere accessibili a tutti in modo che questa conoscenza istituzionale persista anche se le persone vanno e vengono. L'utilizzo di Experiment Briefs può aiutare il tuo team a potenziare il tuo programma di sperimentazione documentando in modo trasparente ogni esperimento al fine di democratizzare queste informazioni.

Mi piacerebbe sentire i tuoi pensieri su questo modello e su eventuali modifiche che apporterai. Puoi contattarmi su LinkedIn o Twitter o dare un'occhiata al mio blog.

È possibile trovare un collegamento al modello di sintesi dell'esperimento seguendo questo collegamento → Modello di sintesi dell'esperimento.

Contatta le vendite