Verwenden Sie Experiment Briefings, um bessere Experimente zu entwerfen
Veröffentlicht: 2023-02-03Unabhängig davon, ob Ihr Unternehmen gerade erst mit dem Experimentieren beginnt oder bereits eine Experimentierkultur etabliert hat, kann die Verwendung von Experiment Briefs dazu beitragen, das Experimentieren zu demokratisieren, bessere Experimente zu entwerfen und Transparenz über die Ziele und nächsten Schritte für jedes Experiment zu schaffen.
Experimentieren demokratisieren
Was verstehen wir unter Demokratisierung? Demokratisierung ist der Akt, etwas für alle zugänglich zu machen. Um das Experimentieren zu demokratisieren, müssen Unternehmen zwei Dinge zugänglich machen:
- Die Möglichkeit, Experimente durchzuführen, sollte jedem in jedem Teil der Organisation zugänglich sein
- Jeder sollte in der Lage sein, schnell auf die wichtigsten Fakten und Ergebnisse jedes Experiments zuzugreifen
Ein ausgezeichneter Ansatz, um die wichtigsten Fakten und Ergebnisse eines Experiments zu demokratisieren, ist die Verwendung eines Experiment Briefing.
Warum sollte Ihr Team einen Experiment Brief verwenden?
Entwerfen Sie bessere Experimente
Das Durchführen von Experimenten ist ein grundlegender Bestandteil der wissenschaftlichen Methode – wissenschaftlich ist das entscheidende Wort. Ein Experimentdesign ist ein entscheidender Teil des Prozesses, aber viele Teams übersehen diesen wichtigen Schritt im Prozess oft. Wir werden dies im nächsten Abschnitt genauer untersuchen.
Bauen Sie Transparenz in Ihren Prozess ein
Ohne transparente Dokumentation ist es einfach, Entscheidungen zu rationalisieren und sie in eine Erzählung einzufügen, nachdem man die Fakten gelernt hat, was zu schlechten Experimentergebnissen führt. Durch das Dokumentieren klarer nächster Schritte nach dem Ausführen eines Experiments ist es viel wahrscheinlicher, dass Teams auf der Grundlage dessen, was sie aus dem Experiment lernen, vorankommen.
Wie sieht ein gutes Experiment aus?
Viele Praktiker gehen davon aus, dass ein Experiment darin besteht, mit einer Idee zu beginnen, einen Prototyp zu bauen, ihn zu testen und dann herauszufinden, was als nächstes zu tun ist. Falsch.
Ein gutes Experiment folgt dem Skelett der wissenschaftlichen Methode. Diese Kernkonzepte werden zusammen mit einigen maßgeschneiderten Komponenten in die Welt der digitalen Experimente übertragen. Fürs Protokoll, wenn ich „gutes Experiment“ sage, beziehe ich mich nicht auf das Ergebnis des Experiments. Ein „gutes Experiment“ spricht für ein gut konzipiertesExperiment .“
Hier sind die kritischen Komponenten eines guten Experimentdesigns:
Planung (Vorexperiment)
- Dokumentieren Sie Beobachtungen, die verdeutlichen, warum wir dieses Experiment durchführen möchten
- Forschung zur Bestätigung unserer Beobachtungen. Diese Forschung kann quantitative, qualitative, wettbewerbsbezogene Erkenntnisse usw. umfassen.
- Erstellen Sie eine Hypothese mit klar definierten Metriken oder KPIs
- Erstellen Sie eine Ausrichtung auf die nächsten Schritte Ihres Teams basierend auf jedem möglichen Ergebnis: ob jede Variante gewinnt oder ob der Test keine statistische Signifikanz erreicht
- Zu den Merkmalen des Testaufbaus gehören Dauer, Publikum, Traffic-Aufteilung, kritischer Schwellenwert und mehr
- Klare Artikulation dessen, was getestet und modifiziert wird. Dies kann eine Designänderung, eine neue Funktion oder Erfahrung und mehr sein
- Bestätigen Sie, dass das Experiment gemessen werden kann
Während das Experiment läuft
- Analytics-Dashboards für die laufende Überwachung
Nach dem Experiment
- Analysieren Sie die Ergebnisse
- Formulieren Sie das Ergebnis des Experiments und fahren Sie mit Ihren vorher festgelegten nächsten Schritten fort.
Der Experiment-Brief
Jetzt, da wir verstehen, was ein gutes Experimentdesign ausmacht, können wir unseren Prozess in Vorlagen umwandeln, um sicherzustellen, dass alle kritischen Informationen jedes Mal vor Beginn des Experiments dokumentiert werden.
Dadurch kann sich jeder in Ihrer Organisation asynchron über das Experiment informieren, was zur Demokratisierung beiträgt.
Phase 1: Planen
Planen | ||
Beobachtungen und Erkenntnisse: Welche Beobachtungen führten zu diesem Experiment?Diese Forschung kann quantitativ, qualitativ, Wettbewerbserkenntnisse, Benutzerforschung und mehr sein. | ||
Definieren Sie die Art des Experiments: Hypothesentest oder Do No Harm-Test | ||
Hypothese | Wir haben beobachtet: Dokumentieren Sie den qualitativen, quantitativen oder Wettbewerbseinblick | |
Durch: Einführung oder Änderung der unabhängigen Variablen | ||
Wir erwarten: Definieren Sie die Verhaltensänderung, die Sie erwarten | ||
Führt zu: Geben Sie die erwartete Auswirkung auf Ihre abhängige Variable an |
Für Do-No-Harm-Tests | ||
Metriken: Wenn Sie größere Änderungen einführen, z. B. eine neue Erfahrung in Ihrem Produkt, verwenden Sie einen Do No Harm-Test sowohl für primäre als auch für Leitplankenmetriken, um negative Auswirkungen auf Ihre kritischen Metriken zu erkennen | Primär: Dies könnte eine Conversion-Rate sein | |
Geländer (optional) |
Für Hypothesentests | ||
Metriken | Primär: Dies könnte eine Conversion-Rate sein | |
Sekundär (optional) | ||
Geländer (optional) | ||
Gesamtprobengröße | ||
Minimaler nachweisbarer Effekt | Primär | |
Geländer (optional) | ||
Testereignisname | ||
Experimentieren Sie Ereignisparameter | ||
Aktionen: Welche Aktionen werden Sie basierend auf jedem der folgenden Ergebnisse des Tests ergreifen? | Gewinnen | |
Verlieren | ||
Eben |
Phase 2: Konfigurieren
Konfigurieren | ||
Variationsdesigns | Variante 1: Definieren Sie den Unterschied zur Kontrollgruppe.Sie sollten auch auf alle relevanten Designs verlinken | |
Variante 2 (optional) | ||
Zuweisung | Split: Dies könnte 50/50 sein | |
Zielgruppenkohorte: Sprechen wir bestehende Kunden, neue Benutzer usw. an? | ||
Plattformen | ||
Bereich der Website: In welchem Bereich Ihres Produkts wird der Test durchgeführt? | ||
JIRA-Tickets und -Analyse (Links) | Analytics-JIRA | Verknüpfung |
Tech-JIRA | Verknüpfung | |
Analyse vor dem Test | Verknüpfung | |
Analyse nach dem Test | Verknüpfung |
Phase 3: Überwachen
Monitor | |||
Geplanter Prüfungstermin | Von: [MM/TT/JJJJ] | An: [MM/TT/JJJJ] | |
Dauer (Tage) | |||
Stellen Sie sicher, dass das Tracking in Analytics funktioniert: Stellen Sie sicher, dass: (1)das Ereignis auf relevanten Plattformen, Geräten und Benutzergruppen ausgelöst wird, (2)Sie konsistente Ereignisnamen für Kontrolle und Variante auf allen Plattformen konfiguriert haben, (3)das Expositionsereignis ausgelöst wird wenn Benutzer dem Experiment ausgesetzt sind |
Phase 4: Analysieren und entscheiden
Analysieren und entscheiden | ||
Analyse: Dokumentieren Sie das Ergebnis des Experiments | ||
Entscheidung: Entscheiden Sie basierend auf Ihrer Planungsphase über die nächsten Schritte. | ||
Überwachen Sie die laufende Leistung: Analysieren Sie das Verhalten nach dem Experiment weiter |
Abschließende Gedanken
Diese Experiment Briefs können leicht nach Datum, Segment, Website-Bereich und Plattform kategorisiert werden. Sie sollten auch für alle zugänglich sein, damit dieses institutionelle Wissen auch dann erhalten bleibt, wenn Menschen kommen und gehen. Die Verwendung von Experiment Briefs kann Ihrem Team helfen, Ihr Experimentierprogramm zu verbessern, indem jedes Experiment transparent dokumentiert wird, um diese Informationen zu demokratisieren.
Ich würde gerne Ihre Gedanken zu dieser Vorlage und allen Änderungen, die Sie vornehmen würden, hören. Sie können mich auf LinkedIn oder Twitter erreichen oder meinen Blog besuchen.
Einen Link zur Experiment-Briefing-Vorlage finden Sie unter diesem Link → Experiment-Briefing-Vorlage.