Verwenden Sie Experiment Briefings, um bessere Experimente zu entwerfen

Veröffentlicht: 2023-02-03

Unabhängig davon, ob Ihr Unternehmen gerade erst mit dem Experimentieren beginnt oder bereits eine Experimentierkultur etabliert hat, kann die Verwendung von Experiment Briefs dazu beitragen, das Experimentieren zu demokratisieren, bessere Experimente zu entwerfen und Transparenz über die Ziele und nächsten Schritte für jedes Experiment zu schaffen.

Experimentieren demokratisieren

Was verstehen wir unter Demokratisierung? Demokratisierung ist der Akt, etwas für alle zugänglich zu machen. Um das Experimentieren zu demokratisieren, müssen Unternehmen zwei Dinge zugänglich machen:

  1. Die Möglichkeit, Experimente durchzuführen, sollte jedem in jedem Teil der Organisation zugänglich sein
  2. Jeder sollte in der Lage sein, schnell auf die wichtigsten Fakten und Ergebnisse jedes Experiments zuzugreifen

Ein ausgezeichneter Ansatz, um die wichtigsten Fakten und Ergebnisse eines Experiments zu demokratisieren, ist die Verwendung eines Experiment Briefing.

Warum sollte Ihr Team einen Experiment Brief verwenden?

Entwerfen Sie bessere Experimente

Das Durchführen von Experimenten ist ein grundlegender Bestandteil der wissenschaftlichen Methode – wissenschaftlich ist das entscheidende Wort. Ein Experimentdesign ist ein entscheidender Teil des Prozesses, aber viele Teams übersehen diesen wichtigen Schritt im Prozess oft. Wir werden dies im nächsten Abschnitt genauer untersuchen.

Bauen Sie Transparenz in Ihren Prozess ein

Ohne transparente Dokumentation ist es einfach, Entscheidungen zu rationalisieren und sie in eine Erzählung einzufügen, nachdem man die Fakten gelernt hat, was zu schlechten Experimentergebnissen führt. Durch das Dokumentieren klarer nächster Schritte nach dem Ausführen eines Experiments ist es viel wahrscheinlicher, dass Teams auf der Grundlage dessen, was sie aus dem Experiment lernen, vorankommen.

Wie sieht ein gutes Experiment aus?

Viele Praktiker gehen davon aus, dass ein Experiment darin besteht, mit einer Idee zu beginnen, einen Prototyp zu bauen, ihn zu testen und dann herauszufinden, was als nächstes zu tun ist. Falsch.

Ein gutes Experiment folgt dem Skelett der wissenschaftlichen Methode. Diese Kernkonzepte werden zusammen mit einigen maßgeschneiderten Komponenten in die Welt der digitalen Experimente übertragen. Fürs Protokoll, wenn ich „gutes Experiment“ sage, beziehe ich mich nicht auf das Ergebnis des Experiments. Ein „gutes Experiment“ spricht für ein gut konzipiertesExperiment .“

Hier sind die kritischen Komponenten eines guten Experimentdesigns:

Planung (Vorexperiment)

  1. Dokumentieren Sie Beobachtungen, die verdeutlichen, warum wir dieses Experiment durchführen möchten
  2. Forschung zur Bestätigung unserer Beobachtungen. Diese Forschung kann quantitative, qualitative, wettbewerbsbezogene Erkenntnisse usw. umfassen.
  3. Erstellen Sie eine Hypothese mit klar definierten Metriken oder KPIs
  4. Erstellen Sie eine Ausrichtung auf die nächsten Schritte Ihres Teams basierend auf jedem möglichen Ergebnis: ob jede Variante gewinnt oder ob der Test keine statistische Signifikanz erreicht
  5. Zu den Merkmalen des Testaufbaus gehören Dauer, Publikum, Traffic-Aufteilung, kritischer Schwellenwert und mehr
  6. Klare Artikulation dessen, was getestet und modifiziert wird. Dies kann eine Designänderung, eine neue Funktion oder Erfahrung und mehr sein
  7. Bestätigen Sie, dass das Experiment gemessen werden kann

Während das Experiment läuft

  1. Analytics-Dashboards für die laufende Überwachung

Nach dem Experiment

  1. Analysieren Sie die Ergebnisse
  2. Formulieren Sie das Ergebnis des Experiments und fahren Sie mit Ihren vorher festgelegten nächsten Schritten fort.

Der Experiment-Brief

Jetzt, da wir verstehen, was ein gutes Experimentdesign ausmacht, können wir unseren Prozess in Vorlagen umwandeln, um sicherzustellen, dass alle kritischen Informationen jedes Mal vor Beginn des Experiments dokumentiert werden.

Dadurch kann sich jeder in Ihrer Organisation asynchron über das Experiment informieren, was zur Demokratisierung beiträgt.

Phase 1: Planen

Planen
Beobachtungen und Erkenntnisse: Welche Beobachtungen führten zu diesem Experiment?Diese Forschung kann quantitativ, qualitativ, Wettbewerbserkenntnisse, Benutzerforschung und mehr sein.
Definieren Sie die Art des Experiments: Hypothesentest oder Do No Harm-Test
Hypothese Wir haben beobachtet: Dokumentieren Sie den qualitativen, quantitativen oder Wettbewerbseinblick
Durch: Einführung oder Änderung der unabhängigen Variablen
Wir erwarten: Definieren Sie die Verhaltensänderung, die Sie erwarten
Führt zu: Geben Sie die erwartete Auswirkung auf Ihre abhängige Variable an
Für Do-No-Harm-Tests
Metriken: Wenn Sie größere Änderungen einführen, z. B. eine neue Erfahrung in Ihrem Produkt, verwenden Sie einen Do No Harm-Test sowohl für primäre als auch für Leitplankenmetriken, um negative Auswirkungen auf Ihre kritischen Metriken zu erkennen Primär: Dies könnte eine Conversion-Rate sein
Geländer (optional)
Für Hypothesentests
Metriken Primär: Dies könnte eine Conversion-Rate sein
Sekundär (optional)
Geländer (optional)
Gesamtprobengröße
Minimaler nachweisbarer Effekt Primär
Geländer (optional)
Testereignisname
Experimentieren Sie Ereignisparameter
Aktionen: Welche Aktionen werden Sie basierend auf jedem der folgenden Ergebnisse des Tests ergreifen? Gewinnen
Verlieren
Eben

Phase 2: Konfigurieren

Konfigurieren
Variationsdesigns Variante 1: Definieren Sie den Unterschied zur Kontrollgruppe.Sie sollten auch auf alle relevanten Designs verlinken
Variante 2 (optional)
Zuweisung Split: Dies könnte 50/50 sein
Zielgruppenkohorte: Sprechen wir bestehende Kunden, neue Benutzer usw. an?
Plattformen
Bereich der Website: In welchem ​​Bereich Ihres Produkts wird der Test durchgeführt?
JIRA-Tickets und -Analyse (Links) Analytics-JIRA Verknüpfung
Tech-JIRA Verknüpfung
Analyse vor dem Test Verknüpfung
Analyse nach dem Test Verknüpfung

Phase 3: Überwachen

Monitor
Geplanter Prüfungstermin Von: [MM/TT/JJJJ] An: [MM/TT/JJJJ]
Dauer (Tage)
Stellen Sie sicher, dass das Tracking in Analytics funktioniert: Stellen Sie sicher, dass: (1)das Ereignis auf relevanten Plattformen, Geräten und Benutzergruppen ausgelöst wird, (2)Sie konsistente Ereignisnamen für Kontrolle und Variante auf allen Plattformen konfiguriert haben, (3)das Expositionsereignis ausgelöst wird wenn Benutzer dem Experiment ausgesetzt sind

Phase 4: Analysieren und entscheiden

Analysieren und entscheiden
Analyse: Dokumentieren Sie das Ergebnis des Experiments
Entscheidung: Entscheiden Sie basierend auf Ihrer Planungsphase über die nächsten Schritte.
Überwachen Sie die laufende Leistung: Analysieren Sie das Verhalten nach dem Experiment weiter

Abschließende Gedanken

Diese Experiment Briefs können leicht nach Datum, Segment, Website-Bereich und Plattform kategorisiert werden. Sie sollten auch für alle zugänglich sein, damit dieses institutionelle Wissen auch dann erhalten bleibt, wenn Menschen kommen und gehen. Die Verwendung von Experiment Briefs kann Ihrem Team helfen, Ihr Experimentierprogramm zu verbessern, indem jedes Experiment transparent dokumentiert wird, um diese Informationen zu demokratisieren.

Ich würde gerne Ihre Gedanken zu dieser Vorlage und allen Änderungen, die Sie vornehmen würden, hören. Sie können mich auf LinkedIn oder Twitter erreichen oder meinen Blog besuchen.

Einen Link zur Experiment-Briefing-Vorlage finden Sie unter diesem Link → Experiment-Briefing-Vorlage.

Vertrieb kontaktieren