Erschließen Sie mit unserem neuen Leitfaden die Kraft produktgeführter Experimente

In der heutigen Wettbewerbslandschaft ist produktorientiertes Experimentieren mehr als eine gute Idee – es ist eine Notwendigkeit für Produkt- und Entwicklungsteams, ihre Wirkung zu quantifizieren.Aber Teams müssen eine Kultur des Experimentierens pflegen und diese in jede Phase des Produktentwicklungsprozesses einfließen lassen, um mit Zuversicht aufzubauen.

Wir haben uns mit Reforge zusammengetan, um einen umfassenden Leitfaden für produktorientiertes Experimentieren zu erstellen, der Einblicke und Ratschläge von Experten auf diesem Gebiet enthält. Der Leitfaden hilft Produkt- und Entwicklungsteams, Experimentierprogramme zu erstellen und das volle Potenzial ihrer Produkte auszuschöpfen. In diesem Beitrag geben wir Ihnen einen Überblick darüber, was Sie im Leitfaden erwartet.

Laden Sie den vollständigen Leitfaden„Build with Confidence: Your Guide to Scaling Product-Led Experimentation“ herunter, um zu erfahren, wie Sie eine Experimentierkultur aufbauen, die Praxis des Experimentierens verstehen, Ihre Experimentier-Roadmap priorisieren und vieles mehr.

Warum Experimente wichtig sind

Im heutigen Wettbewerbsumfeld ist das Experimentieren für Produktteams nicht optional. Es hilft Teams, erfolgreiche, innovative Produkte zu entwickeln und ihre Arbeit mit der gesamten Organisation zu verknüpfen.

Saleem Malkana, Executive in Residence bei Reforge, erklärt, dass Experimente Produktteams helfen, die Auswirkungen ihrer Arbeit zu messen und die Produktstrategie zu verbessern. „Die besten Produktteams wissen, dass es nicht nur darauf ankommt, diese Ergebnisse zu liefern, sondern vielmehr darauf, welche Ergebnisse sie erzielen“, erklärt er.

Um die Auswirkungen von Produktänderungen zu messen, müssen Teams Hypothesen entwickeln, Experimente durchführen und die Ergebnisse auswerten. Sie können die Ergebnisse der Experimente nutzen, um ihre zukünftige Produktstrategie zu informieren.

Das Testen ist auch eine Möglichkeit, das Risiko von Produktänderungen zu verringern. Produktteams können die Auswirkungen einer Produktentscheidung einschätzen, bevor sie für alle Benutzer eingeführt wird – was zu teuren Fehlern führen kann.

Wil Pong, Head of Product for Amplitude Experiment, argumentiert, dass produktgeführte Experimente schnellere Innovationen liefern, ohne die Entwicklungszyklen der Technik zu unterbrechen, indem mehr Werkzeuge auf Oberflächenebene wie WYSIWYG-Ansätze verwendet werden.

In der Vergangenheit konnten nur große Unternehmen wie Netflix maßgeschneiderte Erlebnisse anbieten und mit verschiedenen Produktschnittstellen oder Empfehlungsmaschinen experimentieren. Mit neuen Anwendungen wie Amplitude Experiment können Unternehmen jeder Größe ihre Produkte in Echtzeit basierend auf den Anforderungen der Benutzer iterieren und verfeinern.

Produktgeführte Experimente ermöglichen es Produktteams, hochgradig zielgerichtete Experimente für ihre gesamten Produkte bereitzustellen, indem sie Feature-Flags verwenden, was den Teams die vollständige Kontrolle über das Ein- und Ausschalten von Erlebnissen gibt. Dies ermöglicht es Teams, „sehr zielgerichtete Experimente und Feature-Releases mit denselben Prozessen und Technologien bereitzustellen, die den Rest [ihrer] Produktentwicklung vorantreiben“, was letztendlich schnelle Innovationen vorantreiben wird, ohne die technischen Teams zu stören, erklärt Wil.

Angesichts der jüngsten Veränderungen in der Verantwortlichkeit ist das Experimentieren auch für Produktführer von entscheidender Bedeutung. Bhavik Patel, Gründer und Geschäftsführer von CAUSL, erklärt, dass Unternehmen von leistungsbasierten zu ergebnisbasierten Ansätzen übergegangen sind und Produktführer stärker unter die Lupe genommen haben. Während es schwierig ist, den ROI von Produktteams zu messen (Organisationen verwenden normalerweise die Anzahl der Mitarbeiter oder Entwicklungsstunden), hilft die Verfolgung der Produktauswirkungen durch Experimente dem Produktteam, seine Arbeit mit umfassenderen Unternehmenszielen zu verknüpfen.

Was bedeutet es, eine Kultur des Experimentierens aufzubauen?

Eine Experimentierkultur sollte alle Teile einer Organisation einbeziehen. Um diese Kultur zu etablieren, müssen Organisationen eine Denkweise ändern und konkrete Systeme und Prozesse aufbauen, um ihre Lerngeschwindigkeit zu unterstützen, und nicht nur schnell zu liefern.

Saleem erklärt, dass eine Kultur des Experimentierens nicht rein technisch ist. Es ist eine Kombination aus:

• Menschen: Teammitglieder sind datengetrieben.
• Integrierte Prozesse und Kommunikation: Das Experimentieren ist Teil des Produktentwicklungsprozesses mit einer gesunden Kommunikation zwischen den Teams.
• Technologie: Die Organisation nutzt eine Plattform, die Experimente ermöglicht.

Idealerweise gibt es Experimente auf allen Ebenen der Organisation, mit Schwerpunkt auf der Teamebene – das schafft die Grundlage für Agilität und Anpassungsfähigkeit. Tests sollten auch Teil des täglichen Betriebs sein, damit Teams einen stetigen Strom von Erkenntnissen erhalten, die sie zur Verbesserung des Produkts nutzen können.

Um eine Kultur des Experimentierens zu schaffen, sollten Teams eine Denkweise entwickeln, die Neugier und „Scheitern“ umfasst, da beide Mechanismen des Lernens sind. Um das Experimentieren in Schwung zu bringen, ist es auch wichtig, sich einen Executive Champion zu sichern.

Eine Führungskraft, die sich für Experimente einsetzt, hilft dabei, Ressourcen wie Zeit, Budget und Tools bereitzustellen. Sie helfen auch bei der Schaffung von Kanälen für offene Kommunikation und Zusammenarbeit zwischen den Abteilungen.

Lesen Sie mehr in der vollständigen Anleitung.

So beginnen Sie Ihre Experimentierreise

Die Implementierung von Experimentierprogrammen in einer Organisation braucht Zeit. Hier sind einige Best Practices für den Anfang.

Fangen Sie klein an und skalieren Sie

Das ultimative Ziel ist es, Experimente im gesamten Unternehmen einzuführen. Organisationen sollten jedoch klein mit risikoarmen Tests in einem Team beginnen, bevor sie skalieren.

Saleem empfiehlt die Einrichtung eines „Exzellenzzentrums“: ein einzelnes Team, das den grundlegenden Experimentierstapel validieren und von dort aus aufbauen sollte. Elena Verna, Growth Advisor und Interim Growth Exec, erklärt: „Ein einzelnes Team muss zuerst lernen, wie man testet, wie man lernt und wie man gewinnt.“

Sie fährt fort: „Sobald dieses Team Experimentierfähigkeiten und Denkweisen entwickelt hat, sollte es daran arbeiten, den Zugang zum Testen und Lernen zu demokratisieren. Auf diese Weise kann die gesamte Organisation lernen, wie man mit Experimenten gewinnt.“ Letztendlich sollten Teammitglieder in allen Abteilungen in der Lage sein, Tests durchzuführen, um ihre täglichen Entscheidungen zu treffen.

Bhavik schlägt Teams vor, mit risikoarmen Tests zu beginnen: „Ich würde beispielsweise nicht raten, mit einem komplexen Preisexperiment zu beginnen, aber es ist ein großartiges Ziel, auf das man hinarbeiten kann.“

Er warnt auch davor, sich an unrealistischen Zahlen aufhängen zu lassen. Die Mehrheit der Unternehmen sollte nicht versuchen, Tausende von Experimenten durchzuführen. Stattdessen „sollte das Ziel darin bestehen, mehr [Tests] durchzuführen als im letzten Quartal oder Jahr“, sagt er.

Ideen entwickeln, validieren, priorisieren

Das Ausführen unnötiger Experimente verschwendet Ressourcen, daher müssen Teams selektiv auswählen, welche Experimente durchgeführt werden sollen.

Beginnen Sie Ihre Ideenfindung mit einem Metrikbaum (ein Diagramm, das zeigt, wie alle Elemente einer Produktleiter zu den Unternehmenszielen führen) oder einem Sonnendiagramm (ein Überblick über die Arbeitsabläufe Ihrer Organisation). Wenn Sie sich diese Diagramme ansehen, erhalten Sie eine Vorstellung davon, worauf Sie Ihre Experimentierbemühungen konzentrieren sollten.

Um Ideen zu testen, validieren Sie zunächst die Testkonzepte, um festzustellen, welche Ideen es wert sind, weiterverfolgt zu werden. Zur Validierung können Sie Tests mit bemalten Türen, Schreibtischforschung oder Ergebnisse aus ähnlichen Experimenten untersuchen.

Berücksichtigen Sie dann die Zeit bis zu Erkenntnissen aus jedem potenziellen Test. Elena betont, dass Teams der Lerngeschwindigkeit Priorität einräumen und überlegen sollten, wie lange es dauert, ein Experiment zu erstellenund nicht nur durchzuführen. Saleem schlägt auch vor, große Herausforderungen in kleinere testbare Hypothesen aufzuteilen, um eine schnellere Feedback-Schleife zu erhalten.

Weitere zu berücksichtigende Faktoren sind:

• Das Volumen an verschiedenen Punkten in Ihrem Produkt, da Sie genügend Datenverkehr zum Ausführen von Tests benötigen
• Ob der Test, den Sie durchführen möchten, gemessen werden kann, können Sie mit den Analysetools, die Sie haben

Nachdem Sie Ihre Testideen validiert haben, priorisieren Sie, welche Experimente ausgeführt werden sollen, basierend auf:

• Ihre Prüfkapazität
• Welche Auswirkungen erwarten Sie von dem Test?
• Wie zuversichtlich Sie sind, dass es die gewünschte Wirkung haben wird
• Der Aufwand, der mit der Durchführung des Tests verbunden ist

Gestalten Sie Ihre Experimente mit Best Practices

Bhavik erklärt, dass gut konzipierte Experimente in der wissenschaftlichen Methode verwurzelt sind. Sie können in die folgenden Phasen unterteilt werden: Planung vor dem Experiment, Überwachung während des Experiments und Analyse nach dem Experiment.

Nachdem Sie Ihre Experimentideen validiert und ausgewählt haben, welche Tests priorisiert werden sollen, müssen Sie Ihre Experimente planen. Dokumentieren Sie die Gründe für die Durchführung des Experiments. Artikulieren Sie klar, was getestet und modifiziert wird – das könnte eine Designänderung oder eine neue Funktion oder Erfahrung sein.

Erstellen Sie eine Hypothese und legen Sie klar definierte Produktmetriken oder KPIs für Ihr Experiment fest. Entscheiden Sie auf der Grundlage der möglichen Ergebnisse über die nächsten Schritte. Bestimmen Sie, was passiert, wenn jede Variante gewinnt oder wenn der Test keine statistische Signifikanz erreicht.

Tauchen Sie im vollständigen Leitfaden tiefer in die Planung vor dem Experiment ein.

Erstellen Sie während des Experiments ein Analyse-Dashboard, um den Test kontinuierlich zu überwachen. Analysieren Sie nach dem Experiment die Ergebnisse und artikulieren Sie das Ergebnis. Dann kann das Team mit den vorgegebenen nächsten Schritten fortfahren.

Bauen Sie mit Zuversicht

Laden Sie für weitere Anleitungen zum Ausführen erfolgreicher Experimentierprogramme den produktgeführten Experimentierleitfaden herunter.