Wenn sich A/B-Tests nicht lohnen

Für Marketingfreaks wie Sie und mich bringt nichts das Blut so in Wallung wie ein A/B-Test. Sie sind schnell zu laufen und es ist zutiefst befriedigend, die Ergebnisse zu sehen. Sobald wir begonnen haben, gehen wir zu den Rennen, und es ist schwer vorstellbar, wie wir jemals ohne ausgekommen sind. Wenn wir das nur mit allem machen könnten: Spielen Sie zwei Walzen unserer großen Lebensentscheidungen gleichzeitig, um zu sehen, welche Entscheidungen die richtigen waren.

Aber ohne sorgfältige Überlegung können A/B-Tests tatsächlich nur zu einer Verschwendung unserer wertvollen Zeit werden. So holen Sie das Beste aus A/B-Tests heraus.

Was ist A/B-Testing? Wie funktioniert es?

Mit A/B-Tests können Sie eine Erfahrung oder Nachricht testen, um zu sehen, ob sie verbessert werden kann. Bei einem A/B-Test präsentieren Sie Benutzern zwei Versionen einer Website, App oder Funktion (Version A vs. B). Die Version mit der besten Leistung, unabhängig von der von Ihnen verfolgten Metrik, gewinnt.

Man kann so ziemlich alles testen: Schaltflächen, Schriftarten, Handlungsaufforderungen, redaktionelle Inhaltsstile und sogar Details der nächsten Ebene wie die Bildlaufgeschwindigkeit, indem eine Version vor der ersten Gruppe von Benutzern platziert wird, normalerweise das Steuerelement (A), und eine Variante (B) vor einer zweiten Gruppe von Benutzern. Der Datenverkehr wird so weit wie möglich randomisiert, sodass die einzige Variante, die Sie testen, die in Variante B geänderte ist. Sie können mehrere Variablen und/oder mehrere Varianten testen, und dies wird als multivariates Testen bezeichnet, ein Thema für einen anderen Tag.

Verwenden Sie A/B-Tests, um eine Hypothese zu testen

Verwenden Sie A/B-Tests, um subjektive Ideen zur Lösung eines Problems mit objektiven, datenbasierten Beweisen zu testen, die bestätigen, ob die Ideen fundiert sind.

Gut gemacht, A/B-Testing folgt einem Grundrezept. Beginnen Sie mit einem Problem, das Sie lösen möchten. Vielleicht haben Sie Daten oder Nutzerrecherchen, die darauf hindeuten, dass es ein Problem gibt, oder nur eine fundierte Vermutung, die sich aus dem Wissen über Ihr Produkt und Ihre Zielgruppe ergibt.

Als nächstes entwickeln Sie eine Hypothese, die die beste Lösung für Ihr Problem darstellt. Führen Sie dann Ihren Test durch, um empirische Beweise zu sammeln, die Ihre Hypothese letztendlich beweisen oder widerlegen. Handeln Sie schließlich auf der Grundlage dessen, was Sie gelernt haben.

Worauf Sie achten sollten, bevor Sie sich auf einen A/B-Test einlassen

In De Tocquevilles Studie über den amerikanischen Charakter ( Democracy in America ) aus dem Jahr 1835 schrieb er, dass in den USA „die öffentliche Meinung in tausend winzige Schattierungen von Unterschieden bei Fragen von sehr geringer Bedeutung unterteilt ist“.

De Tocqueville konnte natürlich nicht ahnen, wie relevant seine Bemerkungen im Zusammenhang mit digitalem und mobilem Marketing werden könnten. Einige Ergebnisse rechtfertigen einfach nicht die Zeit, die sie zum Aufdecken benötigen. Erfahren Sie, wann es Zeit für A/B-Tests ist und wann Sie Ihre Zeit woanders besser verbringen könnten.

4 Gründe, keinen Test durchzuführen

1. Führen Sie keinen A/B-Test durch, wenn: Sie noch keinen aussagekräftigen Traffic haben

A/B-Tests sind so allgegenwärtig geworden, dass sie aus der Welt der Mobil- oder Produktentwicklung kaum mehr wegzudenken sind. Es könnte jedoch ein Fehler sein, in das tiefe Ende des Testbeckens zu springen, bevor Sie überhaupt Ihre Knöchel nass gemacht haben.

Statistische Signifikanz ist ein wichtiges Konzept beim Testen. Indem Sie eine ausreichend große Gruppe von Benutzern testen, bestimmen Sie, was der durchschnittliche Benutzer bevorzugt, und verringern die Wahrscheinlichkeit, dass die von Ihnen identifizierte Präferenz tatsächlich das Ergebnis eines Stichprobenfehlers ist.

Haben Sie Bewegung gesehen, weil Anwender eigentlich die Variante der Kontrolle vorziehen? Oder haben Sie zum Beispiel Variante A unwissentlich Leuten serviert, die Katzen lieben, und Variante B Leuten, die Cheeseburger hassen, was bedeutet, dass Ihre Ergebnisse Ihnen eigentlich nichts über Ihren durchschnittlichen Benutzer sagen? Um sich vor dieser Art von Stichprobenfehlern zu schützen, benötigen Sie eine statistisch signifikante Stichprobengröße. Wie finden Sie heraus, ob Ihre Ergebnisse aussagekräftig genug sind, um Maßnahmen zu rechtfertigen? Mathematik!

Sie können beginnen, indem Sie diesen kostenlosen A/B-Signifikanzrechner verwenden ( oder diesen , wenn Sie es vorziehen). Jeder Rechner vergleicht Besucher und Konversion auf beiden Seiten Ihrer A/B-Variante, führt eine Reihe von Backend -Berechnungen durch und gibt Ihnen ein „Vertrauensniveau“ in Prozent, das Sie wissen lässt, ob Ihr Test erfolgreich war oder nicht Ergebnisse, auf die Sie vertrauensvoll reagieren können.

Das Testen von etwas, von dem Sie erwarten, dass es einen großen Unterschied in der Conversion-Rate macht, ist normalerweise mit weniger Traffic machbar, aber um kleine Änderungen wie die Farbe einer Schaltfläche zu testen, benötigen Sie eine größere Stichprobengröße. Wenn Sie sich Sorgen machen, spielen Sie mit diesem Rechner herum, um zu sehen, ob Ihr Traffic dort ist, wo er sein sollte, bevor Sie einen A/B-Test durchführen.

Wenn Sie nicht genügend Benutzer haben, um aussagekräftige Ergebnisse zu liefern, sollten Sie Ihre Bemühungen besser darauf verwenden, mehr Kunden zu gewinnen, anstatt zu experimentieren. Wenn Sie sich entscheiden, einen Test durchzuführen, während Ihre Benutzerbasis noch klein ist, müssen Sie Ihren Test möglicherweise viele Wochen lang live lassen, bevor Sie aussagekräftige Ergebnisse sehen.

2. Führen Sie keinen A/B-Test durch, wenn: Sie die Zeit nicht sicher verbringen können

Andrew Cohen, Gründer und CEO von Brainscape und Ausbilder bei TechStars und General Assembly, sagt : „ Die Durchführung von Split-Tests ist einfach eine managementintensive Aufgabe, egal wie billig und effizient A/B-Test-Plugins … geworden sind. Jemand muss seine Zeit darauf verwenden, zu bestimmen, was getestet werden soll, den Test einzurichten und die Testergebnisse zu überprüfen und umzusetzen.“

Obwohl diese Aufgaben relativ einfach ausgeführt werden können, erklärt Cohen, erfordert es dennoch viel „mentale Bandbreite, die die knappste Ressource in jedem Unternehmen ist (insbesondere bei einem Startup in der Frühphase).“

Nehmen Sie sich Zeit, um im Voraus zu entscheiden, was Sie testen sollten, damit Sie Ihre A/B-Testzeit optimal nutzen.

3. Führen Sie keinen A/B-Test durch, wenn: Sie noch keine fundierte Hypothese haben

Informationen sammeln. Identifizieren Sie Ihr Problem. Definiere eine Hypothese. Testen Sie dann, ob Sie Recht haben. Behandeln Sie den A/B-Test wie echte Wissenschaft! Ein guter Wissenschaftler beginnt ein Experiment nie ohne eine Hypothese .

Um Ihre Hypothese zu definieren, müssen Sie das Problem kennen, das Sie lösen möchten, und ein Conversion-Ziel identifizieren. Nehmen wir zum Beispiel an, Ihre Kunden neigen dazu, an einem bestimmten Punkt im Conversion-Funnel abzubrechen.

Das Problem: Kunden laden Artikel in ihren Warenkorb, schließen den Kaufvorgang aber nie ab.

Basierend auf ein wenig Marktforschung und Ihrem eigenen fundierten Urteil glauben Sie, dass Sie die Konversion steigern können, wenn Sie eine Schaltfläche mit der Aufschrift „Kauf abschließen“ hinzufügen. Es ist auch wichtig, Ihre Erfolgsmetrik zu definieren. Was ist die kleinste Conversion-Steigerung, über die Sie sich freuen würden? (Und warum diese Zahl? Was bedeutet es für Ihr Unternehmen als Ganzes, diese Steigerung zu gewinnen?) Dies hängt auch mit Ihren statistischen Signifikanzberechnungen zusammen. Nehmen wir für dieses Beispiel an, Sie möchten die Conversion um 20 % steigern.

Eine wissenschaftliche Hypothese wird normalerweise im Wenn/Dann-Format geschrieben. Ihre Hypothese lautet also: „ Wenn ich eine Schaltfläche „Kauf abschließen“ hinzufüge, werden 20 % mehr Personen den Kaufvorgang abschließen.“

Am Ende Ihres Tests müssen Sie einige Entscheidungen treffen. Wenn Ihr Test positiv ist und Ihre Hypothese bestätigt, herzlichen Glückwunsch! Du gewinnst. Ihre Hypothese ist jetzt eine bewährte Theorie (natürlich innerhalb des von Ihnen erreichten prozentualen Konfidenzniveaus bewiesen). Wenn Ihr Unternehmen agil genug ist, können Sie sofort eine dauerhafte Lösung einführen. Vielleicht möchten Sie weiterhin kleinere Varianten testen, um zu sehen, ob Sie Ihren ersten Erfolg noch verbessern können.

Wenn Ihr Test negativ ist und Ihre Hypothese nicht ins Schwarze getroffen hat, gewinnen Sie auch! Das bedeutet, dass Ihre Kontrolle das Erfolgsrezept ist, und Sie können es weiterhin mit Zuversicht verwenden. Auch hier möchten Sie vielleicht verschiedene Varianten testen, wenn Sie nicht die gewünschten Ergebnisse erzielen. Sehen Sie, ob es einen anderen Weg gibt, Ihr Problem zu lösen, und entwickeln Sie eine neue Hypothese.

Wenn Ihr Test nicht schlüssig ist, überprüfen Sie Ihr Problem erneut. Sind Sie sicher, dass der Schmerzpunkt dort ist, wo Sie ihn vermuten? Haben Sie genug Traffic, um statistisch signifikante Ergebnisse zu liefern? Denken Sie daran, dass die Antwort auf die Schwachstellen Ihres Produkts nicht unbedingt in einem A/B-Test zu finden ist.

4. Führen Sie keinen A/B-Test durch, wenn: das Risiko gering ist, sofort Maßnahmen zu ergreifen

Lynn Wang , Marketingleiterin bei Apptimize , sagt : „ A/B-Tests sollten in Situationen übersprungen werden, in denen Sie wissen , dass eine Idee Ihre App mit ziemlicher Sicherheit verbessern wird und die Risiken, die mit der Umsetzung der Idee verbunden sind, gering sind.“ Sie fügt hinzu: „ Es gibt keinen Grund, Zeit und Ressourcen aufzuwenden, um etwas zu testen, das wahrscheinlich gut ist und ein geringes Risiko birgt. Der Sprung in die Umsetzung ist absolut ratsam.“

Dies ist besonders nützlich, um sich daran zu erinnern, wenn Ihre Zeit knapp ist. Denken Sie daran, dass ein bestimmtes Ergebnis wahr und gleichzeitig unwichtig sein kann.

Ein gutes Tool ist nur so nützlich wie seine intelligente Anwendung

A/B-Tests sind eine unglaubliche Ressource. Intelligente, einfache Maßnahmen, die auf der Grundlage eindeutiger Ergebnisse gut durchgeführter Tests ergriffen wurden, haben den Erfolg in der gesamten digitalen Landschaft katapultiert . Erfolgreiche Unternehmen wissen, wann es an der Zeit ist, geduldig zu sein und einen aussagekräftigen Test durchzuführen. Sie wissen auch, wann sie sich auf ihre Intuition oder andere Informationsquellen verlassen müssen, und gehen ohne das vermeintliche Sicherheitsnetz einer langwierigen oder verfrühten Testphase voran, die eigentlich keinen Mehrwert bringt.