Когда A/B-тестирование того не стоит

У таких фанатов маркетинга, как вы и я, ничто так не волнует, как A/B-тестирование. Они быстро бегают, и очень приятно наблюдать за потоком результатов. Как только мы начали, мы отправляемся на гонки, и трудно представить, как мы раньше обходились без них. Если бы мы только могли делать это со всем: играть на двух барабанах наших важных жизненных решений одновременно, чтобы увидеть, какие решения были правильными.

Но без тщательного рассмотрения A/B-тестирование может стать пустой тратой нашего драгоценного времени. Вот как получить максимальную отдачу от A/B-тестирования.

Что такое A/B-тестирование? Как это работает?

A/B-тестирование позволяет протестировать опыт или сообщение, чтобы увидеть, можно ли его улучшить. В тесте A/B вы предоставляете пользователям две версии сайта, приложения или функции (версия A и версия B). Побеждает версия, которая работает лучше всего по любой метрике, которую вы отслеживаете.

Можно протестировать практически все: кнопки, шрифты, призывы к действию, стили редакционного контента и даже детали следующего уровня, такие как скорость прокрутки, поместив одну версию перед первым набором пользователей, обычно контрольным (A), и вариант (B) перед вторым набором пользователей. Трафик максимально рандомизирован, поэтому единственный вариант, который вы тестируете, — это вариант, измененный в варианте B. Вы можете тестировать несколько переменных и/или несколько вариантов, и это известно как многовариантное тестирование, тема для другого дня.

Используйте A/B-тестирование для проверки гипотезы

Используйте A/B-тестирование, чтобы проверить субъективные идеи о том, как решить проблему с помощью объективных данных, основанных на данных, которые подтвердят, верны ли эти идеи.

Если все сделано правильно, A/B-тестирование следует основному рецепту. Начните с проблемы, которую вы хотите решить. Может быть, у вас есть данные или исследования пользователей, указывающие на наличие проблемы, или просто догадка, основанная на знании вашего продукта и аудитории.

Затем разработайте гипотезу, определяющую, что кажется лучшим решением вашей проблемы. Затем запустите тест, чтобы собрать эмпирические данные, которые в конечном итоге подтвердят или опровергнут вашу гипотезу. Наконец, примите меры на основе того, что вы узнали.

На что обратить внимание, прежде чем приступать к A/B-тестированию

В исследовании американского характера Де Токвиля 1835 года (« Демократия в Америке ») он писал, что в США «общественное мнение разделено на тысячу мельчайших оттенков разногласий по очень незначительным вопросам».

Де Токвиль, конечно, понятия не имел, насколько актуальными могут оказаться его замечания в контексте цифрового и мобильного маркетинга. Некоторые результаты просто не оправдывают потраченного на их раскопки времени. Знайте, когда пора проводить A/B-тестирование, а когда лучше потратить время на что-то другое.

4 причины не проводить тест

1. Не проводите A/B-тестирование, когда: у вас еще нет значимого трафика

A/B-тестирование стало настолько повсеместным, что без него трудно представить мир разработки мобильных устройств или продуктов. Тем не менее, прыгать в глубокий конец тестового пула, прежде чем вы даже промокнете лодыжки, может быть ошибкой.

Статистическая значимость является важным понятием в тестировании. Протестировав достаточно большую группу пользователей, вы определите, что предпочитает средний пользователь, и уменьшите вероятность того, что идентифицированное вами предпочтение на самом деле является результатом ошибки выборки.

Вы заметили движение, потому что пользователи на самом деле предпочитают вариант контролю? Или, например, вы неосознанно подавали вариант А людям, которые любят кошек, а вариант Б — людям, которые ненавидят чизбургеры, то есть ваши результаты на самом деле ничего не говорят вам о вашем среднем потребителе? Чтобы защититься от такого рода ошибок выборки, вам нужен статистически значимый размер выборки. Как понять, достаточно ли значительны ваши результаты, чтобы оправдать действия? Математика!

Вы можете начать с этого бесплатного калькулятора значимости A/B ( или этого , если хотите). Каждый калькулятор сравнивает посетителей и конверсию по обеим сторонам вашего варианта A/B, выполняет множество внутренних математических расчетов и дает вам «уровень достоверности», выраженный в процентах, позволяя вам узнать, дал ли ваш тест результат или нет. результаты, на которые вы можете уверенно действовать.

Тестирование чего-то, что, как вы ожидаете, сильно повлияет на коэффициент конверсии, обычно выполнимо при меньшем трафике, но для тестирования небольших изменений, таких как цвет кнопки, вам потребуется больший размер выборки. Если вас это беспокоит, поиграйте с этим калькулятором, чтобы увидеть, находится ли ваш трафик там, где он должен быть, прежде чем запускать A/B-тест.

Если у вас недостаточно пользователей для информирования о значимых результатах, ваши усилия лучше направить на привлечение большего числа клиентов, а не на эксперименты. Если вы все же решите продолжить и запустить тест, пока ваша пользовательская база еще невелика, вам может потребоваться оставить тест на много недель, прежде чем вы увидите значимые результаты.

2. Не проводите A/B-тестирование, если: вы не можете безопасно проводить время

Эндрю Коэн, основатель и генеральный директор Brainscape, а также инструктор TechStars и General Assembly, говорит : « Выполнение сплит-тестов — это просто трудоемкая задача, независимо от того, насколько дешевыми и эффективными стали… плагины для A/B-тестирования. Кто-то должен посвятить свое время определению того, что тестировать, настройке теста, проверке и внедрению результатов теста».

Хотя эти задачи могут быть выполнены относительно легко, объясняет Коэн, для этого все же требуется много «умственной пропускной способности, которая является самым дефицитным ресурсом в любой компании (особенно на ранней стадии стартапа)».

Потратьте время заранее, решая, что вы должны тестировать, чтобы наилучшим образом использовать время A/B-тестирования.

3. Не проводите A/B-тестирование, если: у вас еще нет обоснованной гипотезы

Собирать информацию. Определите свою проблему. Дайте определение гипотезе. Затем проверьте, правы ли вы. Относитесь к A/B-тестированию как к настоящей науке! Хороший ученый никогда не начинает эксперимент без гипотезы .

Чтобы сформулировать свою гипотезу, определите проблему, которую хотите решить, и цель конверсии. Например, предположим, что ваши клиенты уходят в определенный момент воронки конверсии.

Проблема: покупатели загружают товары в корзину, но так и не завершают процесс покупки.

Основываясь на небольшом исследовании рынка и собственном хорошо информированном суждении, вы считаете, что если вы добавите кнопку с надписью «завершить покупку», вы сможете увеличить конверсию. Также важно определить вашу метрику успеха. Какое наименьшее увеличение конверсии вы бы хотели видеть? (И почему это число? Что означает для вашего бизнеса в целом такое увеличение?) Это также связано с вашими расчетами статистической значимости. В этом примере предположим, что вы хотите увеличить конверсию на 20%.

Научная гипотеза обычно записывается в формате если/то. Итак, ваша гипотеза звучит так: « Если я добавлю кнопку «завершить покупку», то на 20 % больше людей совершит покупку».

В конце теста вам нужно будет принять некоторые решения. Если ваш тест положительный и подтверждает вашу гипотезу, поздравляем! Ты победил. Ваша гипотеза теперь является доказанной теорией (конечно, доказанной в пределах достигнутого вами процентного уровня достоверности). Если ваш бизнес достаточно гибок, вы можете сразу же внедрить постоянное решение. Возможно, вы захотите продолжить тестирование меньших вариантов, чтобы увидеть, есть ли еще возможность улучшить ваш первый успех.

Если ваш тест отрицательный, и ваша гипотеза не сработала, вы тоже выиграли! Это означает, что ваш контроль — это выигрышная формула, и вы можете продолжать использовать ее с уверенностью. Однако, опять же, вы можете протестировать разные варианты, если вы не получаете нужных результатов. Посмотрите, есть ли другой способ решить вашу проблему, и разработайте новую гипотезу.

Если ваш тест не дает результатов, вернитесь к своей проблеме. Вы уверены, что болевая точка именно там, где вы думаете? Достаточно ли у вас трафика для получения статистически значимых результатов? Помните, что ответ на вопрос, что беспокоит ваш продукт, не обязательно может быть в A/B-тестировании.

4. Не проводите A/B-тестирование, если: существует низкий риск немедленного принятия мер

Линн Ван , руководитель отдела маркетинга Apptimize , говорит : « A/B-тестирование следует пропускать в ситуациях, когда вы знаете , что идея почти наверняка улучшит ваше приложение, а риски, связанные с… реализацией идеи, невелики». Она добавляет: « Нет причин тратить время и ресурсы на тестирование чего-то, что, вероятно, хорошо и имеет низкий риск. Совершенно целесообразно перейти к реализации».

Это особенно полезно помнить, если у вас мало времени. Имейте в виду, что данный результат может быть верным, и в то же время он может быть неважным.

Хороший инструмент так же полезен, как и его умное применение

A/B-тестирование — невероятный ресурс. Умные и простые действия, предпринятые на основе четких результатов хорошо проведенных тестов, привели к успеху в цифровой среде . Успешные компании знают, когда нужно набраться терпения, и провести осмысленное тестирование. Они также знают, когда следует полагаться на свою интуицию или другие источники информации, и двигаться вперед без предполагаемой системы безопасности в виде затянувшегося или преждевременного периода тестирования, который на самом деле не принесет никакой пользы.