10 грубых ошибок, которые допускают маркетологи при сплит-тестировании

Для эффективного ведения любого бизнеса важной частью является маркетинговый анализ и исследования, которые многие предприниматели склонны упускать. Тенденция просто продавать без учета того, что работает, а что нет, определяет рост сайта. Это блокирует более глубокие потребности в интенсивных исследованиях рынка, и в результате в долгосрочной перспективе вы теряете клиентов. Лучший способ провести исследование клиентов — сплит-тестирование.

Почему сплит-тест?

Сплит-тестирование или A/B-тестирование по определению — это метод проведения контролируемых, но случайных экспериментов с конечной целью улучшения посещаемости веб-сайта. Проще говоря, это сравнение двух версий одной и той же страницы, чтобы определить, какая из них более эффективна. В идеале между двумя версиями будет всего одно или два различия, чтобы точно определить эффективность.

Общие действия, такие как контент, клики, заполнение форм и покупки, анализируются, чтобы увидеть, какой вариант обеспечивает лучшие результаты для заранее определенной маркетинговой цели. Распространенными маркетинговыми методологиями являются формы регистрации, страницы регистрации, кнопки призыва к действию или перенаправление на другую страницу. Доказано, что даже такое небольшое изменение, как обновление одного слова в CTA, помогло увеличить конверсию на целых 77%. Это доказывает важность проведения сплит-тестирования для повышения эффективности ваших маркетинговых кампаний.

Как бы заманчиво это ни звучало, иногда маркетологи жалуются на получение ложноотрицательной аналитики или даже не могут сгенерировать адекватные данные. Если вас беспокоит сплит-тестирование, есть вероятность, что вы проводите его неправильно. Вот список из 10 наиболее распространенных ошибок, которые могут совершать тестировщики, а также возможные способы их исправления.

Ошибки и исправления, о которых стоит знать

Когда тестер пытается понять сплит-анализ, может быть множество ошибок. Наиболее распространенные из них записаны ниже.

1. Произвольное тестирование

Самая большая проблема, с которой приходится сталкиваться большинству тестировщиков, — это проведение сплит-теста без причины. Например, вы можете бояться тестировать размер кнопки «призыв к действию», и в этом случае вы можете разработать варианты с определенной направленностью. Если вы проводите сплит-тест только ради него, пожалуйста, воздержитесь, так как вы вот-вот обречены.

Исправление: используйте программное обеспечение для тепловых карт, чтобы обнаружить потенциальные области, которые не сфокусированы или не собирают много трафика. Сначала проведите сплит-тест и сформулируйте гипотезу. Теперь проведите испытание и убедитесь, что проводите его в нужное время, сравните новые наборы данных тепловой карты и проанализируйте. Продолжайте повторять, пока не получите удовлетворительные результаты.

2. Отмена теста досрочно

Это большая ошибка новичка, которую обязательно совершат большинство тестировщиков. Давайте предположим, что ваш сайт имеет высокий трафик, и, следовательно, в течение 3 дней после сплит-теста вы получаете достоверность 98% и около 250 конверсий на каждый вариант, и вы проходите тест. Именно здесь ваш тест дает ложноположительный результат, поскольку вы не учли параметр сезонности, и даже в какой день недели вы проводите тест, это может привести к значительному изменению кривой теста.

Исправление: Еще одним важным параметром любого статистического анализа является размер взятой выборки. Для получения правильных результатов убедитесь, что размер выборки достаточно велик, а именно. 100 или 1000 конверсий. Слишком маленький размер выборки может привести к неправильным выводам.

3. Многоэлементное тестирование

Анализ тепловой карты веб-сайта может показать, что существует более одной области, требующей внимания, однако проведение нескольких тестов одновременно ни к чему не приводит.

Всегда лучше выбрать сплит-тест, а не многовариантный. Это связано с тем, что при проведении сплит-теста на двух страницах, имеющих различия только в одном параметре, легко определить, какая страница работает лучше.

Исправление: однако в случае многовариантного тестирования предположим, что вы тестируете четыре разные веб-страницы с двумя или тремя разными параметрами. В этом случае, когда вы собираете данные, вы не можете исправить фактический решающий фактор. В таких случаях приходится сравнивать данные со всех страниц, а также анализировать корреляцию между разными параметрами.

4. Ориентация только на конверсию трафика

Когда вы тестируете определенный или несколько параметров, убедитесь, что вы глубоко укоренились, а не мыслите краткосрочно. Это означает, что если вы видите, что определенные изменения привлекают больше трафика на ваш сайт, не успокаивайтесь на этом. Если высокий трафик включает в себя некачественных клиентов, это в конечном итоге может привести к негативным результатам для вашего бизнеса.

Исправление: всякий раз, когда вы выбираете сплит-тест, проверьте показатель конверсии, затем сопоставьте этот трафик с фактическими лидами и посмотрите, сколько из них генерирует потенциальных клиентов.

5. Выбор случайной гипотезы или просто слепое следование практике раздельного тестирования

Статистический тест не имеет значения без надлежащей гипотезы. Поэтому, прежде чем тратить время на проведение теста, убедитесь, что у вас есть правильная гипотеза. Если вы не уверены в достоверности своей гипотезы, проведите исследование рынка, проанализируйте результаты для выбранной вами переменной, проверьте стратегию своих конкурентов и узнайте своих целевых клиентов.

Исправление: Также, проверяя стратегии конкурентов, старайтесь не следовать им вслепую. То, что сработало для кого-то другого, не сработает для вас. Изучите стратегии своих конкурентов, но в то же время узнайте свои собственные УТП и разработайте соответствующую стратегию.

6. Устранение смешанных переменных

Вмешивающиеся переменные — это те элементы, которые не являются частью значимых параметров вашей гипотезы и могут исказить результаты вашего теста. Некоторые из них включают введение новых продуктов, запуск маркетинговых кампаний и редизайн веб-сайта.

Обычно это происходит, когда вы изменяете некоторые параметры теста в середине теста, чтобы получить более значительную вариацию. Это может генерировать трафик из мест за пределами вашего потенциального целевого пула.

Исправление: при проведении сплит-теста обязательно устраните такие смешанные переменные и убедитесь, что остальные факторы остаются постоянными на протяжении всего теста.

7. Тестирование только добавочных изменений

Существует существенная разница между тем, как работают крупные веб-сайты, и тем, как с этим должны справляться остальные мелкие предприниматели. Для крупных веб-сайтов небольшие постепенные изменения могут привести к высокой рентабельности инвестиций. Но для стартапов и небольших компаний эта деятельность может не дать ожидаемых результатов. Например, невозможно протестировать цвет веб-сайта или кнопки CTA и его различные оттенки, так как это мало что добавит к общему обновлению сайта.

Исправление: Сплит-тесты обеспечивают незначительные улучшения, но не дадут значительного оборота в случае малого бизнеса. Так что не сосредотачивайтесь только на постепенных изменениях, вместо этого сосредоточьтесь на значительном повышении производительности. Что будет необходимо, так это пойти на радикальные изменения на общем уровне. Это более интенсивный метод, чем узкий метод A/B-тестирования. Это может повлечь за собой серьезное изменение дизайна страницы, что может потребовать существенных усилий. Также важно отметить, что из-за переработанного дизайна нескольких элементов может быть трудно определить, какой именно элемент привел к всплеску трафика после того, как переработанная страница стала активной.

8. Делаем сплит-тест даже без трафика

Если вы ведете бизнес всего пару месяцев, рекомендуется добиться более высокого трафика, прежде чем запускать сплит-тест. Для стартапов и новых предприятий проведение сплит-тестов с несколькими бета-пользователями будет неэффективным. Проверка различных гипотез представляет собой игру статистической значимости, достигаемую оптимальной выборкой. Но если у вас нет адекватной выборки, эта основная цель не будет достигнута.

Исправление: прибегайте к раздельному тестированию только в том случае, если вы выполнили 3 различных условия.

1- У вас адекватная репрезентативная выборка

Тестирование должно длиться 3-4 недели, чтобы соответствовать разным периодам продаж. Отмена тестирования до этого не будет отображать универсальное тестирование, а скорее покажет результат выборочного/циклического тестирования.

2- У вас достаточный размер выборки

Веб-сайт с более чем 1000 транзакций (лидов, регистраций или подписок) может проводить одно A/B-тестирование в месяц для увеличения посещаемости. Такие факторы, как коэффициент конверсии, общее количество посещений и общая транзакция, будут определять адекватный размер выборки.

3- Когда вы достигаете значения p

После выполнения пунктов № 2 и 3 важно посмотреть на p-значение (согласно распространенному заблуждению, что p-значение — это не вероятность того, что B больше, чем A). Как правило, приемлемый уровень значимости составляет 5% (или 1 из 20 случаев, когда выборка покажет экстремальный результат при условии, что нулевая гипотеза верна).

9. Тесты не проводятся в течение полных недель

Чтобы сплит-тесты давали правильные результаты, важны сезонность, недельные и даже суточные параметры. Таким образом, время, затрачиваемое на сплит-тест, должно быть тщательно выбрано. Отсутствие учета полных недель теста исказит результаты, которые могут показать правильную картину результата тестирования.

Исправление: например, если вы являетесь владельцем сайта электронной коммерции, то по выходным ваша целевая аудитория более склонна к вашим продуктам, тогда как по понедельникам или в часы пик в будние дни ваш сайт может не генерировать надлежащего трафика. Поэтому убедитесь, что вы закончили тест в тот же день, что и его начало. Это гарантирует, что вы протестируете целую неделю за одну итерацию. Это также согласуется с нашей предыдущей рекомендацией — проводить тесты в течение 2-3 недель.

10. Тестовые данные не отправляются в Google Analytics

Показатели конверсии обычно показывают средние данные, а в мире маркетинга средние показатели лгут. Вы никогда не сможете получить полную картину, если будете работать только с процентными данными. Это связано с тем, что время, сезонность, суточные фазы и многие другие факторы влияют на правильный график клиентов.

Исправление: Итак, если вы обработали значительный объем данных, отправьте их в Google Analytics. Запустите расширенный сегмент и пользовательские отчеты. Результаты покажут вам путь для запуска расширенных тестов, и вы можете получить представление о том, где проводить тестирование вашего сайта. Использование новых функций GA позволяет маркетологам одновременно анализировать до 20 тестовых данных A/B. Обязательно используйте отдельный специальный параметр (или пользовательскую переменную в классическом режиме GA) для одного активного эксперимента. В этом случае могут помочь такие инструменты, как Optimizely Classic.

Подвести итог

Маркетинг и бизнес-аналитика довольно сложны по-своему. Таким образом, вместо того, чтобы проверять, что делают другие, или использовать наиболее распространенные стратегии тестирования, идите по разумному пути и внедрите экономичное A/B-тестирование, чтобы повысить рентабельность инвестиций в свои маркетинговые стратегии.