Измените свой подход к экспериментам с помощью этой схемы из 7 шагов

Экспериментирование необходимо для продуктовых команд. Но если вы делаете это неправильно, вы можете не делать этого вообще. Чтобы сделать ваши эксперименты полезными, предсказуемыми и устойчивыми, вам нужна система, которая согласует ваши тесты с ростом бизнеса и проблемами клиентов.

Зачем вам нужна платформа для экспериментов

Экспериментирование позволяет командам работать с установкой на рост, когда они работают с пониманием того, что их знания о продукте и его пользователях могут измениться. Они могут применять научные методы, чтобы преодолеть разрыв между восприятием и реальностью, который естественным образом возникает при масштабировании продуктов, и привести их в соответствие с тем, что действительно нужно клиентам.

Когда команды экспериментируют спонтанно, программы экспериментов терпят неудачу, и организации исключают эксперименты из своих внутренних процессов принятия решений. Фреймворк позволяет избежать этой ситуации, гарантируя, что ваши эксперименты принесут пользу вашим пользователям и, следовательно, вашему бизнесу.

Экспериментирование является ключом к принятию решений, имеющих значимое влияние на бизнес. Одна только интуиция хороша и может принести вам хорошие результаты, но ваш процесс принятия решений не будет устойчивым или надежным.

Экспериментирование помогает развить мышление роста

Когда экспериментирование является неотъемлемой частью вашей работы, это помогает вам отойти от фиксированного мышления, когда вы никогда не обновляете свои представления о своем продукте, и работать с мышлением роста. Вместо того, чтобы полагаться на свои предположения, вы постоянно учитесь и обновляете свои знания. После этого вы сможете принимать оптимальные решения для своего бизнеса и клиентов.

Экспериментирование помогает вам обновить свои инстинкты и принимать более правильные решения.

Если вы не экспериментируете, вы принимаете решения, основываясь на интуиции или просто на том, что считает правильным самый громкий голос в комнате. Благодаря регулярным экспериментам вы можете принимать решения на основе извлеченных уроков из данных.

Вы можете успешно принимать интуитивные решения в течение длительного времени, но трудно масштабировать интуицию в масштабах всей компании по мере ее роста. Вы также не можете знать, когда ваша интуиция устаревает и ошибается.

По мере того как организация растет и меняется, ваша интуиция — то, что вы думаете о своих продуктах, клиентах и ​​наилучшем пути действий — постоянно устаревает. Когда вы учитесь на экспериментах, вы можете оттачивать и обновлять свою интуицию на основе полученных данных.

Эксперименты помогают оставаться ближе к клиентам

Экспериментирование позволяет свести к минимуму разрыв между восприятием и реальностью (расстояние между тем, что, по вашему мнению, хотят пользователи, и тем, что они хотят на самом деле ). Когда вы находитесь на ранних стадиях разработки своего продукта и работаете над его соответствием рынку, вы находитесь рядом с клиентами. Вы разговариваете с ними и знаете об их эмоциях и потребностях.

Но по мере того, как вы начинаете масштабироваться, разрыв между восприятием и реальностью увеличивается. Вы должны бороться с более низкими намерениями клиентов и смежных пользователей. Вы не можете разговаривать с клиентами, как на начальных этапах разработки продукта, потому что их слишком много. Экспериментирование поможет вам найти области, в которых ваша интуиция неверна, чтобы вы могли уменьшить разрыв в восприятии по мере масштабирования.

Почему экспериментальные программы терпят неудачу

Программы экспериментирования часто терпят неудачу, когда люди используют экспериментирование как одноразовую тактику, а не как непрерывный процесс. Люди также неправильно нацеливают свои эксперименты, потому что они ожидают, что их эксперименты принесут победу, а не знания.

Эксперименты носят специальный характер

Команды часто рассматривают эксперименты как изолированный способ проверки чьей-то интуиции в определенной области. Специальные эксперименты могут принести хорошие результаты, а могут и не принести, но эти результаты непредсказуемы, и это не устойчивый способ работы.

Эксперименты имеют неверные цели

Когда люди ожидают, что эксперименты принесут подъем, они неправильно ставят цели своих экспериментов. Хотя получать выигрыши от своих экспериментов приятно, проигрыши более ценны. Потери показывают, где у вас были неправильные представления о вашем продукте или пользователях, чтобы вы могли исправить это убеждение в будущем.

Эксперименты не привязаны к рычагу роста и не связаны с проблемой клиента.

Эксперименты вызывают проблемы, если вы не согласовываете их с рычагом роста, на котором сосредоточен бизнес, потому что это означает, что они бесполезны для вашей организации. Точно так же проблемы возникают, если сосредоточиться только на бизнес-результатах, а не проводить эксперименты вокруг проблемы клиента. Если вы думаете только о бизнес-задаче, вы предвзято интерпретируете свои данные и разрабатываете решения, которые не приносят пользы пользователю.

Что происходит, когда программы экспериментов терпят неудачу?

Когда программы экспериментов терпят неудачу или реализуются неправильно, организации теряют уверенность в экспериментах и ​​слишком сильно полагаются на интуицию. Они перестают доверять им как пути к созданию наилучшего клиентского опыта. Когда это происходит, они не принимают эксперименты как часть своего процесса принятия решений, поэтому они теряют всю ценность, которую приносят эксперименты.

Давайте рассмотрим несколько примеров неудачных экспериментов. Вот что происходит, когда вы экспериментируете, не используя структуру, которая подталкивает вас согласовывать свои эксперименты с бизнес-рычагами и проблемами клиентов.

Коэффициент конверсии бесплатных в платные

Организация ориентирована на монетизацию и нуждается в монетизации своего продукта. Они поручают команде улучшить коэффициент конверсии бесплатных в платные.

Компания говорит: «У нас низкий коэффициент конверсии цены в покупку, поэтому давайте оптимизируем страницу с ценами». Команда решает протестировать различные цвета и макеты, чтобы повысить коэффициент конверсии страницы.

Однако эксперимент по оптимизации страницы с ценами не связан с проблемой клиента. Если бы команда поговорила с клиентами, они могли бы обнаружить, что не UX страницы с ценами мешает им обновиться. Скорее, они могут быть еще не готовы к покупке или не понимают, почему они должны покупать.

В этом случае оптимизация одной только страницы с ценами не даст никаких результатов. Давайте представим, что вместо этого команда сосредоточит свои эксперименты на проблеме клиента. Они могут попробовать запустить пробные версии продукта премиум-класса, чтобы клиенты увидели его ценность еще до того, как увидят страницу с ценами.

Работа, которую вы в конечном итоге проделываете, и полученные знания будут совершенно другими, если вы начнете свои эксперименты с бизнес-проблемы («нам нужно повысить коэффициент конверсии») и если вы начнете с проблемы клиента («они пока не готовы думать о покупке»).

Вводный опросник

Организация сосредоточена на привлечении новых клиентов, поэтому продуктовая команда стремится свести к минимуму количество переходов со второй на третью страницу своей анкеты. Если они думают только о бизнес-проблеме, они могут просто удалить третью страницу. Они предполагают, что чем короче онбординг, тем ниже процент отсева.

Допустим, удаление третьей страницы работает, а коэффициент конверсии онбординга улучшается. Больше людей заполняют анкету. Команда извлекает уроки, которые они применяют к остальной части своего продукта: мы должны упростить все пути клиента, удалив как можно больше шагов.

Но это обучение могло быть неправильным, потому что они не думали о клиентской стороне проблемы. Они не исследовали, почему люди заканчивали просмотр на третьей странице. Возможно, проблема заключалась не в длине страницы, а в типе информации, которую они запрашивали.

Возможно, третья страница содержала вопросы о личной информации, такой как номер телефона или зарплата, которые людям было неудобно давать так рано. Вместо того, чтобы удалять страницу, они могли бы попробовать сделать эти ответы необязательными или позволить пользователям редактировать свои ответы позже, чтобы больше людей прошли эту часть онбординга.

7-шаговая схема экспериментов

Выполните следующие действия, чтобы сделать ваши эксперименты устойчивыми. Это поможет согласовать ваши эксперименты с бизнес-стратегией и проблемами клиентов.

1. Определите рычаг роста

Чтобы эксперимент имел смысл, он должен иметь значение для бизнеса. Выберите область для своего эксперимента, которая соответствует рычагу роста, на котором сосредоточена ваша организация: приобретение, удержание или монетизация.

Допустим, мы сосредоточены на привлечении клиентов и замечаем, что на нашей домашней странице высокий процент отсева. В рамках нашего эксперимента мы можем сказать:

• acquisition Ускорение приобретения 2. Определите проблему клиента

  Прежде чем двигаться дальше, вам нужно определить проблему, которую эксперимент пытается решить с точки зрения клиента.

  Вы нашли соответствие продукта рынку, определив проблему клиента, которую решает ваш продукт. Однако когда многие организации переходят к распространению и масштабированию своего продукта, они переключают свое внимание на проблемы бизнеса. Чтобы быть эффективным, вам нужно постоянно развиваться и узнавать о соответствии вашего продукта рынку, привязывая свое распространение и масштабируясь к проблемам клиентов.

  Вы будете повторять проблему клиента на основе результатов вашего эксперимента. Начните с определения первоначальной проблемы клиента, указав, в чем, по вашему мнению, заключается проблема.

  Для примера с нашей домашней страницей это может быть:

  • confused Клиенты сбиты с толку Разработайте гипотезу

    Теперь определите свою интерпретацию того, почему проблема существует. Как и в случае с проблемой клиента, вы будете повторять свою гипотезу по мере того, как узнаете больше. Первая версия вашей проблемы клиента и гипотезы дает вам отправную точку для экспериментов.

    Возможные гипотезы для нашего примера домашней страницы включают:

    • poor messaging Клиенты сбиты с толку из-за плохого обмена сообщениями too many action buttons На нашей странице слишком много кнопок действий too vague Наша копия слишком расплывчата 4. Придумайте возможные решения с помощью KPI

      Придумайте все возможные решения, которые могли бы решить проблему клиента. Создайте способ измерения успеха каждого решения, указав, к какому ключевому показателю производительности (KPI) относится каждое решение.

      Загрузите наше Руководство по метрикам продукта, чтобы получить список ключевых показателей эффективности продукта, связанных с привлечением, удержанием и монетизацией, а также способы их измерения.

      Решение + KPI для нашего примера домашней страницы может быть таким:

      • Решение: KPI: 5. Приоритизируйте решения

        Решите, какие решения вы должны протестировать в первую очередь, учитывая три фактора: стоимость внедрения решения, его влияние на бизнес и вашу уверенность в том, что оно окажет влияние.

        Чтобы отсеять малоэффективные и дорогостоящие решения, расставьте приоритеты в следующем порядке:

        1. Низкая стоимость, высокая эффективность, высокая надежность
        2. Низкая стоимость, высокая отдача, меньше доверия
        3. Низкая стоимость, меньшее влияние, высокая надежность

        Затем можно переходить к высокозатратным решениям, но только в том случае, если их отдача также высока.

        Разные компании могут придавать разный вес этим факторам. Например, хорошо зарекомендовавшая себя организация с большим бюджетом будет менее осторожна в тестировании дорогостоящих решений, чем стартап с ограниченными ресурсами. Однако всегда следует учитывать три фактора (стоимость, воздействие и достоверность воздействия).

        Еще одно преимущество экспериментов заключается в том, что они помогут отточить вашу способность оценивать уверенность. Поэкспериментировав, проверьте, оказало ли решение ожидаемое влияние, и извлеките уроки из результата.

        6. Создайте оператор эксперимента и запустите тесты

        Соберите информацию, которую вы собрали на шагах 1–5, чтобы составить формулировку для своего эксперимента.

        Для примера с нашей домашней страницей это утверждение выглядит так:

        • growth lever customer hypothesis solution KPI Ускорение приобретения является нашим приоритетом, и наша целевая страница с наибольшим трафиком — домашняя страница — неэффективна [ рычаг роста проблема гипотеза решение KPI Определите базовый уровень для метрики, на которую вы пытаетесь повлиять, поднимите ее и протестируйте.

          7. Учитесь на результатах и ​​повторяйте

          Основываясь на результатах ваших тестов, вернитесь ко второму шагу, обновите проблему клиента и гипотезу, а затем продолжайте выполнять этот цикл. Прекратите повторяться, когда бизнес-приоритет (рычаг роста) изменится, например, когда количество привлеченных клиентов улучшится, и вы захотите сосредоточиться на монетизации. Настройте свои эксперименты в соответствии с новым рычагом.

          Еще одна причина, по которой вам следует прекратить итерации, — это когда вы видите убывающую отдачу. Это может быть связано с тем, что вы не можете предложить больше решений, или у вас нет надлежащей инфраструктуры или ресурсов для эффективного решения проблем ваших клиентов.

          Принимайте лучшие решения быстрее

          Чтобы проводить целевые эксперименты с пользователями и измерять влияние изменений продукта, вам нужна правильная платформа для экспериментов с продуктом. Amplitude Experiment был создан, чтобы обеспечить совместную работу специалистов по продуктам, разработчикам и специалистам по обработке данных для планирования, доставки, отслеживания и анализа влияния изменений продукта с помощью поведенческой аналитики пользователей. Запросите демонстрацию, чтобы начать.

          Если вам понравился этот пост, подпишитесь на меня в LinkedIn , чтобы узнать больше о росте за счет продукта. Чтобы глубже погрузиться в эксперименты с продуктом, ознакомьтесь с моим курсом «Эксперименты и тестирование» на Reforge .