Откройте для себя возможности экспериментов с продуктом с помощью нашего нового руководства

В сегодняшней конкурентной среде экспериментирование с продуктом — это больше, чем хорошая идея: командам разработчиков и разработчиков необходимо количественно оценивать свое влияние.Но командам необходимо развивать культуру экспериментирования и внедрять ее на каждом этапе процесса разработки продукта, чтобы строить уверенно.

Мы объединились с Reforge, чтобы создать подробное руководство по экспериментированию с продуктами, в котором представлены идеи и советы от экспертов в этой области. Это руководство поможет группам разработчиков и разработчиков разработать программы экспериментов и раскрыть весь потенциал своих продуктов. В этом посте мы дадим вам обзор того, чего ожидать в руководстве.

Загрузите полное руководство —Build with Confidence: Your Guide to Scaling Product-Led Experiment— чтобы узнать, как создать культуру экспериментирования, понять практику экспериментирования, расставить приоритеты в дорожной карте экспериментов и многое другое.

Почему важно экспериментировать

В сегодняшней конкурентной среде эксперименты не являются обязательными для продуктовых команд. Это то, что помогает командам создавать успешные инновационные продукты и связывать свою работу с более широкой организацией.

Салим Малкана, исполнительный директор Reforge, объясняет, что экспериментирование помогает продуктовым командам измерять влияние своей работы и совершенствовать продуктовую стратегию. «Лучшие продуктовые команды знают, что на самом деле важно не просто предоставить эти продукты, а то, какие результаты они принесут», — объясняет он.

Чтобы измерить влияние изменений продукта, командам необходимо разработать гипотезы, провести эксперименты и оценить результаты. Они могут использовать результаты экспериментов для разработки своей будущей продуктовой стратегии.

Тестирование также является способом снижения риска изменений продукта. Продуктовые группы могут оценить влияние решения о продукте, прежде чем предлагать его всем пользователям, что может привести к дорогостоящим ошибкам.

Уил Понг, руководитель отдела продуктов компании Amplitude Experiment, утверждает, что эксперименты на основе продуктов обеспечивают более быстрое внедрение инноваций, не нарушая циклов инженерной разработки с использованием более поверхностных инструментов, таких как подходы WYSIWYG.

В прошлом только крупные компании, такие как Netflix, могли предложить индивидуальный подход и экспериментировать с различными интерфейсами продуктов или механизмами рекомендаций. Теперь, благодаря новым приложениям, таким как Amplitude Experiment, организации любого размера могут повторять и совершенствовать свои продукты в режиме реального времени в зависимости от потребностей пользователей.

Экспериментирование под руководством продукта позволяет продуктовым командам проводить целенаправленные эксперименты со всеми своими продуктами, используя флаги функций, что дает командам полный контроль над включением или отключением опыта. Это позволяет командам «проводить узконаправленные эксперименты и выпуски функций, используя те же процессы и технологии, которые лежат в основе разработки остальной части [их] продукта», что в конечном итоге будет способствовать быстрым инновациям, не нарушая работу технических групп, объясняет Уил.

Экспериментирование также имеет решающее значение для руководителей продуктов, учитывая недавние изменения в ответственности. Бхавик Патель, основатель и управляющий директор CAUSL, объясняет, что организации перешли от подходов, основанных на результатах, к подходам, основанным на результатах, и стали уделять больше внимания руководителям продуктов. Хотя трудно измерить рентабельность инвестиций продуктовых команд (организации обычно используют численность персонала или инженерные часы), отслеживание воздействия продукта с помощью экспериментов помогает продуктовой команде связать свою работу с более широкими целями компании.

Что значит создать культуру экспериментирования

Культура экспериментирования должна охватывать все части организации. Чтобы внедрить эту культуру, организациям необходимо изменить образ мышления и создать конкретные системы и процессы, обеспечивающие скорость обучения, а не только быструю доставку.

Салим объясняет, что культура экспериментирования не является чисто технической. Это комбинация:

• Люди: Члены команды управляются данными.
• Интегрированные процессы и коммуникация. Экспериментирование — это часть процессов разработки продукта, обеспечивающая здоровую коммуникацию между командами.
• Технология: Организация использует платформу, позволяющую экспериментировать.

В идеале эксперименты должны проводиться на всех уровнях организации с упором на уровень отряда — именно это создает основу для гибкости и адаптивности. Тесты также должны быть частью повседневных операций, чтобы команды получали постоянный поток информации, которую они могут использовать для улучшения продукта.

Чтобы создать культуру экспериментирования, командам следует развивать образ мышления, который включает в себя любопытство и «неудачу», поскольку и то, и другое является механизмом обучения. Чтобы создать импульс для экспериментов, также важно найти исполнительного лидера.

Руководитель, который соглашается на эксперименты, поможет предоставить такие ресурсы, как время, бюджет и инструменты. Они также помогут создать каналы для открытого общения и сотрудничества между отделами.

Подробнее читайте в полном руководстве.

С чего начать свой эксперимент

Внедрение экспериментальных программ в организации требует времени. Вот несколько рекомендаций для начинающих.

Начните с малого и расширяйтесь

Конечной целью является развертывание экспериментов в масштабах всей организации. Тем не менее, организациям следует начинать с малого с тестов с низким уровнем риска в одной команде, прежде чем они начнут масштабироваться.

Салим рекомендует создать один «центр передового опыта»: единую команду, которая должна проверять базовый стек экспериментов и наращивать его. Елена Верна, советник по развитию и временно исполняющий обязанности руководителя по развитию, объясняет: «Единая команда должна сначала научиться тестировать, учиться и побеждать».

Она продолжает: «Как только эта команда разовьет навыки экспериментирования и мышление, они должны работать над демократизацией доступа к тестированию и обучению. Таким образом, вся организация сможет научиться побеждать с помощью экспериментов». В конечном счете, члены команды во всех отделах должны иметь возможность запускать тесты для информирования своих повседневных решений.

Бхавик предлагает командам начинать с тестов с низким уровнем риска: «Я бы не советовал начинать, например, со сложного ценового эксперимента, но это отличная цель, к которой нужно стремиться».

Он также предостерегает от зацикливания на нереалистичных цифрах. Большинству компаний не следует пытаться проводить тысячи экспериментов. Вместо этого «цель должна состоять в том, чтобы провести больше [тестов], чем в прошлом квартале или году», — говорит он.

Придумывайте, проверяйте, расставляйте приоритеты

Проведение ненужных экспериментов приводит к пустой трате ресурсов, поэтому команды должны избирательно выбирать, какие эксперименты проводить.

Начните свои идеи с дерева показателей (диаграмма, показывающая, как все элементы продуктовой лестницы соответствуют целям компании) или солнечной диаграммы (обзор рабочих потоков вашей организации). Просмотр этих диаграмм даст вам представление о том, на чем сосредоточить свои усилия по экспериментированию.

Чтобы проверить идеи, сначала проверьте концепции тестирования, чтобы определить, какие идеи стоит развивать. Для проверки вы можете использовать тесты с окрашенными дверями, кабинетные исследования или изучить результаты подобных экспериментов.

Затем рассмотрите время, необходимое для получения информации от каждого потенциального теста. Елена подчеркивает, что команды должны уделять первоочередное внимание скорости обучения и учитывать, сколько времени потребуется для созданияэксперимента, а не только для его запуска. Салим также предлагает разбивать большие задачи на более мелкие проверяемые гипотезы, чтобы получить более быструю петлю обратной связи.

Другие факторы, которые следует учитывать, включают:

• Объем в разных точках вашего продукта, потому что вам нужно достаточно трафика для запуска тестов
• Можно ли измерить тест, который вы хотите провести, с помощью имеющихся у вас инструментов аналитики.

После того, как вы подтвердите свои тестовые идеи, расставьте приоритеты, какие эксперименты следует проводить, основываясь на:

• Ваши возможности тестирования
• Какое влияние вы ожидаете от теста
• Насколько вы уверены, что это окажет желаемое влияние
• Усилия, затраченные на выполнение теста

Создавайте свои эксперименты, используя передовой опыт

Бхавик объясняет, что хорошо спланированные эксперименты основаны на научном методе. Их можно разбить на следующие этапы: планирование до эксперимента, мониторинг во время эксперимента и анализ после эксперимента.

После того, как вы утвердили свои идеи для экспериментов и выбрали тесты, которым следует отдать приоритет, вы должны спланировать свои эксперименты. Задокументируйте причины проведения эксперимента. Четко сформулируйте, что тестируется и модифицируется — это может быть изменение дизайна, новая функция или опыт.

Постройте гипотезу и установите четко определенные показатели продукта или ключевые показатели эффективности для своего эксперимента. Определите следующие шаги, исходя из возможных результатов. Определите, что происходит, когда выигрывает каждый вариант или если тест не достигает статистической значимости.

Погрузитесь глубже в планирование эксперимента в полном руководстве.

Во время эксперимента создайте панель аналитики для постоянного наблюдения за тестом. После эксперимента проанализируйте результаты и сформулируйте результат. Затем команда может двигаться вперед с заранее определенными следующими шагами.

Стройте с уверенностью

Чтобы получить дополнительные рекомендации по проведению успешных программ экспериментов, загрузите руководство по экспериментам на основе продукта.