Используйте описания экспериментов для разработки лучших экспериментов

Независимо от того, начинает ли ваша компания экспериментировать или уже создала культуру экспериментов, использование сводок по экспериментам может помочь демократизировать эксперименты, разработать лучшие эксперименты и обеспечить прозрачность целей и следующих шагов для каждого эксперимента.

Демократизация экспериментов

Что мы понимаем под демократизацией? Демократизация — это акт создания чего-то доступным для всех. Чтобы демократизировать экспериментирование, организациям необходимо сделать две вещи доступными:

1. Возможность проведения экспериментов должна быть доступна каждому в любой части организации.
2. Любой человек должен иметь возможность быстро получить доступ к ключевым фактам и результатам каждого эксперимента.

Отличным подходом к демократизации ключевых фактов и результатов эксперимента является использование описания эксперимента.

Почему вашей команде следует использовать краткое описание эксперимента?

Создавайте лучшие эксперименты

Проведение экспериментов является фундаментальным компонентом научного метода — научное является рабочим словом. План эксперимента — важная часть процесса, но многие команды часто упускают из виду этот ключевой этап процесса. Мы рассмотрим это более подробно в следующем разделе.

Внедрите прозрачность в свой процесс

Без прозрачной документации легко рационализировать решения и вписать их в повествование после изучения фактов, что приводит к плохим результатам экспериментов. Четко документируя следующие шаги после запуска эксперимента, команды с гораздо большей вероятностью будут двигаться вперед на основе того, что они узнают из эксперимента.

Как выглядит хороший эксперимент?

Многие практики предполагают, что эксперимент состоит из того, чтобы начать с идеи, построить прототип, протестировать его, а затем выяснить, что делать дальше. Неправильный.

Хороший эксперимент следует скелету научного метода. Эти основные концепции переносятся в мир цифровых экспериментов вместе с несколькими индивидуальными компонентами. Для протокола: когда я говорю «хороший эксперимент», я не имею в виду результат эксперимента. «Хороший эксперимент» говорит о хорошо спланированномэксперименте ».

Вот важнейшие компоненты хорошего плана эксперимента:

Планирование (до эксперимента)

1. Задокументируйте наблюдения, поясняющие, почему мы планируем провести этот эксперимент.
2. Исследования для подтверждения наших наблюдений. Это исследование может быть количественным, качественным, конкурентным и т. д.
3. Создайте гипотезу с четко определенными показателями или ключевыми показателями эффективности
4. Создайте согласование следующих шагов вашей команды на основе каждого возможного результата: выигрывает ли каждый вариант или тест не достигает статистической значимости.
5. Характеристики настройки эксперимента включают продолжительность, аудиторию, разделение трафика, критический порог и т. д.
6. Четкое изложение того, что тестируется и модифицируется. Это может быть изменение дизайна, новая функция или опыт и многое другое.
7. Подтвердите, что эксперимент может быть измерен

Пока идет эксперимент

1. Аналитические панели для постоянного мониторинга

Пост-эксперимент

1. Проанализируйте результаты
2. Сформулируйте результат эксперимента и двигайтесь вперед с заранее определенными следующими шагами.

Краткое описание эксперимента

Теперь, когда мы понимаем, из чего состоит хороший план эксперимента, мы можем шаблонизировать наш процесс, чтобы каждый раз до начала эксперимента документировать всю важную информацию.

Это позволяет любому сотруднику вашей организации узнать об эксперименте асинхронно, что способствует демократизации.

Фаза 1: План

Этап 2. Настройка

Этап 3: Мониторинг

Фаза 4: Анализ и решение

Последние мысли

Эти обзоры экспериментов можно легко классифицировать по дате, сегменту, разделу веб-сайта и платформе. Они также должны быть доступны для всех, чтобы это институциональное знание сохранялось, даже если люди приходят и уходят. Использование сводок по экспериментам может помочь вашей команде ускорить программу экспериментов за счет прозрачного документирования каждого эксперимента для демократизации этой информации.

Я хотел бы услышать ваши мысли об этом шаблоне и о любых изменениях, которые вы могли бы внести. Вы можете связаться со мной в LinkedIn или Twitter или заглянуть в мой блог.

Ссылку на шаблон краткого описания эксперимента можно найти, перейдя по этой ссылке → Шаблон краткого описания эксперимента.