3 подводных камня продуктовых метрик, которых следует избегать

В моей книге The Insights Driven Product Manager я рассказываю , почему важно меньше отслеживать, чтобы лучше сосредоточиться и тратить больше времени на извлечение истинной информации из ваших данных.

Следующий шаг — убедиться, что на мельчайшем уровне вы отслеживаете то, что я называю «метриками хорошего качества». Этот пост — отрывок из главы 7 моей книги — будет посвящен тому, как улучшить общее качество ваших показателей, как сделать их более действенными и каких ошибок следует избегать.

Ловушка № 1: метрики тщеславия

Несколько лет назад я работал над продуктом B2B SaaS для управления офисной средой. Мы только что запустили продукт и начали проводить наши первые платные рекламные кампании, поэтому я настроил дашборд, который отслеживал общее количество регистраций за 30 дней:

Цифры, казалось, росли, поэтому мы были очень довольны динамикой.

Проблема заключалась в том, что, хотя этот график хорошо выглядел на презентациях, суровая правда заключалась в том, что только 4% новых регистраций превратились в реальные конверсии и доход, и в результате мы не достигли наших ежемесячных целей по повторяющимся доходам.

Это кумулятивная диаграмма, поэтому в худшем случае график просто стабилизируется, если мы не приобретем новых пользователей, но это число никогда не может уменьшиться. Это классический пример метрики тщеславия:

• Глядя на этот график, мы чувствовали себя хорошо.
• Этот показатель был особенно полезен в презентациях для заинтересованных сторон.
• Это не дало нам никакого представления о том, действительно ли у нас все хорошо, или нет.
• Поскольку это не дало нам никакого понимания, это не побудило нас предпринять какие-либо действия по улучшению продукта или функций.
• И несмотря на ежедневное изучение этой метрики, нам потребовалось два месяца (к тому времени, когда все 30-дневные пробные версии были завершены и запущены), чтобы обнаружить проблему.

В то время как часть проблемы заключалась в том, что в то время у нас не было знаний о том, как измерить более качественные показатели, проблема в организациях часто лежит намного глубже: большинство команд или заинтересованных сторон просто не готовы услышать правду от своих показателей, поэтому мы смотрим для чисел, которые заставляют нас хорошо выглядеть.

В моем интервью с Кристал Виджайя, CPO в Kumu и писателем для Reforge, она прекрасно резюмировала, как рассматривать данные как способ извлечь выгоду из неудач и вместо этого стимулировать улучшения:

«Когда люди совершают ошибки (неудачный эксперимент, неудачное развертывание и т. д.), вы уже заплатили за это. Мы должны думать о данных как о способе извлечь выгоду из ошибок и учиться на них. Вместо того, чтобы «платить за неудачу» и увольнять человека, используйте аналитические данные, чтобы сказать нам, ПОЧЕМУ это была неудача, извлечь уроки из этого и использовать это для того, чтобы следующая итерация была в 10 раз лучше, чем первая».

– Кристал Виджайя

Чтобы получить больше информации из ваших данных, вам действительно нужно перестать отслеживать метрики тщеславия и вместо этого использовать данные, чтобы раскрыть правду и добиться реальных улучшений. Если присмотреться, то удивительно, как часто команды показывают очень избирательные показатели, чтобы успокоить определенных заинтересованных лиц или заставить цифры звучать лучше, чем они есть на самом деле. Остерегайтесь других классических примеров метрик тщеславия, таких как:

• Количество просмотров страниц или посетителей
• Количество подписчиков/лайков
• Время, проведенное на сайте (продолжительность сеанса)
• Количество загрузок

Такие показатели, как просмотры страниц и продолжительность сеанса, по-прежнему широко используются в аналитике веб-сайтов, где основное внимание уделяется измерению трафика, осведомленности и начальной вовлеченности. Они дают вам некоторое представление о том, что мы называем вершиной воронки — первоначальном привлечении клиентов, — но не о том, действительно ли клиенты активируются и взаимодействуют с продуктом, что будет иметь гораздо более значимую корреляцию с вашими более широкими целями продукта и бизнеса.

Как сделать это лучше: чтобы действительно понять, хороша метрика или плоха, нам нужно поместить цифры в контекст. Как минимум, вы хотите попытаться сравнить количество за разные периоды времени, например, сравнить количество регистраций в этом месяце с предыдущим месяцем.

Еще один эффективный способ сделать ваши показатели более полезными — использовать отношения вместо общих чисел. Соотношения по своей сути сравнительны. Например, бухгалтеры не просто смотрят на общий доход, но обычно сравнивают затраты на производство продукта с продажами, которые они произвели. Таким образом, бухгалтеры могут отслеживать свою норму прибыли (отличный пример полезного коэффициента) с течением времени, чтобы оценить, здоров ли бизнес.

Примеры лучших, более сопоставимых показателей:

• % регистраций на канал привлечения
• % регистраций, завершивших полный процесс регистрации
• % регистраций, которые выполнили ключевую метрику активации
• % пользователей, использующих продукт через 4 недели

Ошибка № 2: отслеживание только запаздывающих метрик

Большой проблемой было количество времени, которое потребовалось нам, чтобы выяснить, достигли ли мы наших целей по конверсии (или нет). У продукта была 30-дневная бесплатная пробная версия, и наша цель состояла в том, чтобы превратить их в платных клиентов после окончания пробной версии, поэтому, хотя первый месяц выглядел хорошо с точки зрения регистраций, мы в конечном итоге узнали об этом только к концу пробного периода. второй месяц, сколько из этих регистраций превратились в платных клиентов.

Это классический пример запаздывающей метрики. Отстающие метрики сообщают ретроспективно о прошлых результатах. Например, показатели вашего дохода за год отстают от показателей, как и большинство других ваших операционных показателей. Вы узнаете, хорошо ли вы справились, только когда получите результаты.

Реальная ценность отслеживания поведения пользователей с помощью аналитики вашего продукта заключается в том, что вы можете начать искать более ранние индикаторы, чем ждать окончательных показателей дохода. Если ваши основные показатели не работают хорошо, у вас есть шанс скорректировать курс, пока не стало слишком поздно. Вот почему в пятой главе своей книги я разработал одностраничник Holistic Metrics One Pager, чтобы он включал как поведение клиентов, так и операционные показатели, чтобы команды могли отслеживать правильное сочетание опережающих и отстающих показателей, чтобы получить полную картину.

Одной из самых мощных опережающих метрик является метрика активации. Хорошая метрика активации представляет собой процент клиентов, которые выполняют ключевое действие по настройке или началу использования продукта. Многие компании выяснили, что если пользователи совершают определенное действие в своем продукте во время онбординга, они, как правило, осознают истинную ценность продукта, что приводит к более высокому вовлечению в дальнейшем. Некоторые называют этот шаг активации «моментом ага» в своем продукте.

Вот несколько простых примеров ведущих метрик активации:

• Продукт социальной сети: классическим примером была первая метрика активации Facebook, заключающаяся в добавлении минимум семи друзей за 10 дней.
• Продукт агрегации панели мониторинга: ценное предложение состоит в том, чтобы объединить несколько инструментов в одно представление, поэтому вы можете обнаружить, что пользователи, которые добавят минимум два или три инструмента во время адаптации, реализуют весь потенциал продукта.
• Полезный продукт: ваше ценностное предложение может состоять в том, чтобы упростить или оцифровать такую ​​задачу, как отслеживание разговоров о продажах в CRM, чтобы вы могли отслеживать количество пользователей, которые как можно быстрее завершают свою первую запись о покупателе, в качестве метрики активации.
• Внимание: если ваш продукт ориентирован на развлечения и контент, вы можете отслеживать пользователей, которые просмотрели определенное количество контента в первую неделю после регистрации.

Между прочим, запаздывающие показатели не так уж плохи. Фактически, они являются важной частью отчетности, особенно для измерения бизнес-показателей, таких как ваши финансовые результаты. Их преимущество в том, что они представляют конечные результаты, реальные факты.

С другой стороны, опережающие показатели часто включают в себя некоторое количество предположений, таких как предположение о том, что большое количество холодных звонков каждый день увеличивает количество платящих пользователей в будущем. Когда вы получите больше данных, вы должны проверить, верны ли эти предположения на самом деле, но даже в этом случае все еще остается некоторая неопределенность в отношении того, действительно ли метрика активации привела к увеличению удержания или этому способствовали другие факторы.

Это означает, что опережающие метрики никогда не будут такими точными, как запаздывающие метрики, но они имеют решающее значение для получения достоверной информации из ваших метрик. Они позволяют нам учиться на поведении клиентов и определять ранние индикаторы, которые могут изменить наши решения о продукте, чтобы оптимизировать их для достижения лучших результатов в бизнесе в будущем. Использование шаблона Holistic Metrics One Pager заставляет вас отслеживать как опережающие, так и отстающие индикаторы, а также думать о том, как они влияют друг на друга.

Ошибка № 3: Метрики, которые никто не понимает

Когда я беру интервью у менеджеров по продуктам, я часто слышу, что аналитические знания и понимание данных прячутся в темных таинственных углах офисов с названиями событий, которые не понимает никто, кроме пары узкоспециализированных аналитиков. Каждый месяц эти специалисты встречались с различными продуктовыми командами, пытаясь поделиться и перевести некоторые из своих выводов.

Если мы хотим, чтобы наши продуктовые команды и заинтересованные лица пришли к общему пониманию наших данных и совместно обсудили улучшения продукта, нам необходимо активно работать над демократизацией наших данных, сделать наши показатели доступными для всех и простыми для понимания.

Компания Intercom поделилась своими выводами, полученными в ходе масштабной уборки мероприятий несколько лет назад. У них было около 350 событий для их продукта, которые выглядели примерно так:

Вам это кажется знакомым?

Intercom поделился, что они нарушили ключевой принцип аналитики: они не имели большого смысла ни для кого, кроме команды аналитиков. Они переопределили и перестроили всю свою структуру именования всех своих событий, чтобы обеспечить лучшую читаемость в качестве ключевого шага к демократизации данных аналитики продуктов.

Также важно сделать отчеты более доступными для различных заинтересованных сторон и команд в организации. К сожалению, я часто вижу, как команды боятся открывать свои информационные панели, поскольку это снова раскроет истинные цифры вовлеченности или приобретения, которые могут показаться не очень хорошими для заинтересованных сторон. Чтобы избежать неудобных разговоров или надоедливых вопросов, командам часто проще спрятаться за внешней сложностью.

Как это сделать лучше:

• Шаг 1. Работайте с инженерами и аналитиками над упрощением названий событий аналитики продукта: «Завершение адаптации» и «Добавление виджета панели мониторинга» — действия, понятные каждому.
• Шаг 2. Если у вас есть команда аналитиков, лучше включите их в свои продуктовые команды. Чем больше у аналитиков информации о том, над чем работает ваша продуктовая команда, какие эксперименты вы тестируете и на какие вопросы нужно ответить, тем лучше они могут помочь вам изучить данные, чтобы найти наиболее релевантную информацию. Это должно быть сотрудничество, а не аутсорсинг.
• Шаг 3. Сделайте свои аналитические панели и отчеты доступными для более широкой организации. Ваши информационные панели должны отражать ключевые показатели вашего продукта (которые вы можете определить с помощью программы Holistic Metrics One Pager из книги). Это критически важно для масштабирования (ваша команда не хочет, чтобы ее каждый день заваливали ручными запросами на отчеты), а также для того, чтобы по-настоящему построить культуру, в большей степени основанную на данных, в более широкой организации.

«Когда команды спрашивают о состоянии бизнеса, они могут либо пойти посмотреть, либо сделать гипотетические предположения. Крайне важно сделать первый из них самым простым стандартным способом ответа руководства на эти запросы, создав настраиваемые, простые в использовании детализированные информационные панели для таких вещей, как когорты, воронки и пользовательские события».

-Кристал Виджайя

Помните, что работа, для которой мы наняли наши данные, заключается в том, чтобы раскрыть правду, чтобы мы могли принять меры и улучшить качество наших продуктов. Сделать ваши метрики простыми для понимания и более доступными — это ключевые шаги для включения анализа данных в повседневное принятие решений в вашей организации. Сильная производственная организация должна быть более мотивирована, чем когда-либо, для решения этих проблем, как только они узнают, в чем они заключаются.

Как улучшить показатели с помощью контрольного списка показателей

Я создал простой контрольный список, в котором обобщаются ключевые характеристики качественных и действенных показателей, которые помогут вам получить больше информации из ваших данных. Используйте этот контрольный список, чтобы оценить и улучшить все существующие показатели:

Требуется настоящая практика, чтобы по-настоящему правильно определить ключевые показатели, и вы обнаружите, что дьявол часто кроется в деталях. Это абсолютно нормально и даже рекомендуется часто пересматривать выбранные вами показатели и несколько раз уточнять их, чтобы сделать их более полезными.

Остерегайтесь ловушек, связанных с обменом тщеславными метриками, слишком много внимания уделяя запаздывающим показателям, когда у вас нет времени на корректировку курса, и убедитесь, что вы упрощаете и демократизируете свои метрики, чтобы действительно повысить уровень зрелости данных в вашей организации.