Что такое метрики тщеславия и как перестать их использовать

Ты такой тщеславный (ты такой тщеславный)

Бьюсь об заклад, вы думаете, что эта метрика о вас

Не так ли?

— Карли Саймон

Что такое тщеславные метрики?

Но все в какой-то момент были заманены хорошими новостями и ослабили бдительность.

Привет всем, проверьте количество уникальных пользователей со вчерашнего дня!

Привет всем, обратите внимание на регистрацию на мероприятие!

Критиковать показатели тщеславия легко, но мы все сталкивались с этим.

В этом посте я опишу три распространенные проблемы, которые приводят нас к метрикам тщеславия. Затем я поделюсь тестом на метрику тщеславия , способом просмотреть метрики и узнать, сворачиваете ли вы на территорию метрики тщеславия. Если у вас мало времени и вы хотите сразу перейти к обзору, нажмите здесь.

Проблемы с метрикой тщеславия

Обсуждая с командами метрики тщеславия, я заметил три фундаментальные проблемы.

• Метрикам тщеславия не хватает контекста.
• Метрики тщеславия имеют неясное назначение.
• Метрики тщеславия не направляют действия и обучение.

Проблема 1: метрикам тщеславия не хватает контекста

Во-первых, у нас есть проблема отсутствия контекста. Просмотры страниц, ежедневные активные пользователи и регистрации что- то значат, но сами по себе бесполезны. Проблемы возникают, когда мы сообщаем эти метрики, не обращаясь к более широкой картине. Дело не в том, что мы говорим, а скорее в том, чего мы не говорим, например, «по сравнению с», «как вклад в», «уравновешенный», «ранний сигнал», «часть…», «как соотношение», «со следующими оговорками» и т.д.

Отсутствие контекста влияет на всех:

• Маркетинг: есть много способов увеличить количество просмотров контента в краткосрочной перспективе. Гораздо сложнее создать кусок вечнозеленого контента, который будет привлекать потенциальных покупателей неделями и годами. Получение прироста начального трафика — это положительный ранний сигнал , но он нуждается в примечании.
• Продажи: Достижение квартальной цели по продажам — огромное достижение. Он заслуживает внимания по целому ряду причин. Но как команда поразила цель? Склонились ли они к ценообразованию? Они продвинули сделки вперед? Они ограбили Питера, чтобы заплатить Полу? Требуется больше контекста (например, сравнение цен с предыдущими кварталами).
• Продукт: Запуск новой функции — важная веха. Показатели раннего внедрения функций являются положительным сигналом. Но клиенты не обязательно используют эту функцию. Они могут просто попробовать эту функцию. На самом деле, все всплывающие окна в приложении, предлагающие людям попробовать эту функцию, могут увеличивать клики из любопытства. Использование этой функции влияет на вероятность долгосрочного использования.

Другие примеры потенциально отсутствующего контекста: средний объем покупок вырос, но увеличился и возврат заказов. Конверсии увеличиваются благодаря рекламе, которая не соответствует вашему ценностному предложению. Один канал поглощает другой канал. Приложение проще для новых пользователей, но сложнее для опытных пользователей. Время, проведенное в приложении, истекло, но ваша цель — сэкономить время людей. Люди больше запрашивают данные, но это потому, что им трудно понять результаты. Клиенты более активны в приложении, но они стали тратить время, а не ценное общение.

Обратите внимание, что в каждом из этих примеров контекст — это все. Отсутствие уравновешивающей информации затрудняет понимание общей картины и того, где метрика подходит.

В дополнение к окружающему контексту нам нужно убедиться, что люди понимают « почему ».

Проблема 2: Тщеславные метрики имеют неясное назначение

Во-вторых, у нас есть путаница в отношении назначения метрики. Определение метрики может быть явным, но неясно, что мы пытаемся измерить. Классический пример — повторные визиты. Вернулся ли я к продукту, потому что он мне понравился? Или потому, что продукт был сложным в использовании, и мне нужно было сделать перерыв? Или нужна помощь службы поддержки клиентов?

Многие классические веб-метрики «вовлеченности», такие как «Просмотры страниц», «Время на странице» и «Средняя продолжительность сеанса», являются остатками эпохи до мобильных устройств, до смены устройств, до 30 вкладок в браузере и до одностраничных приложений. В то время они были лучшими прокси для вовлечения и обмена ценностями, но не являются лучшими мерами, доступными нам сейчас.

Связь между тем, что мы пытаемся измерить, и выбранным нами «прокси» чрезвычайно ясна для некоторых метрик. Или мы так думаем! Например, я говорю другу, что прошлой ночью смог поспать восемь часов. Мой друг интерпретирует мое намерение так: «Джон пытается сообщить, что он хорошо выспался».

Но количество часов сна — это лишь одна из многих переменных. В этом исследовании упоминается около 23 переменных сна, используемых при изучении качества сна, включая латентность быстрого сна, быстрый сон, небольшие движения во сне, время различных циклов сна, количество циклов и т. д. В этом исследовании упоминается, что продолжительность сна может иметь «прямое влияние». связи со смертностью». Ой!

Его авторы представляют Питтсбургский индекс качества сна и четко определяют цель этого показателя.

Питтсбургский индекс качества сна был разработан с несколькими целями: (1) обеспечить надежную, достоверную и стандартизированную меру качества сна; (2) различать «хорошо» и «плохо» спящих; (3) предоставить индекс, который легко использовать субъектам и интерпретировать клиницистам и исследователям; и (4) предоставить краткую, клинически полезную оценку различных нарушений сна, влияющих на качество сна.

Коммуникация намерения имеет решающее значение. Эти авторы, вероятно, столкнулись с компромиссами. Простота использования для испытуемых может не сразу равняться глубине использования для исследователей. Стандартизация полезна для сопоставимости, но часто включает снижение контекстуальных факторов. Оценка является «краткой», что предполагает компромисс между количеством завершенных оценок и глубиной оценки.

Хорошее заявление о намерениях охватывает фундаментальные компромиссы и цели.

Как выглядит эффективное определение цели метрики?:

Передача фактов. Поиск теорий / идей:

Вот количество сбоев, которые у нас были за последние 30 дней, и их сравнение с прошлыми периодами. Обратите внимание на увеличение. Как вы думаете, что здесь происходит? Что мы видим?

В качестве прокси для чего-то, что не поддается непосредственному измерению:

Наш показатель «Полярная звезда» — «Лояльные мастера-сделай сам», определяемый как количество пользователей, которые выполнили ценные действия по проекту «Сделай сам» в сочетании с их участием в сообществе. Это показатель сочетания лояльности, удовлетворенности и использования нашего продукта в соответствии с нашей стратегией, ориентированной на сообщество. Данные предполагают — но не доказывают (пока) — что это опережающий показатель более высокой пожизненной ценности клиента и вирусного приобретения.

Мы хотим найти действенную метрику, которая 1) позволит команде двигаться вперед и 2) будет способствовать среднесрочному успеху бизнеса.

Hex Pistols сосредоточатся на повышении эффективности рабочего процесса адаптации. Это акт жонглирования. Мы знаем, что можем подгонять людей и не настраивать их на успех. Или мы можем сделать его очень всеобъемлющим, снизив вероятность того, что они увидят продукт в действии. Чтобы направлять нашу работу, мы сосредоточимся на сокращении 90%-го процентиля времени, необходимого для совместного использования проекта. Совместное использование проекта — это ранний сигнал о том, что пользователям удобно и они могут использовать продукт.

Намерение имеет значение!

Проблема 3: Метрики тщеславия не определяют действия и обучение

Недавно я спросил Twitter и LinkedIn:

• Каков ваш тест, когда что-то является показателем тщеславия? (Твиттер)
• Как узнать, является ли метрика тщеславной метрикой? (ЛинкедИн)

Одним из «тестов» с самым высоким рейтингом было определение того, направляет ли метрика действия и решения.

Когда никто не может осмысленно воздействовать на то, что оно нам показывает. Когда никакое возможное значение метрики не подтолкнет нас к тому, чтобы что-то улучшить. Ола Берг

Результат не подлежит действию. Независимо от того, идет ли метрика вверх или вниз, мы не меняем то, что делаем. Крис Лукассен

Когда никого не волнует, перестанет ли он подниматься/выходить на плато/или падать. пример: «Наш показатель NPS равен 90!» один месяц, за которым следует «Наш показатель NPS равен 50!» в следующем месяце. Хайди Аткинсон

Действия, решения и обучение имеют большое значение.

Если число продолжает расти, и единственное действие, которое оно вдохновляет, — это нахмуривание бровей на общем собрании, у вас, вероятно, есть показатель тщеславия. Если команда выставляет метрику, чтобы отпраздновать это, но когда она падает, они не меняют свою стратегию или тактику, вы, вероятно, смотрите на метрику тщеславия.

Примеры включают не очень действенные показатели:

• Средняя продолжительность сеанса. Он идет вверх или вниз. Что вы делаете?
• Новые пользователи (минус канал привлечения). Он идет вверх или вниз. Что вы делаете?
• Новые подписчики. Он идет вверх или вниз. Что вы делаете?

Здесь есть пара предостережений.

Метрика может быть значимой, но не мгновенно действенной.

На наших семинарах по Полярной звезде мы подчеркиваем, что в идеале Метрика Полярной звезды должна быть немного недосягаемой. Это результат команд, влияющих на различные входы Полярной звезды. Почему бы вам не использовать действенную метрику North Star? NSM намерен выступать в качестве опережающего индикатора устойчивых результатов бизнеса (в многолетнем периоде). Почти по определению это будет немного далеко от повседневной работы. Нам нужны ресурсы, которые служили бы «мостом» между повседневной работой и этим значимым вкладом в успех в бизнесе.

Мы отслеживаем нашу метрику Полярной звезды, и если она остановится, это заставит нас пересмотреть нашу стратегию, но команда не просыпается каждое утро в надежде повлиять на нее напрямую.

Метрика может быть исследовательской. Мы пока не знаем, что с этим делать.

Команды, как правило, знают о тесте на «действенность», но почти полностью. Они будут тратить месяцы и месяцы, пытаясь определить «волшебную метрику» или набор волшебных метрик, которые делают все это — действенные, прогнозирующие, объяснительные и т. д. Лидеры продукта испытывают серьезный стресс, когда передают метрику «своему», но не уверены, они могут «управлять» движениями в метрике.

Результат? Команды используют метрики тщеславия, которые «безопасны», потому что они сообщают хорошие новости. Они бесполезны, но и не претендуют на действенность, поэтому никого не пугают. Мы не хотим этого.

Вместо этого можно использовать исследовательские метрики. Просто вызовите их.

Небольшого уменьшения неопределенности может быть достаточно, чтобы побудить к действию.

Работа над продуктом — это принятие решений в условиях неопределенности. Если вы хотите, пока не будете на 100% уверены в чем-то, вы будете действовать слишком поздно. Поэтому мы не должны стремиться к совершенным метрикам, которые уменьшают всю неопределенность в отношении наших действий.

Закон Гудхарта и противоречие между хорошими измерениями и хорошими целями

Закон Гудхарта гласит, что:

«Когда мера становится целью, она перестает быть хорошей мерой».

Сравните это с руководством моего коллеги Адама Греко по поводу Vanity Metrics:

Если кого-то не собираются повышать или увольнять, если метрика растет или падает, это, вероятно, метрика тщеславия.

Здесь у нас есть напряжение/парадокс. Как только метрика становится целью и становится сигналом о хорошей/плохой работе, вы рискуете превратить ее в тщеславную метрику, потому что люди позаботятся о том, чтобы она росла. И все же мы хотим, чтобы наши показатели что-то значили — были релевантными, были хорошими прокси и информировали о соответствующих решениях.

Примеры закона Гудхарта:

• Если у команды есть цель предсказуемой доставки функций, они с меньшей вероятностью будут обрабатывать опровержение новых отзывов, которые могут показаться «непредсказуемыми».
• Если у команды есть цель увеличить средний размер заказа, они с большей вероятностью увеличат средний размер заказа за счет будущих результатов, лояльности к бренду и т. д.
• Если у менеджера есть цель нанять определенное количество людей за квартал, он с большей вероятностью наймет кого-то, кто не является лучшим кандидатом.

Итак, что это может сказать нам об использовании более эффективных метрик и меньшего количества тщеславных метрик? Первые отвечают за выбор значимых целей и задач и определение эффективных «ограждений» для понимания любых неблагоприятных эффектов 2-го или 3-го порядка. Мы не можем полностью отменить закон Гудхарта — вы должны исходить из того, что люди будут играть в игру, на которой вы настаиваете, — но мы можем стремиться установить систему сдержек и противовесов.

Используя совет Адама, вы также можете спросить себя: «Что мы хотим здесь вознаградить?» Быть ответственным за бизнес-результаты имеет смысл. Но вы не хотите продвигать людей, основываясь на их достижении произвольных показателей и театре успеха. Я твердо верю в идею Билла Уолша о том, что счет позаботится о себе сам. Цели должны поощрять положительные привычки и распорядок дня.

Резюме

Мы описали три распространенные проблемы, связанные с метриками тщеславия:

• Метрикам тщеславия не хватает контекста
• Метрики тщеславия имеют неясное назначение
• Метрики тщеславия не направляют действия и обучение

Эффективное использование метрик включает предоставление контекста, изложение ваших намерений и выбор метрик, которые определяют действия и обучение. Указать на метрику и сказать «это метрика тщеславия» равносильно утверждению «вы используете эту метрику в качестве метрики тщеславия».

Метрика тщеславия

Мы обсудили различные проблемы, связанные с использованием метрик тщеславия, и проблемы, связанные с метриками тщеславия. Теперь пришло время проверить ваши показатели.

В этом разделе мы представляем десять утверждений, описывающих Вы заметите темы, которые мы исследовали ранее в этом посте: контекст, намерение, ответственное действие и обучение.

Для каждого заявления мы предлагаем вам:

1. Обсудите подсказку с вашей командой
2. Ищите разные точки зрения
3. Отметьте элементы, требующие внимания

S1: Команда понимает, что лежит в основе отслеживания метрики.

Совет. Включите ориентацию на метрики в свой план адаптации сотрудников. Клиенты Amplitude часто используют нашу функцию «Записные книжки», чтобы предоставлять информацию о ключевых показателях.

S2: Мы представляем метрику вместе с соответствующими метриками, которые добавляют необходимый контекст. Когда они представлены отдельно, мы добавляем необходимые сноски и ссылки.

Совет: нормализуйте отображение ограждений и связанных показателей в презентациях.

S3: Гипотезы (и предположения), связывающие метрику со значимыми результатами и влиянием, четко сформулированы, доступны и открыты для оспаривания/обсуждения.

Совет. Используйте древовидные диаграммы (деревья драйверов, North Star Framework, деревья предположений и т. д.) и диаграммы причинно-следственных связей, чтобы представить предполагаемые причинно-следственные связи. Попробуйте сыграть в игру «Случайный билет Jira». Можете ли вы случайным образом выбрать билет Jira и «пройтись по дереву» от этого элемента к чему-то, что будет иметь значение в долгосрочной перспективе?

S4: расчет/определение метрики доступно для проверки, проверки и разложения. Его различные компоненты, пункты, функции и т. д. могут быть разделены. Кто-то с хорошим знанием предметной области может понять, как это работает.

Совет: по возможности делитесь метрикой, чтобы кто-то мог «щелкнуть» и узнать, как она рассчитывается. Например, если метрика включает в себя такой фильтр, как «поделился с более чем 7 пользователями за 7 дней», должна быть возможность настроить это предложение и посмотреть, как это число соотносится с общим количеством пользователей. Укрепляйте доверие, позволяя людям воссоздавать метрику.

S5: Метрика является частью регулярно просматриваемой и обсуждаемой информационной панели, системы показателей или отчета. Он выдержал здоровую проверку. Если метрика является более исследовательской и непроверенной (или «Мне было любопытно,…»), этот контекст ясен с самого начала.

Совет: проверка — это хорошо. Чем больше внимания вы уделите метрике, тем лучше. Приглашайте к критике. Записывайте вопросы по мере их поступления. Делайте каждое «показ» метрики (например, на все руки или обзор продукта) последовательно лучше.

S6: У команды есть рабочая теория о том, на что указывают изменения в метрике.

Совет. Вот основная подсказка, которая натолкнет вас на размышления: «Увеличение этого показателя — это сигнал о том, что _______, а снижение этого показателя — о том, что _______».

S7: со временем метрика обеспечивает растущую ценность и достоверность. Мы можем указать на конкретные решения и действия, вытекающие из использования метрики (и эти действия можно проверить). Компания будет инвестировать в дальнейшее отслеживание и информирование об этом.

Совет: указывайте уровни достоверности при отображении метрик и ведите журнал решений/действий. Попробуйте нормализовать, не будучи уверенным на 100% поначалу, и сбалансируйте отображение метрик с высоким уровнем достоверности с новыми метриками-кандидатами с более низким уровнем достоверности.

S8: Команда устанавливает четкие пороги действий (например, «если это превышает X, то мы можем рассмотреть Y»). Метрика может упасть. И если он упадет, это, вероятно, вдохновит на проверку / действие.

Совет. Проведите семинар по планированию сценариев, чтобы лучше понять, как изменение метрики будет определять поведение в будущем. Настройте мониторы в своем инструменте аналитики, чтобы предупреждать вас, когда вы достигли порогового значения.

S9: метрика является сравнительной (с течением времени, с аналогичными метриками и т. д.). В более широком смысле, если отслеживать ее в течение длительного периода, можно проводить сравнения яблок и яблок между периодами.

Совет. Включите представления периода за периодом на своих информационных панелях, чтобы увидеть больше сравнений.

S10: Команда использует метрику, чтобы сообщать о проблемах и победах. Не только победы.

Совет: тон здесь задают лидеры. Обсудите ситуации, которые не сработали так, как вы ожидали, и то, как вы использовали данные, чтобы понять это.

Резюме

Метрики тщеславия — это метрики, которые заставляют нас чувствовать себя хорошо, но не помогают нам лучше работать или принимать лучшие решения. Никто не застрахован от использования метрик тщеславия! Ключевым моментом является обеспечение того, чтобы вы предоставили контекст, изложили цель используемых вами показателей и разъяснили действия и решения, которые будут определяться показателями (или показателями).

Чтобы определить значимые метрики, ознакомьтесь с игрой North Star Playbook. Создание метрики путеводной звезды и набора действенных входных данных — это мощный способ избежать использования метрик тщеславия.