Делайте более безопасные ставки, оптимизируя свой продукт с помощью аналитики

Как менеджеры по продукту (PM), мы, по сути, делаем ставку на лучший путь развития наших продуктов. Но недостаточно просто бросить все свои деньги на что-то одно. Менеджеры проектов должны сначала понять, как делать самые умные ставки, а затем определить, что сработало, а что нет, чтобы улучшить шансы на следующий раунд.

В Jumbo Interactive мы склонны думать о стратегии продукта с точки зрения наступательных и оборонительных ставок. Jumbo разрабатывает решения, позволяющие получить лучший в мире лотерейный опыт, и я работаю в Jumbo чуть больше года в качестве менеджера по проектам в сфере роста. Что касается роста бизнеса, почти все наши ставки будут наступательными, поэтому я исследую, добавляю или оптимизирую наши циклы роста, чтобы заставить их вращаться лучше и быстрее.

Менеджеры проектов должны понимать, как делать умные ставки, а затем определять, что сработало, а что нет, чтобы улучшить шансы на следующий раунд.

Одним из наших продуктов является Lotto Party, позволяющая друзьям объединить свои деньги, чтобы получить больше шансов на крупный джекпот. Lotto Party отслеживает, кто и что сделал для конкретного розыгрыша. Таким образом, если партия выигрывает по-крупному, все получают уведомление и автоматически получают свой кусок пирога.

Подход Jumbo к росту заключается в использовании циклов вирусного роста, обеспечиваемых такими продуктами, как Lotto Party. Важно расти не просто линейно, а экспоненциально. Lotto Party обеспечивает совокупный рост: кто-то приглашает своих друзей принять участие, а затем часть этих друзей создает свои собственные лотерейные вечеринки и приглашает новых друзей.

Механизм роста Jumbo включает в себя несколько таких циклов вирусного роста, которые затем дополняются циклами платной рекламы: платная реклама генерирует потенциальных клиентов, которые генерируют капитал, который мы затем тратим на поиск новых потенциальных клиентов. Платный и вирусный — они работают в тандеме.

Мы полагаемся на Amplitude, чтобы уверенно делать эти ставки, продвигать открытия и измерять наш успех. За последний год мы наблюдаем 40-процентное увеличение числа активных пользователей в месяц в Lotto Party, во многом благодаря информации, полученной нами с помощью Amplitude Analytics, Amplitude Experiment и Amplitude Audiences.

Аналитика гарантирует, что все находятся на одной странице

Главное, что мы делаем с Analytics, — это измеряем опережающие и отстающие индикаторы. Таким образом, один из ключевых показателей, который мы отслеживаем для Lotto Party, — это количество созданных групп, потому что новая группа означает как конец цикла, так и начало нового. Был ли человек, создавший новую группу, недавно присоединившимся к группе или нет? Это помогает нам понять механизм роста компаньона.

Но не только я просматриваю эту информацию в Analytics: она распространяется на всю компанию. Каждая команда инженеров, с которой я работаю, имеет доступ к моим информационным панелям и диаграммам, и я призываю их почаще просматривать их. Я управляю их командными пространствами и создаю блокнот для каждой ставки, которую мы делаем. Я закину всю аналитику в этот блокнот, чтобы команда инженеров могла их просмотреть.

Я также делаю короткие видеоролики Loom для конкретной панели инструментов или диаграммы в Analytics, чтобы кратко объяснить, что в противном случае может быть сложной информацией. Я делюсь ими со всеми, включая инженеров, аналитиков данных, других менеджеров по проектам, своих начальников и начальников моего начальника. Вместо того, чтобы пытаться запланировать восемь разных встреч, я могу поделиться со всеми четырехминутным видео с аналитикой. Все могут видеть, что я делаю, результаты этой работы, и это помогает сделать наши внутренние предположения о том, как пользователи на самом деле используют продукт, более точными.

Эксперимент подсказывает нам, в какие инвестиции стоит идти ва-банк.

То, что мы видим в Analytics, естественным образом приводит к A/B-тестированию в Experiment. Эти тесты позволяют нам создавать гипотезы, определять, верны они или нет, а затем знать, где идти ва-банк (или где отступать). Эксперимент повышает нашу уверенность в том, что мы делаем конкретную ставку, потому что он дает нам четкий анализ риска и выгоды.

Мы начинаем с создания документа по плану эксперимента, в котором объясняем проблему и предоставляем как можно больше подтверждающих доказательств проблемы и возможной возможности. Затем мы пишем гипотезу и вызываем первичную метрику, которую мы обычно описываем как метрику компромисса. В большинстве экспериментов мы также указываем несколько второстепенных показателей. Эта информация будет определять, как выглядит успех или неудача, а также размер выборки, необходимый для статистической значимости, которая затем определяет продолжительность эксперимента.

Документ по плану эксперимента дает нам четкие определения того, что мы тестируем в Experiment. Это также помогает нам расставлять приоритеты для экспериментов. Трехмесячный эксперимент — это довольно медленно. Если мы знаем, что эксперимент займет так много времени, лучше отложить пару недельных экспериментов, прежде чем мы начнем более длительный.

Дизайн эксперимента имеет значение, потому что мы хотим построить все быстро, качественно и дешево. Мы хотим выпустить что-то как можно скорее, чтобы мы могли собрать больше данных, а минимальные первоначальные инвестиции позволяют нам тщательно тестировать и строить с умом.

Минимальные первоначальные инвестиции позволяют продуктовым группам тщательно тестировать и грамотно создавать продукты.

Одним из примеров Lotto Party было отсутствие информации о продукте. Большинство пользователей на платформе находятся в том, что мы называем «игровым» опытом, и Lotto Party довольно далеко от этого опыта. Если бы мы добавили Lotto Party больше в игровой процесс, как бы это повлияло? Этот шаг потребовал бы значительного подъема от проектирования и, как следствие, значительных инвестиций.

Наше экспериментальное мышление заставляет всех — продукт, инженеров, вопросы и ответы, всех, кто вовлечен в процесс, — задуматься об оптимизации этого эксперимента, чтобы получить наибольшую информацию при минимальных вложениях. В эксперименте мы увидели, что включение Lotto Play в игровой опыт почти удвоило продажи Lotto Party и более чем вдвое увеличило количество созданных групп. Инвестировать дальше в это было не просто.

Audiences увеличивает стоимость транзакций с более персонализированными корзинами

Мы используем Audiences, чтобы давать более разумные рекомендации по корзине, которые мы включаем в рассылку по электронной почте, а также в процесс покупки. Независимо от того, что пользователь купил в прошлом или собирается купить, мы предлагаем дополнительные продукты, которые могут ему понравиться, или предложение, такое как «Повторить этот билет, в который вы играли раньше». Это более разумный вариант классического вопроса: «Хочешь к этому картошку фри?» Зрители знают, что этот конкретный клиент не хочет картошку фри, но им нравятся молочные коктейли. Было бы довольно сложно построить нашу собственную алгоритмическую структуру, чтобы выяснить желания пользователя, но Amplitude предоставляет ее нам.

Чем более персонализирована рекомендация, тем больше вероятность того, что пользователь ее выберет.

Рекомендации в Аудиториях на базе Amazon Personalize легко окупаются. Чем более персонализирована рекомендация, тем больше вероятность того, что пользователь ее выберет. Jumbo знает об этом, потому что у нас были места размещения в корзине до того, как мы начали использовать Audiences, и с тех пор эти места размещения стали намного лучше.

Около восьми месяцев назад у меня появилось представление о товарах в нашей корзине. Раньше размещение в корзине было сосредоточено на подмножестве продуктов, связанных с благотворительными розыгрышами, но я хотел расширить его на все наши продукты и позволить аудитории решать, что лучше для каждого клиента. О чудо, мы увидели рост количества кликов и стоимости транзакций. С аудиториями, чем больше вариантов вы предоставляете, тем больше людей вы собираетесь поразить.

Удерживайте существующих пользователей и делайте умные ставки, чтобы привлечь новых

Эта персонализация также важна для интеграции Amplitude с Braze, которую мы используем для обмена сообщениями. Если вы думаете о нашем двигателе роста, у нас есть все эти циклы приобретения, генерирующие клиентов, но другая его сторона — ядро ​​нашего двигателя — это удержание и вовлечение, и именно здесь сидит Braze. Важно знать, когда отправлять сообщение пользователю, и не менее важно знать правильный канал. Если человек часто использует определенное приложение, вероятно, имеет смысл отправить ему push-уведомление или сообщение в приложении, а не электронное письмо.

Braze поможет нам сохранить циклы привычки. Мы определяем петлю привычки как клиента, который является активным игроком в течение двух месяцев после активации. Если они играют два месяца, то становятся привычным игроком. Мы используем Braze, чтобы запустить эти петли привычки и поддерживать их вращение, чтобы стимулировать наше удержание. Но для этого нам нужно, чтобы в Braze поступали наилучшие данные. Аналитика помогает нам в этом, создавая более разумные когорты и персонализируя контент. Чем конкретнее мы можем быть в отношении этого контента, его времени и доставки, тем лучше результаты этих кампаний.

Я многому научился, работая в Jumbo, и у меня появился совершенно новый взгляд на рост. Работа с Amplitude также стала огромной победой. Без Amplitude мы бы не увидели увеличения ежемесячных активных пользователей Lotto Party. Платформа позволяет нам делать самые умные ставки.