От корреляции к причинно-следственной связи: внедрение аналитики самообслуживания повысило конверсию в 28 раз

Мы в Brainly любим учиться. Это связано с территорией — мы ведущее глобальное образовательное приложение с 300 миллионами пользователей в месяц. Наши сайты и приложения позволяют учащимся, родителям и учителям задавать вопросы о домашних заданиях и отвечать на них, и мы призываем членов нашего онлайн-сообщества также отвечать на вопросы друг друга.

За кулисами мы любопытны и ориентированы на данные, и верим, что нам нужно задавать как можно больше вопросов, чтобы продвигать наш бизнес вперед. Мы используем данные, чтобы стимулировать рост продукта, но понимание пользовательских событий, интерпретация аналитики и привязка того и другого к нашей прибыли могут быть сложными.

Движимые любопытством, но наши инструменты анализа данных сковывают

Как менеджер Brainly по анализу данных, я помогаю нашим командам понимать тенденции, исследовать корреляции и устанавливать причинно-следственные связи. Было сложно извлечь полезную информацию из наших данных с нашей предыдущей настройкой, поскольку мы были магазином Google Analytics. Мы просили наших аналитиков данных писать запросы на SQL, Python и R, а затем представлять их результаты в виде диаграмм и других визуализаций, понятных менеджерам по продуктам и внутренним заинтересованным сторонам. Мы живем в быстро меняющейся среде, и ответы приходили слишком медленно. Наши аналитики были перегружены, и мы часто ждали ответа на насущный вопрос неделю или две.

Извлечение данных из Google Analytics было бременем. Наши воронки тщательно продуманы, и мы сегментируем наших пользователей на различные поведенческие когорты. В то время как закодированные вручную запросы давали результаты (хотя и медленно), пользовательский интерфейс Google Analytics не был удобным для пользователя и добавлял уровень сложности. Мы не могли визуализировать наши данные, не продираясь через серию нелогичных меню, и даже тогда наши возможности сегментации и визуализации были крайне ограничены. У нас было много информации, но мы не могли погрузиться в наши данные, не прыгая через обручи.

От 10 до 80 пользователей в неделю за несколько месяцев

Мы начали искать альтернативные аналитические платформы. Мы пригласили нескольких поставщиков для демонстрации своих продуктов, но мой начальник всегда имел в виду Amplitude Analytics, и команда нас не разочаровала. Они показали нам варианты использования, которые мы не рассматривали, и создали фиктивные данные, чтобы продемонстрировать, как мы можем сегментировать и визуализировать пользовательские данные Brainly.

Удобный аналитический инструмент снимает нагрузку с аналитических групп и делает пользовательские данные доступными для всех, кто в них нуждается.

Самое главное, эти демонстрации помогли компании понять, что наши команды могут использовать аналитические инструменты самообслуживания Amplitude для извлечения пользовательских данных вместо того, чтобы просить об этом наших перегруженных аналитиков. Мы нашли инструмент для совместной работы, который снял часть нагрузки с нашей аналитической команды и сделал пользовательские данные доступными для всех, кто в них нуждался.

Мы запустили Analytics в феврале 2022 года с 10 активными еженедельными пользователями. К ноябрю это число увеличилось до 80 активных еженедельных пользователей и 140 зарегистрированных пользователей. Мы видели, как элемент самообслуживания платформы меняет то, как команды взаимодействуют с данными. Наши различные команды, в том числе наши менеджеры по продуктам, используют Analytics для извлечения показателей воронки и конверсии, не дожидаясь аналитиков. Наши мобильные инженеры, которые создают пользовательские события, используют их для целей реализации, а наша группа контроля качества использует платформу для проверки правильности работы событий в режиме реального времени.

Тем не менее, самое большое влияние было на создание нашего контента.

Преобразование нашего основного контента

Ядром Brainly является наш продукт для вопросов и ответов сообщества. Учащиеся входят в систему и задают вопросы, а другие учащиеся могут отвечать. Каждый ответ приносит баллы, побуждая пользователей задавать собственные вопросы, открывать страницы и повышать свой статус в сообществе. Наша команда по контенту проверяет эти ответы, награждая правильные зелеными галочками. Эти ответы, проверенные экспертами, затем представлены в виде мгновенных ответов, поэтому пользователям не нужно искать решение в нашей базе данных. Мы подозревали, что мгновенные ответы улучшили взаимодействие с пользователем и побудили студентов подписаться на бесплатную пробную версию, но у нас не было цифр, чтобы подтвердить, является ли это корреляцией или причинно-следственной связью.

Благодаря Analytics мы определили, что пользователи, которые видят больше мгновенных ответов в первые семь дней на сайте или в приложении, значительно чаще подписываются на бесплатную пробную версию, чем те, кто не видит ни одного. Коэффициент конверсии был фантастическим и намного выше, чем мы ожидали. Это осознание сделало улучшение наших проверенных ответов и увеличение коэффициента совпадения мгновенных ответов нашими главными приоритетами в отношении контента. Для этого мы создали базу данных мгновенных ответов, проверенных нашей командой по контенту.

Теперь мы используем искусственный интеллект (ИИ) и машинное обучение (МО) для автоматической проверки ответов, которые понравились или получили положительную оценку определенного числа людей, потому что с большей вероятностью они являются высококачественными ответами.

Ускорение A/B-тестов с Amplitude Experiment

Недавно мы внедрили Amplitude Experiment, чтобы упростить A/B-тестирование и проводить параллельные эксперименты, не подвергая пользователей более чем одному сценарию тестирования одновременно. Ранее мы использовали Google Optimize для запуска этих тестов на нашем веб-сайте и Firebase для тестирования нашего приложения. Мы обнаружили взлом, который передавал тестовые данные Google Optimize в Analytics, но не было возможности передать данные Firebase. Эксперимент позволяет интегрировать тестирование и аналитику в единую экосистему, что делает его простым.

За первый месяц использования Experiment мы запустили шесть экспериментов для проверки различных гипотез, один из которых демонстрирует мощь продукта. После того, как мы начали оптимизировать и приоритизировать наши проверенные ответы, процент мгновенных ответов в результатах поиска вырос с 5% до 10%. С помощью эксперимента мы подтвердили, что большее число пользователей видят более пяти мгновенных ответов, и соответственно повысился коэффициент конверсии.

Мы надеемся развернуть платформу для всех в Brainly к концу 2022 года.

Мощные функции и бесшовная интеграция

Наиболее часто используемыми функциями Analytics являются поведенческие когорты и диаграммы сегментации. Наши менеджеры по продуктам, помимо прочего, создают настраиваемые пользовательские сегменты, чтобы понять, как различные поведенческие когорты взаимодействуют с новыми и существующими функциями. Не менее популярны диаграммы удержания, и мы используем их, чтобы увидеть, как часто пользователи возвращаются, чтобы создать новый контент, и участвуют ли они в еженедельных обучающих взаимодействиях. К ним относятся чтение, ответы или вопросы, а также занятия с репетиторами. Если кто-то совершает хотя бы одно такое действие каждую неделю, это означает, что у него положительный пользовательский опыт, что приводит к кумулятивному обучению.

Я использую формулы в разделе сегментов Analytics для сравнения сегментов пользователей. Я также нахожу таблицы данных невероятно полезными, потому что я могу смотреть на конкретные показатели, такие как конверсии, и собирать различные страницы, функции и пользователей в визуализации, которые обеспечивают более глубокое понимание наших последовательностей.

Analytics легко интегрируется с другими инструментами аналитики, в частности с Branch.io и Snowflake. Мы используем Branch.io для отслеживания незарегистрированных пользователей, которые переходят с нашего веб-сайта в наше мобильное приложение. Это большая победа, потому что мы можем видеть, каким экспериментам они подвергались в Интернете, и определять, какой контент и функции лучше всего привлекают пользователей к приложению.

Мы используем Snowflake для всех наших серверных данных, но интеграция с Amplitude позволяет нам обмениваться пользовательскими событиями. Например, когда пользователь Б комментирует ответ пользователя А на вопрос, Analytics создает событие для комментария пользователя Б, но не может создать событие, говорящее о том, что пользователь А получил комментарий, потому что пользователь Б инициировал сеанс. С помощью Snowflake мы можем перевернуть уравнение и создать пассивное событие, указывающее, что пользователь А получил комментарий от пользователя Б, и передать эту информацию обратно в Analytics. Это действие дает нам лучшее представление о том, как изменилось поведение пользователя А после получения комментария. Удивительно, как многому мы можем научиться благодаря этому простому изменению точки зрения.

Наша путеводная звезда и следующие шаги

Всего за семь месяцев мы увеличили нашу базу активных пользователей почти до 120 человек и создали сообщество Amplitude в Brainly. У нас есть канал Slack, где пользователи Amplitude могут участвовать в обсуждениях платформы в режиме реального времени, и страница Confluence со статьями с практическими рекомендациями, советами и рекомендациями, а также другими важными ссылками. Мы также создали группу «Ampliteers», опытных пользователей, которые выступают в качестве послов и наставников для сотрудников Brainly, которые плохо знакомы с Amplitude. У нас всегда была культура, основанная на вопросах, но теперь она демократизирована и не ограничивается нашими аналитиками данных.

Сегментируя пользователей на основе их активности, а не демографических данных, вы можете создать более персонализированный опыт.

Амплитуда помогла нам найти нашу Полярную звезду. Как только мы поняли, что мгновенные ответы повышают конверсию, мы изменили стратегию и приняли новую стратегию роста, основанную на сетевом эффекте. Чем больше вопросов отвечают наши пользователи, тем больше людей привлекает наш сайт. Увеличение пользовательского контента также улучшает наш SEO-рейтинг.

Это не единственное изменение. Мы создаем новые поведенческие когорты в Amplitude, чтобы сегментировать пользователей по типу и частоте действий, которые они совершают на нашем сайте. Сегментируя их на основе их активности, а не демографических данных, мы надеемся создать более персонализированный опыт, который будет направлять их в процессе обучения в этом году и в последующие годы. Мы хотим организовать долгосрочное образовательное путешествие, а не просто предоставлять немедленную индивидуальную помощь. Это захватывающая разработка, и я уверен, что она превратится в новые функции, которые еще больше отличат Brainly от других образовательных сайтов и приложений.

Amplitude изменила способность Brainly использовать данные. У нас есть более простой и быстрый доступ к данным о пользователях и событиях, и мы можем визуализировать их множеством способов, что позволяет нам проверять информацию и генерировать полезные идеи. У наших людей есть инструменты, чтобы задавать уместные вопросы, которые удовлетворяют их любопытство и приводят к лучшим результатам для учащихся, которые зависят от нашей платформы.