相関関係から因果関係へ: セルフサービス分析の採用により、コンバージョンが 28 倍向上

公開: 2022-11-22

Brainly では、学ぶことが大好きです。私たちは世界をリードする教育アプリであり、月間ユーザー数は 3 億人です。私たちのサイトやアプリでは、生徒、保護者、教師が宿題の質問をしたり、答えたりすることができます。また、オンラインコミュニティのメンバーもお互いの質問に答えることができます。

舞台裏では、私たちは好奇心旺盛でデータ駆動型であり、ビジネスを前進させるためにできるだけ多くの質問をすることを信じています. 私たちはデータを使用して製品の成長に拍車をかけていますが、ユーザーイベントを理解し、分析を解釈し、その両方を収益に結びつけるのは難しい場合があります。

好奇心に突き動かされているが、データ分析ツールが足を引っ張っている

Brainly のデータ分析マネージャーとして、私はチームが傾向を理解し、相関関係を調査し、因果関係を確立するのを支援しています。私たちは Google アナリティクスショップだったので、以前の設定では、データから実用的な洞察を引き出すのは困難でした。データアナリストに SQL、Python、R でクエリを記述してもらい、その結果をプロダクトマネージャーや社内関係者が理解できるグラフやその他のビジュアライゼーションとして提示します。私たちはペースの速い環境であり、答えが出るのが遅すぎました。当社のアナリストは多忙を極めており、差し迫った質問への回答を 1 ～ 2 週間待つこともよくありました。

Google アナリティクスからデータを抽出するのは負担でした。私たちの目標到達プロセスは精巧で、ユーザーをさまざまな行動コホートに分類しています。手動でコーディングされたクエリは (ゆっくりではありますが) 結果を生成しましたが、Google アナリティクスの UI はユーザーフレンドリーではなく、複雑さを増していました。直感に反する一連のメニューを苦労せずにデータを視覚化することはできませんでした。それでも、セグメント化と視覚化のオプションは非常に限られていました。豊富な情報がありましたが、フープを飛び越えずにデータに飛び込むことはできませんでした.

数か月で毎週 10 人から 80 人のユーザーに

私たちは代替の分析プラットフォームを検討し始めました。私たちはいくつかのベンダーに製品のデモを依頼しましたが、私の上司は常に振幅分析を念頭に置いていたので、チームは期待を裏切りませんでした。彼らは、私たちが考慮していなかった使用例を示し、ダミーデータを作成して、Brainly ユーザーデータをセグメント化して視覚化する方法を示しました。

ユーザーフレンドリーな分析ツールは、分析チームのプレッシャーを取り除き、ユーザーデータを必要とする人が誰でも利用できるようにします。

最も重要なことは、これらのデモにより、当社のチームは、負担の大きいアナリストに依頼する代わりに、Amplitude のセルフサービス分析ツールを使用してユーザーデータを引き出すことができることに気付くことができました。私たちは、分析チームの負担を軽減し、ユーザーデータを必要とする人が誰でも利用できるようにするコラボレーションツールを見つけました。

2022 年 2 月にアナリティクスを開始し、1 週間のアクティブユーザー数は 10 人でした。 11 月までに、その数は毎週 80 人のアクティブなユーザーと 140 人の登録ユーザーにまで膨れ上がりました。プラットフォームのセルフサービス要素によって、チームがデータを操作する方法が変わるのを見てきました。プロダクトマネージャーを含むさまざまなチームは、アナリティクスを使用して、アナリストを待たずに目標到達プロセスとコンバージョンの指標を抽出しています。ユーザーイベントを作成するモバイルエンジニアは、それを実装目的で使用し、QA チームはこのプラットフォームを使用して、イベントが正しく機能していることをリアルタイムで検証します。

ただし、最大の影響はコンテンツの作成にありました。

コアコンテンツの変革

Brainly のコアは、コミュニティ Q&A 製品です。学習者がログインして質問すると、他の学習者が答えることができます。すべての応答はポイントを獲得し、ユーザーが独自の質問をしたり、ページのロックを解除したり、コミュニティステータスを改善したりすることを奨励します。当社のコンテンツチームがこれらの回答を検証し、正しい回答には緑のチェックを付けます。これらの専門家によって検証された回答は、すぐに回答として提示されるため、ユーザーは解決策をデータベースで検索する必要はありません。即座の回答がユーザーエクスペリエンスを向上させ、学生が無料試用版にサインアップするようになったのではないかと推測しましたが、これが相関関係なのか因果関係なのかを確認する数値はありませんでした。

Analytics のおかげで、サイトやアプリで最初の 7 日間にすぐに回答が表示されたユーザーは、表示されなかったユーザーよりも無料試用版にサインアップする可能性が大幅に高くなることがわかりました。コンバージョン率は素晴らしく、予想をはるかに上回っていました。この認識により、検証済みの回答が改善され、インスタント回答の一致率が向上し、コンテンツの最優先事項になりました。これを行うために、コンテンツチームが確認した即時回答のデータベースを構築しました。

現在、人工知能 (AI) と機械学習 (ML) を活用して、高品質の回答である可能性が高いため、特定の数の人々によって好かれている、または肯定的な評価が与えられている回答を自動的に検証します。

Amplitude Experiment による A/B テストの強化

私たちは最近、A/B テストを簡素化し、ユーザーを一度に複数のテストシナリオにさらすことなく同時実験を実行するために、Amplitude Experiment を採用しました。以前は、Google オプティマイズを使用してこれらのテストをウェブサイトで実行し、Firebase を使用してアプリをテストしていました。 Google オプティマイズのテストデータをアナリティクスにプッシュするハッキングが見つかりましたが、Firebase データをプッシュする方法はありませんでした。実験により、テストと分析を単一のエコシステム内に統合できるため、簡単に実行できます。

Experiment を使用して最初の 1 か月で、さまざまな仮説をテストするために 6 つの実験を開始しました。検証済みの回答の最適化と優先順位付けを開始した後、検索結果の即時回答の割合は 5% から 10% に上昇しました。実験を使用して、5 つ以上の即時回答を見ているユーザーの数が増加し、それに応じてコンバージョン率が上昇していることを確認しました。

2022 年末までに、Brainly の全員にプラットフォームを展開したいと考えています。

強力な機能とシームレスな統合

Analytics で最もよく使用される機能は、行動コホートとセグメンテーションチャートです。当社のプロダクトマネージャーなどは、高度にカスタマイズされたユーザーセグメントを作成して、さまざまな行動コホートが新しい機能や既存の機能とどのように相互作用するかを理解しています。リテンションチャートも同様に人気があり、ユーザーが新しいコンテンツを作成するために戻ってくる頻度と、毎週の学習インタラクションに関与しているかどうかを確認するために使用します。これらには、読書、質問への回答または質問、個別指導セッションの実施が含まれます。誰かが毎週少なくとも 1 回はそのような行動をとっている場合、それはそのユーザーがポジティブなユーザーエクスペリエンスを持っていることを意味し、それが累積的な学習につながります。

アナリティクスのセグメントセクションの数式を使用して、ユーザーセグメントを比較します。また、コンバージョンなどの特定のメトリクスを確認し、さまざまなページ、機能、ユーザーを視覚化してファネルへのより深い洞察を提供できるため、データテーブルは非常に便利です。

分析は、他の分析ツール、特に Branch.io と Snowflake とシームレスに統合されます。 Branch.io を使用して、Web サイトからモバイルアプリに移行した、ログに記録されていないユーザーを追跡します。彼らがウェブ上でどのような実験にさらされたかを確認し、ユーザーをアプリに誘導するのに最適なコンテンツと機能を判断できるため、これは大きなメリットです。

すべてのバックエンドデータに Snowflake を使用していますが、Amplitude との統合により、ユーザーイベントを交換できます。たとえば、質問に対するユーザー A の回答にユーザー B がコメントすると、Analytics はユーザー B のコメントに対してイベントを生成しますが、ユーザー B がセッションを開始したためにユーザー A がコメントを受け取ったことを示すイベントを生成することはできません。 Snowflake を使用すると、方程式をひっくり返して、ユーザー A がユーザー B からコメントを受け取ったことを示すパッシブイベントを作成し、その情報を Analytics に戻すことができます。このアクションにより、コメントを受け取った後にユーザー A の行動がどのように変化したかをよりよく把握できます。この単純な見方の変化で、私たちがどれだけ多くのことを学べるかは驚くべきことです。

私たちの北極星と次のステップ

わずか 7 か月で、アクティブなユーザーベースを 120 人近くにまで拡大し、Brainly 内に Amplitude コミュニティを構築しました。 Amplitude ユーザーがプラットフォームに関するリアルタイムのディスカッションに参加できる Slack チャネルと、ハウツー記事、ヒントとコツ、およびその他の重要なリンクを含む Confluence ページがあります。また、Amplitude を初めて使用する Brainly の従業員の大使および指導者として機能するパワーユーザーである「Ampliteers」のグループも作成しました。私たちは常に質問ベースの文化を持っていましたが、今では民主化され、データアナリストに限定されなくなりました。

人口統計ではなくアクティビティに基づいてユーザーをセグメント化することで、よりパーソナライズされたエクスペリエンスを作成できます。

振幅は、北極星を見つけるのに役立ちました。即座の回答がコンバージョンを促進することに気付いた後、ネットワーク効果に基づいた新しい成長戦略に方向転換し、採用しました。ユーザーがより多くの質問に答えるほど、より多くの人が私たちのサイトに引き寄せられます。ユーザー生成コンテンツが増えると、SEO ランキングも向上します。

変更点はそれだけではありません。 Amplitude で新しい行動コホートを作成し、サイトで実行するアクションのタイプと頻度によってユーザーをセグメント化しています。人口統計ではなく活動に基づいて学生をセグメント化することで、今年および今後の教育を通じて、よりパーソナライズされた体験を提供したいと考えています。私たちは、単に即時の個別の支援を提供するのではなく、長期的な教育の旅を確立したいと考えています. これはエキサイティングな開発であり、Brainly を他の教育サイトやアプリからさらに際立たせる新しい機能に進化すると確信しています。

Amplitude は Brainly のデータ活用能力を変革しました。ユーザーとイベントのデータに簡単かつ迅速にアクセスできるようになり、さまざまな方法でデータを視覚化して、情報を検証し、実用的な洞察を生み出すことができます。当社の従業員は、好奇心を満たし、当社のプラットフォームに依存する学習者にとってより良い結果につながる適切な質問をするためのツールを持っています。