回避する必要のある3つの製品メトリックの落とし穴

私の著書「TheInsightsDrivenProduct Manager 」では、追跡を減らして焦点を絞り、データから真の洞察を抽出するためにより多くの時間を費やすことが重要である理由について説明しています。

次のステップは、本質的なレベルで、私が「高品質の指標」と呼んでいるものを追跡していることを確認することです。 この投稿（私の本の第7章からの抜粋）では、メトリックの全体的な品質を向上させる方法、メトリックをより実用的にする方法、および回避すべき落とし穴に焦点を当てます。

落とし穴＃1：バニティメトリック

数年前、私はオフィス環境を管理するためのB2BSaaS製品に取り組んでいました。 製品を発売し、最初の有料広告キャンペーンを開始したばかりなので、30日間の登録総数を追跡するダッシュボードを設定しました。

数が増えているようだったので、勢いにかなり満足しました。

問題は、このグラフはプレゼンテーションでは見栄えがするものの、実際のコンバージョンと収益につながったのは新規登録の4％のみであり、その結果、毎月の経常収益目標を達成できなかったことです。

これは累積チャートであるため、最悪の場合、新しいユーザーを獲得しなければグラフは横ばい状態になりますが、その数は決して減少しません。 これは、バニティメトリックの典型的な例です。

• このグラフを見ると気分が良くなりました。
• このメトリックは、利害関係者のプレゼンテーションで特に役立ちました。
• それは、私たちが実際にうまくやっているかどうかについての洞察を私たちに与えませんでした。
• それは私たちに洞察を与えなかったので、製品や機能を改善するための行動を起こすように私たちを駆り立てることはありませんでした。
• そして、この指標を毎日見ているにもかかわらず、問題があることを発見するのに2か月かかりました（30日間のすべての試行が終了して解約されるまでに）。

問題の一部は、当時のより良い指標を測定する方法に関する知識の欠如でしたが、組織の問題は、多くの場合、はるかに深いところにあります。ほとんどのチームまたは利害関係者は、指標から真実を聞く準備ができていないため、見栄えのする数字のために。

KumuのCPOであり、ReforgeのライターであるCrystal Widjajaとのインタビューで、彼女は、失敗を利用して改善を推進する方法としてデータを表示する方法を美しく要約しました。

「人々がミスを犯した場合（実験の失敗、展開の失敗など）、あなたはすでにそのコストを支払っています。 データは、間違いを利用してそこから学ぶ方法と考える必要があります。 「失敗の授業料を支払って」個人を解雇するのではなく、データの洞察を使用して、失敗した理由を教え、それから学び、次の反復で最初の反復よりも10倍良くなるように活用します。」

–クリスタル・ウィジャヤ

データからより多くの洞察を得るには、バニティメトリックの追跡を停止し、代わりにデータを使用して真実を明らかにし、実際の改善を推進する必要があります。 よく見ると、特定の利害関係者をなだめたり、実際よりも数値を良くしたりするために、チームが非常に選択的なメトリックを表示する頻度が魅力的です。 次のようなバニティメトリックの他の古典的な例に注意してください。

• ページビューまたは訪問者の数
• フォロワー/いいねの数
• サイトで費やした時間（セッションの長さ）
• ダウンロード数

ページビューやセッションの長さなどの指標は、トラフィック、認知度、初期エンゲージメントの測定に重点を置いているWebサイト分析で依然として頻繁に使用されています。 目標到達プロセスの最上位と呼ばれるもの、つまり顧客の最初の獲得についての洞察は得られますが、顧客が実際に製品をアクティブ化して関与しているかどうかはわかりません。これにより、より幅広い製品やビジネスの目標との相関関係が大幅に高まります。

それをより良くする方法：メトリックが良いか悪いかを本当に理解するには、数値をコンテキストに入れる必要があります。 少なくとも、今月の登録数と前月の登録数を比較するなど、さまざまな期間の数を比較してみてください。

指標をより便利にするもう1つの効果的な方法は、総数の代わりに比率を使用することです。 比率は本質的に比較です。 例として、会計士は総収入を見るだけでなく、通常、製品を生産するコストとそれから得た売上を比較します。 このようにして、会計士は、ビジネスが健全であるかどうかを評価するために、時間の経過とともに利益率（有用な比率の優れた例）を追跡できます。

より優れた、より比較可能なメトリックの例：

• 獲得チャネルあたりの登録の割合
• 完全なサインアッププロセスを完了したサインアップの割合
• キーアクティベーションメトリックを実行したサインアップの割合
• 4週間後に製品を使用しているユーザーの割合

落とし穴＃2：遅れている指標のみを追跡する

大きな問題は、コンバージョンの目標を達成しているかどうかを確認するのにかかった時間でした。 この製品には30日間の無料トライアルがあり、トライアルの終了後に有料の顧客に変換することが目標でした。そのため、最初の1か月は申し込みの点では良さそうに見えましたが、最終的には、 2か月目には、これらの申し込みのうち、有料の顧客に変換されたものの数。

これは、遅れているメトリックの典型的な例です。 遅延メトリックは、過去の結果を遡及的に報告します。 たとえば、その年の収益数は、他のほとんどの運用指標と同様に遅れている指標です。 結果が出たら、うまくいったかどうかしかわかりません。

製品分析を通じてユーザーの行動を追跡することの真の価値は、最終的な収益の数値を待つ必要があるよりも、以前の指標を探し始めることができるということです。 主要な指標がうまく機能しない場合は、手遅れになる前にコースを修正する機会があります。 これが、私の本の第5章にあるホリスティックメトリクスワンページャーを設計して、顧客の行動と運用メトリクスの両方を含めるようにした理由です。これにより、チームは先行メトリクスと遅延メトリクスの健全な組み合わせを追跡して全体像を把握できます。

最も強力な主要な指標の1つは、アクティベーション指標です。 適切なアクティベーションメトリックは、製品のセットアップまたは使用開始の主要なアクションを実行する顧客の割合を表します。 多くの企業は、ユーザーがオンボーディング中に製品内で特定のアクションを実行すると、製品の真の価値を認識しやすくなり、それが将来のエンゲージメントの向上につながることを理解しています。 このアクティベーションステップを製品の「アハモーメント」に到達すると呼ぶ人もいます。

主要なアクティベーションメトリックの簡単な例を次に示します。

• ソーシャルネットワーク製品：典型的な例は、10日間で最低7人の友達を追加するというFacebookの最初のアクティベーションメトリックでした。
• ダッシュボードアグリゲーション製品：価値提案は、複数のツールを1つのビューにバンドルすることです。そのため、オンボーディング中に少なくとも2つまたは3つのツールを追加したユーザーは、製品の可能性を最大限に発揮できます。
• ユーティリティ製品：価値提案は、CRMでの販売会話の追跡などのタスクを簡素化またはデジタル化することである可能性があります。これにより、アクティベーションメトリックとして、最初の顧客入力をできるだけ早く完了したユーザーの数を追跡できます。
• アテンション製品：製品がエンターテインメントとコンテンツを中心としている場合、サインアップの最初の週に一定量のコンテンツを消費したユーザーを追跡する可能性があります。

ちなみに、遅延メトリックは本質的に悪いものではありません。 実際、これらはレポートの重要な部分であり、特に財務結果などのビジネス指標を測定する場合に重要です。 それらの利点は、それらが最終的な結果、実際の事実を表すことです。

一方、主要なメトリクスには、毎日大量のコールドコールが発生すると、有料ユーザーの数がさらに増えるという仮定など、ある程度の仮定が含まれることがよくあります。 より多くのデータを取得したら、それらの仮定が実際に正しいかどうかをテストする必要がありますが、それでも、アクティベーションメトリックが本当に保持の増加を引き起こしたかどうか、または他の要因がそれに寄与したかどうかについては不確実性があります。

つまり、先行するメトリックは遅れているメトリックほど正確ではありませんが、メトリックから真の洞察を得るには重要です。 これにより、顧客の行動から学び、製品の意思決定を変更して、将来のビジネス成果を向上させるために最適化する可能性のある初期の指標を特定できます。 ホリスティックメトリクスワンページャーテンプレートを使用すると、先行インジケーターと遅延インジケーターの両方を追跡し、それらが互いにどのように影響するかを考える必要があります。

落とし穴＃3：誰も理解していない指標

プロダクトマネージャーにインタビューすると、分析の知識とデータの洞察がオフィスの暗い神秘的な場所に隠されているとよく耳にします。イベント名は、専門性の高い2人のアナリストしか理解できません。 毎月、これらのスペシャリストはさまざまな製品チームと会い、調査結果の一部を共有して翻訳しようとしました。

製品チームと利害関係者がデータを共有して理解し、製品の改善について共同で話し合うようにするには、データの民主化に積極的に取り組み、すべての人がデータにアクセスでき、理解しやすいようにする必要があります。

インターコムは、数年前に大規模なイベントのクリーンアップを行ったことから学んだことを共有しました。 彼らの製品には約350のイベントがあり、そのようなものは次のようになりました。

これはおなじみですか？

インターコムは、分析の主要な原則に失敗したことを共有しました。分析チーム以外の誰にとってもほとんど意味がありませんでした。 彼らは、製品分析データを民主化するための重要なステップとして、読みやすさを向上させるために、すべてのイベントの命名構造全体を再定義および再構築しました。

組織内のさまざまな利害関係者やチームがレポートにアクセスしやすくすることも重要です。 残念ながら、ダッシュボードを開くことを恐れているチームをよく目にします。これは、利害関係者には見栄えがよくない可能性のある真のエンゲージメントまたは買収の数を再び明らかにするためです。 不快な会話や厄介な質問を避けるために、チームが複雑なベニヤの後ろに隠れることはしばしば簡単です。

それをより良くする方法：

• ステップ1：エンジニアリングチームやアナリストと協力して、製品分析イベント名を簡素化します。「完了したオンボーディング」と「追加されたダッシュボードウィジェット」は、誰もが理解できるアクションです。
• ステップ2：分析チームがある場合は、それらを製品チームにより適切に含めます。 アナリストが製品チームが取り組んでいること、テストしている実験、回答する必要のある質問についてのコンテキストが多ければ多いほど、データを掘り下げて最も関連性の高い洞察を見つけるのに役立ちます。 アウトソーシングアプローチではなく、コラボレーションである必要があります。
• ステップ3：分析ダッシュボードとレポートをより広い組織が利用できるようにします。 ダッシュボードには、製品の主要なメトリックが反映されている必要があります（本のホリスティックメトリックワンページャーを使用して定義できます）。 これは、規模（チームが毎日手動のレポート要求で溢れることを望まない）だけでなく、より広い組織内でよりデータ主導の文化を真に構築するために重要です。

「チームがビジネスの状態について尋ねられたとき、彼らはそれを調べに行くか、または架空の推測をすることができます。 コホート、目標到達プロセス、ユーザーイベントなどのカスタムで使いやすいドリルダウンダッシュボードを構築することで、前者をリーダーシップがこれらの要求に対応するための最も簡単でデフォルトの方法にすることが重要です。」

-クリスタル・ウィジャヤ

私たちがデータを採用した仕事は、私たちが行動を起こし、製品体験を向上させることができるように、真実を明らかにすることであることを忘れないでください。 メトリックを理解しやすく、アクセスしやすくすることは、組織の日常の意思決定にデータの洞察を含めるための重要なステップです。 強力な製品組織は、問題がどこにあるかを知ったら、これらの問題を解決するためにこれまで以上に動機付けられる必要があります。

指標チェックリストを使用して指標を改善する方法

データからより多くの洞察を得るのに役立つ、高品質で実用的な指標の主要な特性をまとめた簡単なチェックリストを作成しました。 このチェックリストを使用して、既存のすべてのメトリックを評価および改善します。

主要な指標を正確に把握するには実際の練習が必要であり、多くの場合、詳細に悪魔が存在することに気付くでしょう。 これは絶対に正常なことであり、実際には、選択したメトリックを頻繁に再検討し、それらをより有用にするために数回改良することをお勧めします。

バニティメトリクスを共有する際の落とし穴に注意し、コースを修正する時間がない遅れている指標に焦点を合わせすぎます。また、メトリクスを単純化および民主化して、組織のデータ成熟度を真にレベルアップするようにしてください。