バニティメトリクスとは何ですか？それらの使用を停止する方法
公開: 2022-07-01あなたはとても無駄です（あなたはとても無駄です）
私はあなたがこのメトリックがあなたについてだと思うに違いない
ね？
–カーリー・サイモン
バニティメトリックとは何ですか？
しかし、ある時点で、誰もが良いたよりに魅了され、警戒を怠っています。
みなさん、昨日のユニークユーザー数をチェックしてください！
みなさん、イベントの登録を見てください！
バニティメトリックを批判するのは簡単ですが、私たちは皆そこにいます。
この投稿では、バニティメトリックにつながる3つの一般的な問題について説明します。 次に、バニティメトリックテストを共有します。これは、メトリックを確認し、バニティメトリックの領域に進んでいるかどうかを確認する方法です。 時間が足りず、レビューに直接ジャンプしたい場合は、ここをクリックしてください。
バニティメトリックの問題
バニティメトリックについてチームとチャットしているときに、3つの基本的な問題に気づきました。
- バニティメトリックにはコンテキストがありません。
- バニティメトリックの意図は不明確です。
- バニティメトリックは、アクションと学習をガイドしません。
問題1：バニティメトリックにコンテキストがない
まず、コンテキストが欠落しているという問題があります。 ページビュー、毎日のアクティブユーザー、およびサインアップは何かを意味しますが、単独ではあまり役に立ちません。 問題は、全体像を参照せずにこれらのメトリックを伝達するときに発生します。 それは私たちが言うことではなく、むしろ私たちが言わないことです。たとえば、「比較」、「入力として」、「バランスをとる」、「初期のシグナル」、「…の一部」、「の比率」、「以下の注意事項あり」など。
欠落しているコンテキストはすべての人に影響を与えます。
- マーケティング：短期的にコンテンツの視聴を増やす方法はたくさんあります。 何週間も何年もの間、潜在的な購入者を引き付ける常緑のコンテンツを作成することははるかに困難です。 初期トラフィックを増やすことは前向きな初期のシグナルですが、脚注が必要です。
- 売上高：四半期ごとの売上高目標を達成することは大きな成果です。 さまざまな理由で注目に値します。 しかし、チームはどのようにして目標を達成しましたか？ 彼らは価格設定に屈しましたか？ 彼らは取引を前進させましたか？ 彼らはピーターを奪ってポールに支払いましたか？ より多くのコンテキストが必要です（たとえば、価格設定を前の四半期と比較する）。
- 製品：新機能のリリースは大きなマイルストーンです。 初期の機能採用指標は前向きなシグナルです。 ただし、顧客は必ずしもこの機能を使用しているわけではありません。 彼らはその機能を試しているだけかもしれません。 実際、この機能を試してみることを示唆するアプリ内ポップアップはすべて、好奇心のクリックを増やしている可能性があります。 この機能を試すことは、長期間使用される可能性へのインプットです。
コンテキストが欠落している可能性のある他の例：平均的な購入は増加していますが、注文の返品も増加しています。 コンバージョンは、あなたのバリュープロポジションを表していない広告からの上昇です。 あるチャネルが別のチャネルを共食いしています。 このアプリは、新規ユーザーにとっては簡単ですが、経験豊富なユーザーにとっては難しいものです。 アプリで費やす時間は増えていますが、あなたの目標は人々の時間を節約することです。 人々はより多くのデータを照会していますが、それは彼らが結果を理解するのに苦労しているためです。 顧客はアプリでより積極的になりますが、貴重なネットワーキングではなく時間を無駄にすることにシフトしています。
これらの各例では、コンテキストがすべてであることに注意してください。 カウンターバランス情報が不足しているため、全体像とメトリックがどこに適合するかを理解するのが困難になっています。
周囲の状況に加えて、人々がその理由を理解できるようにする必要があります。
問題2：バニティメトリックの意図が不明確
次に、メトリックの意図について混乱があります。 メトリックの定義は明示的かもしれませんが、私たちが測定しようとしているものは不明確です。 ここでの典型的な例は、再訪問です。 商品が気に入ったので返品しましたか？ それとも、製品が使いづらくて、休憩する必要があったからですか？ または、カスタマーサービスのサポートが必要ですか？
ページビュー、ページ滞在時間、平均セッション継続時間などの多くの従来のウェブ「エンゲージメント」指標は、モバイル前、デバイス交換前、ブラウザタブ前、シングルページアプリ前の時代の名残です。 それらは、当時利用可能なエンゲージメントと価値交換のための最良のプロキシでしたが、現在利用可能な最良の手段ではありません。
私たちが測定しようとしているものと私たちが選択した「プロキシ」との関係は、いくつかの指標で非常に明確です。 またはそう思います！ たとえば、昨夜は8時間眠れたと友達に話しました。 私の友人は私の意図を「ジョンは彼がぐっすり眠ったことを伝えようとしている」と解釈しています。
しかし、睡眠時間は多くの変数の1つにすぎません。 この研究では、レム睡眠、レム睡眠、睡眠の小さな動き、さまざまな睡眠サイクルのタイミング、サイクル数など、睡眠の質を研究するときに使用される約23の睡眠変数について言及しています。死亡率との関連。」 うわぁ！
その著者は、ピッツバーグ睡眠品質指数を紹介し、測定基準の意図を明確に概説しています。
ピッツバーグの睡眠の質の指標は、いくつかの目標を持って開発されました。（1）信頼性が高く、有効で、標準化された睡眠の質の尺度を提供すること。 （2）「良い」寝台車と「悪い」寝台車を区別する。 （3）被験者が使いやすく、臨床医や研究者が解釈しやすい指標を提供する。 （4）睡眠の質に影響を与えるさまざまな睡眠障害の簡単で臨床的に有用な評価を提供すること。
意図を伝えることは重要です。 これらの作成者は、おそらくトレードオフに直面していました。 被験者の使いやすさは、研究者の使いやすさとすぐには等しくない場合があります。 標準化は比較可能性に役立ちますが、多くの場合、コンテキスト要因を減らす必要があります。 評価は「簡単」であり、評価の完了率と評価の深さの間のトレードオフが含まれます。
優れた意図の表明は、基本的なトレードオフと目標をカバーしています。
メトリックの意図を効果的に示すことはどのように見えますか？：
事実を伝える。 理論/洞察を求めて：
これは、過去30日間に発生した停止の数と、過去の期間との比較です。 増加に注意してください。 ここで何が起こっていると思いますか？ 私たちは何を見ていますか？
直接測定できないものの代理として：
North Star Metricは、「忠実なDIY担当者」であり、コミュニティへの参加と組み合わせて、価値の高いDIYプロジェクトアクションを実行したユーザーの数として定義されます。 これは、忠誠心、満足度、およびコミュニティ指向の戦略と一致する方法での製品の使用の組み合わせの代理です。 データは、これが顧客生涯価値の向上とウイルス獲得の主要な指標であることを示唆していますが、（まだ）証明していません。
1）チームが移動でき、2）ビジネスの中期的な成功に貢献する実用的な指標を見つけたいと考えています。
Hex Pistolsは、オンボーディングワークフローの効果を向上させることに焦点を当てます。 ジャグリング行為です。 私たちは人々を急いで通り抜けることができ、成功のために彼らを準備することはできないことを知っています。 または、それを非常に包括的にして、製品が実際に動作しているのを見る可能性を減らすことができます。 私たちの仕事を導くために、プロジェクト共有までの90％パーセンタイル時間を減らすことに焦点を当てます。 プロジェクトの共有は、ユーザーが快適で製品を使用できることを示す初期のシグナルです。
意図は重要です！
問題3：バニティメトリックがアクションと学習をガイドしない
最近TwitterとLinkedInに質問しました。
- 何かがバニティメトリックである場合のテストは何ですか？ （ツイッター）
- メトリックがバニティメトリックであるかどうかをどのように知ることができますか？ （LinkedIn）
最高ランクの「テスト」の1つは、メトリックがアクションと決定をガイドしたかどうかでした。
誰もそれが私たちに示していることに意味のある方法で行動することができないとき。 メトリックの可能な値がない場合、実際に何かを改善するように促されます。 オラバーグ
結果は実用的ではありません。 メトリックが上がるか下がるかに関係なく、私たちは何をするかを変更しません。 クリス・ルカセン
上昇/プラトー/下降が止まったら誰も心配しないとき。 例：「NPSスコアは90です！」 1か月後、「NPSスコアは50です！」 来月。 ハイジ・アトキンソン
行動、決定、そして学習は大きな問題です。
数が増え続け、それが刺激する唯一の行動が全員参加の会議での畝のある額である場合、あなたはおそらくあなたの手に虚栄心の測定基準を持っています。 チームが祝うために指標をカートに入れても、それが下がっても戦略や戦術を変えない場合は、おそらく虚栄心の指標を見ていることになります。
例としては、あまり実用的ではない指標があります。
- 平均セッション長。 上下します。 職業はなんですか？
- 新規ユーザー（マイナス獲得チャネル）。 上下します。 職業はなんですか？
- 新しいフォロワー。 上下します。 職業はなんですか？
ここにはいくつかの注意点があります。
メトリックは意味がありますが、すぐに実行できるわけではありません。
ノーススターワークショップでは、ノーススターメトリックが理想的には少し手の届かないところにあるべきであることを強調します。 これは、さまざまなNorthStar入力に影響を与えるチームの出力です。 実用的なノーススターメトリックが必要ないのはなぜですか？ NSMは、（複数年の時間枠で）持続可能なビジネスパフォーマンスの主要な指標として機能することを意図しています。 ほぼ定義上、それは日常業務から少し離れています。 日常業務とビジネスの成功への有意義なインプットとの間の「架け橋」として機能するインプットが必要です。
North Star Metricを追跡し、それが停止した場合、戦略を再考することを余儀なくされますが、チームはそれに直接影響を与えることを期待して毎朝目を覚ますことはありません。
メトリックは探索的である可能性があります。 どうしたらいいのかまだわかりません。
チームは一般的に「実行可能性」テストを認識していますが、ほとんど問題があります。 彼らは、「魔法の測定基準」またはそれをすべて実行する一連の魔法の測定基準（実用的、予測的、説明的など）を理解するために何ヶ月も費やします。製品リーダーは、測定基準を「所有」するために渡されると深刻なストレスを受けますが、メトリックの動きを「制御」できます。
結果？ チームは、良いニュースを伝えるため、「安全」なバニティメトリックを使用します。 それらは役に立ちませんが、実用的なふりをしないので、羽を波立たせません。 これは欲しくない。
代わりに探索的メトリックを使用してもかまいません。 それらを呼び出すだけです。
不確実性をわずかに減らすことで、行動を促すのに十分かもしれません。
製品の仕事は、不確実な状況下で意思決定を行うことです。 あなたが何かについて100％確信するまであなたが望むなら、あなたは遅すぎる行動をするでしょう。 したがって、私たちがとる行動についてのすべての不確実性を減らす完璧な測定基準を狙うべきではありません。
グッドハートの法則と適切な測定と適切な目標の間の緊張
グッドハートの法則は次のように述べています。
「メジャーがターゲットになると、それは良いメジャーではなくなります。」
これを、バニティメトリクスに関する同僚のAdamGrecoのガイダンスと比較してください。
メトリックが上下しても誰かが昇進または解雇されない場合、それはおそらくバニティメトリックです
ここに緊張/パラドックスがあります。 メトリックがターゲットになり、良い/悪い仕事をしているというシグナルになると、人々はそれが確実に上がるので、それがバニティメトリックになるリスクがあります。 それでも、メトリックが何かを意味すること、つまり、関連性があり、適切なプロキシであり、関連性のある決定を通知することを望んでいます。
グッドハートの法則の例：
- チームが予測可能な機能を出荷するという目標を持っている場合、「予測不可能」に見える可能性のある新しいフィードバックの不承認を処理する可能性は低くなります。
- チームが平均注文サイズを増やすという目標を持っている場合、将来の結果、ブランドの忠誠心などを犠牲にして、平均注文サイズを増やす可能性が高くなります。
- マネージャーが四半期に特定の人数を採用することを目標としている場合、彼らは最良の候補者ではない人を採用する可能性が高くなります。
では、これにより、より効果的なメトリックとより少ないバニティメトリックの使用について何がわかりますか？ まず、意味のある目標とターゲットを選択し、効果的な「ガードレール」を定義して、2次または3次の悪影響を理解する責任があります。 グッドハートの法則を完全に打ち負かすことはできません。つまり、人々があなたが主張するゲームをプレイすることを想定する必要がありますが、チェックとバランスの確立に努めることはできます。
アダムのヒントを使用して、「ここで何に報酬を与えたいのか」と自問することもできます。 業績に責任を持つことは理にかなっています。 しかし、あなたは彼らが恣意的な測定基準と成功の劇場を打つことに基づいて人々を宣伝したくありません。 私はビル・ウォルシュの「スコアはそれ自体を大事にする」という考えを大いに信じています。 ターゲットは前向きな習慣とルーチンを奨励する必要があります。
要約
バニティメトリックに関連する3つの一般的な問題について説明しました。
- バニティメトリックにはコンテキストがありません
- バニティメトリックの意図が不明確
- バニティメトリクスはアクションと学習をガイドしません
指標の効果的な使用には、コンテキストの提供、意図の表明、行動と学習を導く指標の選択が含まれます。 メトリックをポイントして「それはバニティメトリックです」と言うことは、「そのメトリックをバニティメトリックとして使用している」と言うことと同じです。
バニティメトリックテスト
バニティメトリックの使用に寄与するさまざまな問題と、バニティメトリックに関連する問題について説明しました。 次に、メトリックをテストします。
このセクションでは、メトリックの健全で効果的な使用法を説明する10のステートメントを示しこの投稿の前半で検討したテーマ、つまり、コンテキスト、意図、責任ある行動、および学習に気付くでしょう。
各ステートメントについて、次のことをお勧めします。
- プロンプトについてチームと話し合う
- 多様な視点を求める
- 注意が必要なアイテムにフラグを立てる
S1：チームは、メトリックを追跡するための根本的な根拠を理解しています。
ヒント：従業員のオンボーディング計画に指標の方向性を含めます。 Amplitudeのお客様は、ノートブック機能を頻繁に使用して、主要な指標に関するコンテキストを提供します。
S2：必要なコンテキストを追加する関連メトリックと一緒にメトリックを提示します。 単独で提示する場合は、必要な脚注と参照を追加します。
ヒント：プレゼンテーションでのガードレールと関連するメトリックの表示を正規化します。
S3：メトリックを意味のある結果と影響に結び付ける仮説（および仮定）は明確に表現され、利用可能であり、挑戦/議論に開かれています。
ヒント：ツリー図（ドライバーツリー、ノーススターフレームワーク、仮定ツリーなど）と因果関係図を使用して、仮定された因果関係を伝達します。 「ランダムジラチケット」ゲームをプレイすることを検討してください。 Jiraチケットをランダムに選び、そのアイテムから長期的に重要なものまで「木を歩く」ことができますか？
S4：メトリックの計算/定義は、検査可能、チェック可能、および分解可能です。 そのさまざまなコンポーネント、句、機能などを分離できます。 ドメインの知識が豊富な人なら、それがどのように機能するかを理解できます。
ヒント：可能な限り、メトリックを共有して、誰かがその計算方法に「クリック」できるようにします。 たとえば、指標に「7日間で7人以上のユーザーと共有」などのフィルターが含まれている場合、その句を調整して、その数がユーザーの総数とどのように比較されるかを確認できるはずです。 人々がメトリックを再作成できるようにすることで、信頼を構築します。
S5：メトリックは、定期的にレビューおよび議論されるダッシュボード、スコアカード、またはレポートの一部です。 それは健全な精査を生き延びてきました。 メトリックがより探索的でテストされていない場合（または「私は…かどうか興味がありました」）、そのコンテキストは最初から明確です。
ヒント：精査は良いことです。 メトリックに注目できる目が多ければ多いほど、良い結果が得られます。 批判を招く。 質問が出てきたら記録します。 メトリックの各「表示」（たとえば、すべての人または製品のレビュー）を連続して改善します。
S6：チームには、メトリックの変化が何を示しているかについての実用的な理論があります。
ヒント：考えてもらうための基本的なプロンプトは次のとおりです。「この指標の増加は_______のシグナルであり、この指標の減少は_______のシグナルです。」
S7：時間の経過とともに、メトリックは増加する価値と信頼を提供します。 メトリックを使用した結果として生じる特定の決定とアクションを指摘できます（これらのアクションはレビュー可能です）。 会社はそれを追跡し、伝達し続けることに投資するでしょう。
ヒント：メトリックを表示するときに信頼レベルを示し、決定/アクションログを保持します。 最初は100％確実ではないことを正規化し、信頼水準の高い指標の表示と信頼水準の低い新しい候補指標のバランスをとるようにしてください。
S8：チームは、行動の明確なしきい値を設定します（たとえば、「Xを超える場合は、Yを検討する場合があります」）。 メトリックが下がる可能性があります。 そしてそれが下がると、それはおそらく検査/行動を刺激するでしょう。
ヒント：シナリオプランニングワークショップを実施して、指標の動きが将来の行動をどのように決定するかをよりよく理解します。 分析ツールでモニターを設定して、しきい値に達したときに警告します。
S9：メトリックは比較です（時間の経過とともに、同様のメトリックなど）。より広義には、長期間追跡すると、期間間でリンゴとリンゴを比較することができます。
ヒント：比較にもっと目を向けるために、ダッシュボードに期間ごとのビューを含めます。
S10：チームは、メトリックを使用して課題と勝利を伝えます。 勝つだけではありません。
ヒント：リーダーはここでトーンを設定します。 期待どおりに機能しなかった状況と、それを理解するためにデータをどのように使用したかについて話し合います。
概要
バニティメトリクスは、気分を良くするメトリクスですが、より良い仕事をしたり、より良い決定を下したりするのに役立ちません。 バニティメトリクスを使用することを免れる人は誰もいません！ 重要なのは、コンテキストを提供し、使用するメトリックの意図を述べ、メトリック（または複数のメトリック）が推進するアクションと決定を明確にすることです。
意味のある指標を定義するには、NorthStarPlaybookをご覧ください。 ノーススターメトリックと実用的な入力のコンステレーションを確立することは、バニティメトリックの使用を回避するための強力な方法です。
