ما هي مقاييس الغرور وكيفية التوقف عن استخدامها

أنت عبث جدا (أنت عبث جدا)

أراهن أنك تعتقد أن هذا المقياس يتعلق بك

أليس كذلك؟

- كارلي سيمون

ما هي مقاييس الغرور؟

لكن الجميع ، في مرحلة ما ، اجتذبتهم الأخبار السارة وتخلوا عن حذرهم.

مرحبًا بالجميع ، تحقق من عدد المستخدمين الفريد من أمس!

مرحبًا بالجميع ، انظروا إلى التسجيل للحدث!

من السهل انتقاد مقاييس الغرور ، لكننا كنا جميعًا هناك.

في هذا المنشور ، سأصف ثلاث مشاكل شائعة تقودنا إلى مقاييس الغرور. بعد ذلك سوف أشارك The Vanity Metric Test ، وهي طريقة لمراجعة المقاييس ومعرفة ما إذا كنت تنحرف إلى منطقة مقياس الغرور. إذا كان لديك وقت قصير وترغب في الانتقال مباشرة إلى المراجعة ، فانقر هنا.

مشاكل قياس الغرور

أثناء الدردشة مع الفرق حول مقاييس الغرور ، لاحظت ثلاث مشكلات أساسية.

• مقاييس الغرور تفتقر إلى السياق.
• مقاييس الغرور لها نية غير واضحة.
• مقاييس الغرور لا توجه العمل والتعلم.

المشكلة 1: مقاييس الغرور تفتقر إلى السياق

أولاً ، لدينا مشكلة عدم وجود سياق. تعني مشاهدات الصفحة والمستخدمون النشطون يوميًا والاشتراكات شيئًا ما ولكنها ليست مفيدة جدًا بمعزل عن غيرها. تظهر المشاكل عندما ننقل هذه المقاييس دون الرجوع إلى الصورة الأكبر. إنه ليس ما نقوله ، بل ما لا نقوله - على سبيل المثال ، "مقارنة بـ" ، "كمدخل في" ، "موازنة بـ" ، "إشارة مبكرة من" ، "جزء من ..." " نسبة ، "مع التحذيرات التالية ،" وما إلى ذلك.

يؤثر السياق المفقود على الجميع:

• التسويق: هناك العديد من الطرق لتعزيز مشاهدات المحتوى على المدى القصير. من الصعب جدًا إنشاء محتوى دائم الخضرة يجذب المشترين المحتملين لأسابيع وسنوات. يعد الحصول على زيادة في حركة المرور الأولية إشارة إيجابية مبكرة ، ولكنها تحتاج إلى حاشية سفلية.
• المبيعات: يعد تحقيق هدف المبيعات ربع السنوي إنجازًا كبيرًا. إنه جدير بالملاحظة لعدة أسباب. لكن كيف سجل الفريق الهدف؟ هل انحنى على التسعير؟ هل دفعوا الصفقات إلى الأمام؟ هل سرقوا بطرس ليدفعوا لبولس؟ مزيد من السياق مطلوب (على سبيل المثال ، مقارنة الأسعار بأرباع السنة السابقة).
• المنتج: يعد إطلاق ميزة جديدة علامة فارقة كبيرة. تعتبر مقاييس الاعتماد المبكر للميزات إشارة إيجابية. لكن العملاء لا يستخدمون هذه الميزة بالضرورة. ربما كانوا يحاولون هذه الميزة فقط. في الواقع ، قد تؤدي جميع النوافذ المنبثقة داخل التطبيق التي تقترح الأشخاص بتجربة الميزة إلى زيادة نقرات الفضول. تعد تجربة الميزة مدخلاً في احتمالية الاستخدام على المدى الطويل.

أمثلة أخرى للسياق الذي يُحتمل أن يكون مفقودًا: متوسط ​​المشتريات مرتفع ، وكذلك مرتجعات الطلبات. تزداد التحويلات من الإعلانات التي لا تتحدث عن القيمة المقترحة الخاصة بك. تقوم إحدى القنوات بتفكيك قناة أخرى. التطبيق أسهل للمستخدمين الجدد ولكنه أصعب للمستخدمين ذوي الخبرة. انتهى الوقت الذي تقضيه في التطبيق ، لكن هدفك هو توفير وقت الأشخاص. يقوم الأشخاص بالاستعلام عن البيانات أكثر ، ولكن هذا لأنهم يواجهون مشكلة في فهم النتائج. يكون العملاء أكثر نشاطًا في التطبيق ، لكنهم تحولوا إلى إضاعة الوقت بدلاً من الشبكات القيّمة.

لاحظ كيف أن السياق هو كل شيء في كل من هذه الأمثلة. عدم وجود معلومات موازنة يجعل من الصعب فهم الصورة الكبيرة والمكان المناسب للمقياس.

بالإضافة إلى السياق المحيط ، نحتاج إلى التأكد من فهم الناس للسبب .

المشكلة الثانية: مقاييس الغرور لها نية غير واضحة

ثانيًا ، لدينا ارتباك بشأن القصد من المقياس. قد يكون تعريف المقياس واضحًا ، لكن ما نحاول قياسه غير واضح. المثال الكلاسيكي هنا هو عودة الزيارات. هل عدت للمنتج لأنني أحب المنتج؟ أو لأن المنتج كان صعب الاستخدام وكنت بحاجة لأخذ قسط من الراحة؟ أو بحاجة إلى مساعدة خدمة العملاء؟

العديد من مقاييس "المشاركة" على الويب الكلاسيكية ، مثل مشاهدات الصفحة ، والوقت المستغرق في الصفحة ، ومتوسط ​​مدة الجلسة هي بقايا لعلامة تبويب متصفح ما قبل الجوال ، ومبادلة قبل الجهاز ، وعلامة تبويب متصفح ما قبل 30 ، وعصر ما قبل تطبيق صفحة واحدة. لقد كانوا أفضل وكلاء للمشاركة وتبادل القيمة المتاحة في ذلك الوقت ، ولكنها ليست أفضل التدابير المتاحة لدينا الآن.

العلاقة بين ما نحاول قياسه و "الوكيل" الذي اخترناه واضح للغاية مع بعض المقاييس. أو هكذا نعتقد! على سبيل المثال ، أخبرت صديقًا أنني تمكنت من النوم ثماني ساعات الليلة الماضية. يفسر صديقي نيتي على النحو التالي ، "يحاول جون إيصال أنه كان ينام ليلاً جيدًا."

لكن ساعات النوم ليست سوى واحدة من العديد من المتغيرات. تذكر هذه الدراسة حوالي 23 متغيرًا من متغيرات النوم المستخدمة عند دراسة جودة النوم ، بما في ذلك زمن انتقال حركة العين السريعة ، ونوم حركة العين السريعة ، والحركات الصغيرة في النوم ، وتوقيت دورات النوم المختلفة ، وعدد الدورات ، وما إلى ذلك. تشير هذه الدراسة إلى أن مدة النوم قد يكون لها "تأثير مباشر". الارتباط مع معدل الوفيات ". ييكيس!

يقدم مؤلفوه مؤشر جودة النوم في بيتسبرغ ويحددون بوضوح الهدف من المقياس.

تم تطوير مؤشر جودة النوم في بيتسبرغ بأهداف عديدة: (1) لتوفير مقياس موثوق وصالح وموحد لنوعية النوم. (2) للتمييز بين النائمين "الجيدين" و "الفقراء" ؛ (3) توفير فهرس يسهل على الأشخاص استخدامه وتفسيره للأطباء والباحثين ؛ و (4) تقديم تقييم موجز ومفيد سريريًا لمجموعة متنوعة من اضطرابات النوم التي تؤثر على جودة النوم.

توصيل النية أمر بالغ الأهمية. من المحتمل أن هؤلاء المؤلفين واجهوا المفاضلات. سهولة الاستخدام للمواضيع قد لا تساوي على الفور عمق الاستخدام للباحثين. يعتبر التوحيد القياسي مفيدًا في إمكانية المقارنة ولكنه غالبًا ما يتضمن تقليل العوامل السياقية. التقييم "موجز" ، والذي يتضمن مفاضلة بين معدلات إتمام التقييم وعمق التقييم.

بيان كبير للنوايا يغطي المفاضلات والأهداف الأساسية.

كيف يبدو النص على النية المترية بشكل فعال ؟:

نقل الحقائق. البحث عن النظريات / الرؤى:

هذا هو عدد حالات الانقطاع التي حدثت في آخر 30 يومًا وكيف يقارن ذلك بالفترات الماضية. لاحظ الزيادة. ما الذي يحدث هنا ، هل تعتقد؟ ماذا نشاهد؟

كبديل لشيء لا يمكن قياسه بشكل مباشر:

مقياس North Star الخاص بنا هو "Loyal DIYers" ، ويتم تعريفه على أنه عدد المستخدمين الذين نفذوا إجراءات مشروع DIY عالية القيمة جنبًا إلى جنب مع مشاركة مجتمعهم. إنه وكيل لمزيج من الولاء والرضا واستخدام منتجاتنا بطرق تتوافق مع إستراتيجيتنا الموجهة نحو المجتمع. تشير البيانات - لكنها لم تثبت (حتى الآن) - أن هذا مؤشر رئيسي لقيمة عمر العميل الأعلى والاستحواذ الفيروسي.

نريد أن نجد مقياسًا عمليًا بحيث 1) يمكن للفريق التحرك و 2) سيساهم في نجاح الأعمال على المدى المتوسط.

ستركز مسدسات Hex على تحسين فعالية سير العمل الداخلي. إنه عمل شعوذة. نحن نعلم أنه يمكننا تسريع الناس وعدم إعدادهم لتحقيق النجاح. أو يمكننا جعلها شاملة للغاية ، مما يقلل من احتمالية رؤيتهم للمنتج أثناء العمل. لتوجيه عملنا ، سنركز على تقليل الوقت المئوي 90٪ لمشاركة المشروع. تعد مشاركة المشروع إشارة مبكرة إلى أن المستخدمين مرتاحون وقادرون على استخدام المنتج.

النية مهمة!

المشكلة 3: مقاييس الغرور لا توجه العمل والتعلم

لقد سألت مؤخرًا Twitter و LinkedIn:

• ما هو اختبارك عندما يكون هناك شيء ما هو مقياس الغرور؟ (تويتر)
• كيف تعرف أن المقياس هو مقياس الغرور؟ (ينكدين)

كان أحد "الاختبارات" ذات التصنيف الأعلى هو ما إذا كانت الإجراءات والقرارات الموجهة بالمقياس أم لا.

عندما لا يستطيع أحد أن يتصرف بطريقة ذات مغزى على ما يظهر لنا. عندما لا تدفعنا أي قيمة محتملة للمقياس إلى تحسين أي شيء فعليًا. علا بيرج

النتيجة غير قابلة للتنفيذ. بغض النظر عما إذا كان المقياس يرتفع أم ينخفض ​​، فإننا لا نغير ما نقوم به. كريس لوكاسين

عندما لا يشعر أحد بالقلق إذا توقف عن الارتفاع / الهضاب / أو الانحدار. على سبيل المثال: "درجة NPS لدينا هي 90!" شهر واحد متبوعًا بـ "درجة NPS لدينا هي 50!" الشهر القادم. هايدي أتكينسون

العمل والقرارات والتعلم هي مشكلة كبيرة.

إذا استمر الرقم في الارتفاع ، وكان الإجراء الوحيد الذي يلهمه هو حاجب مجعد في اجتماع شامل ، فمن المحتمل أن يكون لديك مقياس الغرور بين يديك. إذا قام فريق بسحب مقياس للاحتفال ، ولكن عندما ينخفض ​​، لا يغيرون إستراتيجيتهم أو تكتيكاتهم ، فمن المحتمل أنك تنظر إلى مقياس الغرور.

تشمل الأمثلة المقاييس غير القابلة للتنفيذ:

• متوسط ​​مدة الجلسة. ترتفع أو تنخفض. ماذا تفعل؟
• المستخدمون الجدد (باستثناء قناة الاكتساب). ترتفع أو تنخفض. ماذا تفعل؟
• متابعين جدد. ترتفع أو تنخفض. ماذا تفعل؟

هناك نوعان من المحاذير هنا.

يمكن أن يكون المقياس ذا مغزى ولكن ليس قابلاً للتنفيذ على الفور.

في ورش عمل North Star الخاصة بنا ، نشدد على أن مقياس North Star يجب أن يكون بعيد المنال قليلاً. إنه ناتج الفرق التي تؤثر على مدخلات North Star المختلفة. لماذا لا تريد مقياس نجم الشمال القابل للتنفيذ؟ تعتزم NSM العمل كمؤشر رائد لأداء الأعمال المستدام (في الإطار الزمني متعدد السنوات). بحكم التعريف تقريبًا ، سيكون بعيدًا بعض الشيء عن العمل اليومي. نحن بحاجة إلى مدخلات لتكون بمثابة "جسر" بين العمل اليومي وتلك المدخلات المفيدة في نجاح الأعمال.

نحن نتتبع North Star Metric الخاص بنا ، وإذا توقف ، فسوف يجبرنا على إعادة النظر في استراتيجيتنا ، لكن الفريق لا يستيقظ كل صباح على أمل التأثير فيه بشكل مباشر.

يمكن أن يكون المقياس استكشافيًا. لا نعرف حتى الآن ماذا نفعل به.

تدرك الفرق عمومًا اختبار "القابلية للتنفيذ" ، ولكنها تقترب من الخطأ. سيقضون شهورًا وشهورًا في محاولة اكتشاف "مقياس سحري" أو مجموعة من المقاييس السحرية التي تفعل كل شيء - قابلة للتنفيذ ، وقابلة للتنبؤ ، وتفسيرية ، إلخ. يمكنهم "التحكم" في حركات المقياس.

النتائج؟ تستخدم الفرق مقاييس الغرور "الآمنة" لأنها تنقل الأخبار الجيدة. إنها ليست مفيدة ، لكنهم لا يتظاهرون بقدرتهم على اتخاذ إجراء ، لذلك لا يزعجون أي ريش. لا نريد هذا.

من المقبول استخدام المقاييس الاستكشافية بدلاً من ذلك. فقط اتصل بهم.

قد يكون الانخفاض الطفيف في عدم اليقين كافياً للحث على العمل.

يدور عمل المنتج حول اتخاذ القرارات في ظل ظروف عدم اليقين. إذا كنت تريد حتى تكون متأكدًا بنسبة 100٪ بشأن شيء ما ، فسوف تتصرف بعد فوات الأوان. لذلك ، لا ينبغي لنا البحث عن مقاييس مثالية تقلل من عدم اليقين بشأن الإجراءات التي نتخذها.

قانون جودهارت والتوتر بين القياس الجيد والأهداف الجيدة

ينص قانون جودهارت على ما يلي:

"عندما يصبح المقياس هدفًا ، يتوقف عن كونه مقياسًا جيدًا".

قارن هذا مع إرشادات زميلي في العمل آدم جريكو حول مقاييس الغرور:

إذا لم تتم ترقية شخص ما أو طرده إذا ارتفع المقياس أو انخفض ، فمن المحتمل أن يكون مقياسًا للغرور

هنا لدينا توتر / مفارقة. بمجرد أن يصبح المقياس هدفًا ويصبح إشارة للقيام بعمل جيد / سيئ ، فإنك تخاطر بأن يصبح مقياسًا للغرور لأن الناس سيتأكدون من ارتفاعه. ومع ذلك ، نريد أن تعني مقاييسنا شيئًا ما - أن تكون ذات صلة ، وأن تكون وكلاء جيدين ، وأن تسترشد بالقرارات ذات الصلة.

أمثلة على قانون جودهارت:

• إذا كان لدى الفريق هدف خاص بميزات الشحن التي يمكن التنبؤ بها ، فسيقل احتمال معالجتهم للتعليقات الجديدة غير المؤكدة التي قد تبدو "غير متوقعة".
• إذا كان لدى الفريق هدف لزيادة متوسط ​​حجم الطلب ، فمن المرجح أن يزيدوا متوسط ​​حجم الطلب على حساب النتائج المستقبلية ، والولاء للعلامة التجارية ، وما إلى ذلك.
• إذا كان لدى المدير هدف لتوظيف عدد معين من الأشخاص في ربع سنة ، فمن المرجح أن يقوم بتوظيف شخص ليس هو أفضل مرشح.

إذن ما الذي يمكن أن يخبرنا به هذا عن استخدام مقاييس أكثر فاعلية ومقاييس أقل للغرور؟ أولًا مسؤول عن اختيار الأهداف والغايات ذات المغزى وتحديد "حواجز الحماية" الفعالة لفهم أي تأثيرات سلبية من الدرجة الثانية أو الثالثة. لا يمكننا هزيمة قانون جودهارت تمامًا - عليك أن تفترض أن الناس سيلعبون اللعبة التي تصر عليهم على لعبها - ولكن يمكننا أن نسعى جاهدين لإنشاء ضوابط وتوازنات.

باستخدام نصيحة آدم ، يمكنك أيضًا أن تسأل نفسك ، "ماذا نريد أن نكافئ هنا؟" أن تكون مسؤولاً عن نتائج الأعمال أمر منطقي. لكنك لا ترغب في ترقية الأشخاص بناءً على ضربهم للمقاييس التعسفية ومسرح النجاح. أنا من أشد المؤمنين بفكرة بيل والش عن أن النتيجة تهتم بنفسها. يجب أن تشجع الأهداف العادات والروتينات الإيجابية.

خلاصة

وصفنا ثلاث مشاكل شائعة مرتبطة بمقاييس الغرور:

• مقاييس الغرور تفتقر إلى السياق
• مقاييس الغرور لها نية غير واضحة
• مقاييس الغرور لا توجه العمل والتعلم

يتضمن الاستخدام الفعال للمقاييس توفير السياق ، وتوضيح نيتك ، واختيار المقاييس التي توجه العمل والتعلم. إن الإشارة إلى أحد المقاييس والقول "هذا مقياس للغرور" يعادل القول "إنك تستخدم هذا المقياس كمقياس للغرور".

اختبار الغرور متري

لقد ناقشنا العديد من المشكلات التي تساهم في استخدام مقاييس الغرور والمشكلات المرتبطة بمقاييس الغرور. حان الوقت الآن لاختبار مقاييسك.

في هذا القسم ، نقدم عشر عبارات تصف الاستخدام ستلاحظ الموضوعات التي استكشفناها سابقًا في هذا المنشور: السياق والنية والعمل المسؤول والتعلم.

لكل بيان ، نقترح عليك:

1. ناقش الموجه مع فريقك
2. ابحث عن وجهات نظر متنوعة
3. ضع علامة على العناصر التي تحتاج إلى عناية

S1: يفهم الفريق الأساس المنطقي لتتبع المقياس.

نصيحة: قم بتضمين اتجاه المقاييس في خطة إعداد الموظف. يستخدم عملاء Amplitude ميزة أجهزة الكمبيوتر المحمولة الخاصة بنا بشكل متكرر لتوفير سياق حول المقاييس الرئيسية.

S2: نقدم المقياس جنبًا إلى جنب مع المقاييس ذات الصلة التي تضيف السياق الضروري. عند تقديمنا بشكل منفصل ، نضيف الهوامش والمراجع المطلوبة.

نصيحة: تطبيع عرض الدرابزين والمقاييس ذات الصلة في العروض التقديمية.

S3: الفرضيات (والافتراضات) التي تربط المقياس بنتائج وتأثيرات ذات مغزى موضحة بوضوح ومتاحة ومفتوحة للتحدي / المناقشة.

نصيحة: استخدم المخططات الشجرية (أشجار المحرك ، وإطار نجم الشمال ، وأشجار الافتراض ، وما إلى ذلك) ومخططات العلاقة السببية لتوصيل العلاقات السببية المفترضة. فكر في لعب لعبة "Random Jira Ticket". هل يمكنك اختيار تذكرة Jira بشكل عشوائي و "السير في الشجرة" من هذا العنصر إلى شيء مهم على المدى الطويل؟

S4: حساب / تعريف المقياس قابل للفحص والتحقق والتحلل. يمكن فصل مكوناتها وشروطها وميزاتها المختلفة وما إلى ذلك. يمكن لأي شخص لديه معرفة جيدة بالمجال أن يفهم كيف يعمل.

نصيحة: كلما أمكن ، شارك المقياس بحيث يمكن لأي شخص "النقر فوق" لمعرفة كيفية حسابه. على سبيل المثال ، إذا كان المقياس يتضمن مرشحًا مثل "تمت مشاركته مع أكثر من 7 مستخدمين في 7 أيام" ، فمن الممكن تعديل هذه الفقرة ومعرفة كيفية مقارنة هذا الرقم بإجمالي عدد المستخدمين. بناء الثقة من خلال تمكين الناس من إعادة إنشاء المقياس.

S5: المقياس جزء من لوحة معلومات أو بطاقة أداء أو تقرير يتم مراجعتها ومناقشتها بانتظام. لقد نجا من التدقيق الصحي. إذا كان المقياس أكثر استكشافية ولم يتم اختباره (أو "كنت أشعر بالفضول بشأن ...") ، فهذا السياق واضح منذ البداية.

نصيحة: التدقيق أمر جيد. كلما زاد عدد العيون التي يمكنك الحصول عليها على مقياس ، كان ذلك أفضل. ادعُ النقد. سجل الأسئلة فور ظهورها. اجعل كل "عرض" للمقياس (على سبيل المثال ، في جميع الأيدي أو مراجعة المنتج) أفضل على التوالي.

S6: لدى الفريق نظرية عمل حول ما تشير إليه التغييرات في المقياس.

نصيحة: إليك مطالبة أساسية تجعلك تفكر: "الزيادة في هذا المقياس هي إشارة إلى _______ ، والنقصان في هذا المقياس هو إشارة إلى _______".

S7: بمرور الوقت ، يوفر المقياس قيمة وثقة متزايدة. يمكننا الإشارة إلى قرارات وإجراءات محددة ناتجة عن استخدام المقياس (وهذه الإجراءات قابلة للمراجعة). ستستثمر الشركة في متابعة تتبعها وإبلاغها.

نصيحة: حدد مستويات الثقة عند عرض المقاييس واحتفظ بسجل للقرار / الإجراء. حاول تطبيع عدم التأكد بنسبة 100٪ في البداية وتحقيق التوازن بين عرض المقاييس بمستويات ثقة عالية مع مقاييس مرشح جديدة بمستويات ثقة أقل.

S8: يضع الفريق حدودًا واضحة للعمل (على سبيل المثال ، "إذا تجاوزت X ، فيمكننا اعتبارها Y"). يمكن أن ينخفض ​​المقياس. وإذا تعطل ، فمن المحتمل أن يلهم التفتيش / العمل.

نصيحة: قم بإجراء ورشة عمل لتخطيط السيناريو لفهم أفضل لكيفية تأثير الحركات في المقياس على السلوك المستقبلي. عيِّن الشاشات في أداة التحليلات الخاصة بك لتحذيرك عندما تصل إلى الحد الأدنى.

S9: المقياس مقارن (بمرور الوقت ، مقابل المقاييس المماثلة ، وما إلى ذلك) بشكل أوسع ، إذا كنت تتبعه لفترة طويلة ، فمن الممكن إجراء مقارنات بين التفاح مقابل التفاح بين الفترات.

نصيحة: قم بتضمين الفترة الزمنية على عروض الفترة في لوحات المعلومات للحصول على مزيد من الانتباه على المقارنات.

S10: يستخدم الفريق المقياس للتعبير عن التحديات والفوز. لا يفوز فقط.

نصيحة: حدد القادة الأسلوب هنا. ناقش المواقف التي لم تنجح كما توقعت وكيف استخدمت البيانات لمعرفة ذلك.

ملخص

مقاييس الغرور هي مقاييس تجعلنا نشعر بالرضا ، ولكنها لا تساعدنا على القيام بعمل أفضل أو اتخاذ قرارات أفضل. لا أحد محصن من استخدام مقاييس الغرور! المفتاح هو التأكد من توفير السياق ، وتحديد الغرض من المقاييس التي تستخدمها ، وتوضيح الإجراءات والقرارات التي سيقودها المقياس (أو المقاييس).

لتحديد مقاييس ذات مغزى ، تحقق من North Star Playbook. يعد إنشاء مقياس نجم الشمال ومجموعة من المدخلات القابلة للتنفيذ طريقة قوية لتجنب استخدام مقاييس الغرور.