3 ข้อผิดพลาดเกี่ยวกับเมตริกผลิตภัณฑ์ที่คุณต้องหลีกเลี่ยง

ในหนังสือ ของ ฉัน The Insights Driven Product Manager ฉันอธิบายว่าเหตุใดการติดตามให้น้อยลงจึงสำคัญ เพื่อสร้างจุดสนใจมากขึ้น และใช้เวลามากขึ้นในการดึงข้อมูลเชิงลึกที่แท้จริงจากข้อมูลของคุณ

ขั้นตอนต่อไปคือต้องแน่ใจว่าคุณติดตามสิ่งที่ผมเรียกว่า "เมตริกคุณภาพดี" ในระดับสำคัญ โพสต์นี้—ข้อความที่ตัดตอนมาจากบทที่ 7 ในหนังสือของฉัน—จะเน้นไปที่วิธีปรับปรุงคุณภาพโดยรวมของตัววัดของคุณ วิธีทำให้มันใช้งานได้จริงมากขึ้น และข้อผิดพลาดที่ควรหลีกเลี่ยง

หลุมพราง #1: เมตริกโต๊ะเครื่องแป้ง

เมื่อสองสามปีก่อน ฉันกำลังทำงานกับผลิตภัณฑ์ B2B SaaS เพื่อจัดการสภาพแวดล้อมในสำนักงาน เราเพิ่งเปิดตัวผลิตภัณฑ์และเริ่มใช้งานแคมเปญโฆษณาแบบชำระเงินครั้งแรกของเรา ดังนั้นฉันจึงตั้งค่าแดชบอร์ดที่ติดตามจำนวนการลงชื่อสมัครใช้ทั้งหมดในช่วง 30 วัน:

ตัวเลขดูเหมือนจะเพิ่มขึ้น ดังนั้นเราจึงค่อนข้างพอใจกับโมเมนตัม

ปัญหาคือแม้ว่ากราฟนี้จะดูดีในการนำเสนอ แต่ความจริงที่ยากก็คือมีเพียง 4% ของการลงชื่อสมัครใช้ใหม่เท่านั้นที่เปลี่ยนเป็น Conversion และรายได้จริง ดังนั้นเราจึงไม่บรรลุเป้าหมายรายได้ที่เกิดซ้ำทุกเดือนของเรา

เป็นแผนภูมิสะสม ดังนั้นกรณีที่เลวร้ายที่สุดคือกราฟจะราบเรียบหากเราไม่ได้รับผู้ใช้ใหม่ แต่จำนวนนี้ไม่เคยลดลง เป็นตัวอย่างคลาสสิกของเมตริกโต๊ะเครื่องแป้ง:

• การดูกราฟนี้ทำให้เรารู้สึกดี
• เมตริกนี้มีประโยชน์อย่างยิ่งในการนำเสนอของผู้มีส่วนได้ส่วนเสีย
• ไม่ได้ให้ข้อมูลเชิงลึกใดๆ ว่าเราทำได้ดีจริงหรือไม่
• เนื่องจากไม่ได้ให้ข้อมูลเชิงลึกใดๆ แก่เรา จึงไม่ได้ผลักดันให้เราดำเนินการปรับปรุงผลิตภัณฑ์หรือคุณลักษณะแต่อย่างใด
• และถึงแม้จะดูเมตริกนี้ทุกวัน แต่เราต้องใช้เวลาสองเดือน (เมื่อการทดลองใช้ 30 วันสิ้นสุดและเลิกใช้) เพื่อค้นหาว่ามีปัญหา

ในขณะที่ปัญหาส่วนหนึ่งคือการขาดความรู้เกี่ยวกับวิธีการวัดเมตริกที่ดีขึ้นในขณะนั้น ปัญหาในองค์กรมักอยู่ลึกกว่ามาก: ทีมหรือผู้มีส่วนได้ส่วนเสียส่วนใหญ่ไม่พร้อมที่จะได้ยินความจริงจากตัววัดของพวกเขา ดังนั้นเราจึงมอง สำหรับตัวเลขที่ทำให้เราดูดี

ในการสัมภาษณ์ของฉันกับ Crystal Widjaja, CPO ที่ Kumu และนักเขียนของ Reforge เธอสรุปได้อย่างสวยงามถึงวิธีการดูข้อมูลเป็นวิธีการใช้ประโยชน์จากความล้มเหลวและขับเคลื่อนการปรับปรุงแทน:

“เมื่อมีคนทำผิดพลาด (การทดสอบล้มเหลว การใช้งานที่ล้มเหลว ฯลฯ) คุณได้จ่ายค่าใช้จ่ายนั้นไปแล้ว เราควรคิดว่าข้อมูลเป็นวิธีใช้ประโยชน์จากความผิดพลาดและเรียนรู้จากความผิดพลาดเหล่านั้น แทนที่จะ 'จ่ายค่าเล่าเรียนเกี่ยวกับความล้มเหลว' และไล่ออกจากแต่ละบุคคล ให้ใช้ข้อมูลเชิงลึกเพื่อบอกเราว่าเหตุใดจึงเป็นความล้มเหลว เรียนรู้จากมัน และใช้ประโยชน์จากการทำซ้ำครั้งต่อไปให้ดีขึ้นกว่าครั้งแรกถึง 10 เท่า”

– คริสตัล วิจาจา

ในการรับข้อมูลเชิงลึกเพิ่มเติมจากข้อมูลของคุณ คุณต้องหยุดติดตามตัววัดความไร้สาระ และใช้ข้อมูลเพื่อค้นหาความจริงและผลักดันให้เกิดการปรับปรุงจริงแทน หากคุณมองอย่างใกล้ชิด บ่อยครั้งที่ทีมแสดงเมตริกที่เลือกสรรมาอย่างดีเพื่อเอาใจผู้มีส่วนได้ส่วนเสียบางรายหรือทำให้ตัวเลขฟังดูดีกว่าที่เป็นจริงบ่อยครั้ง ระวังตัวอย่างคลาสสิกอื่นๆ ของเมตริก vanity เช่น:

• จำนวนการดูเพจหรือผู้เข้าชม
• จำนวนผู้ติดตาม/ไลค์
• เวลาที่ใช้ในไซต์ (ระยะเวลาเซสชัน)
• จำนวนการดาวน์โหลด

เมตริก เช่น การดูหน้าเว็บและระยะเวลาเซสชันยังคงถูกใช้อย่างหนักในการวิเคราะห์เว็บไซต์ โดยมุ่งเน้นที่การวัดการเข้าชม การรับรู้ และการมีส่วนร่วมในเบื้องต้น พวกเขาให้ข้อมูลเชิงลึกเกี่ยวกับสิ่งที่เราเรียกว่าจุดสูงสุดของกระบวนการ—การได้มาซึ่งลูกค้าครั้งแรก—แต่ไม่ใช่ว่าลูกค้าจะเปิดใช้งานและมีส่วนร่วมกับผลิตภัณฑ์จริงหรือไม่ ซึ่งจะมีความเกี่ยวข้องที่มีความหมายมากขึ้นกับผลิตภัณฑ์และเป้าหมายทางธุรกิจในวงกว้างของคุณ

ทำอย่างไรให้ดีขึ้น: เพื่อให้เข้าใจจริงๆ ว่าเมตริกดีหรือไม่ดี เราต้องใส่ตัวเลขลงในบริบท อย่างน้อยที่สุด คุณต้องการลองเปรียบเทียบตัวเลขในช่วงเวลาต่างๆ เช่น การเปรียบเทียบหมายเลขการสมัครของคุณในเดือนนี้กับเดือนก่อนหน้า

อีกวิธีที่มีประสิทธิภาพในการทำให้เมตริกมีประโยชน์มากขึ้นคือการใช้อัตราส่วนแทนจำนวนทั้งหมด อัตราส่วนเป็นการเปรียบเทียบโดยเนื้อแท้ ตัวอย่างเช่น นักบัญชีไม่ได้ดูแค่รายได้รวม แต่โดยทั่วไปแล้วจะเปรียบเทียบต้นทุนในการผลิตสินค้ากับยอดขายที่พวกเขาทำ วิธีนี้นักบัญชีสามารถติดตามอัตรากำไรของตน (ตัวอย่างที่ดีของอัตราส่วนที่มีประโยชน์) เมื่อเวลาผ่านไปเพื่อประเมินว่าธุรกิจมีสุขภาพที่ดีหรือไม่

ตัวอย่างของเมตริกที่ดีกว่าและเปรียบเทียบได้มากกว่า:

• % ของการสมัครต่อช่องทางการได้มา
• % ของการลงทะเบียนที่เสร็จสิ้นขั้นตอนการลงทะเบียนเต็มรูปแบบ
• % ของการลงชื่อสมัครใช้ที่ดำเนินการเมตริกการเปิดใช้งานคีย์
• % ของผู้ใช้ที่ใช้ผลิตภัณฑ์หลัง 4 สัปดาห์

หลุมพราง #2: เฉพาะการติดตามตัวชี้วัดที่ล้าหลัง

ปัญหาใหญ่คือระยะเวลาที่เราต้องใช้เพื่อค้นหาว่าเราบรรลุเป้าหมาย Conversion หรือไม่ (หรือไม่) ผลิตภัณฑ์มีการทดลองใช้ฟรี 30 วัน และเป้าหมายของเราคือเปลี่ยนให้เป็นลูกค้าที่ชำระเงินหลังจากสิ้นสุดช่วงทดลองใช้งาน ดังนั้นแม้ว่าเดือนแรกจะดูดีในแง่ของการลงชื่อสมัครใช้ แต่ท้ายที่สุดแล้ว เราจะทราบได้เพียงช่วงท้ายของ เดือนที่สอง จำนวนการสมัครที่แปลงเป็นลูกค้าที่ชำระเงิน

นี่เป็นตัวอย่างคลาสสิกของเมตริกที่ล้าหลัง ตัวชี้วัดที่ล้าหลังจะรายงานผลย้อนหลังย้อนหลัง ตัวอย่างเช่น ตัวเลขรายได้ของคุณสำหรับปีนั้นเป็นตัวชี้วัดที่ล้าหลัง เช่นเดียวกับตัวชี้วัดการดำเนินงานอื่นๆ ส่วนใหญ่ของคุณ คุณจะรู้แค่ว่าคุณทำได้ดีหรือไม่เมื่อคุณได้ผล

คุณค่าที่แท้จริงในการติดตามพฤติกรรมผู้ใช้ผ่านการวิเคราะห์ผลิตภัณฑ์ของคุณคือ คุณสามารถเริ่มมองหาตัวบ่งชี้ก่อนหน้านี้ แทนที่จะต้องรอตัวเลขรายได้สุดท้ายของคุณ หากตัวชี้วัดชั้นนำของคุณทำงานได้ไม่ดี คุณมีโอกาสที่จะแก้ไขหลักสูตรก่อนที่จะสายเกินไป นี่คือเหตุผลที่ฉันออกแบบ Holistic Metrics One Pager ในบทที่ 5 ของหนังสือของฉันให้รวมทั้งพฤติกรรมของลูกค้าและตัวชี้วัดการดำเนินงาน เพื่อให้ทีมสามารถติดตามการผสมผสานที่ดีของตัวชี้วัดชั้นนำและตัววัดที่ล้าหลังเพื่อให้ได้ภาพรวมที่สมบูรณ์

เมตริกชั้นนำที่มีประสิทธิภาพมากที่สุดตัวหนึ่งคือเมตริกการเปิดใช้งาน เมตริกการเปิดใช้งานที่ดีแสดงถึงเปอร์เซ็นต์ของลูกค้าที่ดำเนินการหลักในการตั้งค่าหรือเริ่มใช้ผลิตภัณฑ์ หลายบริษัทพบว่าหากผู้ใช้ดำเนินการบางอย่างภายในผลิตภัณฑ์ของตนในระหว่างการเริ่มต้นใช้งาน พวกเขามักจะตระหนักถึงคุณค่าที่แท้จริงของผลิตภัณฑ์ซึ่งนำไปสู่การมีส่วนร่วมที่สูงขึ้นในระยะต่อไป บางคนเรียกขั้นตอนการเปิดใช้งานนี้ถึง "ช่วงเวลา aha" ในผลิตภัณฑ์ของตน

ต่อไปนี้คือตัวอย่างง่ายๆ ของเมตริกการเปิดใช้งานชั้นนำ:

• ผลิตภัณฑ์เครือข่ายสังคม: ตัวอย่างคลาสสิกคือเมตริกการเปิดใช้งานครั้งแรกของ Facebook ในการเพิ่มเพื่อนอย่างน้อยเจ็ดคนใน 10 วัน
• ผลิตภัณฑ์การรวมแดชบอร์ด: ข้อเสนอที่คุ้มค่าคือการรวมเครื่องมือหลายอย่างไว้ในมุมมองเดียว ดังนั้นคุณอาจพบว่าผู้ใช้ที่เพิ่มเครื่องมืออย่างน้อยสองหรือสามเครื่องมือในระหว่างการเริ่มต้นใช้งานจะตระหนักถึงศักยภาพสูงสุดของผลิตภัณฑ์
• ผลิตภัณฑ์อรรถประโยชน์: คุณค่าของคุณอาจเป็นการทำให้งานง่ายขึ้นหรือแปลงเป็นดิจิทัล เช่น การติดตามการสนทนาด้านการขายใน CRM ดังนั้นคุณจึงสามารถติดตามจำนวนผู้ใช้ที่กรอกรายการลูกค้ารายแรกของตนให้เสร็จสิ้นได้โดยเร็วที่สุดเป็นเมตริกการเปิดใช้งาน
• ผลิตภัณฑ์เตือนความจำ: หากผลิตภัณฑ์ของคุณเน้นที่ความบันเทิงและเนื้อหา คุณอาจติดตามผู้ใช้ที่บริโภคเนื้อหาจำนวนหนึ่งในช่วงสัปดาห์แรกของการลงทะเบียน

ตัวชี้วัดที่ล้าหลังนั้นไม่ได้เลวร้ายโดยเนื้อแท้ อันที่จริงแล้ว สิ่งเหล่านี้เป็นส่วนสำคัญในการรายงาน โดยเฉพาะอย่างยิ่งสำหรับการวัดเมตริกทางธุรกิจ เช่น ผลลัพธ์ทางการเงินของคุณ ข้อได้เปรียบของพวกเขาคือแสดงถึงผลลัพธ์สุดท้าย ข้อเท็จจริงที่แท้จริง

ในทางกลับกัน ตัวชี้วัดชั้นนำมักจะรวมสมมติฐานจำนวนหนึ่ง เช่น การสันนิษฐานว่าการโทรเย็นจำนวนมากทุกวันจะเพิ่มจำนวนผู้ใช้ที่จ่ายเงินให้มากขึ้น เมื่อคุณได้รับข้อมูลเพิ่มเติม คุณควรทดสอบว่าสมมติฐานเหล่านั้นเป็นจริงหรือไม่ แต่ถึงกระนั้นก็ยังมีความไม่แน่นอนอยู่บ้างว่าเมตริกการเปิดใช้งานทำให้การรักษาผู้ใช้เพิ่มขึ้นจริงหรือไม่ หรือปัจจัยอื่นๆ มีส่วนทำให้เกิดการเก็บข้อมูลดังกล่าวหรือไม่

ซึ่งหมายความว่าเมตริกชั้นนำจะไม่มีวันแม่นยำเท่ากับเมตริกที่ล้าหลัง แต่มีความสำคัญอย่างยิ่งต่อการได้รับข้อมูลเชิงลึกที่แท้จริงจากเมตริกของคุณ ช่วยให้เราเรียนรู้จากพฤติกรรมของลูกค้าและระบุตัวบ่งชี้เบื้องต้นที่อาจเปลี่ยนการตัดสินใจผลิตภัณฑ์ของเราเพื่อเพิ่มประสิทธิภาพเพื่อผลลัพธ์ทางธุรกิจที่ดีขึ้นในระยะต่อไป การใช้เทมเพลต Holistic Metrics One Pager บังคับให้คุณติดตามทั้งตัวบ่งชี้ที่นำหน้าและตัวบ่งชี้ที่ล้าหลัง ตลอดจนคิดว่าสิ่งเหล่านี้มีอิทธิพลต่อกันและกันอย่างไร

หลุมพราง #3: เมตริกที่ไม่มีใครเข้าใจ

เมื่อฉันสัมภาษณ์ผู้จัดการผลิตภัณฑ์ ฉันมักจะได้ยินว่าความรู้ด้านการวิเคราะห์และข้อมูลเชิงลึกถูกซ่อนเร้นอยู่ในมุมลึกลับที่มืดมิดของสำนักงาน ด้วยชื่อกิจกรรมที่ไม่มีใครนอกจากนักวิเคราะห์ที่เชี่ยวชาญเป็นพิเศษสองคนเท่านั้นที่เข้าใจ ทุกเดือนผู้เชี่ยวชาญเหล่านี้จะพบกับทีมผลิตภัณฑ์ต่างๆ เพื่อพยายามแบ่งปันและแปลสิ่งที่ค้นพบบางส่วนของพวกเขา

หากเราต้องการให้ทีมผลิตภัณฑ์และผู้มีส่วนได้ส่วนเสียสร้างความเข้าใจร่วมกันในข้อมูลของเรา และหารือเกี่ยวกับการปรับปรุงผลิตภัณฑ์ร่วมกัน เราต้องทำงานอย่างแข็งขันเพื่อทำให้ข้อมูลของเราเป็นประชาธิปไตย ตรวจสอบให้แน่ใจว่าทุกคนสามารถเข้าถึงเมตริกของเราและเข้าใจง่าย

อินเตอร์คอมแบ่งปันการเรียนรู้ของพวกเขาจากการทำกิจกรรมครั้งใหญ่เมื่อไม่กี่ปีที่ผ่านมา พวกเขามีงานประมาณ 350 งานสำหรับผลิตภัณฑ์ของพวกเขาที่มีลักษณะดังนี้:

นี้ดูคุ้นเคยกับคุณ?

อินเตอร์คอมบอกว่าพวกเขาล้มเหลวในหลักการสำคัญของการวิเคราะห์: พวกเขาไม่ค่อยเข้าใจใครเลยนอกจากทีมวิเคราะห์ พวกเขากำหนดและสร้างโครงสร้างการตั้งชื่อใหม่ทั้งหมดสำหรับกิจกรรมทั้งหมดเพื่อให้อ่านได้ง่ายขึ้นซึ่งเป็นขั้นตอนสำคัญในการทำให้ข้อมูลการวิเคราะห์ผลิตภัณฑ์ของตนเป็นประชาธิปไตย

สิ่งสำคัญคือต้องทำให้รายงานสามารถเข้าถึงได้มากขึ้นสำหรับผู้มีส่วนได้ส่วนเสียและทีมต่างๆ ในองค์กร น่าเสียดายที่ฉันมักจะเห็นทีมต่างๆ กลัวที่จะเปิดแดชบอร์ด เพราะจะทำให้เปิดเผยตัวเลขการมีส่วนร่วมหรือการเข้าซื้อกิจการที่แท้จริงอีกครั้งซึ่งอาจดูไม่ดีต่อผู้มีส่วนได้ส่วนเสีย เพื่อหลีกเลี่ยงการสนทนาที่ไม่สบายใจหรือคำถามที่น่ารำคาญ มักจะง่ายกว่าสำหรับทีมที่จะซ่อนเบื้องหลังความซับซ้อน

ทำอย่างไรให้ดีขึ้น:

• ขั้นตอนที่ 1: ทำงานร่วมกับทีมวิศวกรและนักวิเคราะห์ของคุณเพื่อทำให้ชื่อเหตุการณ์การวิเคราะห์ผลิตภัณฑ์ของคุณง่ายขึ้น: "Completed Onboarding" และ "Added Dashboard Widget" คือการกระทำที่ทุกคนจะเข้าใจ
• ขั้นตอนที่ 2: หากคุณมีทีมวิเคราะห์ ให้รวมพวกเขาไว้ในทีมผลิตภัณฑ์ของคุณ ยิ่งนักวิเคราะห์มีบริบทมากขึ้นเกี่ยวกับสิ่งที่ทีมผลิตภัณฑ์ของคุณกำลังทำอยู่ การทดสอบใดที่คุณกำลังทดสอบ และคำถามใดที่จำเป็นต้องตอบ พวกเขายิ่งสามารถช่วยให้คุณเจาะลึกข้อมูลเพื่อค้นหาข้อมูลเชิงลึกที่เกี่ยวข้องมากที่สุดได้ดียิ่งขึ้น ควรเป็นการทำงานร่วมกันมากกว่าวิธีการเอาท์ซอร์ส
• ขั้นตอนที่ 3: ทำให้แดชบอร์ดและรายงานการวิเคราะห์ของคุณสามารถเข้าถึงได้โดยองค์กรที่กว้างขึ้น แดชบอร์ดของคุณควรสะท้อนถึงเมตริกหลักของผลิตภัณฑ์ (ซึ่งคุณสามารถกำหนดได้โดยใช้ Holistic Metrics One Pager จากหนังสือ) นี่เป็นสิ่งสำคัญสำหรับขนาด (ทีมของคุณไม่ต้องการถูกน้ำท่วมด้วยคำขอการรายงานด้วยตนเองทุกวัน) เช่นเดียวกับการสร้างวัฒนธรรมที่ขับเคลื่อนด้วยข้อมูลอย่างแท้จริงภายในองค์กรที่กว้างขึ้น

“เมื่อทีมถูกถามเกี่ยวกับสถานะของธุรกิจ พวกเขาสามารถไปค้นหาหรือคาดเดาอย่างสมมติได้ สิ่งสำคัญคือต้องทำให้อดีตเป็นวิธีที่ง่ายและเป็นค่าเริ่มต้นสำหรับผู้นำในการตอบสนองต่อคำขอเหล่านี้โดยการสร้างแดชบอร์ดเจาะลึกที่กำหนดเองและใช้งานง่ายสำหรับสิ่งต่างๆ เช่น กลุ่มประชากรตามรุ่น ช่องทาง และกิจกรรมของผู้ใช้"

-คริสตัล วิจาจา

โปรดจำไว้ว่างานที่เราจ้างข้อมูลของเราให้ทำคือการเปิดเผยความจริงเพื่อให้เราสามารถดำเนินการและปรับปรุงประสบการณ์การใช้ผลิตภัณฑ์ได้ การทำให้เมตริกของคุณเข้าใจง่ายและเข้าถึงได้มากขึ้นเป็นขั้นตอนสำคัญในการรวมข้อมูลเชิงลึกในการตัดสินใจในแต่ละวันในองค์กรของคุณ องค์กรด้านผลิตภัณฑ์ที่แข็งแกร่งควรมีแรงจูงใจมากกว่าที่เคยในการแก้ปัญหาเหล่านั้นเมื่อรู้ว่าปัญหาอยู่ที่ไหน

วิธีปรับปรุงตัวชี้วัดของคุณโดยใช้รายการตรวจสอบตัวชี้วัด

ฉันได้สร้างรายการตรวจสอบง่ายๆ ที่สรุปลักษณะสำคัญของเมตริกคุณภาพดีและนำไปปฏิบัติได้ ซึ่งจะช่วยให้คุณได้รับข้อมูลเชิงลึกมากขึ้นจากข้อมูลของคุณ ใช้รายการตรวจสอบนี้เพื่อประเมินและปรับปรุงเมตริกที่มีอยู่ทั้งหมดของคุณ:

ต้องใช้การปฏิบัติจริงเพื่อให้ได้เมตริกหลักของคุณถูกต้อง และคุณจะพบว่ามารมักจะอยู่ในรายละเอียด เป็นเรื่องปกติอย่างยิ่ง และอันที่จริงแล้ว ขอแนะนำให้ทบทวนเมตริกที่คุณเลือกบ่อยๆ และปรับแต่งเมตริกหลายๆ ครั้งเพื่อให้มีประโยชน์มากขึ้น

ระวังหลุมพรางของการแบ่งปันตัวชี้วัดความไร้สาระ โดยเน้นที่ตัวบ่งชี้ที่ล้าหลังมากเกินไป ซึ่งคุณไม่มีเวลาแก้ไขหลักสูตร และตรวจสอบให้แน่ใจว่าคุณลดความซับซ้อนและทำให้ตัวชี้วัดของคุณเป็นประชาธิปไตยเพื่อเพิ่มระดับความสมบูรณ์ของข้อมูลในองค์กรของคุณอย่างแท้จริง