피해야 할 3가지 제품 메트릭 함정

내 책 The Insights Driven Product Manager 에서 데이터에서 진정한 통찰력을 추출하는 데 더 많은 시간을 할애하고 더 많은 시간을 할애하기 위해 덜 추적하는 것이 중요한 이유를 설명합니다.

다음 단계는 핵심 수준에서 내가 "우수한 품질 지표"라고 부르는 것을 추적하고 있는지 확인하는 것입니다. 내 책의 7장에서 발췌한 이 게시물은 메트릭의 전반적인 품질을 개선하는 방법, 더 실행 가능하게 만드는 방법 및 피해야 할 함정에 중점을 둘 것입니다.

함정 #1: 허영 지표

몇 년 전 저는 사무실 환경 관리를 위한 B2B SaaS 제품을 작업하고 있었습니다. 우리는 제품을 출시하고 첫 번째 유료 광고 캠페인을 실행하기 시작했기 때문에 30일 동안의 총 등록 수를 추적하는 대시보드를 설정했습니다.

수치가 올라가는 것 같았기 때문에 우리는 그 기세에 대해 꽤 기뻤습니다.

문제는 이 그래프가 프리젠테이션에서는 좋아 보이지만 실제로는 신규 가입의 4%만이 실제 전환 및 수익으로 전환되어 결과적으로 월별 반복 수익 목표를 달성하지 못했다는 것입니다.

누적 차트이므로 새로운 사용자를 확보하지 않으면 그래프가 정체 상태가 되지만 그 수는 절대 줄어들 수 없습니다. 다음은 허영 메트릭의 고전적인 예입니다.

• 이 그래프를 보고 있으면 기분이 좋아집니다.
• 이 지표는 이해 관계자 프레젠테이션에서 특히 유용했습니다.
• 우리가 실제로 잘하고 있는지 아닌지에 대한 통찰력을 제공하지 않았습니다.
• 우리에게 통찰력을 주지 않았기 때문에 어떤 식으로든 제품이나 기능을 개선하기 위한 조치를 취하도록 유도하지 않았습니다.
• 그리고 이 메트릭을 매일 조사했음에도 불구하고 문제가 있음을 확인하는 데 2개월(30일 간의 모든 시도가 완료되고 제거될 때까지)이 걸렸습니다.

문제의 한 부분은 당시에 더 나은 메트릭을 측정하는 방법에 대한 지식이 부족했지만 조직의 문제는 종종 훨씬 더 깊은 곳에 있습니다. 대부분의 팀이나 이해 관계자는 메트릭에서 진실을 들을 준비가 되지 않았기 때문에 우리는 우리를 멋지게 보이게 하는 숫자 때문입니다.

Kumu의 CPO이자 Reforge의 작가인 Crystal Widjaja와의 인터뷰에서 그녀는 실패를 활용하고 개선을 추진하는 방법으로 데이터를 보는 방법을 멋지게 요약했습니다.

“사람들이 실수(실험 실패, 배포 실패 등)를 하면 이미 그 비용을 지불한 것입니다. 우리는 데이터를 실수를 활용하고 실수로부터 배우는 방법으로 생각해야 합니다. '실패의 대가를 치르고' 개인을 해고하는 대신 데이터 통찰력을 사용하여 그것이 실패한 이유를 알려주고, 그로부터 배우고, 첫 번째보다 10배 더 나은 다음 반복을 위해 활용하십시오.”

– 크리스탈 위자자

데이터에서 더 많은 통찰력을 얻으려면 허영 지표 추적을 중단하고 대신 데이터를 사용하여 진실을 밝히고 실질적인 개선을 추진해야 합니다. 자세히 살펴보면 팀이 특정 이해 관계자를 달래거나 수치가 실제보다 더 좋게 들리도록 매우 선별적인 지표를 얼마나 자주 표시하는지 매우 흥미롭습니다. 다음과 같은 허영 메트릭의 다른 고전적인 예에 ​​주의하십시오.

• 페이지 조회수 또는 방문자 수
• 팔로워/좋아요 수
• 사이트에 머문 시간(세션 길이)
• 다운로드 수

페이지 조회수 및 세션 길이와 같은 측정항목은 트래픽, 인지도 및 초기 참여를 측정하는 데 초점을 맞춘 웹사이트 분석에서 여전히 많이 사용됩니다. 그들은 우리가 깔때기의 상단이라고 부르는 것, 즉 고객의 초기 획득에 대한 통찰력을 제공하지만 고객이 실제로 제품을 활성화하고 참여하는지 여부는 알 수 없습니다.

더 잘하는 방법: 메트릭이 좋은지 나쁜지 실제로 이해하려면 숫자를 컨텍스트에 넣어야 합니다. 최소한 이번 달과 이전 달의 가입 숫자를 비교하는 것과 같이 여러 기간에 걸쳐 숫자를 비교하려고 합니다.

메트릭을 더 유용하게 만드는 또 다른 효과적인 방법은 총 숫자 대신 비율을 사용하는 것입니다. 비율은 본질적으로 비교 대상입니다. 예를 들어 회계사는 총 수익만 보는 것이 아니라 일반적으로 제품 생산 비용과 제품 판매를 비교합니다. 이러한 방식으로 회계사는 시간 경과에 따른 이익 마진(유용한 비율의 좋은 예)을 추적하여 비즈니스가 건전한지 평가할 수 있습니다.

더 우수하고 비교 가능한 측정항목의 예:

• 획득 채널당 가입 비율
• 전체 가입 프로세스를 완료한 가입 비율
• 주요 활성화 지표를 수행한 가입 비율
• 4주 후 제품을 사용하는 사용자의 비율

함정 #2: 지연 측정항목만 추적

큰 문제는 전환 목표를 달성했는지 여부를 확인하는 데 걸리는 시간이었습니다. 이 제품에는 30일 무료 평가판이 있었고 우리의 목표는 평가판 종료 후 유료 고객으로 전환하는 것이었습니다. 그래서 첫 달은 등록 측면에서 좋아 보이지만 궁극적으로 우리는 종료 후에야 알 수 있습니다. 두 번째 달에는 이러한 가입 중 유료 고객으로 전환된 수입니다.

이것은 지연 측정항목의 전형적인 예입니다. 지연 측정항목은 과거 결과를 소급하여 보고합니다. 예를 들어, 해당 연도의 수익 수치는 대부분의 다른 운영 지표와 마찬가지로 후행 지표입니다. 잘 했는지는 결과를 보고 나서야 알 수 있습니다.

제품 분석을 통해 사용자 행동을 추적할 때의 진정한 가치는 최종 수익 수치를 기다리는 것보다 초기 지표를 찾기 시작할 수 있다는 것입니다. 주요 지표가 잘 수행되지 않으면 너무 늦기 전에 방향을 수정할 기회가 있습니다. 이것이 내가 내 책 5장에서 고객 행동과 운영 메트릭을 모두 포함하도록 Holistic Metrics One Pager를 설계한 이유입니다.

가장 강력한 주요 지표 중 하나는 활성화 지표입니다. 좋은 활성화 지표는 제품을 설정하거나 사용하기 시작하는 주요 조치를 취하는 고객의 비율을 나타냅니다. 많은 회사는 사용자가 온보딩 중에 제품 내에서 특정 작업을 수행하면 제품의 진정한 가치를 깨닫고 더 높은 참여로 이어지는 경향이 있다는 것을 알아냈습니다. 일부는 이 활성화 단계를 제품에서 "아하 순간"에 도달한다고 부릅니다.

다음은 주요 활성화 지표의 몇 가지 간단한 예입니다.

• 소셜 네트워크 제품: 고전적인 예는 10일 동안 최소 7명의 친구를 추가하는 Facebook의 첫 번째 활성화 지표였습니다.
• 대시보드 집계 제품: 가치 제안은 여러 도구를 하나의 보기로 묶는 것이므로 온보딩 중에 최소 2~3개의 도구를 추가하는 사용자가 제품의 모든 잠재력을 실현한다는 것을 알 수 있습니다.
• 유틸리티 제품: 귀하의 가치 제안은 CRM에서 판매 대화 추적과 같은 작업을 단순화하거나 디지털화하여 활성화 메트릭으로 가능한 한 빨리 첫 고객 입력을 완료한 사용자 수를 추적할 수 있도록 하는 것일 수 있습니다.
• 주의 제품: 제품이 엔터테인먼트 및 콘텐츠 중심인 경우 가입 첫 주에 일정량의 콘텐츠를 소비한 사용자를 추적할 수 있습니다.

그런데 지연 측정항목이 본질적으로 나쁜 것은 아닙니다. 사실, 특히 재무 결과와 같은 비즈니스 메트릭을 측정하는 보고의 중요한 부분입니다. 그들의 장점은 최종 결과, 실제 사실을 나타냅니다.

반면에 주요 메트릭에는 매일 많은 양의 콜드 콜이 유료 사용자의 수를 더 많이 증가시킨다는 가정과 같은 어느 정도의 가정이 포함되는 경우가 많습니다. 더 많은 데이터를 얻으면 이러한 가정이 실제로 사실인지 여부를 테스트해야 하지만 활성화 메트릭이 실제로 유지 증가를 일으켰는지 또는 다른 요인이 이에 기여했는지 여부에 대해서는 여전히 약간의 불확실성이 있습니다.

이는 선행 측정항목이 후행 측정항목만큼 정확할 수는 없지만 측정항목에서 진정한 통찰력을 얻는 데 중요하다는 것을 의미합니다. 이를 통해 우리는 고객 행동에서 배우고 더 나은 비즈니스 결과를 위해 최적화하기 위해 제품 결정을 변경할 수 있는 초기 지표를 식별할 수 있습니다. Holistic Metrics One Pager 템플릿을 사용하면 선행 지표와 후행 지표를 모두 추적하고 이러한 지표가 서로 어떻게 영향을 미치는지 생각해야 합니다.

함정 #3: 아무도 이해하지 못하는 지표

제품 관리자를 인터뷰할 때 분석 지식과 데이터 통찰력이 사무실의 어둡고 신비한 구석에 숨겨져 있고 고도로 전문화된 두 명의 분석가 외에는 아무도 이해할 수 없는 이벤트 이름이 숨겨져 있다는 말을 종종 듣습니다. 이러한 전문가들은 매달 다양한 제품 팀과 만나 발견한 내용을 공유하고 번역합니다.

제품 팀과 이해 관계자가 데이터에 대한 공유된 이해를 만들고 제품 개선 사항에 대해 공동으로 논의하기를 원하면 데이터를 민주화하고 모든 사람이 메트릭에 액세스할 수 있고 쉽게 이해할 수 있도록 적극적으로 노력해야 합니다.

Intercom은 몇 년 전 대규모 행사 정리를 통해 얻은 교훈을 공유했습니다. 다음과 같은 종류의 제품에 대해 약 350개의 이벤트가 있었습니다.

이것이 당신에게 친숙해 보입니까?

Intercom은 그들이 분석의 핵심 원칙에 실패했다고 공유했습니다. 분석 팀 외에는 아무에게도 의미가 없었습니다. 그들은 제품 분석 데이터를 민주화하기 위한 핵심 단계로 더 나은 가독성을 도입하기 위해 모든 이벤트의 전체 명명 구조를 재정의하고 재구축했습니다.

조직의 다양한 이해 관계자와 팀이 보고서에 더 쉽게 액세스할 수 있도록 하는 것도 중요합니다. 불행히도 저는 종종 팀이 대시보드를 여는 것을 두려워하는 것을 봅니다. 이해 관계자에게 좋지 않을 수 있는 진정한 참여 또는 획득 수치를 다시 드러낼 것이기 때문입니다. 불편한 대화나 성가신 질문을 피하기 위해 팀은 복잡한 겉치레 뒤에 숨는 것이 더 쉬운 경우가 많습니다.

더 나은 방법:

• 1단계: 엔지니어링 팀 및 분석가와 협력하여 제품 분석 이벤트 이름을 단순화합니다. "온보딩 완료" 및 "대시보드 위젯 추가"는 모든 사람이 이해할 수 있는 작업입니다.
• 2단계: 분석 팀이 있는 경우 제품 팀에 더 잘 포함시키십시오. 분석가는 제품 팀에서 작업 중인 내용, 테스트 중인 실험, 답변해야 할 질문에 대한 컨텍스트가 많을수록 가장 관련성이 높은 통찰력을 찾기 위해 데이터를 더 자세히 조사하는 데 도움이 될 수 있습니다. 아웃소싱 방식이 아닌 협업 방식이어야 합니다.
• 3단계: 더 넓은 조직에서 분석 대시보드 및 보고서에 액세스할 수 있도록 합니다. 대시보드는 제품의 주요 메트릭(책에서 Holistic Metrics One Pager을 사용하여 정의할 수 있음)을 반영해야 합니다. 이는 규모(팀이 매일 수동 보고 요청으로 넘쳐나는 것을 원하지 않음)뿐만 아니라 더 넓은 조직 내에서 보다 데이터 중심적인 문화를 진정으로 구축하는 데 중요합니다.

“팀이 비즈니스 현황에 대해 질문을 받으면 직접 찾아보거나 가상의 추측을 할 수 있습니다. 리더가 집단, 유입경로, 사용자 이벤트와 같은 항목에 대해 사용하기 쉬운 맞춤형 드릴다운 대시보드를 구축하여 이러한 요청에 응답할 수 있는 가장 쉽고 기본적인 방법으로 전자를 만드는 것이 중요합니다.”

-크리스탈 위자자

우리가 데이터를 고용한 일은 진실을 밝혀 조치를 취하고 제품 경험을 개선하는 것임을 기억하십시오. 메트릭을 이해하기 쉽고 액세스하기 쉽게 만드는 것은 조직의 일상적인 의사 결정에 데이터 통찰력을 포함하는 핵심 단계입니다. 강력한 제품 조직은 문제가 어디에 있는지 알게 되면 그 문제를 해결하기 위해 그 어느 때보다 동기를 부여받아야 합니다.

측정항목 체크리스트를 사용하여 측정항목을 개선하는 방법

저는 데이터에서 더 많은 통찰력을 얻는 데 도움이 될 양질의 실행 가능한 지표의 주요 특성을 요약한 간단한 체크리스트를 만들었습니다. 이 체크리스트를 사용하여 기존의 모든 측정항목을 평가하고 개선하십시오.

핵심 지표를 제대로 파악하려면 실제 연습이 필요하며, 종종 세부 사항에 악마가 있다는 것을 알게 될 것입니다. 그것은 절대적으로 정상이며 실제로 선택한 메트릭을 자주 다시 방문하고 더 유용하게 만들기 위해 여러 번 수정하는 것이 좋습니다.

방향을 수정할 시간이 없는 지연 지표에 너무 집중하여 허영 지표 공유의 함정에 주의하고 지표를 단순화하고 민주화하여 조직의 데이터 성숙도를 진정으로 높이십시오.