허영 메트릭이란 무엇이며 사용을 중지하는 방법

당신은 너무 헛된 (당신은 너무 헛된)

당신은 이 측정항목이 당신에 관한 것이라고 생각합니다.

안 그래?

– 칼리 사이먼

허영 메트릭이란 무엇입니까?

그러나 모든 사람이 어느 시점에서 좋은 소식에 미혹되어 경계를 늦추었습니다.

안녕하세요 여러분 어제의 순유저 수를 확인해보세요!

여러분, 이벤트 등록을 봐주세요!

허영 지표를 비판하는 것은 쉽지만 우리 모두는 거기에 있었습니다.

이 게시물에서는 허영 메트릭으로 이어지는 세 가지 일반적인 문제에 대해 설명합니다. 그런 다음 메트릭을 검토하고 허영 메트릭 영역으로 전환하고 있는지 알 수 있는 방법인 The Vanity Metric Test 를 공유하겠습니다. 시간이 부족하여 리뷰로 바로 이동하려면 여기를 클릭하십시오.

허영 메트릭 문제

허영 메트릭에 대해 팀과 채팅하면서 세 가지 근본적인 문제를 발견했습니다.

• 허영 메트릭에는 컨텍스트가 없습니다.
• 허영 측정항목의 의도가 명확하지 않습니다.
• 허영 메트릭은 행동과 학습을 안내하지 않습니다.

문제 1: 허영 메트릭에 컨텍스트가 부족함

첫째, 컨텍스트가 누락된 문제가 있습니다. 페이지 조회수, 일일 활성 사용자 및 가입은 의미가 있지만 개별적으로는 그다지 도움이 되지 않습니다. 문제는 더 큰 그림을 참조하지 않고 이러한 메트릭을 전달할 때 발생합니다. 그것은 우리가 말하는 것이 아니라 우리가 말하지 않는 것입니다. 예를 들어 "비교", "입력으로", "균형", "초기 신호", "...의 일부" "로 비율", "다음 주의 사항 포함" 등

누락된 컨텍스트는 다음과 같은 모든 사람에게 영향을 미칩니다.

• 마케팅: 단기적으로 콘텐츠 조회수를 높일 수 있는 방법은 여러 가지가 있습니다. 몇 주, 몇 년 동안 잠재 구매자를 끌어들이는 상생 콘텐츠를 만드는 것은 훨씬 더 어렵습니다. 초기 트래픽을 늘리는 것은 긍정적인 초기 신호 이지만 각주가 필요합니다.
• 판매: 분기별 판매 목표를 달성하는 것은 큰 성과입니다. 다양한 이유로 주목할 만하다. 그러나 팀은 어떻게 골을 넣었습니까? 그들은 가격을 구부렸습니까? 그들은 거래를 진전시켰습니까? 그들은 바울에게 지불하기 위해 베드로를 훔쳤습니까? 더 많은 컨텍스트가 필요합니다(예: 이전 분기와 가격 비교).
• 제품: 새로운 기능을 출시하는 것은 큰 이정표입니다. 초기 기능 채택 지표 는 긍정적인 신호입니다. 그러나 고객이 반드시 이 기능 을 사용 하는 것은 아닙니다. 그들은 단지 기능을 시도하고 있을지도 모릅니다. 사실, 사람들이 이 기능을 사용해보도록 제안하는 모든 인앱 팝업은 호기심 클릭을 증가시킬 수 있습니다. 기능을 시도하는 것은 장기간 사용 가능성에 대한 입력입니다.

잠재적으로 누락된 컨텍스트의 다른 예: 평균 구매는 증가했지만 주문 반품도 증가했습니다. 귀하의 가치 제안에 부합하지 않는 광고에서 전환이 발생합니다. 한 채널이 다른 채널을 잠식하고 있습니다. 앱은 신규 사용자에게는 더 쉽지만 숙련된 사용자에게는 더 어렵습니다. 앱에서 보낸 시간은 끝났지만 목표는 사람들의 시간을 절약하는 것입니다. 사람들은 데이터를 더 많이 쿼리하지만 결과를 이해하는 데 문제가 있기 때문입니다. 고객은 앱에서 더 적극적이지만 귀중한 네트워킹 대신 시간 낭비로 전환했습니다.

이러한 각 예에서 컨텍스트가 전부라는 점에 유의하십시오. 균형 정보가 부족하면 큰 그림과 지표가 어디에 적합한지 이해하기 어렵습니다.

주변 컨텍스트 외에도 사람들이 Why 를 이해하도록 해야 합니다.

문제 2: 허영 지표의 의도가 불분명함

둘째, 메트릭의 의도에 대해 혼동이 있습니다. 측정항목의 정의는 명시적일 수 있지만 측정하려는 항목은 불분명합니다. 여기의 전형적인 예는 재방문입니다. 상품이 마음에 들어서 반품한 건가요? 아니면 제품을 사용하기 어려워 휴식을 취해야 해서? 아니면 고객 서비스의 도움이 필요하십니까?

페이지 조회수, 페이지에 머문 시간, 평균 세션 시간과 같은 많은 고전적인 웹 "참여" 측정항목은 모바일 이전, 기기 교체 이전, 브라우저 탭 30 이전, 단일 페이지 앱 이전 시대의 잔재입니다. 그것들은 그 당시에 사용 가능한 참여 및 가치 교환을 위한 최고의 프록시였지만 현재 사용할 수 있는 최상의 수단은 아닙니다.

우리가 측정하려고 하는 것과 우리가 선택한 "프록시" 사이의 연결은 일부 측정항목에서 매우 명확합니다. 또는 그렇게 생각합니다! 예를 들어, 나는 어제 밤에 8시간을 잘 수 있었다고 친구에게 말했습니다. 내 친구는 내 의도를 "John이 잘 잤다는 것을 알리려고 합니다."라고 해석합니다.

그러나 수면 시간은 많은 변수 중 하나일 뿐입니다. 이 연구에서는 REM 잠복기, REM 수면, 수면 중 작은 움직임, 다양한 수면 주기의 타이밍, 주기 수 등을 포함하여 수면의 질을 연구할 때 사용되는 ~23개의 수면 변수를 언급합니다. 이 연구에서는 수면 시간이 "직접적인 사망과 관련이 있습니다." 좋아!

저자는 Pittsburgh Sleep Quality Index를 소개하고 지표의 의도 를 명확하게 설명합니다.

피츠버그 수면의 질 지수는 다음과 같은 몇 가지 목표로 개발되었습니다. (2) "좋은" 잠자는 사람과 "나쁜" 잠자는 사람을 구별합니다. (3) 피험자가 사용하고 임상의와 연구자가 해석하기 쉬운 색인을 제공합니다. (4) 수면의 질에 영향을 미치는 다양한 수면 장애에 대한 간략하고 임상적으로 유용한 평가를 제공합니다.

의사 소통의 의도가 중요합니다. 이 저자들은 아마도 절충에 직면했을 것입니다. 피험자의 사용 용이성은 연구자의 사용 깊이와 즉시 동일하지 않을 수 있습니다. 표준화는 비교 가능성에 도움이 되지만 종종 상황적 요인을 줄이는 것과 관련이 있습니다. 평가는 평가 완료율과 평가 깊이 간의 균형을 포함하는 "간단한" 평가입니다.

훌륭한 의도 진술은 근본적인 절충안과 목표를 다룹니다.

메트릭 의도를 효과적으로 나타내는 것은 무엇입니까?:

사실을 전달합니다. 이론/통찰력 추구:

다음은 지난 30일 동안 발생한 중단 횟수와 과거 기간과 비교한 결과입니다. 증가에 유의하십시오. 여기 무슨 일이야? 우리는 무엇을 보고 있습니까?

직접 측정할 수 없는 것에 대한 프록시로서:

우리의 North Star 지표는 커뮤니티 참여와 결합하여 높은 가치의 DIY 프로젝트 작업을 수행한 사용자의 수로 정의되는 "충성도 높은 DIY 사용자"입니다. 이는 충성도, 만족도 및 커뮤니티 지향 전략과 일치하는 방식으로 제품을 사용하는 조합의 대용물입니다. 데이터는 이것이 더 높은 고객 평생 가치와 바이럴 획득의 선행 지표임을 시사하지만 (아직) 증명하지는 않습니다.

우리는 1) 팀이 이동할 수 있고 2) 비즈니스의 중기적 성공에 기여할 수 있는 실행 가능한 메트릭을 찾고 싶습니다.

Hex Pistols는 온보딩 워크플로의 효율성을 개선하는 데 중점을 둘 것입니다. 저글링 행위입니다. 우리는 사람들을 서두르지 않고 성공을 위해 부추길 수 있다는 것을 압니다. 또는 매우 포괄적으로 만들어 제품이 실제로 작동하는 것을 볼 가능성을 줄일 수 있습니다. 작업을 안내하기 위해 프로젝트 공유에 대한 90% 백분위수 시간을 줄이는 데 중점을 둘 것입니다. 프로젝트 공유는 사용자가 편안하고 제품을 사용할 수 있다는 초기 신호입니다.

의도가 중요합니다!

문제 3: 허영심 지표는 행동과 학습을 안내하지 않습니다

나는 최근에 Twitter와 LinkedIn에 다음과 같이 질문했습니다.

• 어떤 것이 허영 척도일 때 당신의 테스트는 무엇입니까? (트위터)
• 메트릭이 허영 메트릭인지 어떻게 알 수 있습니까? (링크드인)

가장 높은 순위의 "테스트" 중 하나는 메트릭이 조치와 결정을 안내하는지 여부였습니다.

아무도 그것이 우리에게 보여주는 것을 의미 있게 행동할 수 없을 때. 측정항목에 가능한 값이 없을 때 실제로 개선해야 할 사항이 없습니다. 올라 버그

결과는 실행할 수 없습니다. 지표가 오르든 내리든 상관없이 우리는 우리가 하는 일을 바꾸지 않습니다. 크리스 루카센

상승/고정/하락을 멈추면 아무도 걱정하지 않을 때. 예: "우리 NPS 점수는 90입니다!" 한 달 후 "우리 NPS 점수는 50입니다!" 다음 달. 하이디 앳킨슨

행동, 결정, 학습이 중요합니다.

숫자가 계속 올라가고 그것이 영감을 주는 유일한 행동은 전체 회의에서 주름살을 찌푸리는 것뿐이라면 손에 허영 척도가 있을 것입니다. 팀이 축하하기 위해 메트릭을 카트에 표시했지만 떨어졌을 때 전략이나 전술을 바꾸지 않았다면 아마도 허영 메트릭을 보고 있을 것입니다.

예를 들면 다음과 같이 실행 가능하지 않은 측정항목이 있습니다.

• 평균 세션 길이. 그것은 올라가거나 내려갑니다. 너 뭐하니?
• 신규 사용자(획득 채널 제외). 그것은 올라가거나 내려갑니다. 너 뭐하니?
• 새로운 팔로워. 그것은 올라가거나 내려갑니다. 너 뭐하니?

여기에 몇 가지 주의 사항이 있습니다.

메트릭은 의미가 있을 수 있지만 즉시 실행 가능한 것은 아닙니다.

North Star Workshop에서 North Star Metric은 이상적으로는 손이 닿지 않는 곳에 있어야 한다고 강조합니다. 다양한 North Star 입력에 영향을 미치는 팀의 출력 입니다. 실행 가능한 North Star Metric을 원하지 않는 이유는 무엇입니까? NSM은 지속 가능한 비즈니스 성과(다년간)의 선행 지표 역할을 하고자 합니다. 거의 정의에 따르면 일상 업무와는 약간 거리가 있습니다. 일상 업무와 비즈니스 성공에 대한 의미 있는 입력 사이의 "다리" 역할을 하는 입력이 필요합니다.

우리는 North Star Metric을 추적하고 중단되면 전략을 재고해야 하지만 팀은 매일 아침 일어나 직접 영향을 미치기를 기대하지 않습니다.

메트릭은 탐색적일 수 있습니다. 우리는 아직 그것으로 무엇을해야할지 모릅니다.

팀은 일반적으로 "실행 가능성" 테스트를 알고 있지만 거의 잘못입니다. 그들은 실행 가능, 예측, 설명 등 모든 것을 수행하는 "마법의 메트릭" 또는 일련의 매직 메트릭을 파악하기 위해 몇 달, 몇 달을 보낼 것입니다. 그들은 메트릭의 움직임을 "제어"할 수 있습니다.

결과? 팀은 좋은 소식을 전달하기 때문에 "안전한" 허영 지표를 사용합니다. 도움이 되지는 않지만 실행 가능한 척하지 않기 때문에 깃털을 휘두르지 않습니다. 우리는 이것을 원하지 않습니다.

대신 탐색적 메트릭을 사용하는 것이 좋습니다. 그냥 불러주세요.

불확실성의 약간의 감소는 행동을 불러일으키기에 충분할 수 있습니다.

제품 작업은 불확실한 상황에서 결정을 내리는 것입니다. 무언가에 대해 100% 확신할 때까지 원한다면 너무 늦게 행동하게 됩니다. 따라서 우리는 우리가 취하는 행동에 대한 모든 불확실성을 줄이는 완벽한 지표를 추구해서는 안 됩니다.

Goodhart의 법칙과 좋은 측정과 좋은 목표 사이의 긴장

Goodhart의 법칙은 다음과 같이 말합니다.

"측정값이 목표가 되면 좋은 측정값이 아닙니다."

이를 Vanity Metrics에 대한 동료 Adam Greco의 지침과 대조해 보십시오.

지표가 오르거나 내려도 누군가가 승진하거나 해고되지 않는다면 그것은 아마도 허영 지표일 것입니다.

여기에 긴장/역설이 있습니다. 메트릭이 목표가 되고 좋은/나쁜 작업을 수행하는 신호가 되면 사람들이 반드시 올라가도록 하기 때문에 허영 메트릭이 될 위험이 있습니다. 그러나 우리는 측정항목이 의미가 있고 관련성이 있고 좋은 프록시이며 관련 결정을 알리기를 원합니다.

Goodhart의 법칙의 예:

• 팀이 기능을 예측 가능하게 출시하려는 목표가 있는 경우 "예측할 수 없는" 것처럼 보일 수 있는 확인되지 않은 새 피드백을 처리할 가능성이 적습니다.
• 팀이 평균 주문 규모를 늘리는 목표를 갖고 있다면 미래의 결과, 브랜드 충성도 등을 희생시키면서 평균 주문 규모를 늘릴 가능성이 더 커집니다.
• 관리자가 분기에 특정 수의 사람들을 고용하려는 목표가 있는 경우 최적의 후보자가 아닌 사람을 고용할 가능성이 더 높습니다.

그렇다면 더 효과적인 메트릭과 더 적은 허영 메트릭을 사용하는 것에 대해 무엇을 알 수 있습니까? First는 의미 있는 목표와 목표를 선택하고 2차 또는 3차 부작용을 이해하기 위해 효과적인 "가드레일"을 정의할 책임이 있습니다. 우리는 Goodhart의 법칙을 완전히 물리칠 수는 없습니다. 사람들이 당신이 주장하는 게임을 할 것이라고 가정해야 하지만 견제와 균형을 확립하기 위해 노력할 수는 있습니다.

Adam의 팁을 사용하여 "여기서 무엇을 보상하고 싶은가요?"라고 자문할 수도 있습니다. 비즈니스 결과에 대해 책임을 지는 것은 의미가 있습니다. 그러나 임의의 지표와 성공 극장에 도달한 사람들을 기반으로 사람들을 홍보하고 싶지는 않습니다. 나는 Bill Walsh의 Score Takes Care of Itself의 아이디어를 크게 믿습니다. 목표는 긍정적인 습관과 일과를 장려해야 합니다.

요약

우리는 허영 메트릭과 관련된 세 가지 일반적인 문제를 설명했습니다.

• 허영 측정항목에 컨텍스트가 없음
• 허영 측정항목의 의도가 불분명함
• 허영 메트릭은 행동과 학습을 안내하지 않습니다

메트릭의 효과적인 사용에는 컨텍스트 제공, 의도 설명, 조치 및 학습을 안내하는 메트릭 선택이 포함됩니다. 메트릭을 가리키고 "그것은 허영 메트릭입니다"라고 말하는 것은 "당신은 그 메트릭을 허영 메트릭으로 사용하고 있습니다"라고 말하는 것과 같습니다.

허영 메트릭 테스트

우리는 허영 메트릭을 사용하는 데 기여 하는 다양한 문제 와 허영 메트릭과 관련된 문제에 대해 논의했습니다. 이제 메트릭을 테스트할 때입니다.

이 섹션에서는 메트릭의 건전 이 게시물의 앞부분에서 살펴본 주제인 컨텍스트, 의도, 책임 있는 행동 및 학습을 확인할 수 있습니다.

각 진술에 대해 다음을 제안합니다.

1. 팀과 프롬프트 토론
2. 다양한 관점을 추구하라
3. 주의가 필요한 항목에 플래그 지정

S1: 팀은 메트릭 추적에 대한 기본 근거를 이해합니다.

팁: 직원 온보딩 계획에 지표 방향을 포함하십시오. Amplitude 고객은 노트북 기능을 자주 사용하여 주요 지표에 대한 컨텍스트를 제공합니다.

S2: 필요한 컨텍스트를 추가하는 관련 메트릭과 함께 메트릭을 제시합니다. 별도로 제시될 때 필요한 각주와 참조를 추가합니다.

팁: 프레젠테이션에서 가드레일 및 관련 측정항목 표시를 정규화합니다.

S3: 메트릭을 의미 있는 결과 및 영향과 연결하는 가설(및 가정)이 명확하게 설명되고 사용 가능하며 도전/토론에 열려 있습니다.

팁: 트리 다이어그램(동인 트리, North Star Framework, 가정 트리 등)과 인과 관계 다이어그램을 사용하여 가설된 인과 관계를 전달하십시오. "Random Jira Ticket" 게임을 플레이하는 것을 고려하십시오. 무작위로 Jira 티켓을 선택하고 해당 항목에서 장기적으로 중요한 항목으로 "트리를 걸어" 올라갈 수 있습니까?

S4: 미터법 계산/정의는 검사 가능하고 확인 가능하며 분해 가능합니다. 다양한 구성 요소, 조항, 기능 등을 분리할 수 있습니다. 좋은 도메인 지식을 가진 사람은 그것이 어떻게 작동하는지 이해할 수 있습니다.

팁: 가능하면 누군가가 계산 방식을 "클릭"할 수 있도록 측정항목을 공유하세요. 예를 들어, 측정항목에 "7일 동안 7명 이상의 사용자와 공유됨"과 같은 필터가 포함된 경우 해당 절을 조정하고 해당 수가 총 사용자 수와 어떻게 비교되는지 확인할 수 있어야 합니다. 사람들이 메트릭을 다시 만들 수 있도록 하여 신뢰를 구축하십시오.

S5: 메트릭은 정기적으로 검토되고 논의되는 대시보드, 스코어카드 또는 보고서의 일부입니다. 그것은 건강한 조사에서 살아 남았습니다. 메트릭이 더 탐색적이며 테스트되지 않은 경우(또는 "...인지 궁금합니다.") 해당 컨텍스트는 처음부터 명확합니다.

팁: 정밀 조사는 좋은 것입니다. 측정항목에 대한 눈이 많을수록 좋습니다. 비판을 초대합니다. 질문이 나오면 녹음하세요. 메트릭의 각 "표시"(예: 전체 손 또는 제품 리뷰에서)를 연속적으로 더 좋게 만듭니다.

S6: 팀은 지표의 변화가 나타내는 것에 대한 작업 이론을 가지고 있습니다.

팁: 다음은 생각할 수 있는 기본 프롬프트입니다. "이 측정항목의 증가는 __________라는 신호이고 이 측정항목의 감소는 _______이라는 신호입니다."

S7: 시간이 지남에 따라 메트릭은 증가하는 가치와 자신감을 제공합니다. 메트릭을 사용하여 발생하는 특정 결정과 조치를 지적할 수 있습니다(해당 조치는 검토 가능). 회사는 이를 계속 추적하고 전달하는 데 투자할 것입니다.

팁: 메트릭을 표시할 때 신뢰 수준을 표시하고 결정/작업 로그를 유지합니다. 처음에는 100% 확신하지 못하는 것을 정규화하고 신뢰도가 높은 지표를 표시하는 지표와 신뢰도가 낮은 새로운 후보 지표의 균형을 맞추십시오.

S8: 팀은 명확한 조치 임계값을 설정합니다(예: "X를 초과하는 경우 Y를 고려할 수 있음"). 지표가 낮아질 수 있습니다. 그리고 다운되면 검사/조치를 유도할 가능성이 높습니다.

팁: 메트릭의 움직임이 미래의 행동에 어떻게 영향을 미칠지 더 잘 이해하기 위해 시나리오 계획 워크숍을 실시하십시오. 임계값에 도달했을 때 경고하도록 분석 도구에서 모니터를 설정하십시오.

S9: 메트릭은 비교입니다(시간 경과에 따라, vs. 유사한 메트릭 등). 더 광범위하게 말하자면 장기간 추적하면 기간 사이에 사과와 사과를 비교할 수 있습니다.

팁: 대시보드에 기간별 보기를 포함하여 비교를 더 잘 볼 수 있습니다.

S10: 팀은 이 지표를 사용하여 도전과제와 승리를 전달합니다. 승리뿐만이 아닙니다.

팁: 리더는 여기에서 분위기를 설정합니다. 예상대로 작동하지 않은 상황과 이를 파악하기 위해 데이터를 사용한 방법에 대해 논의하십시오.

요약

허영 메트릭은 기분을 좋게 만드는 메트릭이지만 더 나은 작업을 수행하거나 더 나은 결정을 내리는 데 도움이 되지는 않습니다. 허영 메트릭을 사용하는 데 면역이 있는 사람은 없습니다! 핵심은 컨텍스트를 제공하고, 사용하는 메트릭의 의도를 명시하고, 메트릭(또는 메트릭)이 추진할 조치와 결정을 명확히 하는 것입니다.

의미 있는 지표를 정의하려면 North Star Playbook을 확인하세요. North Star 메트릭과 실행 가능한 입력 집합을 설정하는 것은 허영 메트릭을 사용하지 않는 강력한 방법입니다.