Amplitude로 데이터에 대한 신뢰 회복 및 제품 성장 가속화

제품 관리자가 "나는 이 데이터를 신뢰하지 않으므로 내가 생각하는 대로 가겠습니다."라고 말하는 것을 듣는 것은 매우 실망스럽습니다. 그러나 우리는 그들의 불신에 대해 항상 그들을 비난할 수는 없습니다. 조직의 데이터 아머에 작은 흠집 하나라도 있으면 데이터에 기반한 팀의 능력이 저하됩니다. 또한 기존 데이터가 혼란스럽거나 액세스하기 어려운 경우 사람들은 이를 제품 성장에 사용할 수 없습니다.

Whisk는 이것을 누구보다 잘 알고 있습니다. 데이터에 대한 신뢰를 회복하는 것은 어려울 수 있으며, 계측과 실험에 대한 강한 열망이 있었음에도 불구하고 우리가 배운 것을 계속 추진할 방법이 항상 있었던 것은 아닙니다. 합법화된 데이터와 실행 가능한 통찰력으로 성장 접근 방식을 지원할 방법이 없었습니다.

기존 데이터가 혼란스럽거나 액세스하기 어려운 경우 사람들은 이를 제품 성장에 사용할 수 없습니다.

그러나 지난 6개월 동안 Whisk는 더 나은 데이터 관리를 위한 명확한 경로를 찾았습니다. 결과적으로 우리는 과거를 수정하고 데이터에 대한 신뢰를 회복하며 플랫폼을 성장시킬 수 있었습니다.

Whisk의 제품 성장 주도

Whisk는 음식 콘텐츠를 공유하고 수익을 창출할 수 있는 올인원 앱입니다. 사용자는 조리법, 식사 계획을 저장하고 쇼핑 목록을 만들어 집에서 요리한 식사를 준비하는 시간을 절약할 수 있습니다. 삼성은 2019년에 우리를 인수했으며 우리는 그들의 IoT 전략에서 중요한 역할을 합니다.

우리는 삼성의 전체 식품 플랫폼을 개발하기 위해 노력하고 있으며 회사의 주요 부서에서 식품 관련 경험을 지원하는 모든 API를 구축하고 있습니다. 오늘날 수십 개의 삼성 가전 제품에는 냉장고에서 연결된 오븐 레인지 및 쿡탑에 이르기까지 Whisk 기술이 탑재되어 있습니다.

Whisk에 온 것은 저에게 놀라운 기회였습니다. 처음에는 B2B2C 전략에 대한 작업을 시작했지만 곧 소비자 경험에 더 많은 초점을 옮겼습니다. 전환 과정에서 저는 제품 책임자로 임명되어 보다 제품 지향적인 성장을 추구했습니다. 저는 기존의 실험 문화를 확장하고 데이터 기반 의사 결정을 강화하고 싶었습니다.

하지만 먼저 데이터 상황을 통제해야 했습니다.

데이터 문제 이해

데이터는 Whisk에서 하는 일의 핵심입니다. 제품 분석 외에도 우리는 그 자체로 데이터 제품인 이 놀라운 식품 온톨로지를 구축했습니다. 팀은 견고한 분석 도구 문화를 가지고 있습니다. 우리에게 없었던 것은 조직이었습니다.

저는 기술적 배경이 없지만 데이터 과학자들과 함께 일하면서 두 가지를 이해하게 되었습니다. 첫째, 데이터 작업의 대부분은 데이터가 관찰 가능하고 잘 엔지니어링되었는지 확인하는 것입니다. 둘째, 데이터는 이해 관계자에게 알리기 위해 가용성이 높고 정확해야 합니다.

2021년에 소비자 경험으로 초점을 옮겼을 때 저는 첫 번째 성장 팀을 구성했습니다. 기술 스택의 격차가 제품 성장에 불필요한 장애물을 만들었다는 사실을 깨닫는 데는 그리 오랜 시간이 걸리지 않았습니다.

• 장비가 너무 많았습니다. 앱 간에 다르게 계측된 수백 개의 이벤트로 인해 좋은 데이터 품질을 유지하고 모든 것을 이해하기가 어려웠습니다. 우리 팀은 주요 이벤트에 집중하지 않았습니다.
• 우리의 실험에는 큰 격차가 있었습니다. 우리의 주요 KPI와 지표에 레이저 초점을 유지하는 것이 점점 더 어려워지고 있습니다. 우리는 기본 메트릭으로 유지를 기본으로 하여 다양한 기능을 가진 여러 실험 플랫폼을 사용했습니다. 내가 구축하고자 하는 고속 성장 문화에는 적합하지 않았습니다.

당시 우리는 새로운 플랫폼을 찾고 있지 않았습니다. 우리는 이미 Mixpanel 고객이었지만 플랫폼에서 A/B 테스트 기능을 더 이상 사용하지 않기 시작했습니다.

그때 Amplitude가 떠올랐습니다.

Whisk의 Amplitude로의 마이그레이션

저는 오랫동안 Amplitude의 제품 전도사인 John Cutler의 팬이었습니다. John은 네트워크에 있는 모든 사람을 위한 제품 워크숍을 주도하겠다고 제안했고, 나는 과잉 계측과 이것이 Whisk의 데이터 문화에 미치는 영향에 대해 그에게 연락했습니다. 워크숍 동안 우리는 QA, 엔지니어링 및 디자인의 팀원들을 모아 라이프 사이클의 주요 이벤트를 식별하는 방법을 조사했습니다. 훌륭한 경험이었고 마지막에 John은 분석과 실험을 병행하는 것이 가치가 있으며 Amplitude가 두 가지를 모두 수행할 수 있다고 언급했습니다.

우리는 추가 실험 SaaS를 Mixpanel에 통합할 계획이었지만 Amplitude에 대해 더 많이 배울수록 올인원 도구 세트에 더 깊은 인상을 받았습니다.

실험을 위해 Amplitude는 PM이 너무 일찍 결과를 엿보고 결정적이지 못한 결과를 도출하지 못하도록 보호합니다. 시장에서 가장 많이 구축된 실험 플랫폼은 아니었지만 Amplitude의 비전은 마음에 들었습니다. 또한 우리는 모든 데이터와 실험 도구를 관찰 가능한 단일 시스템에서 사용할 수 있다는 이점을 보았습니다. 우리는 장기간 실험에 참여했던 사람들을 추적할 수 있었습니다. 실험 독립성을 아주 쉽게 관리할 수 있었습니다. 우리는 정확한 데이터에 계속 집중할 수 있었습니다. 그래서 우리는 뛰어올랐다.

제품 혁신 개선

우리는 실험의 많은 부분을 처리하면서 Amplitude를 즉시 작동하도록 했습니다. 우리는 홈 피드에서 스폰서 광고 실행의 참여 영향을 측정하도록 설계된 A/B 테스트를 포함하여 핵심 사용자 기반 내에서 다양한 수익 창출 기회에 대한 ROI 파일럿을 실행했습니다.

홈 피드에 더 많은 광고를 배치함으로써 스크롤 깊이(리텐션과 관련됨)가 감소할 것으로 예상했습니다. 우리는 현재 Whisk 홈 피드를 타겟 광고 배치가 포함된 홈 피드와 비교하여 놀라운 결과를 발견했습니다. 차이가 없습니다.

그러나 이것은 시작에 불과합니다. 이제 우리는 한 번에 여러 테스트를 실행하고 있으며 PM은 변경 사항을 추적하고 참여를 효과적으로 측정하는 방법에 대해 보다 지능적으로 생각하고 있습니다.

Amplitude는 컨텍스트에서 이벤트를 이해하는 데 도움이 되므로 콘텐츠 생성 및 유지가 증가했습니다.

Amplitude는 컨텍스트에서 이벤트를 이해하는 데 도움이 되므로 콘텐츠 생성 및 유지가 증가했습니다. 예를 들어, 우리는 사용자가 레시피를 준비하면 메모, 태그 및 사진을 추가하라는 메시지를 표시하는 "Made It"이라는 기능을 개발했습니다. 열악한 결과를 가져온 수십 번의 반복 후에 우리는 Amplitude를 축소하고 다양한 사용자 작업이 상관 관계가 있는 위치를 조사했습니다. 일부 사용자는 더 많은 연결을 원한다는 것이 즉시 분명해졌습니다. 그들은 게시의 가치를 보지 못했습니다. 그들은 누군가를 위해 게시하기를 원했습니다.

이 인사이트를 사용하여 사람들이 앱에서 인사이트를 소중히 여기고 공유하는 다른 사람들을 찾고 연결하도록 도왔습니다. 우리는 이 지식을 새로운 방식으로 사용하려고 하며 현재 사용자 콘텐츠에 의해 주도되는 참여를 기반으로 하는 "크리에이터 펀드"에 대한 수익 창출 전략을 평가하고 있습니다. 콘텐츠가 참여를 유도하는 방법에 대해 더 많이 알수록 더 많은 것을 제공할 수 있습니다.

또한 Amplitude 내에서 다양한 전략 및 제품별 질문에 답변하고 있습니다. 현재 우리는 레시피의 바이러스 변곡점을 밝히고 사회적 보상이 습관 루프를 유도하는 데 효과적인지 추적하며 활성 사용자를 만드는 마법의 팔로워 수를 결정하기 위해 노력하고 있습니다. 또한 특정 요일에 참여 이벤트가 발생하는 빈도와 빈도를 더 잘 이해합니다. 제품 팀은 이러한 통찰력을 이해 관계자와 삼성 팀의 다른 구성원에게 배포합니다. 우리 데이터는 미국과 영국 소비자의 요리 행동에 대한 내부 연구에서 널리 인용되어 제품 혁신과 마케팅 전략을 주도합니다.

강력한 기능을 통해 새로운 시장을 활용할 수 있습니다.

Whisk의 주요 전략에는 지속적인 참여 엔진을 구축하고 사용자 유형에 대한 가시성을 높이는 것이 포함됩니다. 큰 우선 순위는 아직 획득하지 못한 시장인 수직적 소셜 푸드 커뮤니티를 이해하고 활용하는 것입니다.

Amplitude를 사용하기 전에 우리는 유지 가능성이 높은 주요 참여 활동에 대해 획일적인 접근 방식을 사용했습니다. 오늘날 Amplitude 내에서 다양한 세그먼트에 대한 클러스터링 및 상관 관계 분석을 쉽게 수행하여 다양한 페르소나를 식별하고 보다 맞춤화된 맞춤형 여정을 생성할 수 있습니다. 클릭 한 번으로 모든 작업이 완료됩니다.

Whisk는 급속한 성장에도 불구하고 여전히 스타트업 문화를 유지하고 있으므로 조직 안팎의 모든 사람이 업무를 수행하기 위해 Amplitude에 로그인합니다. 이러한 데이터 민주화는 더 많은 사람들이 통찰력을 수집할 수 있음을 의미하며 이러한 통찰력은 일반적으로 Mixpanel의 이전 통찰력보다 더 영향력이 있습니다. Whisk 전반에 걸친 Amplitude의 사용에는 데이터 분석가, PM, 마케팅 및 엔지니어링 팀, 경영진이 포함됩니다. 파트너십 팀조차도 때때로 참여합니다. 진폭 차트와 대시보드는 전체 팀이 공개적으로 사용할 수 있으므로 많은 시간을 절약할 수 있습니다.

우리는 새로운 사용자 이벤트가 유지율과 어떻게 관련되는지 보여주는 Compass를 정기적으로 사용합니다. 이벤트 행동의 유사성을 기반으로 사용자를 클러스터로 그룹화하는 페르소나 사용자가 제품에서 무엇을 하는지 보여주는 세분화 사용자가 정의된 이벤트 경로를 얼마나 성공적으로 탐색하고 있는지에 대한 통찰력을 제공하는 깔때기 분석.

또 다른 필수 기능은 반복적 통합입니다. Amplitude를 채택하기 전에 Iteratively를 사용하여 플랫폼 전반에서 분석 일관성을 개선하는 것에 대해 생각했습니다. 다행스럽게도 Amplitude는 평가 시점에 반복적으로 인수되었습니다. 그들은 Iteratively를 데이터 거버넌스 도구에 통합하기 시작했으며, 릴리스 계측과 관련된 뛰어난 프로세스를 생성하는 팀을 구성할 때 이를 활용하고 있습니다. Amplitude를 사용하면 지저분한 과거 데이터를 수정하기 위한 변환을 훨씬 쉽게 설정하고 관리할 수 있습니다.

모든 이벤트 문서를 data.amplitude.com으로 마이그레이션했으며 수백 개의 이벤트를 천천히 진행하고 있습니다. 처음으로 일관성 없는 계측이 있는 곳과 누락된 속성이 있는 곳을 훨씬 더 잘 이해할 수 있게 되었습니다. 과거에 공백이 있었던 부분을 확인하고 즉시 해당 오류를 수정할 수 있습니다. 따라서 이러한 잘못된 이벤트가 포함된 오래된 보고서도 귀중한 통찰력을 제공할 수 있습니다.

이러한 새로 발견된 사용자 통찰력은 모두 알고리즘에 의해 완전히 구동되는 커뮤니티보다 수직적 소셜 푸드 커뮤니티가 더 매력적일 수 있음을 보여주기 때문에 우리 팀에게 흥미진진합니다. 사용자가 실제로 요리를 하고 응답하고 그들이 팔로우하는 사람들로부터 더 많이 저장하는 것을 볼 수 있다는 사실은 우리의 핵심 가설이 작동하고 있음을 보여줍니다.

세계적 수준의 인프라를 향한 명확한 길

Amplitude 내에서 실험을 통해 제품 변경의 영향을 측정할 때 추측할 필요가 없으므로 데이터에 대한 신뢰를 회복할 수 있습니다. Amplitude를 통해 우리는 이미 해야 할 부분이 있는 데이터 기반 문화를 구축할 수 있었습니다.

데이터 기반 문화는 빠르고 효과적이며 지속 가능한 제품 성장으로 이어질 수 있습니다.

개선된 테스트 및 추적을 향해 나아가면서 Whisk는 세계적 수준의 데이터 및 실험 인프라를 구축하고 나머지 Samsung 커뮤니티의 모범이 될 수 있는 위치에 있습니다. 우리의 문화는 그 어느 때보다 더 많은 데이터 정보를 기반으로 하고 있으며, 이는 Whisk의 빠르고 효과적이며 지속 가능한 성장으로 이어졌습니다.