분석으로 제품을 최적화하여 더 안전한 베팅하기

제품 관리자(PM)로서 우리는 본질적으로 우리 제품을 위한 최선의 경로에 베팅합니다. 하지만 한 가지에 모든 돈을 쏟아붓는 것만으로는 충분하지 않습니다. PM은 처음에 가장 현명한 베팅을 하는 방법을 이해하고 다음 라운드의 확률을 개선하기 위해 효과가 있는 것과 그렇지 않은 것을 결정해야 합니다.

Jumbo Interactive에서 우리는 공격 및 방어 베팅의 관점에서 제품 전략을 생각하는 경향이 있습니다. Jumbo는 세계 최고의 복권 경험을 가능하게 하는 솔루션을 개발하고 있으며, 저는 현재 성장 공간의 PM으로 Jumbo와 함께한 지 1년이 조금 넘었습니다. 비즈니스의 성장 측면에서 거의 모든 베팅이 공격적일 것이므로 성장 루프를 탐색, 추가 또는 최적화하여 더 좋고 빠르게 회전할 수 있도록 합니다.

PM은 현명한 내기를 하는 방법을 이해하고 다음 라운드의 확률을 높이려면 무엇이 효과가 있고 무엇이 그렇지 않은지 결정해야 합니다.

우리 제품 중 하나는 친구가 큰 잭팟에서 더 나은 기회를 얻기 위해 함께 돈을 모으는 방법인 Lotto Party입니다. Lotto Party는 누가 특정 추첨에 기여했는지 추적합니다. 이렇게 하면 파티가 크게 이기면 모든 사람이 알림을 받고 자동으로 파이 조각을 얻습니다.

Jumbo의 성장 접근 방식은 Lotto Party와 같은 제품이 제공하는 바이러스 성장 루프를 추적하는 것입니다. 선형적으로 뿐만 아니라 기하급수적으로 성장하는 것이 중요합니다. 로또 파티는 복합적인 성장을 제공합니다. 누군가가 친구를 초대하면 그 친구 중 일부가 자신의 로또 파티를 만들고 더 많은 친구를 초대합니다.

Jumbo의 성장 엔진에는 이러한 바이럴 성장 루프 중 몇 가지가 포함되어 있으며 이 루프는 유료 광고 루프로 보완됩니다. 유료 광고는 리드를 생성하고 자본을 생성한 다음 더 많은 리드를 찾는 데 지출합니다. 유료 및 바이럴 - 이 두 가지는 함께 작동합니다.

자신 있게 이러한 베팅을 하고, 발견을 유도하고, 우리의 성공을 측정하기 위해 Amplitude에 의존합니다. 우리는 지난 1년 동안 Lotto Party의 월간 활성 사용자가 40% 증가한 것을 확인했으며 그 중 많은 부분이 Amplitude Analytics, Amplitude Experiment 및 Amplitude Audiences에서 얻은 통찰력에 기인할 수 있습니다.

분석은 모든 사람이 같은 페이지에 있는지 확인합니다.

Analytics로 가장 중요한 것은 선행 지표와 후행 지표를 측정하는 것입니다. 따라서 우리가 Lotto Party에 대해 모니터링하는 주요 지표 중 하나는 생성된 그룹 수입니다. 새 그룹은 루프의 끝과 새 루프의 시작을 모두 의미하기 때문입니다. 새 그룹을 시작한 사람이 최근 파티에 합류했습니까? 이는 동반자 성장 메커니즘을 이해하는 데 도움이 됩니다.

그러나 Analytics에서 이 정보를 보는 것은 저뿐만이 아닙니다. 회사 전체에 적용됩니다. 내가 함께 일하는 모든 엔지니어링 팀은 내 대시보드와 차트에 액세스할 수 있으며 자주 볼 것을 권장합니다. 나는 그들의 팀 공간을 관리하고 우리가 하는 모든 베팅에 대해 노트북을 만듭니다. 엔지니어링 팀이 검토할 수 있도록 모든 분석을 해당 노트북에 던질 것입니다.

나는 또한 복잡한 정보가 될 수 있는 것을 간결하게 설명하기 위해 특정 대시보드 또는 Analytics의 차트에 대한 짧은 Loom 비디오를 만듭니다. 엔지니어, 데이터 분석가, 다른 PM, 내 상사, 상사의 상사를 포함한 모든 사람과 이러한 정보를 공유합니다. 8개의 다른 회의를 예약하려고 하는 대신 4분 분량의 분석 동영상을 모든 사람과 공유할 수 있습니다. 모든 사람이 내가 하는 일, 그 작업의 결과를 볼 수 있으며 사용자가 실제로 제품을 사용하는 방법에 대한 직감 가정을 더 정확하게 만드는 데 도움이 됩니다.

실험을 통해 올인할 가치가 있는 투자가 무엇인지 알려줍니다.

Analytics에서 보는 것은 자연스럽게 Experiment의 A/B 테스트로 이어집니다. 이러한 테스트를 통해 우리는 가설 진술을 만들고 그것이 참인지 거짓인지 결정한 다음 올인해야 할 곳(또는 철회해야 할 곳)을 알 수 있습니다. 실험은 명확한 위험 이익 분석을 제공하기 때문에 특정 베팅에 대한 자신감을 높입니다.

우리는 문제를 설명하고 문제와 가능한 기회에 대해 가능한 한 많은 뒷받침 증거를 제공하는 실험 설계 문서를 만드는 것으로 시작합니다. 그런 다음 가설을 작성하고 일반적으로 트레이드 오프 메트릭으로 설명하는 기본 메트릭을 호출합니다. 대부분의 실험에서 몇 가지 보조 측정항목도 나열합니다. 그 정보는 성공 또는 실패가 어떻게 보이는지 결정하고 통계적 유의성에 필요한 샘플 크기를 결정한 다음 실험 기간을 결정합니다.

실험 설계 문서는 우리가 실험에서 테스트하는 것에 대한 강력한 정의를 제공합니다. 또한 실험의 우선 순위를 정하는 데 도움이 됩니다. 3개월에 걸친 실험은 꽤 느립니다. 실험이 그렇게 오래 걸릴 것이라는 것을 알고 있다면 더 긴 실험을 시작하기 전에 몇 주 동안의 실험을 중단하는 것이 좋습니다.

우리는 모든 것을 빠르고 더럽고 저렴하게 구축하기를 원하기 때문에 실험 설계가 중요합니다. 우리는 더 많은 데이터를 수집할 수 있도록 가능한 한 빨리 무언가를 얻고자 하며, 가능한 한 적은 초기 투자를 통해 광범위하게 테스트하고 현명하게 구축할 수 있습니다.

초기 투자를 가능한 한 적게 하면 제품 팀이 광범위하게 테스트하고 현명하게 구축할 수 있습니다.

Lotto Party의 한 가지 예는 제품 주변의 검색 가능성 부족이었습니다. 플랫폼 사용자의 대다수는 우리가 "플레이" 경험이라고 부르는 경험에 있으며 Lotto Party는 그 경험과 상당히 분리되었습니다. 우리가 Lotto Party를 플레이 경험에 더 많이 도입한다면 어떤 영향을 미칠까요? 그 움직임은 엔지니어링에서 상당한 향상과 결과적으로 상당한 투자를 요구했을 것입니다.

우리의 실험적 사고방식은 제품, 엔지니어링, Q&A, 프로세스에 관련된 모든 사람이 이 실험을 간소화하여 가장 작은 투자에서 가장 큰 통찰력을 얻는 것에 대해 생각하게 합니다. 실험에서 우리는 Lotto Play를 플레이 경험에 통합하는 것이 Lotto Party의 매출을 거의 두 배로 늘리고 생성된 그룹 수를 두 배 이상 늘리는 것을 확인했습니다. 이에 대한 추가 투자는 당연한 일이었습니다.

고객은 보다 개인화된 장바구니로 거래 가치를 높입니다.

우리는 Audiences를 사용하여 더 스마트한 장바구니 추천을 하고, 이메일 지원 및 구매 흐름에도 포함합니다. 사용자가 과거에 구매한 것이든 구매하려고 하는 것이든 관계없이 사용자가 좋아할 만한 추가 제품이나 "이전에 플레이한 티켓 다시 재생"과 같은 제안을 제공합니다. "튀김과 함께 먹을래요?"라는 고전적인 질문을 더 똑똑하게 변형한 것입니다. 청중은 이 특정 고객이 감자 튀김을 원하지 않는다는 것을 알고 있지만 밀크셰이크는 좋아합니다. 사용자의 욕구를 파악하기 위해 자체 알고리즘 프레임워크를 구축하는 것은 꽤 어려울 것이지만 Amplitude는 이를 제공합니다.

개인화된 추천이 많을수록 사용자가 추천을 선택할 가능성이 높아집니다.

Amazon Personalize에서 제공하는 Audiences의 권장 사항은 스스로 비용을 쉽게 지불합니다. 개인화된 추천이 많을수록 사용자가 추천을 선택할 가능성이 높아집니다. 우리가 Audiences를 사용하기 시작하기 전에 카트 배치가 있었고 그 이후로 그 배치가 훨씬 더 잘 수행되었기 때문에 Jumbo는 이것을 알고 있습니다.

약 8개월 전에 장바구니에 담긴 제품에 대한 아이디어가 있었습니다. 이전에는 장바구니 배치가 자선 추첨과 관련된 제품의 하위 집합에 중점을 두었지만 저는 이를 모든 제품으로 확장하고 청중이 각 고객에게 가장 적합한 것이 무엇인지 결정할 수 있도록 하고 싶었습니다. 클릭수와 거래 가치가 증가했습니다. Audiences를 사용하면 더 많은 옵션을 제공할수록 더 많은 사람들을 만날 수 있습니다.

기존 사용자를 유지하고 새로운 사용자를 확보하기 위해 현명한 베팅을 하십시오.

이러한 개인화는 Amplitude가 메시징에 사용하는 Braze와 통합되는 데에도 중요합니다. 우리의 성장 엔진에 대해 생각해보면, 우리는 고객을 생성하는 이러한 모든 획득 루프를 가지고 있지만, 우리 엔진의 핵심인 다른 측면은 유지와 참여이며 이것이 바로 Braze가 있는 곳입니다. 사용자에게 메시지를 보낼 때를 더 똑똑하게 아는 것이 모든 차이를 만들며 올바른 채널을 아는 것만큼이나 중요합니다. 특정 앱을 자주 사용하는 사람이라면 이메일보다 푸시 알림이나 인앱 메시지를 보내는 것이 더 합리적일 것입니다.

Braze는 습관 루프를 계속하는 데 도움이 됩니다. 우리는 습관 루프를 활성화 후 2개월 동안 활성 플레이어인 고객으로 정의합니다. 두 달만 뛰면 버릇이 된다. 우리는 Braze를 사용하여 이러한 습관 루프를 촉발하고 계속 회전하여 유지를 유도합니다. 하지만 이를 위해서는 최상의 데이터가 Braze로 유입되어야 합니다. 분석은 더 똑똑한 집단을 만들고 콘텐츠를 개인화함으로써 그렇게 하는 데 도움이 됩니다. 이 콘텐츠, 시기 및 전달에 대해 더 구체적으로 알수록 해당 캠페인의 결과가 더 좋아집니다.

저는 Jumbo에서 일하면서 많은 것을 배웠고 성장에 대한 완전히 새로운 관점을 갖게 되었습니다. Amplitude로 작업한 것도 큰 성과였습니다. 우리는 Amplitude가 없는 Lotto Party의 월간 활성 사용자의 증가를 보지 못했을 것입니다. 플랫폼을 통해 가장 현명한 베팅을 할 수 있습니다.