상관관계에서 인과관계로: 셀프 서비스 분석 수용으로 전환율 28배 향상

Brainly는 배우기를 좋아합니다. 월간 사용자가 3억 명에 달하는 선도적인 글로벌 교육 앱이라는 영역과 함께 제공됩니다. 우리 사이트와 앱을 통해 학생, 학부모, 교사는 숙제에 대해 묻고 답할 수 있으며 온라인 커뮤니티 회원들도 서로의 질문에 답할 수 있습니다.

뒤에서 우리는 호기심이 많고 데이터 중심적이며 비즈니스를 발전시키기 위해 가능한 한 많은 질문을 해야 한다고 믿습니다. 우리는 데이터를 사용하여 제품 성장을 촉진하지만 사용자 이벤트를 이해하고 분석을 해석하고 두 가지를 수익에 연결하는 것은 까다로울 수 있습니다.

호기심에 이끌리지만 데이터 분석 도구에 방해를 받음

Brainly의 데이터 분석 관리자로서 저는 우리 팀이 추세를 이해하고 상관관계를 탐색하며 인과관계를 확립하도록 돕습니다. Google 애널리틱스 상점이었기 때문에 이전 설정으로 데이터에서 실행 가능한 통찰력을 추출하는 것이 어려웠습니다. 우리는 데이터 분석가에게 SQL, Python 및 R로 쿼리를 작성하도록 요청한 다음 결과를 제품 관리자와 내부 이해 관계자가 이해할 수 있는 차트 및 기타 시각화로 제시했습니다. 우리는 급변하는 환경에 있었고 답은 너무 느리게 나왔습니다. 우리 분석가들은 업무량이 많았고 시급한 질문에 대한 답을 얻기 위해 1~2주를 기다리는 경우가 많았습니다.

Google Analytics에서 데이터를 추출하는 것은 부담이었습니다. 우리의 유입 경로는 정교하며 사용자를 다양한 행동 집단으로 분류합니다. 손으로 코딩한 쿼리가 결과를 산출했지만(느리긴 하지만) Google 애널리틱스의 UI는 사용자 친화적이지 않았고 복잡성을 더했습니다. 일련의 반직관적인 메뉴를 통해 씨름하지 않고서는 데이터를 시각화할 수 없었으며, 그때에도 세분화 및 시각화 옵션은 극히 제한적이었습니다. 우리는 풍부한 정보를 가지고 있었지만 농구를 뛰어넘지 않고는 데이터에 뛰어들 수 없었습니다.

몇 달 만에 주간 사용자 10명에서 80명으로

우리는 대체 분석 플랫폼을 살펴보기 시작했습니다. 제품을 시연하기 위해 여러 공급업체를 초대했지만 상사는 항상 Amplitude Analytics를 염두에 두었고 팀은 실망하지 않았습니다. 그들은 우리가 고려하지 않은 사용 사례를 보여주고 Brainly 사용자 데이터를 세분화하고 시각화할 수 있는 방법을 보여주기 위해 더미 데이터를 만들었습니다.

사용자 친화적인 분석 도구는 분석 팀의 부담을 없애고 사용자 데이터를 필요로 하는 모든 사람이 사용할 수 있도록 합니다.

가장 중요한 것은 이 데모를 통해 회사가 우리 팀이 과도한 업무를 수행하는 분석가에게 요청하는 대신 Amplitude의 셀프 서비스 분석 도구를 사용하여 사용자 데이터를 가져올 수 있다는 사실을 깨닫는 데 도움이 되었습니다. 우리는 분석 팀의 부담을 덜어주고 필요한 모든 사람이 사용자 데이터를 사용할 수 있게 해주는 협업 도구를 찾았습니다.

우리는 2022년 2월에 10명의 활성 주간 사용자와 함께 애널리틱스를 출시했습니다. 11월까지 그 숫자는 주간 활성 사용자 80명과 등록 사용자 140명으로 늘어났습니다. 우리는 플랫폼의 셀프 서비스 요소가 팀이 데이터와 상호 작용하는 방식을 바꾸는 것을 보았습니다. 제품 관리자를 비롯한 다양한 팀에서 애널리틱스를 사용하여 애널리스트를 기다리지 않고 퍼널 및 전환 지표를 추출합니다. 사용자 이벤트를 생성하는 모바일 엔지니어는 구현 목적으로 이를 사용하고 QA 팀은 플랫폼을 사용하여 이벤트가 실시간으로 올바르게 작동하는지 확인합니다.

그러나 가장 큰 영향은 콘텐츠 제작에 있었습니다.

핵심 콘텐츠 혁신

Brainly의 핵심은 Community Q&A 제품입니다. 학습자는 로그인하여 질문하고 다른 학습자는 답변할 수 있습니다. 모든 응답은 포인트를 획득하여 사용자가 자신의 질문을 하고, 페이지를 잠금 해제하고, 커뮤니티 상태를 개선하도록 장려합니다. 콘텐츠 팀은 이러한 답변을 확인하고 올바른 답변에는 녹색 체크를 표시합니다. 이러한 전문가 검증 답변은 즉각적인 답변으로 제공되므로 사용자는 솔루션을 찾기 위해 데이터베이스를 검색할 필요가 없습니다. 즉각적인 답변이 사용자 경험을 개선하고 학생들이 무료 평가판에 등록하도록 유도했다고 의심했지만 이것이 상관관계인지 인과관계인지 확인할 수 있는 숫자가 없었습니다.

Analytics 덕분에 사이트 또는 앱에서 처음 7일 동안 즉각적인 답변을 더 많이 본 사용자는 그렇지 않은 사용자보다 무료 평가판에 등록할 가능성이 훨씬 더 높다는 것을 확인했습니다. 전환율은 환상적이고 우리가 예상했던 것보다 훨씬 높았습니다. 이러한 깨달음으로 검증된 답변을 개선하고 즉각적인 답변 일치율을 높이는 것이 콘텐츠의 최우선 순위가 되었습니다. 이를 위해 콘텐츠 팀이 확인한 즉각적인 답변 데이터베이스를 구축했습니다.

이제 우리는 인공 지능(AI) 및 기계 학습(ML)을 활용하여 특정 수의 사람들이 좋아하거나 긍정적인 평가를 받은 답변을 자동으로 확인합니다. 고품질 답변일 가능성이 더 높기 때문입니다.

Amplitude Experiment로 A/B 테스트 강화

우리는 최근에 Amplitude Experiment를 채택하여 A/B 테스트를 단순화하고 사용자를 한 번에 둘 이상의 테스트 시나리오에 노출시키지 않고 동시 실험을 실행했습니다. 우리는 이전에 Google Optimize를 사용하여 웹 사이트에서 이러한 테스트를 실행하고 Firebase를 사용하여 앱을 테스트했습니다. Google Optimize 테스트 데이터를 Analytics로 푸시하는 해킹을 찾았지만 Firebase 데이터를 푸시할 방법이 없었습니다. 실험을 통해 단일 에코시스템 내에서 테스트와 분석을 통합할 수 있으므로 간단합니다.

실험을 사용한 첫 달에 우리는 다양한 가설을 테스트하기 위해 6개의 실험을 시작했으며 그 중 하나는 제품의 힘을 보여줍니다. 확인된 답변을 최적화하고 우선 순위를 정한 후 검색 결과에서 즉석 답변의 비율이 5%에서 10%로 증가했습니다. 실험을 통해 5개 이상의 인스턴트 답변을 보는 사용자 수가 증가했고 그에 따라 전환율도 증가했음을 확인했습니다.

우리는 2022년 말까지 Brainly의 모든 사람에게 플랫폼을 출시하기를 희망합니다.

강력한 기능과 원활한 통합

Analytics 내에서 가장 많이 사용되는 기능은 행동 코호트 및 세분화 차트입니다. 당사의 제품 관리자는 다양한 행동 코호트가 새로운 기능과 기존 기능과 상호 작용하는 방식을 이해하기 위해 고도로 맞춤화된 사용자 세그먼트를 생성합니다. 리텐션 차트는 똑같이 인기가 있으며 사용자가 얼마나 자주 돌아와 새 콘텐츠를 만들고 매주 학습 상호 작용에 참여하는지 여부를 확인하는 데 사용합니다. 여기에는 읽기, 답하기 또는 질문하기, 개인 교습 시간이 포함됩니다. 누군가가 매주 최소 한 번 이러한 행동에 참여한다면 이는 그들이 누적 학습으로 이어지는 긍정적인 사용자 경험을 가지고 있음을 의미합니다.

Analytics의 세그먼트 섹션에 있는 공식을 사용하여 사용자 세그먼트를 비교합니다. 또한 전환과 같은 특정 메트릭을 살펴보고 다양한 페이지, 기능 및 사용자를 퍼널에 대한 더 깊은 통찰력을 제공하는 시각화로 조합할 수 있기 때문에 데이터 테이블이 매우 유용하다는 것을 알게 되었습니다.

Analytics는 다른 분석 도구, 특히 Branch.io 및 Snowflake와 원활하게 통합됩니다. Branch.io를 사용하여 웹사이트에서 모바일 앱으로 마이그레이션하는 로그인되지 않은 사용자를 추적합니다. 그들이 웹에서 어떤 실험에 노출되었는지 확인하고 어떤 콘텐츠와 기능이 사용자를 앱으로 가장 잘 유도하는지 결정할 수 있기 때문에 큰 승리입니다.

우리는 모든 백엔드 데이터에 Snowflake를 사용하지만 Amplitude와의 통합을 통해 사용자 이벤트를 교환할 수 있습니다. 예를 들어 사용자 B가 질문에 대한 사용자 A의 답변에 댓글을 달면 Analytics에서 사용자 B의 댓글에 대한 이벤트를 생성하지만 사용자 B가 세션을 시작했기 때문에 사용자 A가 댓글을 받았다는 이벤트는 생성할 수 없습니다. Snowflake를 사용하면 방정식을 뒤집고 사용자 A가 사용자 B로부터 댓글을 받았음을 나타내는 수동 이벤트를 만들고 해당 정보를 Analytics에 다시 제공할 수 있습니다. 이 작업은 댓글을 받은 후 사용자 A의 행동이 어떻게 변경되었는지 더 잘 보여줍니다. 이 단순한 관점의 변화로 우리가 얼마나 더 많은 것을 배울 수 있는지 놀랍습니다.

우리의 북극성과 다음 단계

불과 7개월 만에 활성 사용자 기반을 거의 120명으로 늘리고 Brainly 내에 Amplitude 커뮤니티를 구축했습니다. 우리는 Amplitude 사용자가 플랫폼에 대한 실시간 토론에 참여할 수 있는 Slack 채널과 사용 방법 기사, 팁 및 요령 및 기타 중요한 링크가 포함된 Confluence 페이지를 보유하고 있습니다. 또한 Amplitude를 처음 접하는 Brainly 직원의 대사 및 멘토 역할을 하는 파워 유저인 'Ampliteers' 그룹을 만들었습니다. 우리는 항상 질문 기반 문화를 가지고 있었지만 이제는 민주화되어 데이터 분석가에게 국한되지 않습니다.

인구통계가 아닌 활동을 기준으로 사용자를 분류하면 보다 개인화된 경험을 만들 수 있습니다.

진폭은 우리가 북극성을 찾는 데 도움이 되었습니다. 즉각적인 답변이 전환을 유도한다는 사실을 깨닫고 네트워크 효과에 기반한 새로운 성장 전략을 채택했습니다. 사용자가 더 많은 질문에 대답할수록 더 많은 사람들이 우리 사이트에 끌립니다. 사용자 생성 콘텐츠가 증가하면 SEO 순위도 향상됩니다.

유일한 변화는 아닙니다. 우리는 사이트에서 수행하는 작업의 유형과 빈도별로 사용자를 분류하기 위해 Amplitude에서 새로운 행동 코호트를 만들고 있습니다. 인구통계가 아닌 활동을 기반으로 세분화함으로써 올해와 향후 교육을 통해 안내할 보다 개인화된 경험을 제공할 수 있기를 바랍니다. 우리는 단순히 즉각적인 개별 도움을 제공하는 대신 장기적인 교육 여정을 수립하고자 합니다. 흥미로운 개발이며 다른 교육 사이트 및 앱과 Brainly를 더욱 구별하는 새로운 기능으로 발전할 것이라고 확신합니다.

Amplitude는 Brainly의 데이터 활용 능력을 변화시켰습니다. 우리는 사용자 및 이벤트 데이터에 더 쉽고 빠르게 액세스할 수 있으며 정보를 확인하고 실행 가능한 통찰력을 생성할 수 있는 다양한 방법으로 데이터를 시각화할 수 있습니다. 우리 직원들은 호기심을 충족시키고 우리 플랫폼에 의존하는 학습자들에게 더 나은 결과로 이어지는 적절한 질문을 할 수 있는 도구를 가지고 있습니다.