이 7단계 프레임워크로 실험에 접근하는 방식을 바꾸십시오.

실험은 제품 팀에 필수적입니다. 그러나 잘못하면 아예 하지 않는 것이 나을 수도 있습니다. 실험을 가치 있고 예측 가능하며 지속 가능하게 하려면 비즈니스 성장과 고객 문제를 중심으로 테스트를 조정하는 시스템이 필요합니다.

실험 프레임워크가 필요한 이유

실험을 통해 팀은 제품 및 사용자에 대한 지식이 변경될 수 있다는 이해를 바탕으로 운영하는 성장 사고 방식으로 작업할 수 있습니다. 그들은 스케일링 제품 내에서 자연적으로 발생하는 인식과 현실의 격차를 해소하고 고객이 실제로 필요로 하는 것에 맞추기 위해 과학적 방법을 적용할 수 있습니다.

팀이 임시 방식으로 실험하면 실험 프로그램이 실패하고 조직은 내부 의사 결정 프로세스에서 실험을 중단합니다. 프레임워크는 실험이 사용자와 비즈니스에 도움이 되도록 하여 이러한 상황을 방지합니다.

실험은 의미 있는 비즈니스 영향을 미치는 결정을 내리는 데 핵심입니다. 직감만으로도 훌륭하고 좋은 결과를 가져올 수 있지만 의사 결정 프로세스는 지속 가능하거나 신뢰할 수 없습니다.

실험은 성장 마인드셋을 개발하는 데 도움이 됩니다.

실험이 작업의 필수 부분인 경우 제품에 대한 믿음을 절대 업데이트하지 않는 고정 사고 방식에서 벗어나 성장 사고 방식으로 작업하는 데 도움이 됩니다. 가정에 의존하지 않고 지식을 지속적으로 배우고 업데이트합니다. 그러면 비즈니스와 고객을 위해 가능한 최선의 결정을 내릴 수 있습니다.

실험은 본능을 업데이트하고 더 나은 결정을 내리는 데 도움이 됩니다.

실험을 하지 않으면 직감이나 방에서 가장 큰 목소리가 옳다고 생각하는 것에 따라 결정을 내립니다. 정기적인 실험을 통해 데이터 학습을 기반으로 결정을 내릴 수 있습니다.

오랫동안 직관적인 결정을 성공적으로 내릴 수 있지만 회사가 성장함에 따라 직관을 확장하기는 어렵습니다. 당신의 직관이 언제 구식이 되고 틀리게 되는지 알 수 없습니다.

조직이 성장하고 변화함에 따라 제품, 고객 및 최선의 행동 경로에 대해 믿는 직관은 끊임없이 만료됩니다. 실험을 통해 배울 때 얻은 데이터를 기반으로 직관을 연마하고 업데이트할 수 있습니다.

실험을 통해 고객과 가깝게 지낼 수 있습니다.

실험을 통해 인식과 현실의 격차( 사용자가 원하는 것과 실제로 원하는 것 사이의 공간)를 최소화할 수 있습니다. 제품의 초기 단계에 있고 제품 ​​시장 적합성을 찾기 위해 노력할 때 고객에게 가까이 있는 것입니다. 당신은 그들과 이야기하고 그들의 감정과 필요를 알고 있습니다.

그러나 스케일링을 시작하면 인식과 현실의 격차가 커집니다. 의도가 낮은 고객 및 인접 사용자와 경쟁해야 합니다. 고객이 너무 많아서 초기 제품 개발 단계에서 했던 것처럼 고객과 대화할 수 없습니다. 실험은 직관이 잘못된 영역을 찾는 데 도움이 되므로 규모를 조정하면서 인식 격차를 줄일 수 있습니다.

실험 프로그램이 실패하는 이유

실험 프로그램은 사람들이 실험을 지속적인 프로세스가 아닌 일회성 전략으로 사용할 때 종종 실패합니다. 또한 사람들은 실험이 학습보다는 승리를 가져올 것으로 기대하기 때문에 실험의 목표를 잘못 설정합니다.

실험은 임시적입니다.

팀은 종종 실험을 특정 영역에서 누군가의 직관을 검증하는 고립된 방법으로 간주합니다. 임시 실험은 좋은 결과를 가져올 수도 있고 그렇지 않을 수도 있지만 이러한 결과는 예측할 수 없으며 지속 가능한 운영 방식이 아닙니다.

실험의 목표가 잘못됨

사람들이 실험이 상승도를 제공할 것으로 예상할 때 실험의 목표를 잘못 설정하고 있는 것입니다. 실험에서 승리하는 것이 기분이 좋지만 손실은 더 가치가 있습니다. 손실은 제품이나 사용자에 대한 잘못된 믿음을 가지고 있는 위치를 보여주므로 앞으로 그 믿음을 바로잡을 수 있습니다.

실험이 성장 수단에 맞춰져 있지 않거나 고객 문제를 중심으로 구성되지 않음

실험은 조직에 유용하지 않다는 것을 의미하기 때문에 비즈니스가 집중하는 성장 수단에 실험을 맞추지 않으면 문제가 발생합니다. 마찬가지로 고객 문제를 중심으로 실험을 구성하는 대신 비즈니스 결과에만 집중하면 문제가 발생합니다. 비즈니스 문제만 생각하면 데이터를 편향적으로 해석하고 사용자에게 도움이 되지 않는 솔루션을 개발합니다.

실험 프로그램이 실패하면 어떻게 됩니까?

실험 프로그램이 실패하거나 잘못 구현되면 조직은 실험에 대한 자신감을 잃고 직관에 너무 많이 의존합니다. 그들은 최상의 고객 경험을 개발하기 위한 경로로 이를 신뢰하지 않습니다. 그런 일이 발생하면 의사 결정 프로세스의 일부로 실험을 채택하지 않으므로 실험이 가져오는 모든 가치를 잃게 됩니다.

잘못된 실험의 몇 가지 예를 살펴보겠습니다. 비즈니스 수단과 고객 문제를 중심으로 실험을 조정하도록 강요하는 프레임워크를 사용하지 않고 실험하면 다음과 같은 일이 발생합니다.

무료에서 유료 전환율

조직은 수익화에 중점을 두고 있으며 제품을 수익화해야 합니다. 그들은 무료에서 유료로의 전환율을 개선하는 팀을 배정합니다.

회사는 "저희는 가격에서 결제로의 전환율이 낮으므로 가격 책정 페이지를 최적화합시다."라고 말합니다. 팀은 페이지의 전환율을 개선하기 위해 다양한 색상과 레이아웃을 테스트하기로 결정합니다.

그러나 가격 책정 페이지를 최적화하기 위한 실험은 고객 문제를 중심으로 하지 않습니다. 팀이 고객과 이야기를 나누었다면 가격 책정 페이지의 UX가 업그레이드를 방해하는 것이 아니라는 사실을 알았을 것입니다. 오히려 아직 구매할 준비가 되지 않았거나 구매해야 하는 이유를 이해하지 못할 수 있습니다.

이 경우 가격 책정 페이지만 최적화하면 결과가 나오지 않습니다. 대신 팀이 고객 문제에 대한 실험에 집중한다고 상상해 봅시다. 고객이 가격 책정 페이지를 보기도 전에 프리미엄 제품의 가치에 노출되도록 프리미엄 제품의 평가판을 사용해 볼 수 있습니다.

비즈니스 문제로 실험을 시작하는 경우("증가해야 하는 전환율이 있습니다")와 고객 문제로 시작하는 경우("그들은 아직 구매에 대해 생각할 준비가 되지 않았습니다.”).

온보딩 설문지

조직이 획득에 중점을 두고 있으므로 제품 팀은 온보딩 설문지의 2페이지에서 3페이지로의 이탈률을 최소화하려고 합니다. 비즈니스 문제에 대해서만 생각한다면 3페이지를 간단히 제거할 수 있습니다. 그들은 온보딩이 더 짧으면 이탈률이 더 낮을 것이라고 가정합니다.

3페이지 제거가 효과가 있고 온보딩의 전환율이 향상된다고 가정해 보겠습니다. 더 많은 사람들이 설문지를 작성합니다. 팀은 제품의 나머지 부분에 적용하는 학습 내용을 제거합니다. 가능한 한 많은 단계를 제거하여 모든 고객 여정을 단순화해야 합니다.

그러나 이러한 학습은 문제의 고객 측면에 대해 생각하지 않았기 때문에 잘못되었을 수 있습니다. 그들은 사람들이 3페이지에서 이탈하는 이유 를 조사하지 않았습니다. 아마도 문제는 페이지의 길이가 아니라 그들이 요청한 정보의 유형이었을 것입니다.

아마도 3페이지에는 전화번호나 급여와 같은 개인 정보에 대한 질문이 포함되어 있어 사람들이 여행 초기에 제공하는 것을 불편해했습니다. 페이지를 제거하는 대신 해당 답변을 선택 사항으로 만들거나 사용자가 나중에 답변을 편집하여 더 많은 사람들이 온보딩의 해당 부분을 통과하도록 할 수 있습니다.

7단계 실험 프레임워크

실험을 지속 가능하게 하려면 다음 단계를 따르세요. 비즈니스 전략과 고객 문제에 대한 실험을 유지하는 데 도움이 됩니다.

1. 성장 레버 정의

실험이 의미가 있으려면 비즈니스에 중요해야 합니다. 조직이 집중하고 있는 성장 수단(획득, 유지 또는 수익 창출)과 일치하는 실험 영역을 선택하십시오.

획득에 집중하고 있는데 홈페이지에서 이탈률이 높다고 가정해 보겠습니다. 실험의 틀을 잡기 위해 다음과 같이 말할 수 있습니다.

• acquisition 획득 을 2. 고객 문제 정의

  더 진행하기 전에 실험에서 고객의 관점에서 해결하려는 문제를 정의해야 합니다.

  제품이 해결하는 고객 문제를 식별하여 제품 시장 적합성을 찾았습니다. 그러나 많은 조직이 제품 배포 및 확장으로 전환할 때 비즈니스 문제로 초점을 전환합니다. 효율성을 높이려면 배포를 고정하고 고객 문제를 확장하여 제품 시장 적합성에 대해 지속적으로 발전하고 학습해야 합니다.

  실험 결과에 따라 고객 문제를 반복합니다. 문제가 무엇이라고 생각하는지 진술하여 초기 고객 문제를 정의하는 것으로 시작하십시오.

  홈페이지 예시의 경우 다음과 같습니다.

  • confused 고객은 우리의 가치 제안에 대해 혼란스러워 합니다.

  가설 개발

  이제 문제가 존재하는 이유에 대한 해석을 정의하십시오. 고객 문제와 마찬가지로 더 많은 것을 배우면서 가설을 반복하게 됩니다. 고객 문제 및 가설의 첫 번째 버전은 실험을 위한 출발점을 제공합니다.

  홈페이지 예시에 대한 잠재적 가설은 다음과 같습니다.

  • poor messaging 잘못된 메시지 too many action buttons 페이지에 작업 버튼이 너무 많습니다 too vague 사본이 너무 모호 4. KPI로 가능한 솔루션 아이디어

    고객의 문제를 해결할 수 있는 가능한 모든 솔루션을 제시하십시오. 각 솔루션이 다루는 KPI(핵심 성과 지표)를 표시하여 각 솔루션의 성공을 측정하는 방법을 만듭니다.

    획득, 유지 및 수익 창출에 대한 영향력 있는 제품 KPI 목록과 이를 측정하는 방법을 보려면 제품 지표 가이드를 다운로드하십시오.

    홈페이지 예시의 솔루션 + KPI는 다음과 같습니다.

    • 솔루션: KPI: 5. 솔루션의 우선순위 지정

      솔루션 구현 비용, 비즈니스에 미치는 영향, 영향을 미칠 것이라는 확신이라는 세 가지 요소를 고려하여 먼저 테스트해야 하는 솔루션을 결정합니다.

      영향이 적고 비용이 많이 드는 솔루션을 걸러내려면 다음 순서로 솔루션의 우선 순위를 지정하십시오.

      1. 저비용, 고효과, 고신뢰
      2. 낮은 비용, 높은 영향력, 낮은 신뢰도
      3. 저렴한 비용, 낮은 영향, 높은 신뢰도

      그런 다음 고비용 솔루션으로 이동할 수 있지만 그 영향도 높을 때만 가능합니다.

      회사마다 이러한 요소에 다른 가중치를 부여할 수 있습니다. 예를 들어 예산이 많고 잘 구축된 조직은 리소스가 적은 신생 기업보다 고비용 솔루션을 테스트하는 데 덜 신중할 것입니다. 그러나 항상 세 가지 요소(비용, 영향 및 영향의 신뢰도)를 고려해야 합니다.

      실험의 또 다른 이점은 자신감 평가를 수행하는 능력을 연마하는 데 도움이 된다는 것입니다. 실험 후 솔루션이 예상한 영향을 미쳤는지 확인하고 결과에서 학습합니다.

      6. 실험 설명 작성 및 테스트 실행

      1~5단계에서 수집한 정보를 수집하여 실험의 틀을 잡는 설명을 만듭니다.

      홈페이지 예제의 경우 해당 문은 다음과 같습니다.

      • growth lever customer hypothesis solution KPI 고객 확보를 가속화하는 것이 우리의 최우선 과제이며, 고객이 잘못된 메시지 [ 가설 ]로 인해 고객 솔루션 KPI 영향을 미치고 향상시키고 테스트하려는 메트릭에 대한 기준선을 정의하십시오.

        7. 결과에서 배우고 반복

        테스트 결과에 따라 2단계로 돌아가 고객 문제와 가설을 업데이트한 다음 이 루프를 계속 실행합니다. 비즈니스 우선 순위(성장 레버)가 변경되면(예: 인수가 개선되고 수익 창출에 집중하려는 경우) 반복을 중지하십시오. 새로운 레버에 맞게 실험을 설정하십시오.

        반복을 중단해야 하는 또 다른 이유는 수익 감소를 볼 때입니다. 이는 더 이상 솔루션을 제시할 수 없거나 고객 문제를 효과적으로 해결할 수 있는 적절한 인프라나 리소스가 부족하기 때문일 수 있습니다.

        더 나은 의사결정을 더 빠르게

        대상 실험을 사용자에게 제공하고 제품 변경의 영향을 측정하려면 올바른 제품 실험 플랫폼이 필요합니다. Amplitude Experiment는 제품, 엔지니어링 및 데이터 팀 간의 협업을 통해 사용자 행동 분석을 통해 제품 변경의 영향을 계획, 제공, 추적 및 분석할 수 있도록 구축되었습니다. 시작하려면 데모를 요청하십시오.

        이 게시물이 마음에 드셨다면 제품 주도 성장에 대해 자세히 알아보려면 LinkedIn 에서 저를 팔로우하세요. 제품 실험에 대해 자세히 알아보려면 Reforge 의 실험 및 테스트 과정을 확인하십시오 .