분할 테스트 중 마케터가 저지르는 10가지 큰 실수

모든 비즈니스가 효과적으로 운영되기 위해서는 많은 기업가들이 놓치기 쉬운 마케팅 분석 및 조사가 중요합니다. 효과가 있는 것과 그렇지 않은 것을 고려하지 않고 단순한 판매 경향이 사이트의 성장을 결정합니다. 집중적 인 시장 조사에 대한 더 깊은 요구 사항을 차단하고 결과적으로 장기적으로 고객을 잃습니다. 고객 조사를 수행하는 가장 좋은 방법은 분할 테스트입니다.

테스트를 분할하는 이유는 무엇입니까?

분할 테스트 또는 A/B 테스트는 정의상 웹사이트 트래픽 개선이라는 결정적인 목표를 가지고 통제된 무작위 실험을 수행하는 방법입니다. 더 간단하게 하기 위해 동일한 페이지의 두 버전을 비교하여 어느 것이 더 효과적인지 결정합니다. 이상적으로는 효과를 정확하게 파악하기 위해 두 버전 사이에 한두 가지 차이만 있을 것입니다.

콘텐츠, 클릭, 양식 완성 및 구매와 같은 일반적인 작업을 분석하여 미리 정의된 마케팅 목표에 더 나은 결과를 제공하는 변형을 확인합니다. 사용되는 일반적인 마케팅 방법론은 가입 양식, 등록 페이지, 클릭 유도문안 버튼 또는 다른 페이지로의 리디렉션입니다. CTA에서 한 단어를 업데이트하는 것과 같은 작은 변화만으로도 전환율이 무려 77% 증가한 것으로 입증되었습니다. 이것은 마케팅 캠페인의 효과를 향상시키기 위해 분할 테스트를 수행하는 것이 중요하다는 것을 증명합니다.

매력적으로 들릴지 모르지만, 때로는 마케터들이 거짓 음성 분석을 받는 것에 대해 불평하거나 적절한 데이터를 생성할 수조차 없는 것으로 보일 수 있습니다. 분할 테스트에 당황했다면 잘못된 방식으로 테스트를 수행했을 가능성이 있습니다. 다음은 테스터가 가능한 수정 사항과 함께 저지를 가능성이 높은 10가지 가장 일반적인 실수 목록입니다.

알아야 할 가치가 있는 실수 및 수정 사항

테스터가 분할 분석을 이해하려고 할 때 많은 오류가 있을 수 있습니다. 가장 일반적인 것은 아래에 기록되어 있습니다.

1. 임의 테스트

대부분의 테스터들이 겪는 가장 큰 문제는 이유 없이 분할 테스트를 진행하는 것입니다. 예를 들어 '클릭 유도 문안' 버튼의 크기를 테스트하는 것이 불안할 수 있습니다. 이 경우 특정 초점을 가진 변형을 디자인할 수 있습니다. 단지 그것을 위해 분할 테스트를 수행하는 경우 파멸 직전이므로 삼가하십시오.

해결 방법: 히트 맵 소프트웨어를 사용하여 집중되지 않거나 트래픽이 많이 발생하지 않는 잠재적인 영역을 찾습니다. 분할 테스트를 수행하고 먼저 가설을 형성하십시오. 이제 시험을 수행하고 적절한 시간 동안 수행하고 새로운 히트 맵 데이터 세트를 비교하고 분석하십시오. 만족스러운 결과를 얻을 때까지 계속 반복하십시오.

2. 조기 시험 취소

이것은 대부분의 테스터가 저지르는 큰 신인 실수입니다. 귀하의 사이트가 높은 트래픽을 발생시켜 분할 테스트 후 3일 이내에 98%의 신뢰도와 변형당 약 250회의 전환을 생성하고 테스트를 성공적으로 수행했다고 가정해 보겠습니다. 여기에서 계절성 매개변수를 고려하지 않았기 때문에 테스트가 위양성 결과를 얻는 경우와 테스트를 수행하는 요일조차도 테스트 곡선에 상당한 변동이 발생할 수 있습니다.

해결 방법: 통계 분석의 또 다른 중요한 매개변수는 채취한 샘플 크기입니다. 적절한 결과를 얻으려면 샘플 크기를 충분히 크게 해야 합니다. 100 또는 1000 전환. 표본 크기가 너무 작으면 잘못된 결과를 초래할 수 있습니다.

3. 다중 요소 테스트

웹사이트 히트 매핑 분석은 초점이 필요한 영역이 둘 이상임을 시사할 수 있지만 동시에 여러 테스트를 수행하면 아무 소용이 없습니다.

다변량 테스트 대신 분할 테스트를 선택하는 것이 항상 좋습니다. 하나의 매개변수만 다른 두 페이지에 대해 분할 테스트를 수행할 때 어느 페이지가 더 잘 작동하는지 쉽게 판단할 수 있기 때문입니다.

해결 방법: 그러나 다변량 테스트의 경우 2~3개의 매개변수가 서로 다른 4개의 웹 페이지를 테스트한다고 가정합니다. 이 경우 데이터를 수집할 때 실제 결정 요인을 수정할 수 없습니다. 이러한 경우 모든 페이지의 데이터를 비교하고 서로 다른 매개 변수 간의 상관 관계도 분석해야 합니다.

4. 트래픽 전환에만 집중

특정 매개변수 또는 몇 가지 매개변수를 테스트할 때 단기적으로만 생각하지 말고 뿌리를 깊게 내리십시오. 즉, 특정 변경 사항으로 인해 사이트에서 더 많은 트래픽이 발생하는 경우 이에 만족하지 마십시오. 높은 트래픽이 낮은 품질의 고객으로 구성된 경우 결국 비즈니스에 부정적인 결과를 초래할 수 있습니다.

해결 방법: 따라서 분할 테스트를 선택할 때마다 전환 메트릭을 확인한 다음 해당 트래픽을 실제 리드와 연관시키고 얼마나 많은 잠재 고객을 생성하는지 확인하십시오.

5. 무작위 가설을 선택하거나 맹목적으로 분할 테스트 관행을 따르기

통계 테스트는 적절한 가설 없이는 의미가 없습니다. 따라서 테스트를 수행하는 데 시간을 낭비하기 전에 적절한 가설이 있는지 확인하십시오. 가설의 신뢰성이 확실하지 않은 경우 시장 조사를 위해 이동하고 선택한 변수에 대한 결과를 분석하고 경쟁사의 전략을 확인하고 대상 고객을 파악하십시오.

해결 방법: 또한 경쟁자의 전략을 확인하는 동안 맹목적으로 따르지 않도록 하십시오. 다른 사람에게 효과가 있었던 것이 당신에게도 효과가 없을 것입니다. 경쟁사의 전략을 확인하면서 동시에 자신의 USP를 알고 그에 따라 전략을 세우십시오.

6. 혼동 변수 제거

교란 변수는 중요한 가설 매개변수의 일부가 아니며 테스트 결과를 망칠 가능성이 있는 요소입니다. 여기에는 신제품 소개, 마케팅 캠페인 시작 및 웹사이트 재설계가 포함됩니다.

이는 일반적으로 테스트 중간에 일부 테스트 매개변수를 변경하여 더 중요한 변형을 생성할 때 발생합니다. 이로 인해 잠재적 대상 풀 외부에서 트래픽이 생성될 수 있습니다.

해결 방법: 분할 테스트를 수행할 때 이러한 교란 변수를 제거하고 나머지 요인이 테스트 내내 일정하게 유지되는지 확인하십시오.

7. 증분 변경만 테스트

대규모 웹사이트가 운영되는 방식과 나머지 소규모 기업가들이 이를 처리하는 방식에는 상당한 차이가 있습니다. 대규모 웹 사이트의 경우 약간의 증분 변경으로 인해 큰 ROI가 발생할 수 있습니다. 그러나 신생 기업 및 소규모 회사의 경우 이러한 활동이 기대한 결과를 얻지 못할 수 있습니다. 예를 들어, 웹 사이트 또는 CTA 버튼 색상과 다양한 음영을 테스트하는 것은 전체 사이트 성형에 거의 추가되지 않을 것이기 때문에 실현 가능하지 않습니다.

수정: 분할 테스트는 미세한 개선을 제공하지만 소기업의 경우 상당한 이직률을 제공하지 않습니다. 따라서 증분 변화에만 집중하지 말고 엄청난 성능 향상에 집중하십시오. 필요한 것은 전반적인 수준에서 급진적인 변화를 추구하는 것입니다. 이것은 좁은 A/B 테스트 기술보다 더 집중적입니다. 이것은 상당한 노력을 요구할 수 있는 주요 페이지 재설계를 수반할 수 있습니다. 재설계되는 여러 요소로 인해 재설계된 페이지가 게시된 후 어떤 특정 요소로 인해 트래픽이 급증했는지 확인하기 어려울 수 있다는 점에 유의하는 것도 중요합니다.

8. 트래픽이 없어도 스플릿 테스트를 한다.

몇 달 동안만 비즈니스를 운영하는 경우 분할 테스트 실행을 시작하기 전에 더 많은 트래픽을 달성하는 것이 좋습니다. 신생 기업 및 신규 벤처의 경우 소수의 베타 사용자와 분할 테스트를 수행하는 것은 비효율적입니다. 서로 다른 가설을 테스트하는 것은 최적의 표본에 의해 달성되는 통계적 중요성의 게임입니다. 그러나 적절한 샘플이 없으면 이 기본 목표를 달성할 수 없습니다.

해결 방법: 3가지 조건을 충족한 경우에만 분할 테스트를 진행하세요.

1- 적절한 대표 샘플이 있습니다.

테스트는 다양한 판매 기간을 수용하기 위해 3-4주 동안 실행되어야 합니다. 그 전에 테스트를 취소하면 보편적인 테스트가 아니라 선택적/주기적인 테스트 결과가 표시됩니다.

2- 샘플 크기가 충분합니다.

1000개 이상의 트랜잭션(리드, 가입 또는 구독)이 있는 웹 사이트는 트래픽을 개선하기 위해 한 달에 한 번 A/B 테스트를 수행할 수 있습니다. 전환율, 총 방문수 및 전체 거래와 같은 요인에 따라 적절한 샘플 크기가 얼마인지 결정됩니다.

3- p-값을 달성할 때

포인트 # 2와 3이 충족되면 p-값을 살펴보는 것이 중요합니다(일반적인 오해에 따라 p-값은 B가 A보다 클 확률이 아닙니다). 일반적으로 허용 가능한 유의 수준은 5%입니다(또는 20번 중 1번, 귀무 가설이 참인 경우 표본이 극단적인 결과를 나타냄)

9. 몇 주 동안 테스트가 실행되지 않음

분할 테스트에서 적절한 결과를 얻으려면 계절성, 주간 및 일별 매개변수가 중요합니다. 따라서 분할 테스트에 걸리는 시간은 신중하게 선택해야 합니다. 전체 주 테스트를 고려하지 않으면 테스트 결과의 올바른 그림을 보여줄 수 있는 결과가 왜곡됩니다.

해결 방법: 예를 들어 전자 상거래 사이트 소유자인 경우 주말에는 대상 인구가 제품에 더 관심을 갖는 반면 월요일이나 주중 출퇴근 시간에는 사이트에서 적절한 트래픽을 생성하지 못할 수 있습니다. 따라서 시험 시작과 같은 날에 시험을 끝내도록 하십시오. 이렇게 하면 한 번의 반복으로 일주일 내내 테스트할 수 있습니다. 이것은 또한 이전 권장 사항인 2-3주 동안 테스트를 실행하는 것과 일치합니다.

10. 테스트 데이터가 Google Analytics로 전송되지 않음

전환 메트릭은 일반적으로 평균 데이터를 표시하고 마케팅 평균의 세계에서는 거짓말을 합니다. 백분율 데이터로만 작업하면 전체 그림을 얻을 수 없습니다. 이는 시간, 계절성, 주간 단계 및 기타 여러 요인이 적절한 고객 그래프에 기여하기 때문입니다.

해결 방법: 상당한 양의 데이터를 제공한 경우 Google Analytics로 보내십시오. 고급 세그먼트 및 맞춤 보고서를 실행합니다. 결과는 고급 테스트를 실행할 수 있는 경로를 보여주고 거기에서 사이트 테스트를 수행할 위치에 대한 아이디어를 얻을 수 있습니다. 새로운 GA 기능을 활용하면 마케터는 분석된 A/B 테스트 데이터를 최대 20개까지 동시에 실행할 수 있습니다. 하나의 활성 실험에 대해 고유한 맞춤 측정기준(또는 GA 클래식 모드의 맞춤 변수)을 사용해야 합니다. 이 경우 Optimizely Classic과 같은 도구가 도움이 될 수 있습니다.

그것을 요 ​​약하기

마케팅 및 비즈니스 분석은 나름의 방식으로 매우 복잡합니다. 따라서 다른 사람들이 무엇을 하고 있는지 확인하거나 가장 일반적인 테스트 전략을 짜는 대신 현명한 경로를 선택하고 비용 효율적인 A/B 테스트를 채택하여 마케팅 전략에서 ROI를 높이십시오.