A/B 테스팅이 가치가 없을 때

당신과 나 같은 마케팅 괴짜에게 A/B 테스트만큼 피가 흐르는 것은 없습니다. 그들은 빨리 달리고 결과 스트림을 보는 것이 매우 만족스럽습니다. 일단 시작하면 우리는 경주를 시작합니다. 그리고 우리가 없이 어떻게 해냈는지 상상하기 어렵습니다. 우리가 모든 것을 할 수만 있다면: 인생의 큰 결정을 한 번에 두 릴 재생하여 어떤 선택이 올바른 선택인지 확인하십시오.

그러나 신중하게 고려하지 않으면 A/B 테스트는 실제로 우리의 귀중한 시간 낭비가 될 수 있습니다. A/B 테스트를 최대한 활용하는 방법은 다음과 같습니다.

A/B 테스팅이란? 어떻게 작동합니까?

A/B 테스트를 통해 경험이나 메시지를 테스트하여 개선할 수 있는지 확인할 수 있습니다. A/B 테스트에서는 사용자에게 두 가지 버전의 사이트, 앱 또는 기능(버전 A 대 B)을 제시합니다. 추적하는 메트릭에 따라 가장 잘 수행되는 버전이 승리합니다.

버튼, 글꼴, 클릭 유도문안, 편집 콘텐츠 스타일, 스크롤 속도와 같은 다음 수준 세부 정보까지 모든 것을 테스트할 수 있습니다. 첫 번째 사용자 집합(일반적으로 컨트롤(A)) 앞에 한 버전을 배치하고 두 번째 사용자 집합 앞에 있는 변형(B). 트래픽은 가능한 한 많이 무작위화되므로 테스트 중인 유일한 변형은 변형 B에서 변경된 것입니다. 여러 변수 및/또는 여러 변형을 테스트할 수 있으며 이것을 다변수 테스트라고 하며 다른 날의 주제입니다.

A/B 테스트를 사용하여 가설 테스트

A/B 테스팅을 사용하여 아이디어가 타당한지 확인하는 객관적인 데이터 기반 증거로 문제를 해결하는 방법에 대한 주관적인 아이디어를 테스트합니다.

잘 하면 A/B 테스팅은 기본 레시피를 따릅니다. 해결하고 싶은 문제부터 시작하세요. 문제가 있음을 시사하는 데이터 또는 사용자 조사가 있거나 제품 및 잠재고객에 대한 지식에서 파생된 정보에 입각한 직감일 수 있습니다.

다음으로, 문제에 대한 최상의 솔루션으로 보이는 것을 식별하는 가설을 개발하십시오. 그런 다음 테스트를 실행하여 궁극적으로 가설을 증명하거나 반증할 경험적 증거를 수집하십시오. 마지막으로 배운 내용을 바탕으로 조치를 취하십시오.

A/B 테스트를 시작하기 전에 확인해야 할 사항

De Tocqueville의 1835년 미국 성격 연구( Democracy in America )에서 그는 미국에서 "여론은 아주 작은 문제에 대한 천 분의 차이로 나뉩니다."라고 썼습니다.

물론 De Tocqueville은 자신의 말이 디지털 및 모바일 마케팅의 맥락에서 얼마나 관련성이 있는지 전혀 몰랐을 것입니다. 일부 결과는 발굴하는 데 걸리는 시간을 보증하지 않습니다. A/B 테스트를 해야 할 때와 시간을 다른 곳에서 더 잘 보낼 수 있는 때를 알 수 있습니다.

테스트를 실행하지 않는 4가지 이유

1. 다음과 같은 경우 A/B 테스트를 하지 마십시오. 아직 의미 있는 트래픽이 없을 때

A/B 테스팅은 매우 보편적이 되었고, A/B 테스팅이 없는 모바일 또는 제품 개발의 세계는 상상하기 어렵습니다. 그러나 발목이 젖기도 전에 테스트 풀의 깊숙한 곳으로 뛰어드는 것은 실수일 수 있습니다.

통계적 유의성은 테스트에서 중요한 개념입니다. 충분히 많은 사용자 그룹을 테스트하여 일반 사용자가 선호하는 것을 결정하고 식별한 선호가 실제로 샘플링 오류의 결과일 가능성을 줄입니다.

사용자가 실제로 컨트롤보다 변형을 선호하기 때문에 움직임을 보았습니까? 또는 예를 들어 고양이를 사랑하는 사람들에게 A형을, 치즈버거를 싫어하는 사람들에게 B형을 무의식적으로 제공했습니까? 즉, 결과가 실제로 일반 사용자에 대해 아무 것도 알려주지 않는다는 의미입니까? 이러한 종류의 샘플링 오류를 방지하려면 통계적으로 유의미한 샘플 크기가 필요합니다. 결과가 조치를 취하기에 충분히 의미가 있는지 어떻게 알 수 있습니까? 수학!

이 무료 A/B 유의성 계산기 ( 또는 원하는 경우 이 계산기)를 사용하여 시작할 수 있습니다. 각 계산기는 A/B 변형의 양쪽에서 방문자와 전환을 비교 하고 많은 백엔드 수학 을 수행하며 백분율로 표시된 "신뢰 수준"을 제공하여 테스트가 성공했는지 여부를 알려줍니다. 자신있게 행동할 수 있는 결과.

전환율에 큰 차이를 만들 것으로 예상되는 것을 테스트하는 것은 일반적으로 트래픽이 적은 경우에 가능하지만 버튼의 색상과 같은 작은 변화를 테스트하려면 더 큰 샘플 크기가 필요합니다. 우려되는 경우 이 계산기를 사용 하여 A/B 테스트를 실행하기 전에 트래픽이 원래 있어야 할 위치에 있는지 확인하십시오 .

의미 있는 결과를 알릴 수 있는 사용자가 충분하지 않은 경우 실험하는 대신 더 많은 고객을 유치하는 데 노력을 기울일 수 있습니다. 사용자 기반이 아직 작을 때 테스트를 계속 진행하기로 결정했다면 의미 있는 결과를 보기 전에 테스트를 몇 주 동안 유지해야 할 수 있습니다.

2. 다음과 같은 경우 A/B 테스트를 하지 마십시오. 시간을 안전하게 보낼 수 없습니다.

Brainscape의 설립자이자 CEO이자 TechStars 및 General Assembly의 강사인 Andrew Cohen 은 " A/B 테스트 플러그인이 아무리 저렴하고 효율적이더라도 ... 분할 테스트를 수행하는 것은 단순히 관리 집약적인 작업입니다. 누군가는 테스트할 대상을 결정하고 테스트를 설정하고 테스트 결과를 확인 및 구현하는 데 시간을 할애해야 합니다.”

Cohen은 이러한 작업을 비교적 쉽게 실행할 수 있지만 여전히 많은 "정신적 대역폭이 필요하며 이는 모든 회사(특히 초기 단계의 스타트업)에서 가장 희소한 리소스입니다."라고 설명합니다.

무엇을 테스트할지 미리 결정하는 데 시간을 할애하여 A/B 테스트 시간을 최대한 활용할 수 있습니다.

3. 다음과 같은 경우 A/B 테스트를 하지 마십시오.

정보를 수집하다. 문제를 식별합니다. 가설을 정의합니다. 그런 다음 당신이 맞는지 테스트하십시오. A/B 테스트를 실제 과학처럼 다루십시오! 훌륭한 과학자 는 가설 없이 실험을 시작하지 않습니다 .

가설을 정의하려면 해결하려는 문제를 알고 전환 목표를 식별하십시오. 예를 들어 고객이 전환 유입경로의 특정 지점에서 이탈하는 경향이 있다고 가정해 보겠습니다.

문제: 고객이 장바구니에 항목을 로드하지만 구매 프로세스를 완료하지 않습니다.

약간의 시장 조사와 충분한 정보에 입각한 판단에 따르면 "구매 완료"라는 버튼을 추가하면 전환율을 높일 수 있다고 생각합니다. 성공 지표를 정의하는 것도 중요합니다. 가장 기뻐할 전환율 증가는 무엇입니까? (그리고 왜 그 숫자가? 증가가 전체 비즈니스에 미치는 영향은 무엇입니까?) 이는 통계적 유의성 계산과도 관련이 있습니다. 이 예에서 전환율을 20% 늘리고 싶다고 가정해 보겠습니다.

과학적 가설은 일반적으로 if/then 형식으로 작성됩니다. 따라서 귀하의 가설은 " 내가 '구매 완료' 버튼을 추가하면 20 % 더 많은 사람들이 구매 프로세스를 따르게 될 것입니다."가 됩니다.

테스트가 끝나면 몇 가지 결정을 내려야 합니다. 테스트가 긍정적이고 가설이 확인되면 축하합니다! 네가 이겼다. 귀하의 가설은 이제 입증된 이론입니다(물론 달성한 백분율 신뢰 수준 내에서 입증됨). 비즈니스가 충분히 민첩하다면 영구적인 솔루션을 즉시 도입할 수 있습니다. 첫 번째 성공에서 개선할 여지가 더 있는지 확인하기 위해 더 작은 변형을 계속 테스트할 수 있습니다.

테스트가 음성이고 가설이 목표를 달성하지 못한 경우에도 승리합니다! 이것은 당신의 통제가 승리하는 공식이고 당신이 그것을 자신 있게 계속 사용할 수 있다는 것을 의미합니다. 다시 말하지만, 원하는 결과를 얻지 못하면 다른 변형을 테스트할 수 있습니다. 문제를 해결할 다른 방법이 있는지 확인하고 새로운 가설을 세우십시오.

테스트가 결정적이지 않으면 문제를 다시 확인하십시오. 당신이 생각하는 통증 지점이 확실합니까? 통계적으로 유의미한 결과를 제공하기에 충분한 트래픽이 있습니까? 귀하의 제품에 문제가 있는 것에 대한 답이 반드시 A/B 테스트에 있지 않을 수도 있음을 기억하십시오.

4. 다음과 같은 경우 A/B 테스트를 하지 마십시오. 즉시 조치를 취할 위험이 낮습니다.

Apptimize의 마케팅 책임자인 Lynn Wang 은 " 아이디어가 앱을 개선할 것이 거의 확실하고 아이디어 구현과 관련된 위험이 낮다는 것을 알고 있는 상황에서는 A/B 테스트를 건너뛰어야 합니다 ." 그녀는 “ 아마도 좋고 위험도가 낮은 것을 테스트하기 위해 시간과 자원을 들일 이유가 없습니다. 구현에 뛰어드는 것이 좋습니다.”

이것은 시간이 부족한 경우를 기억하는 데 특히 유용합니다. 주어진 결과가 사실일 수도 있고 동시에 중요하지 않을 수도 있음을 명심하십시오.

좋은 도구는 스마트한 응용 프로그램만큼만 유용합니다.

A/B 테스트는 놀라운 리소스입니다. 잘 적용된 테스트의 명확한 결과를 기반으로 취한 스마트하고 간단한 조치 는 디지털 환경 전반에 걸쳐 성공을 거두었습니다 . 성공적인 기업은 인내해야 할 때를 알고 의미 있는 테스트를 실행합니다. 그들은 또한 언제 자신의 직관이나 다른 정보 소스에 의존해야 하는지 알고 있으며 실제로 가치를 추가하지 않는 장기간 또는 조기 테스트 기간이라는 가정된 안전망 없이 앞으로 나아갑니다.