A/B 테스팅: 1종 오류와 2종 오류란 무엇이며 이를 피하는 방법

A/B 테스트를 수행하는 주요 이유 중 하나는 반복 가능한 검증 가능한 결과를 얻는 것입니다. 이를 달성하는 유일한 방법은 과학적 방법을 사용하는 것입니다. 목표는 추측, 추측 및 변형이 가장 좋은 개인적인 감정에서 벗어나 객관적인 진실을 얻는 것입니다.

그러나 때때로 테스터는 오류를 범하며 이러한 오류는 쉽게 간과되어 나쁜 결과를 초래할 수 있습니다. 마케터가 전환율 최적화 작업 중에 A/B 테스트 또는 다변량 테스트를 수행할 때 모든 테스트에는 여러 유형의 오류가 발생할 수 있습니다. 일반적인 오류 유형은 1종 오류와 2종 오류입니다.

도구가 A/B 테스트를 얼마나 쉽게 만들 수 있는지에도 불구하고 사용자는 과학적 방법론과 잘못된 결정을 내리지 않도록 결과를 해석하는 방법을 모두 이해해야 합니다.

테스트를 설계하는 것은 여러분의 몫이며, 실험 설계 내에서 오류가 발생하는 경향이 있습니다. A/B 테스트 도구는 이러한 오류를 감지할 수 없습니다. 발생했을 때 발견하거나 애초에 발생하지 않도록 방지하는 것은 사용자의 몫입니다.

그렇다면 이러한 오류는 무엇이며 1종 오류와 2종 오류의 차이점은 무엇이며 1종 오류와 2종 오류를 피하는 방법은 무엇입니까?

알아 보자!

새 팝업 오버레이(변형 B)와 원래 컨트롤(변형 A)을 테스트할 때 가양성이 발생할 수 있습니다. 더 감동적인 이미지를 테스트하기 위해 배경 이미지를 변경하기로 결정했습니다.

대안 A와 대안 B를 10일 동안 실행한 후 결과를 확인합니다. 결과는 명확해 보이며 전환율이 크게 향상되었습니다. 결과적으로 A/B 테스트가 종료되고 변형 B가 승자로 구현됩니다.

그러나 몇 개월 후 결과는 원본보다 좋지 않았으며 실제로는 더 나빴습니다.

이것은 거짓 긍정 및 유형 1 오류의 예입니다.

제1종 오류는 실험적으로 테스트한 결과로, 양의 상관관계를 나타내는 결과로, 더 나은 선택이 사실이 아닌 것으로 판명되었음을 나타냅니다.

이것이 어떻게 가능한지?

간단히 말해서 오류를 유발하는 것은 인적 요소입니다. 종종 이것은 테스트해야 할 항목에 대한 충분한 조사를 하지 않은 결과입니다. 테스트를 설계할 때 고려해야 하는 가능한 변수가 많이 있으며 테스트 가설이 틀릴 경우 하나만 놓치면 됩니다.

모든 것이 평등하다면 외부 영향이 없는 이 A/B 테스트의 결과가 올바른 결과를 제공했을 것입니다. 이 위치에 있는 자신을 발견하면 무언가를 놓쳤거나 외부 요인이 결과에 영향을 미치도록 내버려 두었습니다.

궁극적으로 당신의 과학적 방법에 결함이 있었습니다. 요점은 테스터인 당신이 그것을 설명하지 않았다는 것입니다.

분할 테스트가 실패하는 이유는 무엇입니까?

• 당신의 페르소나는 너무 광범위합니다
• 샘플 크기가 너무 작습니다.
• 당신은 잘못된 것을 테스트하고 있습니다
• 테스트 기간이 너무 짧습니다.

위의 동일한 시나리오인 원본(A)(대조군)과 새로운 변형(B)으로 작업해 보겠습니다. 이 경우 결과는 둘 사이의 변환에 변화가 없음을 보여줍니다. 이 경우 개인 취향과 같은 다른 요소를 기반으로 원본을 유지하거나 새 버전으로 전환할 수 있습니다.

이 경우 영가설(아래 정의)은 올바른(잘못된) 것으로 간주됩니다.

테스트에 결함이 있었고 버전 B가 훨씬 더 나은 옵션이었습니다. 따라서 시나리오는 잠재적으로 잘못된 결정으로 이어질 수 있습니다. 이 시나리오의 문제는 버전 B가 더 낫다는 것을 결코 알지 못할 가능성이 있다는 것입니다. 다시 테스트하기 전에 오류를 제거하지 않는 한 그렇습니다.

제2종 오류는 귀무 가설(차이 없음)이 올바른 것으로 간주되는 경우입니다.

테스트 의미

테스트를 실행하기 전에 테스트의 유의 수준을 계산해야 합니다. 여기에서 어떤 결과가 성공을 결정하는지 결정합니다.

일반적으로 귀무가설(Null Hypothesis)에 기초해야 하며, 이는 둘 사이에 큰 차이가 없다는 기본 입장입니다.

이 위치에서 어떤 긍정적인 편차가 중요하다고 간주해야 합니까? 일반적인 합의는 통계적 유의성이 최소 90%, 바람직하게는 95% 이상이 될 때까지 테스트를 계속해야 한다는 것입니다.

고려해야 할 또 다른 요소는 표본 크기입니다. 표본 크기가 작을수록 오차 한계가 커집니다. 이것이 의미하는 바는 전환율이 높을수록 개선을 측정하는 데 필요한 샘플 크기가 작아진다는 것입니다.

이 샘플 크기 계산기를 확인하여 이것이 의미하는 바를 이해하고 A/B 테스트에 있어야 하는 샘플 크기를 확인하십시오.

• 일반적으로 한 번에 하나의 변경만 A/B 테스트합니다.
• 트래픽이 적은 소규모 웹사이트가 있고 전환 볼륨이 월 1000회 미만인 경우 A/B 테스트를 하지 마십시오. 시간을 할애할 가치가 없습니다.
• 올바른 것을 테스트하고 있는지 확인하십시오.