การทดสอบ A/B: ข้อผิดพลาดประเภท 1 และประเภทที่ 2 คืออะไรและจะหลีกเลี่ยงได้อย่างไร

เหตุผลหลักประการหนึ่งในการดำเนินการทดสอบ A/B คือการได้ผลลัพธ์ที่ตรวจสอบได้ซึ่งทำซ้ำได้ วิธีเดียวที่จะบรรลุสิ่งนี้คือการใช้วิธีการทางวิทยาศาสตร์ เป้าหมายคือการได้รับความจริงตามวัตถุประสงค์ - ปราศจากการคาดเดา การคาดเดา และความรู้สึกส่วนตัวว่ารูปแบบใดดีที่สุด

อย่างไรก็ตาม บางครั้งผู้ทดสอบอาจทำผิดพลาด และสามารถมองข้ามสิ่งเหล่านี้ได้อย่างง่ายดายซึ่งทำให้เกิดผลลัพธ์ที่ไม่ดี เมื่อนักการตลาดดำเนินการทดสอบ A/B หรือการทดสอบหลายตัวแปรระหว่างงานการเพิ่มประสิทธิภาพอัตรา Conversion การทดสอบทุกครั้งอาจมีข้อผิดพลาดหลายประเภท ประเภทข้อผิดพลาดทั่วไปคือข้อผิดพลาดประเภทที่ 1 และข้อผิดพลาดประเภทที่ 2

แม้ว่าเครื่องมือจะทำการทดสอบ A/B ได้ง่ายเพียงใด คุณในฐานะผู้ใช้ต้องเข้าใจทั้งวิธีการทางวิทยาศาสตร์และวิธีตีความผลลัพธ์เพื่อหลีกเลี่ยงการตัดสินใจที่ไม่ถูกต้อง

เป็นงานของคุณในการออกแบบการทดสอบ และนี่คือสิ่งที่มักเกิดข้อผิดพลาดขึ้นภายในการออกแบบการทดลอง ไม่มีเครื่องมือทดสอบ A/B ใดที่สามารถตรวจพบข้อผิดพลาดเหล่านี้ได้ ขึ้นอยู่กับคุณว่าจะตรวจพบเมื่อใด หรือป้องกันไม่ให้เกิดขึ้นตั้งแต่แรก

แล้วข้อผิดพลาดเหล่านี้คืออะไร ข้อผิดพลาดประเภท 1 และประเภท 2 แตกต่างกันอย่างไร และจะหลีกเลี่ยงข้อผิดพลาดประเภท 1 และข้อผิดพลาดประเภทที่ 2 ได้อย่างไร

มาหาคำตอบกัน!

ผลบวกที่ผิดพลาดอาจเกิดขึ้นได้เมื่อทดสอบการวางซ้อนป๊อปอัปใหม่ (รูปแบบ B) เทียบกับการควบคุมดั้งเดิม (รูปแบบ A) คุณตัดสินใจเปลี่ยนภาพพื้นหลังเพื่อทดสอบภาพที่มีอารมณ์มากขึ้น

หลังจาก 10 วันของการวิ่งรูปแบบ A เทียบกับรูปแบบ B คุณจะตรวจสอบผลลัพธ์ ผลลัพธ์ดูชัดเจน แสดงให้เห็นการปรับปรุงครั้งใหญ่ในการแปลง ด้วยเหตุนี้ การทดสอบ A/B จึงได้ข้อสรุปและรูปแบบ B จะถูกนำไปใช้ในฐานะผู้ชนะ

อย่างไรก็ตาม หลังจากผ่านไปหลายเดือน ผลลัพธ์ก็ไม่ได้ดีไปกว่าเดิม อันที่จริง แย่กว่านั้น

นี่เป็นตัวอย่างของผลบวกลวงและข้อผิดพลาดประเภทที่ 1

ข้อผิดพลาดประเภทที่ 1 เป็นผลการทดสอบจากการทดลอง ซึ่งเป็นผลลัพธ์ที่แสดงให้เห็นความสัมพันธ์เชิงบวก ซึ่งบ่งชี้ถึงตัวเลือกที่เหนือกว่าซึ่งกลายเป็นว่าไม่เป็นความจริง

เป็นไปได้อย่างไร?

พูดง่ายๆ คือ ปัจจัยมนุษย์ทำให้เกิดข้อผิดพลาด บ่อยครั้งสิ่งนี้เป็นผลมาจากการทำวิจัยไม่เพียงพอเกี่ยวกับสิ่งที่ควรทดสอบ มีตัวแปรที่เป็นไปได้มากมายที่ต้องนำมาพิจารณาเมื่อออกแบบการทดสอบ คุณจะต้องพลาดเพียงหนึ่งตัวแปรเพื่อให้สมมติฐานการทดสอบของคุณผิด

หากทุกสิ่งเท่าเทียมกัน ปราศจากอิทธิพลภายนอก ผลลัพธ์ของการทดสอบ A/B นี้จะให้ผลลัพธ์ที่ถูกต้อง หากคุณพบว่าตัวเองอยู่ในตำแหน่งนี้ คุณพลาดบางสิ่งหรือปล่อยให้ปัจจัยภายนอกมีอิทธิพลต่อผลลัพธ์

ในท้ายที่สุด มีข้อบกพร่องในวิธีการทางวิทยาศาสตร์ของคุณ ประเด็นคือ คุณ เนื่องจากผู้ทดสอบไม่ได้คำนึงถึงมัน

ทำไมการทดสอบแบบแยกส่วนล้มเหลว

• บุคลิกของคุณกว้างเกินไป
• ขนาดตัวอย่างของคุณเล็กเกินไป
• คุณกำลังทดสอบสิ่งที่ผิด
• ระยะเวลาการทดสอบของคุณสั้นเกินไป

มาทำงานกับสถานการณ์เดียวกันข้างต้นกัน แบบเดิม (A) (ตัวควบคุม) กับรูปแบบใหม่ (B) ในกรณีนี้ ผลลัพธ์จะไม่แสดงการเปลี่ยนแปลงในการแปลงระหว่างทั้งสอง ในกรณีนี้ คุณอาจตัดสินใจที่จะใช้เวอร์ชันเดิมหรือเปลี่ยนไปใช้เวอร์ชันใหม่ ทั้งนี้ขึ้นอยู่กับปัจจัยอื่นๆ เช่น ความชอบส่วนบุคคล

ในกรณีนี้ สมมติฐานว่าง (คำจำกัดความด้านล่าง) ถือว่าถูกต้อง (ไม่ถูกต้อง)

การทดสอบมีข้อบกพร่องและเวอร์ชัน B เป็นตัวเลือกที่ดีกว่ามาก ดังนั้นสถานการณ์จึงอาจนำไปสู่การตัดสินใจที่ไม่ถูกต้อง ปัญหาในสถานการณ์นี้คือ เป็นไปได้ที่คุณจะไม่มีทางรู้ว่าเวอร์ชัน B ดีกว่า นั่นคือเว้นแต่คุณจะขจัดข้อผิดพลาดก่อนที่จะทำการทดสอบซ้ำ

ข้อผิดพลาดประเภทที่ 2 คือเมื่อสมมติฐานว่าง (ไม่มีความแตกต่าง) ถือว่าถูกต้อง – ไม่ถูกต้อง

การทดสอบสำคัญ

ก่อนที่คุณจะทำการทดสอบ คุณต้องคำนวณว่าระดับนัยสำคัญที่ควรจะเป็นสำหรับการทดสอบนั้นเป็นอย่างไร ที่นี่คุณกำลังตัดสินใจว่าผลลัพธ์ใดเป็นตัวกำหนดความสำเร็จ

โดยทั่วไป สิ่งนี้ควรยึดตาม Null Hypothesis ซึ่งเป็นตำแหน่งเริ่มต้นที่ไม่มีความแตกต่างอย่างมีนัยสำคัญระหว่างทั้งสอง

ค่าเบี่ยงเบนเชิงบวกใดจากตำแหน่งนี้ที่คุณควรถือว่ามีนัยสำคัญ ฉันทามติทั่วไปคือ คุณควรทำการทดสอบต่อไปจนกว่านัยสำคัญทางสถิติของคุณจะมีอย่างน้อย 90% แต่ควรเป็น 95% หรือมากกว่า ก่อนตัดสินใจโดยอิงตามนั้น หรือกล่าวอีกนัยหนึ่งคือความมั่นใจของคุณในผลลัพธ์มีมากกว่า 95%

ปัจจัยที่ต้องพิจารณาอีกประการหนึ่งคือขนาดกลุ่มตัวอย่าง ยิ่งขนาดกลุ่มตัวอย่างเล็กลงเท่าใด ระยะขอบของข้อผิดพลาดก็จะยิ่งมากขึ้น ความหมายก็คือ เมื่ออัตราการแปลงของคุณสูงขึ้น ขนาดตัวอย่างที่เล็กลง คุณจำเป็นต้องวัดการปรับปรุง

ลองดูเครื่องคำนวณขนาดตัวอย่างนี้เพื่อทำความเข้าใจว่าผมหมายถึงอะไร และดูว่าการทดสอบ A/B ของคุณควรมีขนาดตัวอย่างเท่าใด

• โดยทั่วไปจะทดสอบ A/B ครั้งละหนึ่งการเปลี่ยนแปลงเท่านั้น
• อย่าทดสอบ A/B หากคุณมีเว็บไซต์ขนาดเล็กที่มีการเข้าชมต่ำ โดยมีปริมาณ Conversion ต่ำกว่า 1,000 ต่อเดือน มันไม่คุ้มเวลาของคุณ
• ตรวจสอบให้แน่ใจว่าคุณกำลังทดสอบสิ่งที่ถูกต้อง