เมื่อการทดสอบ A/B ไม่คุ้มค่า

สำหรับผู้คลั่งไคล้การตลาดเช่นคุณและฉัน ไม่มีอะไรจะทำให้เลือดไหลเวียนได้เท่ากับการทดสอบ A/B พวกเขาวิ่งได้เร็วและรู้สึกพึงพอใจอย่างยิ่งที่ได้ชมผลงานที่ส่งเข้ามา เมื่อเราเริ่มแล้ว เราก็ออกไปสู่การแข่งขัน และมันยากที่จะจินตนาการว่าเราไม่เคยทำได้โดยปราศจากมัน หากเราสามารถทำเช่นนี้กับทุกสิ่งได้: เล่นสองรีลของการตัดสินใจครั้งใหญ่ในชีวิตของเราในคราวเดียวเพื่อดูว่าตัวเลือกใดเหมาะสมที่สุด

แต่หากปราศจากการพิจารณาอย่างรอบคอบ การทดสอบ A/B อาจกลายเป็นการเสียเวลาอันมีค่าของเราไปโดยเปล่าประโยชน์ วิธีใช้ประโยชน์สูงสุดจากการทดสอบ A/B มีดังนี้

การทดสอบ A/B คืออะไร? มันทำงานอย่างไร?

การทดสอบ A/B ช่วยให้คุณทดสอบประสบการณ์หรือข้อความเพื่อดูว่าสามารถปรับปรุงได้หรือไม่ ในการทดสอบ A/B คุณนำเสนอไซต์ แอป หรือคุณลักษณะสองเวอร์ชันแก่ผู้ใช้ (เวอร์ชัน A กับ B) เวอร์ชันที่ทำงานได้ดีที่สุด ไม่ว่าคุณกำลังติดตามเมตริกใดก็ตาม จะเป็นผู้ชนะ

สามารถทดสอบได้แทบทุกอย่าง ไม่ว่าจะเป็นปุ่ม ฟอนต์ คำกระตุ้นการตัดสินใจ สไตล์เนื้อหาด้านบรรณาธิการ และแม้กระทั่งรายละเอียดระดับถัดไป เช่น ความเร็วในการเลื่อน โดยวางเวอร์ชันหนึ่งไว้ข้างหน้าผู้ใช้ชุดแรก ซึ่งมักจะเป็นตัวควบคุม (A) และ ตัวแปร (B) ต่อหน้าผู้ใช้ชุดที่สอง การรับส่งข้อมูลจะถูกสุ่มให้มากที่สุดเท่าที่จะเป็นไปได้ ดังนั้นตัวแปรเดียวที่คุณกำลังทดสอบคือตัวแปรที่เปลี่ยนแปลงในตัวแปร B คุณสามารถทดสอบตัวแปรหลายตัวและ/หรือตัวแปรหลายตัว ซึ่งเรียกว่าการทดสอบหลายตัวแปร ซึ่งเป็นหัวข้อสำหรับวันอื่น

ใช้การทดสอบ A/B เพื่อทดสอบสมมติฐาน

ใช้การทดสอบ A/B เพื่อทดสอบแนวคิดเชิงอัตวิสัยสำหรับวิธีแก้ปัญหาด้วยหลักฐานที่มีวัตถุประสงค์และอิงจากข้อมูล ซึ่งจะยืนยันว่าแนวคิดนั้นถูกต้องหรือไม่

ทำได้ดี การทดสอบ A/B เป็นไปตามสูตรพื้นฐาน เริ่มต้นด้วยปัญหาที่คุณต้องการแก้ไข บางทีคุณอาจมีข้อมูลหรือการวิจัยผู้ใช้ที่บอกว่ามีปัญหา หรือเพียงแค่ลางสังหรณ์ที่ได้รับจากความรู้เกี่ยวกับผลิตภัณฑ์และผู้ชมของคุณ

ต่อไป ให้พัฒนาสมมติฐานที่ระบุสิ่งที่ดูเหมือนจะเป็นทางออกที่ดีที่สุดสำหรับปัญหาของคุณ จากนั้น ทำการทดสอบเพื่อรวบรวมหลักฐานเชิงประจักษ์ที่จะพิสูจน์หรือหักล้างสมมติฐานของคุณในท้ายที่สุด สุดท้าย ดำเนินการตามสิ่งที่คุณได้เรียนรู้

สิ่งที่ต้องระวังก่อนเริ่มทำการทดสอบ A/B

ในการศึกษาลักษณะนิสัยอเมริกันของ De Tocqueville ในปี 1835 ( Democracy in America ) เขาเขียนว่าในสหรัฐอเมริกา “ความคิดเห็นของสาธารณชนถูกแบ่งออกเป็นเฉดสีต่างๆ นับพันนาทีตามคำถามในช่วงเวลาสั้นๆ”

แน่นอนว่า De Tocqueville คงไม่รู้ว่าคำพูดของเขาเกี่ยวข้องกันอย่างไรในบริบทของการตลาดดิจิทัลและมือถือ ผลลัพธ์บางอย่างไม่รับประกันเวลาที่ใช้ในการค้นพบ รู้ว่าเมื่อใดควรทดสอบ A/B และเวลาของคุณอาจจะดีกว่าที่อื่น

4 เหตุผลที่จะไม่ทำการทดสอบ

1. อย่าทดสอบ A/B เมื่อ: คุณยังไม่มีการเข้าชมที่มีความหมาย

การทดสอบ A/B เป็นที่แพร่หลายมาก เป็นการยากที่จะจินตนาการถึงโลกของการพัฒนาอุปกรณ์เคลื่อนที่หรือผลิตภัณฑ์โดยปราศจากมัน ทว่าการกระโดดลงไปในส่วนลึกของสระทดสอบก่อนที่คุณจะทำให้ข้อเท้าเปียกอาจเป็นความผิดพลาดได้

นัยสำคัญทางสถิติเป็นแนวคิดที่สำคัญในการทดสอบ ด้วยการทดสอบกลุ่มผู้ใช้ที่มากพอ คุณจะกำหนดได้ว่าผู้ใช้โดยเฉลี่ยชอบอะไร และทำให้โอกาสที่คุณระบุนั้นมีแนวโน้มน้อยลงจริงๆ แล้วเป็นผลมาจากข้อผิดพลาดในการสุ่มตัวอย่าง

คุณเห็นการเคลื่อนไหวเพราะผู้ใช้ชอบตัวแปรนี้มากกว่าส่วนควบคุมใช่หรือไม่ หรือ ตัวอย่างเช่น คุณให้บริการ Variant A กับคนที่รักแมวโดยไม่ได้ตั้งใจ และ Variant B ให้กับผู้ที่เกลียดชังชีสเบอร์เกอร์ หมายความว่าผลลัพธ์ของคุณไม่ได้บอกอะไรเกี่ยวกับผู้ใช้โดยเฉลี่ยของคุณเลยใช่หรือไม่ เพื่อป้องกันข้อผิดพลาดในการสุ่มตัวอย่างประเภทนี้ คุณต้องมีขนาดตัวอย่างที่มีนัยสำคัญทางสถิติ คุณจะทราบได้อย่างไรว่าผลลัพธ์ของคุณมีความสำคัญเพียงพอที่จะรับประกันการดำเนินการหรือไม่ คณิตศาสตร์!

คุณสามารถเริ่มต้นด้วยการใช้ เครื่องคำนวณนัยสำคัญ A/B ฟรี ( หรือเครื่องนี้ หากคุณต้องการ) เครื่องคำนวณแต่ละเครื่องจะเปรียบเทียบผู้เข้าชมและ Conversion ทั้งสองด้านของตัวแปร A/B ของคุณ ทำการคำนวณ แบบแบ็คเอนด์ และให้ "ระดับความมั่นใจ" ที่แสดงเป็นเปอร์เซ็นต์ ทำให้คุณรู้ว่าการทดสอบของคุณได้ผลหรือไม่ได้ผล ผลลัพธ์ที่คุณมั่นใจได้

การทดสอบสิ่งที่คุณคาดหวังว่าจะสร้างความแตกต่างอย่างมากในอัตรา Conversion มักจะทำได้โดยมีการเข้าชมที่น้อยลง แต่ในการทดสอบการเปลี่ยนแปลงเล็กๆ น้อยๆ เช่น สีของปุ่ม คุณจะต้อง ใช้ขนาดตัวอย่างที่ใหญ่ขึ้น หากคุณกังวล ลองใช้ เครื่องคิดเลขนี้เพื่อดูว่าการเข้าชมของคุณอยู่ในตำแหน่งที่ควรจะเป็นหรือไม่ ก่อนที่คุณจะทำการทดสอบ A/B

หากคุณมีผู้ใช้ไม่เพียงพอที่จะแจ้งผลลัพธ์ที่มีความหมาย ความพยายามของคุณอาจใช้เวลาดีกว่าในการดึงดูดลูกค้ามากขึ้นแทนที่จะทำการทดลอง หากคุณตัดสินใจที่จะดำเนินการทดสอบในขณะที่ฐานผู้ใช้ของคุณยังเล็กอยู่ คุณอาจต้องปล่อยให้การทดสอบใช้งานได้เป็นเวลาหลายสัปดาห์ก่อนที่คุณจะเห็นผลลัพธ์ที่มีความหมาย

2. อย่าทดสอบ A/B ถ้า: คุณไม่สามารถใช้เวลาได้อย่างปลอดภัย

Andrew Cohen ผู้ก่อตั้งและซีอีโอของ Brainscape และผู้สอนที่ TechStars และ General Assembly กล่าวว่า " การ ทำการทดสอบแบบแยกส่วนนั้นเป็น งาน ที่เน้นการจัดการมาก ไม่ว่าปลั๊กอินทดสอบ A/B จะถูกและมีประสิทธิภาพเพียงใด … ได้กลายเป็น บางคนต้องใช้เวลาในการพิจารณาว่าจะทดสอบอะไร ตั้งค่าการทดสอบ ตรวจสอบ และนำผลการทดสอบไปปฏิบัติ”

แม้ว่างานเหล่านี้สามารถดำเนินการได้อย่างง่ายดาย แต่โคเฮนอธิบาย แต่ก็ยังต้องการ "แบนด์วิดธ์ทางจิตซึ่งเป็นทรัพยากรที่หายากที่สุดในบริษัทใดๆ (โดยเฉพาะการเริ่มต้นในระยะเริ่มต้น)"

ใช้เวลาก่อนที่จะตัดสินใจว่าคุณควรทดสอบอะไร เพื่อให้คุณใช้เวลาในการทดสอบ A/B ให้เกิดประโยชน์สูงสุด

3. อย่าทำการทดสอบ A/B หาก: คุณยังไม่มีสมมติฐานที่ได้รับข้อมูล

รวบรวมข้อมูล. ระบุปัญหาของคุณ กำหนดสมมติฐาน แล้วทดสอบดูว่าคุณถูกไหม ปฏิบัติต่อการทดสอบ A/B ราวกับเป็นวิทยาศาสตร์อย่างแท้จริง! นักวิทยาศาสตร์ที่ดีไม่เคยเริ่มการทดลองโดย ปราศจาก สมมติฐาน

เพื่อกำหนดสมมติฐานของคุณ ทราบปัญหาที่คุณต้องการแก้ไข และระบุเป้าหมายการแปลง ตัวอย่างเช่น สมมติว่าลูกค้าของคุณมักจะออกจากจุดหนึ่งในช่องทาง Conversion

ปัญหา: ลูกค้าโหลดสินค้าลงในรถเข็น แต่ไม่เคยเสร็จสิ้นกระบวนการซื้อ

จากการวิจัยตลาดเพียงเล็กน้อยและการตัดสินที่รอบรู้ของคุณเอง คุณเชื่อว่าหากคุณเพิ่มปุ่มที่ระบุว่า "ดำเนินการซื้อให้เสร็จสิ้น" คุณจะสามารถเพิ่ม Conversion ได้ สิ่งสำคัญคือต้องกำหนดตัวชี้วัดความสำเร็จของคุณ การแปลงที่เพิ่มขึ้นน้อยที่สุดที่คุณยินดีจะเห็นคืออะไร (และทำไมถึงเป็นตัวเลขนั้น ธุรกิจของคุณโดยรวมที่จะชนะการเพิ่มขึ้นนั้นหมายความว่าอย่างไร) สิ่งนี้เชื่อมโยงกับการคำนวณนัยสำคัญทางสถิติของคุณเช่นกัน สำหรับตัวอย่างนี้ สมมติว่าคุณต้องการเพิ่ม Conversion 20%

สมมติฐานทางวิทยาศาสตร์มักจะเขียนในรูปแบบ if/then สมมติฐานของคุณจึงกลายเป็นว่า “ ถ้า ฉันเพิ่มปุ่ม 'เสร็จสิ้นการซื้อ' ผู้คน อีก 20% จะทำตามขั้นตอนการซื้อ”

เมื่อสิ้นสุดการทดสอบ คุณจะต้องตัดสินใจบางอย่าง หากการทดสอบของคุณเป็นบวกและยืนยันสมมติฐานของคุณ ขอแสดงความยินดีด้วย! คุณชนะ. สมมติฐานของคุณตอนนี้เป็นทฤษฎีที่พิสูจน์แล้ว (แน่นอนพิสูจน์แล้วในระดับความเชื่อมั่นที่คุณได้รับ) หากธุรกิจของคุณคล่องตัวเพียงพอ คุณสามารถสร้างโซลูชันถาวรได้ทันที คุณอาจต้องการทำการทดสอบตัวแปรที่มีขนาดเล็กลงเรื่อยๆ เพื่อดูว่ายังมีช่องว่างให้ปรับปรุงอีกหรือไม่เมื่อประสบความสำเร็จในครั้งแรก

หากการทดสอบของคุณเป็นลบ และสมมติฐานของคุณไม่ได้ผล คุณก็ชนะเช่นกัน! ซึ่งหมายความว่าการควบคุมของคุณเป็นสูตรแห่งชัยชนะ และคุณสามารถใช้มันต่อไปได้อย่างมั่นใจ อีกครั้ง แต่คุณอาจต้องการทดสอบตัวแปรต่างๆ หากคุณไม่ได้ผลลัพธ์ที่ต้องการ ดูว่ามีวิธีอื่นในการแก้ปัญหาของคุณหรือไม่ และพัฒนาสมมติฐานใหม่

หากการทดสอบของคุณไม่สามารถสรุปผลได้ ให้ทบทวนปัญหาของคุณอีกครั้ง คุณแน่ใจหรือว่าจุดปวดคือจุดที่คุณคิด? คุณมีการเข้าชมมากพอที่จะแจ้งผลลัพธ์ที่มีนัยสำคัญทางสถิติหรือไม่? โปรดจำไว้ว่า คำตอบสำหรับปัญหาของผลิตภัณฑ์ของคุณอาจไม่จำเป็นต้องอยู่ในการทดสอบ A/B

4. อย่าทดสอบ A/B หาก: มีความเสี่ยงต่ำที่จะดำเนินการทันที

Lynn Wang หัวหน้าฝ่ายการตลาดของ Apptimize กล่าวว่า " ควรข้ามการทดสอบ A/B ในสถานการณ์ที่คุณ รู้ ว่าแนวคิดหนึ่งๆ เกือบจะสามารถปรับปรุงแอปของคุณได้อย่างแน่นอน และความเสี่ยงที่เกี่ยวข้องกับ ... การนำแนวคิดไปใช้นั้นต่ำ" เธอเสริมว่า “ ไม่มีเหตุผลที่จะใช้เวลาและทรัพยากรเพื่อทดสอบบางสิ่งที่อาจดีและมีความเสี่ยงต่ำ แนะนำให้กระโดดไปสู่การปฏิบัติอย่างสมบูรณ์”

สิ่งนี้มีประโยชน์อย่างยิ่งที่จะต้องจำไว้ว่าเวลาของคุณมีน้อย โปรดทราบว่าผลลัพธ์ที่กำหนดอาจเป็นจริง และในขณะเดียวกันก็อาจไม่สำคัญ

เครื่องมือที่ดีมีประโยชน์พอๆ กับแอปพลิเคชันอัจฉริยะเท่านั้น

การทดสอบ A/B เป็นทรัพยากรที่เหลือเชื่อ การดำเนินการที่ชาญฉลาดและเรียบง่ายโดยอิงจากผลลัพธ์ที่ชัดเจนจากการทดสอบที่ใช้อย่างดีได้ กระตุ้นความสำเร็จทั่วทั้งภูมิทัศน์ ดิจิทัล ธุรกิจที่ประสบความสำเร็จรู้ดีว่าเมื่อใดควรอดทนและทำการทดสอบที่มีความหมาย พวกเขายังรู้ว่าเมื่อใดควรพึ่งพาสัญชาตญาณหรือแหล่งข้อมูลอื่น ๆ และก้าวไปข้างหน้าโดยปราศจากความปลอดภัยที่คาดคะเนจากช่วงการทดสอบที่ยืดเยื้อหรือก่อนกำหนดซึ่งจะไม่เพิ่มมูลค่าใด ๆ จริง ๆ