ใช้บทสรุปการทดลองเพื่อออกแบบการทดลองที่ดีขึ้น
เผยแพร่แล้ว: 2023-02-03ไม่ว่าบริษัทของคุณจะเพิ่งเริ่มต้นเส้นทางการทดลองหรือได้สร้างวัฒนธรรมของการทดลองแล้ว การใช้ Experiment Briefs สามารถช่วยทำให้การทดลองเป็นประชาธิปไตย ออกแบบการทดลองที่ดีขึ้น และสร้างความโปร่งใสเกี่ยวกับเป้าหมายและขั้นตอนถัดไปสำหรับการทดสอบแต่ละครั้ง
ทำให้การทดลองเป็นประชาธิปไตย
เราหมายถึงอะไรโดยประชาธิปไตย? การทำให้เป็นประชาธิปไตยคือการทำให้บางสิ่งเข้าถึงได้สำหรับทุกคน ในการทำให้การทดลองเป็นประชาธิปไตย องค์กรจำเป็นต้องทำให้สองสิ่งสามารถเข้าถึงได้:
- ความสามารถในการเรียกใช้การทดสอบควรสามารถเข้าถึงได้โดยทุกคนในส่วนใดส่วนหนึ่งขององค์กร
- ทุกคนควรสามารถเข้าถึงข้อเท็จจริงที่สำคัญและผลลัพธ์ของการทดสอบทุกครั้งได้อย่างรวดเร็ว
วิธีที่ยอดเยี่ยมในการทำให้ข้อเท็จจริงสำคัญและผลลัพธ์ของการทดสอบเป็นประชาธิปไตยคือการใช้บทสรุปการทดลอง
เหตุใดทีมของคุณจึงควรใช้สรุปการทดลอง
ออกแบบการทดลองที่ดีขึ้น
การดำเนินการทดลองเป็นองค์ประกอบพื้นฐานของวิธีการทางวิทยาศาสตร์—วิทยาศาสตร์เป็นคำที่ใช้ได้ผล การออกแบบการทดสอบเป็นส่วนสำคัญของกระบวนการ แต่หลายทีมมักมองข้ามขั้นตอนสำคัญนี้ในกระบวนการ เราจะสำรวจเรื่องนี้ในเชิงลึกมากขึ้นในหัวข้อถัดไป
สร้างความโปร่งใสในกระบวนการของคุณ
หากไม่มีเอกสารที่โปร่งใส ก็เป็นเรื่องง่ายที่จะหาเหตุผลเข้าข้างตนเองในการตัดสินใจและปรับให้เข้ากับเรื่องเล่าหลังจากเรียนรู้ข้อเท็จจริง ซึ่งนำไปสู่ผลการทดลองที่ไม่ดี ด้วยการบันทึกขั้นตอนต่อไปที่ชัดเจนหลังจากการทดสอบทำงาน ทีมต่างๆ มีแนวโน้มที่จะเดินหน้าต่อไปโดยอิงจากสิ่งที่พวกเขาเรียนรู้จากการทดสอบ
การทดลองที่ดีมีลักษณะอย่างไร?
ผู้ปฏิบัติงานหลายคนคิดว่าการทดลองประกอบด้วยการเริ่มต้นด้วยแนวคิด การสร้างต้นแบบ การทดสอบ แล้วค้นหาว่าจะทำอย่างไรต่อไป ผิด.
การทดลองที่ดีเป็นไปตามโครงร่างของวิธีการทางวิทยาศาสตร์ แนวคิดหลักเหล่านี้ส่งต่อไปยังโลกของการทดลองทางดิจิทัล พร้อมด้วยส่วนประกอบที่ออกแบบตามความต้องการเฉพาะ สำหรับบันทึก เมื่อฉันพูดว่า “การทดสอบที่ดี” ฉัน ไม่ได้ หมายถึงผลลัพธ์ของการทดสอบ “การทดลองที่ดี” หมายถึงการ ทดลองที่ออกแบบมา อย่างดี”
ต่อไปนี้เป็นองค์ประกอบที่สำคัญของการออกแบบการทดลองที่ดี:
การวางแผน (ก่อนการทดลอง)
- การสังเกตเอกสารที่อธิบายว่าทำไมเราถึงวางแผนที่จะทำการทดสอบนี้
- การวิจัยเพื่อตรวจสอบการสังเกตของเรา การวิจัยนี้สามารถเป็นข้อมูลเชิงลึกเชิงปริมาณเชิงคุณภาพเชิงการแข่งขัน ฯลฯ
- สร้างสมมติฐานด้วยเมตริกหรือ KPI ที่กำหนดไว้อย่างชัดเจน
- สร้างความสอดคล้องในขั้นตอนต่อไปของทีมของคุณโดยพิจารณาจากผลลัพธ์ที่เป็นไปได้แต่ละรายการ: ไม่ว่าตัวแปรแต่ละตัวจะชนะหรือไม่ หรือหากการทดสอบไม่ถึงนัยสำคัญทางสถิติ
- ลักษณะของการตั้งค่าการทดสอบประกอบด้วยระยะเวลา ผู้ชม การแยกการเข้าชม เกณฑ์วิกฤต และอื่นๆ
- ชัดเจนของสิ่งที่กำลังทดสอบและแก้ไข นี่อาจเป็นการเปลี่ยนแปลงการออกแบบ คุณลักษณะหรือประสบการณ์ใหม่ และอื่นๆ
- ยืนยันว่าสามารถวัดผลการทดลองได้
ในขณะที่การทดลองดำเนินไป
- แดชบอร์ดการวิเคราะห์สำหรับการตรวจสอบอย่างต่อเนื่อง
หลังการทดลอง
- วิเคราะห์ผลลัพธ์
- ระบุผลลัพธ์ของการทดสอบอย่างชัดเจนและก้าวไปข้างหน้าด้วยขั้นตอนถัดไปที่คุณกำหนดไว้ล่วงหน้า
บทสรุปการทดลอง
ตอนนี้เราเข้าใจแล้วว่าการออกแบบการทดสอบที่ดีประกอบด้วยอะไรบ้าง เราสามารถจำลองกระบวนการของเราเพื่อให้แน่ใจว่าข้อมูลที่สำคัญทั้งหมดได้รับการบันทึกเป็นเอกสารก่อนที่การทดสอบจะเริ่มต้นขึ้นทุกครั้ง
สิ่งนี้ทำให้ทุกคนในองค์กรของคุณสามารถเรียนรู้เกี่ยวกับการทดสอบแบบอะซิงโครนัสได้ง่าย ซึ่งช่วยให้เกิดประชาธิปไตย
ขั้นตอนที่ 1: แผน
วางแผน | ||
ข้อสังเกตและข้อมูลเชิงลึก: ข้อสังเกตใดที่นำไปสู่การทดลองนี้การวิจัยนี้อาจเป็นเชิงปริมาณ เชิงคุณภาพ ข้อมูลเชิงลึกของการแข่งขัน การวิจัยผู้ใช้ และอื่นๆ | ||
กำหนดประเภทของการทดสอบ: การทดสอบสมมติฐานหรือการทดสอบ Do No Harm | ||
สมมติฐาน | เราสังเกต: จัดทำเอกสารข้อมูลเชิงลึกเชิงคุณภาพเชิงปริมาณหรือการแข่งขัน | |
โดย: แนะนำหรือแก้ไขตัวแปรอิสระ | ||
เราคาดหวัง: กำหนดการเปลี่ยนแปลงพฤติกรรมที่คุณคาดหวัง | ||
นำไปสู่: ระบุผลกระทบที่คาดว่าจะมีต่อตัวแปรตามของคุณ |
สำหรับการทดสอบที่ไม่เป็นอันตราย | ||
เมตริก: เมื่อคุณแนะนำการเปลี่ยนแปลงที่สำคัญ เช่น ประสบการณ์ใหม่ในผลิตภัณฑ์ของคุณ ให้ใช้การทดสอบ Do No Harm สำหรับทั้งเมตริกหลักและรั้วกั้นเพื่อตรวจหาผลกระทบด้านลบต่อเมตริกที่สำคัญของคุณ | หลัก: นี่อาจเป็นอัตราการแปลง | |
ราวกันตก (ไม่จำเป็น) |
สำหรับการทดสอบสมมติฐาน | ||
เมตริก | หลัก: นี่อาจเป็นอัตราการแปลง | |
รอง (ไม่บังคับ) | ||
ราวกันตก (ไม่จำเป็น) | ||
ขนาดตัวอย่างทั้งหมด | ||
ผลกระทบที่ตรวจจับได้ขั้นต่ำ | หลัก | |
การ์ดเรล (ไม่จำเป็น) | ||
ชื่อเหตุการณ์การทดสอบ | ||
พารามิเตอร์เหตุการณ์การทดสอบ | ||
การ ดำเนินการ: คุณจะดำเนินการใดตามผลการทดสอบแต่ละรายการต่อไปนี้ | ชนะ | |
แพ้ | ||
แบน |
ขั้นตอนที่ 2: กำหนดค่า
กำหนดค่า | ||
การออกแบบรูปแบบต่างๆ | รูปแบบที่ 1: กำหนดความแตกต่างจากกลุ่มควบคุมคุณควรเชื่อมโยงไปยังการออกแบบที่เกี่ยวข้อง | |
แบบที่ 2 (ไม่บังคับ) | ||
การจัดสรร | แยก: นี่อาจเป็น 50/50 | |
กลุ่มผู้ชม: เรากำลังกำหนดเป้าหมายลูกค้าที่มีอยู่ ผู้ใช้ใหม่ ฯลฯ หรือไม่ | ||
แพลตฟอร์ม | ||
ส่วนของไซต์: ส่วนใดของผลิตภัณฑ์ของคุณที่กำลังทำการทดสอบ | ||
JIRA Tickets & บทวิเคราะห์ (ลิงก์) | Analytics จิระ | ลิงค์ |
เทค จิรา | ลิงค์ | |
การวิเคราะห์ก่อนการทดสอบ | ลิงค์ | |
การวิเคราะห์หลังเรียน | ลิงค์ |
ขั้นตอนที่ 3: จอภาพ
เฝ้าสังเกต | |||
วันสอบที่วางแผนไว้ | จาก: [ดด/วว/ปปปป] | ถึง: [ดด/วว/ปปปป] | |
ระยะเวลา (วัน) | |||
ตรวจสอบให้แน่ใจว่าการติดตามในการวิเคราะห์ทำงาน: ตรวจสอบให้แน่ใจว่า: (1)เหตุการณ์เริ่มทำงานบนแพลตฟอร์ม อุปกรณ์ และกลุ่มผู้ใช้ที่เกี่ยวข้อง (2)คุณได้กำหนดค่าชื่อเหตุการณ์ที่สอดคล้องกันสำหรับการควบคุมและตัวแปรในทุกแพลตฟอร์ม (3)เหตุการณ์การเปิดเผยเริ่ม ทำงาน เมื่อผู้ใช้สัมผัสกับการทดลอง |
ขั้นตอนที่ 4: วิเคราะห์และตัดสินใจ
วิเคราะห์และตัดสินใจ | ||
การ วิเคราะห์: บันทึกผลการทดลอง | ||
การ ตัดสินใจ: ตัดสินใจขั้นตอนต่อไปตามขั้นตอนการวางแผนของคุณ | ||
ตรวจสอบประสิทธิภาพอย่างต่อเนื่อง: วิเคราะห์พฤติกรรมหลังการทดสอบต่อไป |
ความคิดสุดท้าย
บทสรุปการทดลองเหล่านี้สามารถจัดหมวดหมู่ตามวันที่ กลุ่ม ส่วนเว็บไซต์ และแพลตฟอร์มได้อย่างง่ายดาย ทุกคนควรเข้าถึงได้เพื่อให้ความรู้ในสถาบันนี้คงอยู่แม้ว่าผู้คนจะเข้ามาและจากไป การใช้ Experiment Briefs สามารถช่วยทีมของคุณเพิ่มพลังให้กับโปรแกรมการทดลองของคุณโดยบันทึกการทดสอบแต่ละรายการอย่างโปร่งใสเพื่อทำให้ข้อมูลนี้เป็นประชาธิปไตย
ฉันชอบที่จะได้ยินความคิดเห็นของคุณเกี่ยวกับเทมเพลตนี้และการแก้ไขใด ๆ ที่คุณจะทำ คุณสามารถติดต่อฉันทาง LinkedIn หรือ Twitter หรือดูบล็อกของฉัน
สามารถพบลิงก์ไปยังเทมเพลตสรุปการทดสอบได้โดยไปที่ลิงก์นี้ → เทมเพลตสรุปการทดสอบ