ใช้บทสรุปการทดลองเพื่อออกแบบการทดลองที่ดีขึ้น

เผยแพร่แล้ว: 2023-02-03

ไม่ว่าบริษัทของคุณจะเพิ่งเริ่มต้นเส้นทางการทดลองหรือได้สร้างวัฒนธรรมของการทดลองแล้ว การใช้ Experiment Briefs สามารถช่วยทำให้การทดลองเป็นประชาธิปไตย ออกแบบการทดลองที่ดีขึ้น และสร้างความโปร่งใสเกี่ยวกับเป้าหมายและขั้นตอนถัดไปสำหรับการทดสอบแต่ละครั้ง

ทำให้การทดลองเป็นประชาธิปไตย

เราหมายถึงอะไรโดยประชาธิปไตย? การทำให้เป็นประชาธิปไตยคือการทำให้บางสิ่งเข้าถึงได้สำหรับทุกคน ในการทำให้การทดลองเป็นประชาธิปไตย องค์กรจำเป็นต้องทำให้สองสิ่งสามารถเข้าถึงได้:

  1. ความสามารถในการเรียกใช้การทดสอบควรสามารถเข้าถึงได้โดยทุกคนในส่วนใดส่วนหนึ่งขององค์กร
  2. ทุกคนควรสามารถเข้าถึงข้อเท็จจริงที่สำคัญและผลลัพธ์ของการทดสอบทุกครั้งได้อย่างรวดเร็ว

วิธีที่ยอดเยี่ยมในการทำให้ข้อเท็จจริงสำคัญและผลลัพธ์ของการทดสอบเป็นประชาธิปไตยคือการใช้บทสรุปการทดลอง

เหตุใดทีมของคุณจึงควรใช้สรุปการทดลอง

ออกแบบการทดลองที่ดีขึ้น

การดำเนินการทดลองเป็นองค์ประกอบพื้นฐานของวิธีการทางวิทยาศาสตร์—วิทยาศาสตร์เป็นคำที่ใช้ได้ผล การออกแบบการทดสอบเป็นส่วนสำคัญของกระบวนการ แต่หลายทีมมักมองข้ามขั้นตอนสำคัญนี้ในกระบวนการ เราจะสำรวจเรื่องนี้ในเชิงลึกมากขึ้นในหัวข้อถัดไป

สร้างความโปร่งใสในกระบวนการของคุณ

หากไม่มีเอกสารที่โปร่งใส ก็เป็นเรื่องง่ายที่จะหาเหตุผลเข้าข้างตนเองในการตัดสินใจและปรับให้เข้ากับเรื่องเล่าหลังจากเรียนรู้ข้อเท็จจริง ซึ่งนำไปสู่ผลการทดลองที่ไม่ดี ด้วยการบันทึกขั้นตอนต่อไปที่ชัดเจนหลังจากการทดสอบทำงาน ทีมต่างๆ มีแนวโน้มที่จะเดินหน้าต่อไปโดยอิงจากสิ่งที่พวกเขาเรียนรู้จากการทดสอบ

การทดลองที่ดีมีลักษณะอย่างไร?

ผู้ปฏิบัติงานหลายคนคิดว่าการทดลองประกอบด้วยการเริ่มต้นด้วยแนวคิด การสร้างต้นแบบ การทดสอบ แล้วค้นหาว่าจะทำอย่างไรต่อไป ผิด.

การทดลองที่ดีเป็นไปตามโครงร่างของวิธีการทางวิทยาศาสตร์ แนวคิดหลักเหล่านี้ส่งต่อไปยังโลกของการทดลองทางดิจิทัล พร้อมด้วยส่วนประกอบที่ออกแบบตามความต้องการเฉพาะ สำหรับบันทึก เมื่อฉันพูดว่า “การทดสอบที่ดี” ฉัน ไม่ได้ หมายถึงผลลัพธ์ของการทดสอบ “การทดลองที่ดี” หมายถึงการ ทดลองที่ออกแบบมา อย่างดี”

ต่อไปนี้เป็นองค์ประกอบที่สำคัญของการออกแบบการทดลองที่ดี:

การวางแผน (ก่อนการทดลอง)

  1. การสังเกตเอกสารที่อธิบายว่าทำไมเราถึงวางแผนที่จะทำการทดสอบนี้
  2. การวิจัยเพื่อตรวจสอบการสังเกตของเรา การวิจัยนี้สามารถเป็นข้อมูลเชิงลึกเชิงปริมาณเชิงคุณภาพเชิงการแข่งขัน ฯลฯ
  3. สร้างสมมติฐานด้วยเมตริกหรือ KPI ที่กำหนดไว้อย่างชัดเจน
  4. สร้างความสอดคล้องในขั้นตอนต่อไปของทีมของคุณโดยพิจารณาจากผลลัพธ์ที่เป็นไปได้แต่ละรายการ: ไม่ว่าตัวแปรแต่ละตัวจะชนะหรือไม่ หรือหากการทดสอบไม่ถึงนัยสำคัญทางสถิติ
  5. ลักษณะของการตั้งค่าการทดสอบประกอบด้วยระยะเวลา ผู้ชม การแยกการเข้าชม เกณฑ์วิกฤต และอื่นๆ
  6. ชัดเจนของสิ่งที่กำลังทดสอบและแก้ไข นี่อาจเป็นการเปลี่ยนแปลงการออกแบบ คุณลักษณะหรือประสบการณ์ใหม่ และอื่นๆ
  7. ยืนยันว่าสามารถวัดผลการทดลองได้

ในขณะที่การทดลองดำเนินไป

  1. แดชบอร์ดการวิเคราะห์สำหรับการตรวจสอบอย่างต่อเนื่อง

หลังการทดลอง

  1. วิเคราะห์ผลลัพธ์
  2. ระบุผลลัพธ์ของการทดสอบอย่างชัดเจนและก้าวไปข้างหน้าด้วยขั้นตอนถัดไปที่คุณกำหนดไว้ล่วงหน้า

บทสรุปการทดลอง

ตอนนี้เราเข้าใจแล้วว่าการออกแบบการทดสอบที่ดีประกอบด้วยอะไรบ้าง เราสามารถจำลองกระบวนการของเราเพื่อให้แน่ใจว่าข้อมูลที่สำคัญทั้งหมดได้รับการบันทึกเป็นเอกสารก่อนที่การทดสอบจะเริ่มต้นขึ้นทุกครั้ง

สิ่งนี้ทำให้ทุกคนในองค์กรของคุณสามารถเรียนรู้เกี่ยวกับการทดสอบแบบอะซิงโครนัสได้ง่าย ซึ่งช่วยให้เกิดประชาธิปไตย

ขั้นตอนที่ 1: แผน

วางแผน
ข้อสังเกตและข้อมูลเชิงลึก: ข้อสังเกตใดที่นำไปสู่การทดลองนี้การวิจัยนี้อาจเป็นเชิงปริมาณ เชิงคุณภาพ ข้อมูลเชิงลึกของการแข่งขัน การวิจัยผู้ใช้ และอื่นๆ
กำหนดประเภทของการทดสอบ: การทดสอบสมมติฐานหรือการทดสอบ Do No Harm
สมมติฐาน เราสังเกต: จัดทำเอกสารข้อมูลเชิงลึกเชิงคุณภาพเชิงปริมาณหรือการแข่งขัน
โดย: แนะนำหรือแก้ไขตัวแปรอิสระ
เราคาดหวัง: กำหนดการเปลี่ยนแปลงพฤติกรรมที่คุณคาดหวัง
นำไปสู่: ระบุผลกระทบที่คาดว่าจะมีต่อตัวแปรตามของคุณ
สำหรับการทดสอบที่ไม่เป็นอันตราย
เมตริก: เมื่อคุณแนะนำการเปลี่ยนแปลงที่สำคัญ เช่น ประสบการณ์ใหม่ในผลิตภัณฑ์ของคุณ ให้ใช้การทดสอบ Do No Harm สำหรับทั้งเมตริกหลักและรั้วกั้นเพื่อตรวจหาผลกระทบด้านลบต่อเมตริกที่สำคัญของคุณ หลัก: นี่อาจเป็นอัตราการแปลง
ราวกันตก (ไม่จำเป็น)
สำหรับการทดสอบสมมติฐาน
เมตริก หลัก: นี่อาจเป็นอัตราการแปลง
รอง (ไม่บังคับ)
ราวกันตก (ไม่จำเป็น)
ขนาดตัวอย่างทั้งหมด
ผลกระทบที่ตรวจจับได้ขั้นต่ำ หลัก
การ์ดเรล (ไม่จำเป็น)
ชื่อเหตุการณ์การทดสอบ
พารามิเตอร์เหตุการณ์การทดสอบ
การ ดำเนินการ: คุณจะดำเนินการใดตามผลการทดสอบแต่ละรายการต่อไปนี้ ชนะ
แพ้
แบน

ขั้นตอนที่ 2: กำหนดค่า

กำหนดค่า
การออกแบบรูปแบบต่างๆ รูปแบบที่ 1: กำหนดความแตกต่างจากกลุ่มควบคุมคุณควรเชื่อมโยงไปยังการออกแบบที่เกี่ยวข้อง
แบบที่ 2 (ไม่บังคับ)
การจัดสรร แยก: นี่อาจเป็น 50/50
กลุ่มผู้ชม: เรากำลังกำหนดเป้าหมายลูกค้าที่มีอยู่ ผู้ใช้ใหม่ ฯลฯ หรือไม่
แพลตฟอร์ม
ส่วนของไซต์: ส่วนใดของผลิตภัณฑ์ของคุณที่กำลังทำการทดสอบ
JIRA Tickets & บทวิเคราะห์ (ลิงก์) Analytics จิระ ลิงค์
เทค จิรา ลิงค์
การวิเคราะห์ก่อนการทดสอบ ลิงค์
การวิเคราะห์หลังเรียน ลิงค์

ขั้นตอนที่ 3: จอภาพ

เฝ้าสังเกต
วันสอบที่วางแผนไว้ จาก: [ดด/วว/ปปปป] ถึง: [ดด/วว/ปปปป]
ระยะเวลา (วัน)
ตรวจสอบให้แน่ใจว่าการติดตามในการวิเคราะห์ทำงาน: ตรวจสอบให้แน่ใจว่า: (1)เหตุการณ์เริ่มทำงานบนแพลตฟอร์ม อุปกรณ์ และกลุ่มผู้ใช้ที่เกี่ยวข้อง (2)คุณได้กำหนดค่าชื่อเหตุการณ์ที่สอดคล้องกันสำหรับการควบคุมและตัวแปรในทุกแพลตฟอร์ม (3)เหตุการณ์การเปิดเผยเริ่ม ทำงาน เมื่อผู้ใช้สัมผัสกับการทดลอง

ขั้นตอนที่ 4: วิเคราะห์และตัดสินใจ

วิเคราะห์และตัดสินใจ
การ วิเคราะห์: บันทึกผลการทดลอง
การ ตัดสินใจ: ตัดสินใจขั้นตอนต่อไปตามขั้นตอนการวางแผนของคุณ
ตรวจสอบประสิทธิภาพอย่างต่อเนื่อง: วิเคราะห์พฤติกรรมหลังการทดสอบต่อไป

ความคิดสุดท้าย

บทสรุปการทดลองเหล่านี้สามารถจัดหมวดหมู่ตามวันที่ กลุ่ม ส่วนเว็บไซต์ และแพลตฟอร์มได้อย่างง่ายดาย ทุกคนควรเข้าถึงได้เพื่อให้ความรู้ในสถาบันนี้คงอยู่แม้ว่าผู้คนจะเข้ามาและจากไป การใช้ Experiment Briefs สามารถช่วยทีมของคุณเพิ่มพลังให้กับโปรแกรมการทดลองของคุณโดยบันทึกการทดสอบแต่ละรายการอย่างโปร่งใสเพื่อทำให้ข้อมูลนี้เป็นประชาธิปไตย

ฉันชอบที่จะได้ยินความคิดเห็นของคุณเกี่ยวกับเทมเพลตนี้และการแก้ไขใด ๆ ที่คุณจะทำ คุณสามารถติดต่อฉันทาง LinkedIn หรือ Twitter หรือดูบล็อกของฉัน

สามารถพบลิงก์ไปยังเทมเพลตสรุปการทดสอบได้โดยไปที่ลิงก์นี้ → เทมเพลตสรุปการทดสอบ

ติดต่อฝ่ายขาย