การฝึกอบรมโมเดลการเรียนรู้ของเครื่อง: คู่มือฉบับสมบูรณ์สำหรับธุรกิจ

ในปี 2559 Microsoft ได้เปิดตัวแชทบอท AI ชื่อ Tay ควรเจาะลึกการสนทนาแบบเรียลไทม์บน Twitter เลือกใช้ศัพท์เฉพาะ และฉลาดขึ้นทุกครั้งที่แชทใหม่

อย่างไรก็ตาม การทดลองดำเนินไปในทางทิศใต้ เนื่องจากผู้ใช้ที่เป็นอันตรายใช้ประโยชน์จากทักษะการเรียนรู้ของแชทบอทอย่างรวดเร็ว ภายในไม่กี่ชั่วโมงหลังจากเปิดตัว Tay เริ่มโพสต์ทวีตที่ไม่เหมาะสมและไม่เหมาะสม สะท้อนถึงภาษาเชิงลบที่ได้เรียนรู้จากผู้ใช้

ทวีตของ Tay กลายเป็นกระแสไวรัล ดึงดูดความสนใจเป็นอย่างมาก และสร้างความเสียหายต่อชื่อเสียงของ Microsoft เหตุการณ์ดังกล่าวเน้นย้ำถึงอันตรายที่อาจเกิดขึ้นจากการปรับใช้โมเดลการเรียนรู้ของเครื่อง (ML) ในสภาพแวดล้อมจริงที่ไม่มีการควบคุม บริษัทต้องออกมาขอโทษต่อสาธารณะและปิดตัว Tay โดยยอมรับข้อบกพร่องในการออกแบบ

ก้าวไปข้างหน้าอย่างรวดเร็วในวันนี้ และนี่คือการเจาะลึกถึงความสำคัญของการฝึกอบรมโมเดล ML ที่เหมาะสม ซึ่งเป็นสิ่งเดียวที่สามารถช่วย Microsoft จากพายุประชาสัมพันธ์นี้ได้

ดังนั้น รัดเข็มขัด! นี่คือคำแนะนำเกี่ยวกับการฝึกอบรมโมเดล ML จากบริษัทพัฒนาแมชชีนเลิร์นนิง ITRex

การฝึกอบรมโมเดลการเรียนรู้ของเครื่อง: แนวทางที่แตกต่างของการเรียนรู้ของเครื่องกำหนดกระบวนการฝึกอบรมอย่างไร

มาเริ่มกันที่: ไม่มีแนวทางใดที่เหมาะกับทุกคนสำหรับ ML วิธีที่คุณฝึกฝนโมเดล ML ขึ้นอยู่กับลักษณะของข้อมูลและผลลัพธ์ที่คุณต้องการ

มาดูแนวทางหลักสี่ประการเกี่ยวกับ ML และดูว่าแต่ละแนวทางกำหนดกระบวนการฝึกอบรมอย่างไร

การเรียนรู้ภายใต้การดูแล

ในการเรียนรู้แบบมีผู้สอน อัลกอริธึมจะได้รับการฝึกบนชุดข้อมูลที่มีป้ายกำกับ โดยเรียนรู้ที่จะจับคู่ข้อมูลอินพุตกับเอาต์พุตที่ถูกต้อง วิศวกรจะแนะนำโมเดลผ่านชุดของปัญหาที่แก้ไขแล้ว ก่อนที่โมเดลจะสามารถจัดการกับปัญหาใหม่ได้ด้วยตัวเอง

ตัวอย่าง: พิจารณารูปแบบการเรียนรู้แบบมีผู้สอนซึ่งมีหน้าที่จัดหมวดหมู่รูปภาพของแมวและสุนัข ชุดข้อมูลที่ติดป้ายกำกับประกอบด้วยรูปภาพที่ติดแท็กด้วยป้ายกำกับที่เกี่ยวข้อง (แมวหรือสุนัข) โมเดลปรับแต่งพารามิเตอร์เพื่อทำนายป้ายกำกับของรูปภาพใหม่ที่มองไม่เห็นได้อย่างแม่นยำ

การเรียนรู้แบบไม่มีผู้ดูแล

ในทางกลับกัน อัลกอริธึมจะเจาะลึกข้อมูลที่ไม่มีป้ายกำกับและค้นหารูปแบบและความสัมพันธ์ด้วยตัวมันเอง โดยจะจัดกลุ่มจุดข้อมูลที่คล้ายกันและค้นพบโครงสร้างที่ซ่อนอยู่

ตัวอย่าง: ลองนึกถึงการฝึกโมเดล ML สำหรับการจัดกลุ่มลูกค้าในชุดข้อมูลอีคอมเมิร์ซ แบบจำลองนี้ใช้ข้อมูลลูกค้าและแยกแยะกลุ่มลูกค้าที่แตกต่างกันตามพฤติกรรมการซื้อของพวกเขา

การเรียนรู้แบบกึ่งกำกับดูแล

การเรียนรู้แบบกึ่งมีผู้สอนเป็นจุดกลางที่ผสมผสานองค์ประกอบของการเรียนรู้ทั้งแบบมีผู้สอนและแบบไม่มีผู้สอน ด้วยข้อมูลที่มีป้ายกำกับจำนวนเล็กน้อยและกลุ่มข้อมูลที่ไม่ติดป้ายกำกับจำนวนมากขึ้น อัลกอริทึมจึงมีความสมดุล เป็นตัวเลือกเชิงปฏิบัติเมื่อชุดข้อมูลที่มีป้ายกำกับครบถ้วนมีน้อย

ตัวอย่าง: ลองจินตนาการถึงสถานการณ์การวินิจฉัยทางการแพทย์ที่ข้อมูลที่ติดป้ายกำกับ (กรณีที่ทราบผลลัพธ์) มีจำกัด การเรียนรู้แบบกึ่งกำกับดูแลจะใช้ประโยชน์จากการผสมผสานระหว่างข้อมูลผู้ป่วยที่มีป้ายกำกับและกลุ่มข้อมูลผู้ป่วยที่ไม่มีป้ายกำกับที่ใหญ่ขึ้น ซึ่งจะช่วยเพิ่มความสามารถในการวินิจฉัย

การเรียนรู้แบบเสริมกำลัง

การเรียนรู้แบบเสริมกำลังเทียบเท่ากับอัลกอริธึมของการลองผิดลองถูก แบบจำลองโต้ตอบกับสภาพแวดล้อม การตัดสินใจ และรับคำติชมในรูปแบบของรางวัลหรือบทลงโทษ เมื่อเวลาผ่านไป จะมีการปรับปรุงกลยุทธ์เพื่อเพิ่มผลตอบแทนสะสมสูงสุด

ตัวอย่าง: ลองฝึกโมเดลแมชชีนเลิร์นนิงสำหรับโดรนอัตโนมัติ โดรนเรียนรู้ที่จะนำทางผ่านสภาพแวดล้อมโดยได้รับรางวัลสำหรับการนำทางที่ประสบความสำเร็จและบทลงโทษสำหรับการชนกัน เมื่อเวลาผ่านไป จะมีการปรับปรุงนโยบายเพื่อให้นำทางได้อย่างมีประสิทธิภาพมากขึ้น

แม้ว่าแนวทาง ML แต่ละวิธีจะต้องมีลำดับที่ได้รับการปรับแต่งโดยเฉพาะและเน้นไปที่ขั้นตอนบางอย่าง แต่ก็มีชุดขั้นตอนหลักที่นำไปใช้ในวงกว้างกับวิธีการต่างๆ ได้

ในส่วนถัดไป เราจะอธิบายให้คุณทราบถึงลำดับดังกล่าว

การฝึกอบรมโมเดลการเรียนรู้ของเครื่อง: ทีละขั้นตอน

การระบุโอกาสและการกำหนดขอบเขตของโครงการ

ขั้นตอนนี้ไม่เพียงแต่เกี่ยวข้องกับการถอดรหัสปัญหาทางธุรกิจที่มีอยู่ แต่ยังระบุโอกาสที่ ML สามารถสร้างพลังในการเปลี่ยนแปลงได้

เริ่มต้นด้วยการมีส่วนร่วมกับผู้มีส่วนได้ส่วนเสียหลัก รวมถึงผู้มีอำนาจตัดสินใจและผู้เชี่ยวชาญในขอบเขต เพื่อทำความเข้าใจอย่างครอบคลุมเกี่ยวกับความท้าทายและวัตถุประสงค์ทางธุรกิจ

จากนั้น อธิบายปัญหาเฉพาะเจาะจงที่คุณมุ่งหมายจะแก้ไขให้ชัดเจนโดยการฝึกโมเดล ML และตรวจสอบให้แน่ใจว่าโมเดลนั้นสอดคล้องกับเป้าหมายทางธุรกิจที่กว้างขึ้น

เมื่อทำเช่นนั้นจงระวังความคลุมเครือ การแจ้งปัญหาที่ไม่ชัดเจนสามารถนำไปสู่แนวทางแก้ไขที่เข้าใจผิดได้ การชี้แจงและระบุปัญหาเป็นสิ่งสำคัญเพื่อหลีกเลี่ยงการเบี่ยงเบนไปในขั้นตอนต่อๆ ไป ตัวอย่างเช่น ไป "เพิ่มการมีส่วนร่วมของผู้ใช้บนแอปบนอุปกรณ์เคลื่อนที่ 15% ผ่านการแนะนำเนื้อหาส่วนบุคคลภายในไตรมาสถัดไป" แทนที่จะ "เพิ่มการมีส่วนร่วมของผู้ใช้" ซึ่งเป็นปริมาณ มุ่งเน้น และวัดผลได้

ขั้นตอนต่อไปที่คุณสามารถทำได้โดยเร็วที่สุดในขั้นตอนการกำหนดขอบเขตคือการประเมินความพร้อมใช้งานและคุณภาพของข้อมูลที่เกี่ยวข้อง

ระบุแหล่งข้อมูลที่เป็นไปได้ที่สามารถนำไปใช้ในการแก้ปัญหาได้ สมมติว่า คุณต้องการคาดการณ์การเลิกใช้งานของลูกค้าในบริการแบบสมัครสมาชิก คุณจะต้องประเมินบันทึกการสมัครสมาชิกของลูกค้า บันทึกการใช้งาน การโต้ตอบกับทีมสนับสนุน และประวัติการเรียกเก็บเงิน นอกจากนั้น คุณยังสามารถหันไปใช้ปฏิสัมพันธ์ทางโซเชียลมีเดีย การสำรวจความคิดเห็นของลูกค้า และตัวชี้วัดทางเศรษฐกิจภายนอก

สุดท้าย ประเมินความเป็นไปได้ของการใช้เทคนิค ML กับปัญหาที่ระบุ พิจารณาข้อจำกัดด้านเทคนิค (เช่น ความสามารถในการคำนวณและความเร็วในการประมวลผลของโครงสร้างพื้นฐานที่มีอยู่) ทรัพยากร (เช่น ความเชี่ยวชาญและงบประมาณที่มีอยู่) และข้อจำกัดที่เกี่ยวข้องกับข้อมูล (เช่น ข้อควรพิจารณาด้านความเป็นส่วนตัวของข้อมูลและการเข้าถึง)

การค้นหาข้อมูล การตรวจสอบความถูกต้อง และการประมวลผลล่วงหน้า

รากฐานของการฝึกโมเดล ML ที่ประสบความสำเร็จนั้นอยู่ที่ข้อมูลคุณภาพสูง เรามาสำรวจกลยุทธ์สำหรับการค้นพบข้อมูล การตรวจสอบความถูกต้อง และการประมวลผลล่วงหน้ากัน

การค้นพบข้อมูล

ก่อนที่จะเจาะลึกการฝึกโมเดล ML จำเป็นอย่างยิ่งที่จะต้องมีความเข้าใจอย่างลึกซึ้งเกี่ยวกับข้อมูลที่คุณมี สิ่งนี้เกี่ยวข้องกับการสำรวจโครงสร้าง รูปแบบ และความสัมพันธ์ภายในข้อมูล

การค้นพบข้อมูลเกี่ยวข้องกับอะไรกันแน่?

• การวิเคราะห์ข้อมูลเชิงสำรวจ (EDA) ที่คุณคลี่คลายรูปแบบ ความสัมพันธ์ และค่าผิดปกติภายในชุดข้อมูลที่มีอยู่ ตลอดจนแสดงภาพสถิติและการแจกแจงที่สำคัญเพื่อรับข้อมูลเชิงลึก

ลองนึกภาพธุรกิจค้าปลีกที่มีเป้าหมายที่จะเพิ่มประสิทธิภาพกลยุทธ์การกำหนดราคา ในระยะ EDA คุณจะเจาะลึกข้อมูลการขายในอดีต ด้วยเทคนิคการแสดงภาพ เช่น แผนภูมิกระจายและฮิสโตแกรม คุณจะค้นพบความสัมพันธ์เชิงบวกที่แข็งแกร่งระหว่างช่วงส่งเสริมการขายและยอดขายที่เพิ่มขึ้น นอกจากนี้ การวิเคราะห์ยังเผยให้เห็นค่าผิดปกติในช่วงเทศกาลวันหยุด ซึ่งบ่งบอกถึงความผิดปกติที่อาจเกิดขึ้นซึ่งต้องมีการตรวจสอบเพิ่มเติม ดังนั้น EDA ช่วยให้เข้าใจถึงพลวัตของรูปแบบการขาย ความสัมพันธ์ และพฤติกรรมที่ผิดปกติ

• การระบุคุณลักษณะ ซึ่งคุณระบุคุณลักษณะที่มีส่วนสำคัญต่อปัญหาที่เกิดขึ้น คุณยังพิจารณาความเกี่ยวข้องและความสำคัญของแต่ละคุณลักษณะเพื่อให้บรรลุเป้าหมายทางธุรกิจที่ตั้งไว้ด้วย

จากตัวอย่างข้างต้น การระบุคุณลักษณะอาจเกี่ยวข้องกับการรับรู้ว่าแง่มุมใดที่ส่งผลต่อยอดขาย ด้วยการวิเคราะห์อย่างรอบคอบ คุณสามารถระบุคุณลักษณะต่างๆ เช่น หมวดหมู่ผลิตภัณฑ์ ระดับราคา และข้อมูลประชากรของลูกค้าว่าเป็นผู้มีส่วนร่วมได้ จากนั้นให้พิจารณาความเกี่ยวข้องของแต่ละคุณลักษณะ ตัวอย่างเช่น คุณทราบว่าหมวดหมู่ผลิตภัณฑ์อาจมีนัยสำคัญที่แตกต่างกันไปในช่วงระยะเวลาส่งเสริมการขาย ดังนั้น การระบุคุณลักษณะช่วยให้แน่ใจว่าคุณฝึกโมเดลการเรียนรู้ของเครื่องเกี่ยวกับคุณลักษณะที่มีผลกระทบอย่างมีนัยสำคัญต่อผลลัพธ์ที่ต้องการ

• การสุ่มตัวอย่างข้อมูล โดยที่คุณใช้เทคนิคการสุ่มตัวอย่างเพื่อรับชุดย่อยที่เป็นตัวแทนของข้อมูลสำหรับการสำรวจเบื้องต้น สำหรับธุรกิจค้าปลีกจากตัวอย่างข้างต้น การสุ่มตัวอย่างข้อมูลถือเป็นสิ่งสำคัญ สมมติว่าคุณใช้การสุ่มตัวอย่างเพื่อดึงข้อมูลการขายชุดย่อยที่เป็นตัวแทนจากช่วงเวลาที่ต่างกัน ด้วยวิธีนี้ คุณจึงมั่นใจได้ถึงการนำเสนอช่วงเวลาปกติและช่วงโปรโมชันที่สมดุล

จากนั้น คุณอาจใช้การสุ่มตัวอย่างแบบแบ่งชั้นเพื่อให้แน่ใจว่าแต่ละหมวดหมู่ผลิตภัณฑ์มีการแสดงตามสัดส่วน เมื่อสำรวจชุดย่อยนี้ คุณจะได้รับข้อมูลเชิงลึกเบื้องต้นเกี่ยวกับแนวโน้มการขาย ซึ่งช่วยให้คุณมีข้อมูลประกอบการตัดสินใจเกี่ยวกับขั้นตอนต่อๆ ไปของเส้นทางการฝึกอบรมโมเดล ML

การตรวจสอบข้อมูล

ความสำคัญของการตรวจสอบข้อมูลที่มีประสิทธิภาพสำหรับการฝึกโมเดล ML นั้นไม่สามารถกล่าวเกินจริงได้ ช่วยให้มั่นใจได้ว่าข้อมูลที่ป้อนเข้าไปในแบบจำลองนั้นถูกต้อง ครบถ้วน และสม่ำเสมอ นอกจากนี้ยังช่วยส่งเสริมแบบจำลองที่เชื่อถือได้มากขึ้นและช่วยลดอคติ

ในขั้นตอนการตรวจสอบข้อมูล คุณจะประเมินความสมบูรณ์ของข้อมูลอย่างละเอียด และระบุความคลาดเคลื่อนหรือความผิดปกติที่อาจส่งผลต่อประสิทธิภาพของโมเดล ต่อไปนี้เป็นขั้นตอนที่ต้องดำเนินการ:

• การตรวจสอบคุณภาพข้อมูล โดยที่คุณ (1) ค้นหาค่าที่หายไปในฟีเจอร์ต่างๆ และระบุกลยุทธ์ที่เหมาะสมสำหรับการลบออก (2) รับประกันความสอดคล้องในรูปแบบข้อมูลและหน่วย ลดความคลาดเคลื่อนที่อาจส่งผลกระทบต่อการฝึกโมเดล (3) ระบุและจัดการกับค่าผิดปกติที่อาจบิดเบือนการฝึกโมเดล และ (4) ตรวจสอบความเพียงพอเชิงตรรกะของข้อมูล
• การยืนยันข้าม โดยที่คุณยืนยันข้อมูลกับความรู้โดเมนหรือแหล่งที่มาภายนอกเพื่อตรวจสอบความถูกต้องและความน่าเชื่อถือ

การประมวลผลข้อมูลล่วงหน้า

การประมวลผลข้อมูลล่วงหน้าช่วยให้แน่ใจว่าโมเดลได้รับการฝึกฝนบนชุดข้อมูลที่สะอาด สอดคล้องกัน และเป็นตัวแทน ปรับปรุงลักษณะทั่วไปของข้อมูลให้เป็นข้อมูลใหม่ที่มองไม่เห็น นี่คือสิ่งที่คุณทำเพื่อให้บรรลุเป้าหมาย:

• การจัดการข้อมูลที่ขาดหายไป: ระบุค่าที่หายไปและใช้กลยุทธ์ เช่น การใส่ข้อมูลหรือการลบออกตามลักษณะของข้อมูลและปัญหาทางธุรกิจที่กำลังแก้ไข
• การตรวจจับและการรักษาค่าผิดปกติ: ใช้วิธีการทางสถิติเพื่อระบุและจัดการกับค่าผิดปกติ เพื่อให้แน่ใจว่าจะไม่ส่งผลกระทบต่อกระบวนการเรียนรู้ของแบบจำลอง
• การทำให้เป็นมาตรฐาน การทำให้เป็นมาตรฐาน: ปรับขนาดคุณลักษณะเชิงตัวเลขให้อยู่ในช่วงมาตรฐาน (เช่น การใช้การทำให้เป็นมาตรฐานด้วยคะแนน Z) ทำให้มั่นใจถึงความสอดคล้องและป้องกันไม่ให้คุณลักษณะบางอย่างครอบงำคุณสมบัติอื่น
• การเข้ารหัส: แปลงข้อมูลเป็นรูปแบบที่สอดคล้องกัน (เช่น ผ่านการเข้ารหัสแบบร้อนแรงหรือการฝังคำ)
• วิศวกรรมด้านคุณลักษณะ: รับคุณลักษณะใหม่หรือแก้ไขคุณลักษณะที่มีอยู่เพื่อเพิ่มความสามารถของโมเดลในการจับรูปแบบที่เกี่ยวข้องในข้อมูล

เมื่อเตรียมข้อมูลสำหรับการฝึกโมเดลการเรียนรู้ของเครื่อง สิ่งสำคัญคือต้องรักษาสมดุลระหว่างการรักษาข้อมูลอันมีค่าภายในชุดข้อมูล และการจัดการกับความไม่สมบูรณ์หรือความผิดปกติโดยธรรมชาติที่มีอยู่ในข้อมูล การสร้างสมดุลที่ไม่ถูกต้องอาจนำไปสู่การสูญเสียข้อมูลอันมีค่าโดยไม่ได้ตั้งใจ ซึ่งจำกัดความสามารถของโมเดลในการเรียนรู้และสรุปข้อมูลทั่วไป

ใช้กลยุทธ์ที่จัดการกับความไม่สมบูรณ์พร้อมทั้งลดการสูญเสียข้อมูลที่มีความหมายให้เหลือน้อยที่สุด สิ่งนี้อาจเกี่ยวข้องกับการรักษาค่าผิดปกติอย่างระมัดระวัง การเลือกใส่ข้อมูล หรือการพิจารณาวิธีการเข้ารหัสทางเลือกสำหรับตัวแปรหมวดหมู่

วิศวกรรมข้อมูล

ในกรณีที่ข้อมูลไม่เพียงพอ วิศวกรรมข้อมูลจะเข้ามามีบทบาท คุณสามารถชดเชยการขาดข้อมูลได้ด้วยเทคนิคต่างๆ เช่น การเพิ่มและการสังเคราะห์ข้อมูล มาดูรายละเอียดกันดีกว่า:

• การเพิ่มข้อมูล: สิ่งนี้เกี่ยวข้องกับการสร้างรูปแบบใหม่หรืออินสแตนซ์ของข้อมูลที่มีอยู่โดยใช้การแปลงต่างๆ โดยไม่เปลี่ยนแปลงความหมายโดยธรรมชาติ ตัวอย่างเช่น สำหรับข้อมูลรูปภาพ การเพิ่มอาจรวมถึงการหมุน การพลิก การซูม หรือการเปลี่ยนความสว่าง สำหรับข้อมูลที่เป็นข้อความ รูปแบบต่างๆ อาจเกี่ยวข้องกับการถอดความหรือการแนะนำคำพ้องความหมาย ดังนั้น การขยายชุดข้อมูลโดยไม่ตั้งใจผ่านการเพิ่ม คุณจะแนะนำโมเดลให้เข้ากับสถานการณ์ที่หลากหลายมากขึ้น ซึ่งปรับปรุงความสามารถในการดำเนินการกับข้อมูลที่มองไม่เห็น
• การสังเคราะห์ข้อมูล: สิ่งนี้เกี่ยวข้องกับการสร้างอินสแตนซ์ข้อมูลใหม่ทั้งหมดที่สอดคล้องกับลักษณะของชุดข้อมูลที่มีอยู่ ข้อมูลสังเคราะห์สามารถสร้างขึ้นได้โดยใช้แบบจำลอง AI เชิงสร้างสรรค์ การจำลอง หรือการใช้ประโยชน์จากความรู้ในโดเมนเพื่อสร้างตัวอย่างที่น่าเชื่อถือ การสังเคราะห์ข้อมูลมีคุณค่าอย่างยิ่งในสถานการณ์ที่การได้รับข้อมูลในโลกแห่งความเป็นจริงมากขึ้นเป็นสิ่งที่ท้าทาย

การเลือกอัลกอริทึมที่เหมาะสมที่สุด

งานข้อมูลเสร็จแล้ว ขั้นตอนต่อไปในกระบวนการฝึกอบรมโมเดล ML คือทั้งหมดที่เกี่ยวกับอัลกอริธึม การเลือกอัลกอริธึมที่เหมาะสมที่สุดคือการตัดสินใจเชิงกลยุทธ์ที่มีอิทธิพลต่อประสิทธิภาพและความแม่นยำของโมเดลในอนาคตของคุณ

มีอัลกอริธึม ML ยอดนิยมหลายอัลกอริธึม แต่ละอัลกอริธึมเหมาะสมกับชุดงานเฉพาะ

• การถดถอยเชิงเส้น: ใช้ได้กับการคาดการณ์ผลลัพธ์ต่อเนื่องตามคุณลักษณะอินพุต เหมาะสำหรับสถานการณ์ที่มีความสัมพันธ์เชิงเส้นตรงระหว่างคุณลักษณะและตัวแปรเป้าหมาย เช่น การทำนายราคาบ้านโดยพิจารณาจากคุณลักษณะต่างๆ เช่น พื้นที่เป็นตารางฟุต จำนวนห้องนอน และสถานที่ตั้ง
• แผนผังการตัดสินใจ: สามารถจัดการข้อมูลทั้งที่เป็นตัวเลขและข้อมูลเชิงหมวดหมู่ ทำให้เหมาะสำหรับงานที่ต้องมีขอบเขตการตัดสินใจที่ชัดเจน เช่น การพิจารณาว่าอีเมลเป็นสแปมหรือไม่โดยพิจารณาจากคุณลักษณะต่างๆ เช่น ผู้ส่ง หัวเรื่อง และเนื้อหา
• ฟอเรสต์สุ่ม: แนวทางการเรียนรู้แบบ Ensemble ที่รวมแผนผังการตัดสินใจหลายแบบเข้าด้วยกันเพื่อความแม่นยำและความคงทนที่สูงขึ้น ทำให้มีประสิทธิภาพสำหรับปัญหาที่ซับซ้อน เช่น การคาดการณ์การเลิกใช้งานของลูกค้าโดยใช้การผสมผสานระหว่างข้อมูลการใช้งานในอดีตและข้อมูลประชากรของลูกค้า
• รองรับเครื่องเวกเตอร์ (SVM): มีประสิทธิภาพสำหรับสถานการณ์ที่ขอบเขตการตัดสินใจที่ชัดเจนเป็นสิ่งสำคัญ โดยเฉพาะอย่างยิ่งในพื้นที่ที่มีมิติสูง เช่น การสร้างภาพทางการแพทย์ ตัวอย่างของงานที่ SVM สามารถนำไปใช้ได้คือ การจัดประเภทภาพทางการแพทย์ว่าเป็นมะเร็งหรือไม่ใช่มะเร็ง โดยพิจารณาจากคุณลักษณะต่างๆ ที่ดึงมาจากภาพ
• K-เพื่อนบ้านที่ใกล้ที่สุด (KNN): อาศัยความใกล้ชิด KNN ทำการคาดการณ์ตามคลาสส่วนใหญ่หรือค่าเฉลี่ยของจุดข้อมูลใกล้เคียง ทำให้ KNN เหมาะสำหรับการกรองร่วมกันในระบบการแนะนำ ซึ่งสามารถแนะนำภาพยนตร์ให้กับผู้ใช้ตามความต้องการของผู้ใช้ที่มีประวัติการดูคล้ายกัน
• โครงข่ายประสาทเทียม: Excel ในการจับภาพรูปแบบและความสัมพันธ์ที่ซับซ้อน ทำให้สามารถใช้งานได้กับงานที่ซับซ้อนที่หลากหลาย รวมถึงการจดจำรูปภาพและการประมวลผลภาษาธรรมชาติ

ต่อไปนี้เป็นปัจจัยที่มีอิทธิพลต่อการเลือกอัลกอริทึมสำหรับการฝึกโมเดล ML

• ลักษณะของปัญหา: ประเภทของปัญหา ไม่ว่าจะเป็นการจำแนกประเภท การถดถอย การจัดกลุ่ม หรืออย่างอื่น
• ขนาดและความซับซ้อนของชุดข้อมูล: ชุดข้อมูลขนาดใหญ่อาจได้รับประโยชน์จากอัลกอริธึมที่ปรับขนาดได้ดี ในขณะที่โครงสร้างข้อมูลที่ซับซ้อนอาจต้องใช้แบบจำลองที่ซับซ้อนมากขึ้น
• ข้อกำหนดในการตีความ: อัลกอริธึมบางตัวมีความสามารถในการตีความได้มากกว่า ซึ่งเป็นสิ่งสำคัญสำหรับสถานการณ์ที่การทำความเข้าใจการตัดสินใจของแบบจำลองเป็นสิ่งสำคัญยิ่ง

การฝึกอบรมโมเดลการเรียนรู้ของเครื่อง

ในขั้นตอนการฝึกโมเดล คุณจะฝึกและปรับแต่งอัลกอริธึมเพื่อให้ได้ประสิทธิภาพสูงสุด ในส่วนนี้ เราจะแนะนำคุณตลอดขั้นตอนสำคัญของกระบวนการฝึกอบรมโมเดล

เริ่มต้นด้วยการแบ่งชุดข้อมูลของคุณออกเป็นสามส่วน: ชุดการฝึกอบรม การตรวจสอบ และการทดสอบ

• ชุดการฝึก: ชุดย่อยของข้อมูลนี้เป็นแหล่งข้อมูลหลักสำหรับการสอนโมเดล ใช้เพื่อฝึกโมเดล ML ช่วยให้สามารถเรียนรู้รูปแบบและความสัมพันธ์ระหว่างอินพุตและเอาต์พุต โดยทั่วไป ชุดการฝึกจะประกอบด้วยส่วนที่ใหญ่ที่สุดของข้อมูลที่มีอยู่
• ชุดการตรวจสอบ: ชุดข้อมูลนี้ช่วยประเมินประสิทธิภาพของแบบจำลองระหว่างการฝึก ใช้เพื่อปรับแต่งไฮเปอร์พารามิเตอร์และประเมินความสามารถในการวางนัยทั่วไปของโมเดล
• ชุดทดสอบ: ชุดข้อมูลนี้ทำหน้าที่เป็นการตรวจสอบขั้นสุดท้ายสำหรับแบบจำลอง ประกอบด้วยข้อมูลใหม่ที่โมเดลไม่พบระหว่างการฝึกหรือการตรวจสอบ ชุดการทดสอบจะให้ค่าประมาณว่าแบบจำลองอาจทำงานอย่างไรในสถานการณ์จริง

หลังจากรันอัลกอริธึมผ่านชุดข้อมูลการทดสอบแล้ว คุณจะได้รับความเข้าใจเบื้องต้นเกี่ยวกับประสิทธิภาพของโมเดล และเข้าสู่การปรับไฮเปอร์พารามิเตอร์

ไฮเปอร์พารามิเตอร์คือการกำหนดค่าที่กำหนดไว้ล่วงหน้าเพื่อเป็นแนวทางในกระบวนการเรียนรู้ของโมเดล ตัวอย่างของไฮเปอร์พารามิเตอร์อาจเป็นอัตราการเรียนรู้ ซึ่งควบคุมขนาดขั้นตอนระหว่างการฝึก หรือความลึกของแผนผังการตัดสินใจในฟอเรสต์แบบสุ่ม การปรับไฮเปอร์พารามิเตอร์จะช่วยค้นหา "การตั้งค่า" ที่สมบูรณ์แบบสำหรับโมเดล

การประเมินและการตรวจสอบแบบจำลอง

เพื่อให้มั่นใจถึงประสิทธิภาพสูงสุดของโมเดล สิ่งสำคัญคือต้องประเมินเทียบกับเมตริกที่ตั้งไว้ คุณสามารถเลือกชุดเมตริกเฉพาะได้ ทั้งนี้ขึ้นอยู่กับงานที่ทำอยู่ สิ่งที่ใช้กันทั่วไปในการฝึกอบรมโมเดลการเรียนรู้ของเครื่องมีดังต่อไปนี้

• ความแม่นยำจะวัดปริมาณความถูกต้องโดยรวมของการทำนายของแบบจำลอง และแสดงให้เห็นถึงความเชี่ยวชาญทั่วไปของแบบจำลอง
• ความแม่นยำและการจดจำ โดยที่แบบแรกเน้นความแม่นยำของการคาดการณ์เชิงบวก เพื่อให้มั่นใจว่าเมื่อใดก็ตามที่แบบจำลองอ้างว่าได้รับผลลัพธ์ที่เป็นบวก โมเดลจะทำได้อย่างถูกต้อง และแบบหลังจะวัดความสามารถของแบบจำลองในการจับภาพอินสแตนซ์ที่เป็นบวกทั้งหมดในชุดข้อมูล
• คะแนน F1 พยายามสร้างสมดุลระหว่างความแม่นยำและการจดจำ โดยจะให้ค่าตัวเลขเพียงค่าเดียวที่รวบรวมประสิทธิภาพของโมเดล เนื่องจากความแม่นยำและการจดจำมักจะแสดงให้เห็นถึงข้อดีข้อเสีย (คิดว่า: การปรับปรุงตัววัดตัวใดตัวหนึ่งมักจะต้องแลกมาด้วยการสูญเสียตัววัดตัวอื่น) คะแนน F1 จึงเป็นการวัดแบบรวมที่พิจารณาทั้งสองด้าน
• AUC-ROC หรือพื้นที่ภายใต้ลักษณะการทำงานของเครื่องรับ สะท้อนถึงความสามารถของโมเดลในการแยกแยะระหว่างคลาสเชิงบวกและคลาสลบ
• “การวัดระยะทาง” ระบุปริมาณความแตกต่างหรือ “ระยะทาง” ระหว่างค่าที่คาดการณ์กับค่าจริง ตัวอย่างของ “ตัวชี้วัดระยะทาง” ได้แก่ Mean Squared Error (MSE), Mean Absolute Error (MAE) และ R-squared

การผลิตโมเดล/การใช้งานและการปรับขนาด

เมื่อโมเดล ML ได้รับการฝึกอบรมและตรวจสอบแล้ว ขั้นตอนสำคัญถัดไปคือการปรับใช้ โดยนำโมเดลไปใช้งานจริงในสภาพแวดล้อมจริง สิ่งนี้เกี่ยวข้องกับการรวมโมเดลเข้ากับโครงสร้างพื้นฐานทางธุรกิจที่มีอยู่
ประเด็นสำคัญของการปรับใช้โมเดลที่ต้องคำนึงถึงช่วงต่อไปนี้

• ความสามารถในการขยายขนาด

โมเดลที่ใช้งานควรได้รับการออกแบบให้รองรับปริมาณงานที่แตกต่างกันและปรับให้เข้ากับการเปลี่ยนแปลงของปริมาณข้อมูล ความสามารถในการปรับขนาดถือเป็นสิ่งสำคัญ โดยเฉพาะอย่างยิ่งในสถานการณ์ที่คาดว่าโมเดลจะประมวลผลข้อมูลจำนวนมากแบบเรียลไทม์

• การตรวจสอบและบำรุงรักษา

การตรวจสอบอย่างต่อเนื่องถือเป็นสิ่งสำคัญหลังจากการปรับใช้ ซึ่งเกี่ยวข้องกับการติดตามประสิทธิภาพของแบบจำลองในสภาวะโลกแห่งความเป็นจริง การตรวจจับความเบี่ยงเบนหรือการลดลงในด้านความแม่นยำ และการแก้ไขปัญหาโดยทันที การบำรุงรักษาเป็นประจำทำให้มั่นใจได้ว่าโมเดลจะยังคงมีประสิทธิภาพในขณะที่สภาพแวดล้อมทางธุรกิจมีการเปลี่ยนแปลง

• ลูปข้อเสนอแนะ

การสร้างฟีดแบ็กลูปมีความสำคัญต่อการปรับปรุงอย่างต่อเนื่อง การรวบรวมความคิดเห็นจากการคาดการณ์ของแบบจำลองในโลกแห่งความเป็นจริงช่วยให้นักวิทยาศาสตร์ข้อมูลสามารถปรับแต่งและปรับปรุงแบบจำลองได้เมื่อเวลาผ่านไป

เอาชนะความท้าทายในการฝึกอบรมโมเดลการเรียนรู้ของเครื่อง

เรามาดูรายละเอียดเฉพาะของการฝึกโมเดล ML โดยการสำรวจตัวอย่างในชีวิตจริงกันดีกว่า ด้านล่างนี้ เราบันทึกการเดินทางของเราในการสร้างกระจกฟิตเนสอัจฉริยะที่ปฏิวัติวงการด้วยความสามารถของ AI โดยหวังว่าจะให้ข้อมูลเชิงลึกเกี่ยวกับการเรียนรู้ของเครื่องในทางปฏิบัติ

ให้เราแบ่งปันบริบทเล็กน้อยก่อน ในขณะที่การแพร่ระบาดของโควิดทำให้โรงยิมต้องปิดตัวลงและกระตุ้นให้มีการออกกำลังกายที่บ้านเพิ่มมากขึ้น ลูกค้าของเราก็จินตนาการถึงโซลูชันที่เปลี่ยนแปลงเกม — กระจกฟิตเนสอัจฉริยะที่จะทำหน้าที่เป็นโค้ชส่วนตัว โดยจะบันทึกการเคลื่อนไหวของผู้ใช้ ให้คำแนะนำแบบเรียลไทม์ และสร้างแผนการฝึกอบรมส่วนบุคคล

เพื่อนำฟังก์ชันนี้ไปใช้จริง เราได้ออกแบบและฝึกอบรมโมเดล ML ที่เป็นกรรมสิทธิ์ เนื่องจากลักษณะของโซลูชันที่ซับซ้อน กระบวนการฝึกอบรมโมเดล ML จึงไม่ใช่เรื่องง่าย อย่างไรก็ตาม เราพบกับความท้าทายบางประการที่เราจัดการได้สำเร็จ เรามาดูสิ่งที่สำคัญที่สุดกันดีกว่า

1. รับประกันความหลากหลายของข้อมูลการฝึกอบรม

ในการฝึกโมเดลที่มีประสิทธิภาพสูง เราต้องแน่ใจว่าชุดข้อมูลการฝึกมีความหลากหลาย เป็นตัวแทน และปราศจากอคติ เพื่อให้บรรลุเป้าหมายดังกล่าว ทีมงานของเราจึงใช้เทคนิคการประมวลผลข้อมูลล่วงหน้า รวมถึงการตรวจหาและกำจัดค่าผิดปกติ

นอกจากนี้ เพื่อชดเชยช่องว่างที่อาจเกิดขึ้นในชุดข้อมูลและเพิ่มความหลากหลายของชุดข้อมูล เราได้ถ่ายวิดีโอแบบกำหนดเองที่แสดงผู้คนออกกำลังกายในสภาพแวดล้อมที่หลากหลาย ภายใต้สภาพแสงที่แตกต่างกัน และมีอุปกรณ์การออกกำลังกายที่หลากหลาย

ด้วยการเพิ่มชุดข้อมูลของเราด้วยฟุตเทจวิดีโอที่ครอบคลุมนี้ เราได้เพิ่มความเข้าใจของโมเดล ทำให้สามารถปรับให้เข้ากับสถานการณ์ในโลกแห่งความเป็นจริงได้อย่างมีประสิทธิภาพมากขึ้น

2. การนำทางความซับซ้อนของอัลกอริทึมของโมเดล

ความท้าทายอีกประการหนึ่งที่เราพบคือการออกแบบและฝึกอบรมโมเดลการเรียนรู้เชิงลึกที่สามารถติดตามและตีความการเคลื่อนไหวของผู้ใช้ได้อย่างแม่นยำ

เราใช้การตรวจจับเชิงลึกเพื่อบันทึกการเคลื่อนไหวตามจุดสังเกตทางกายวิภาค นี่ไม่ใช่เรื่องง่าย จำเป็นต้องมีการประมวลผลที่แม่นยำและการจดจำจุดสังเกต

หลังจากการฝึกอบรมรอบแรก เรายังคงปรับแต่งอัลกอริธึมโดยผสมผสานเทคนิคคอมพิวเตอร์วิทัศน์ขั้นสูง เช่น การทำให้เป็นโครงกระดูก (คิดว่า: เปลี่ยนภาพเงาของผู้ใช้ให้เป็นโครงสร้างโครงกระดูกที่เรียบง่ายเพื่อการระบุจุดสังเกตที่มีประสิทธิภาพ) และการติดตาม (ทำให้มั่นใจถึงความสม่ำเสมอในการจดจำจุดสังเกต เมื่อเวลาผ่านไปซึ่งมีความสำคัญต่อการรักษาความแม่นยำตลอดการฝึกแบบไดนามิก)

3. รับประกันการเชื่อมต่อและการบูรณาการอุปกรณ์ IoT ได้อย่างราบรื่น

เนื่องจากกระจกสำหรับออกกำลังกายไม่เพียงแต่ติดตามการเคลื่อนไหวของร่างกายเท่านั้น แต่ยังรวมถึงตุ้มน้ำหนักที่ผู้ใช้ฝึกด้วย เราจึงเปิดตัวเซ็นเซอร์กาวไร้สายที่ติดอยู่กับอุปกรณ์แต่ละชิ้น

เราต้องตรวจสอบให้แน่ใจว่าการเชื่อมต่อระหว่างเซ็นเซอร์และกระจกไม่หยุดชะงัก รวมถึงเปิดใช้งานการซิงโครไนซ์ข้อมูลแบบเรียลไทม์ ด้วยเหตุนี้ เราจึงใช้โปรโตคอลการถ่ายโอนข้อมูลที่ได้รับการปรับปรุงและพัฒนากลยุทธ์การจัดการข้อผิดพลาดเพื่อแก้ไขข้อผิดพลาดที่อาจเกิดขึ้นในการส่งข้อมูล นอกจากนี้ เรายังใช้เทคนิคการเพิ่มประสิทธิภาพแบนด์วิดท์เพื่ออำนวยความสะดวกในการสื่อสารที่รวดเร็วซึ่งจำเป็นสำหรับการซิงโครไนซ์แบบเรียลไทม์ระหว่างการออกกำลังกายแบบไดนามิก

4. การใช้การจดจำเสียง

ฟังก์ชั่นการจดจำเสียงในกระจกฟิตเนสได้เพิ่มเลเยอร์แบบโต้ตอบ ช่วยให้ผู้ใช้สามารถควบคุมและมีส่วนร่วมกับอุปกรณ์ผ่านคำสั่งเสียง

เพื่อให้ผู้ใช้สามารถโต้ตอบกับระบบได้ เราได้ติดตั้งไมโครโฟนสั่งงานด้วยเสียงพร้อมรายการคำสั่งที่เกี่ยวข้องกับการออกกำลังกายและเทคโนโลยีการจดจำเสียงคงที่ซึ่งสามารถเรียนรู้คำศัพท์ใหม่และเข้าใจคำแนะนำใหม่ที่ผู้ใช้ให้ไว้

ความท้าทายคือผู้ใช้มักออกกำลังกายในสภาพแวดล้อมภายในบ้านที่มีเสียงรบกวนรอบข้าง ซึ่งทำให้ระบบจดจำเสียงเข้าใจคำสั่งได้อย่างแม่นยำได้ยาก เพื่อรับมือกับความท้าทายนี้ เราได้ใช้อัลกอริธึมการตัดเสียงรบกวน และปรับแต่งโมเดลการจดจำเสียงเพื่อเพิ่มความแม่นยำในสภาวะที่มีเสียงดัง

แนวโน้มในอนาคตของการฝึกอบรมโมเดลการเรียนรู้ของเครื่อง

ภาพรวมของ ML กำลังพัฒนา และแนวโน้มที่โดดเด่นประการหนึ่งที่สัญญาว่าจะเปลี่ยนรูปแบบกระบวนการฝึกฝนโมเดล ML คือการเรียนรู้ของเครื่องอัตโนมัติหรือ AutoML AutoML นำเสนอแนวทางที่เข้าถึงได้และมีประสิทธิภาพมากขึ้นในการพัฒนาโมเดล ML

ช่วยให้ขั้นตอนการทำงานส่วนใหญ่ที่อธิบายไว้ข้างต้นเป็นไปโดยอัตโนมัติ แม้แต่ผู้ที่ไม่มีความเชี่ยวชาญด้าน ML อย่างครอบคลุมก็สามารถควบคุมพลังของ ML ได้

ต่อไปนี้เป็นวิธีตั้งค่า AutoML ให้ส่งผลต่อกระบวนการฝึกอบรม ML

• ความสามารถในการเข้าถึงสำหรับทุกคน: AutoML ทำให้ ML เป็นประชาธิปไตยโดยลดความซับซ้อนที่เกี่ยวข้องกับการฝึกโมเดล บุคคลที่มีภูมิหลังที่หลากหลาย ไม่ใช่แค่นักวิทยาศาสตร์ข้อมูลที่มีประสบการณ์เท่านั้น สามารถใช้ประโยชน์จากเครื่องมือ AutoML เพื่อสร้างแบบจำลองที่มีประสิทธิภาพได้
• ประสิทธิภาพและความรวดเร็ว: วงจรการพัฒนา ML แบบดั้งเดิมอาจต้องใช้ทรัพยากรมากและใช้เวลานาน AutoML ช่วยเพิ่มความคล่องตัวให้กับกระบวนการนี้ โดยทำให้งานต่างๆ เป็นแบบอัตโนมัติ เช่น วิศวกรรมฟีเจอร์ การเลือกอัลกอริทึม และการปรับแต่งไฮเปอร์พารามิเตอร์ สิ่งนี้จะช่วยเร่งวงจรการพัฒนาโมเดล ทำให้มีประสิทธิภาพและตอบสนองต่อความต้องการทางธุรกิจมากขึ้น
• การเพิ่มประสิทธิภาพโดยไม่ต้องเชี่ยวชาญ: อัลกอริธึม AutoML เป็นเลิศในการเพิ่มประสิทธิภาพโมเดลโดยไม่จำเป็นต้องใช้ความเชี่ยวชาญเชิงลึก พวกเขาสำรวจการผสมผสานระหว่างอัลกอริธึมและไฮเปอร์พารามิเตอร์ต่างๆ ซ้ำๆ เพื่อค้นหาโมเดลที่มีประสิทธิภาพดีที่สุด ซึ่งไม่เพียงช่วยประหยัดเวลา แต่ยังช่วยให้แน่ใจว่าโมเดลได้รับการปรับแต่งอย่างละเอียดเพื่อประสิทธิภาพสูงสุดอีกด้วย
• การเรียนรู้และการปรับตัวอย่างต่อเนื่อง: ระบบ AutoML มักจะรวมแง่มุมต่างๆ ของการเรียนรู้อย่างต่อเนื่อง โดยปรับให้เข้ากับการเปลี่ยนแปลงรูปแบบข้อมูลและข้อกำหนดทางธุรกิจเมื่อเวลาผ่านไป ความสามารถในการปรับตัวนี้ช่วยให้แน่ใจว่าโมเดลยังคงมีความเกี่ยวข้องและมีประสิทธิภาพในสภาพแวดล้อมแบบไดนามิก

หากคุณต้องการเพิ่มศักยภาพของข้อมูลของคุณด้วย ML โปรดติดต่อเรา ผู้เชี่ยวชาญของเราจะแนะนำคุณตลอดการฝึกอบรมโมเดล ML ตั้งแต่การวางแผนโครงการไปจนถึงการสร้างโมเดล

บทความนี้เผยแพร่ครั้งแรกบนเว็บไซต์ ITRex