ซูมเข้าสู่กระบวนการสร้างเครื่องมือแนะนำ

มากกว่า 80% ของรายการที่คนดูบน Netflix ค้นพบผ่านเครื่องมือแนะนำของแพลตฟอร์ม หมายความว่าส่วนใหญ่ของสิ่งที่คุณเห็นเป็นผลมาจากการตัดสินใจโดยเครื่องจักรที่ซับซ้อน

บริการสตรีมอาศัยปัญญาประดิษฐ์ในการดูเธรดที่เหมาะสมภายในเนื้อหาและเจาะลึกลงไปในการตั้งค่าของผู้ชม และพูดได้อย่างปลอดภัย: ความพยายามให้ผลตอบแทน!

หากคุณยังตามไม่ทันแต่ต้องการปรับปรุงประสบการณ์ที่ลูกค้ามีต่อธุรกิจของคุณ โปรดอ่านต่อ ในบล็อกโพสต์นี้ เราจะแนะนำคุณตลอดกระบวนการสร้างเครื่องมือแนะนำและอธิบายทุกสิ่งที่คุณจำเป็นต้องรู้ก่อนที่จะหันไปหาผู้ให้บริการ AI

เครื่องมือแนะนำ 101: สิ่งที่ต้องรู้ก่อนเริ่มการพัฒนา

ก่อนที่เราจะลงลึกถึงวิธีสร้างเครื่องมือแนะนำ เรามาดูประเภท กรณีการใช้งาน และตัวเลือกการใช้งานของเครื่องมือหนึ่งกันก่อน

ตามเนื้อผ้า ระบบคำแนะนำจะแบ่งออกเป็นสองประเภทกว้างๆ ได้แก่ การกรองตามเนื้อหาและระบบการกรองแบบทำงานร่วมกัน

การกรองตามเนื้อหา

ระบบการกรองตามเนื้อหาสร้างคำแนะนำตามลักษณะหรือคุณลักษณะของเนื้อหา กล่าวอีกนัยหนึ่ง พวกเขาแนะนำผลิตภัณฑ์หรือเนื้อหาที่คล้ายกับที่ผู้ใช้เคยชอบหรือโต้ตอบด้วยมาก่อน ด้วยวิธีนี้ เครื่องมือแนะนำอาจแนะนำ "A Farewell to Arms" ให้กับผู้อ่านที่ชอบ "All Quiet on the Western Front" และ "Catch-22"

แต่เครื่องยนต์จะรู้ได้อย่างไรว่ารายการใดมีความคล้ายคลึงกัน? มาดูแนวทางของ Netflix ในการสร้างเครื่องมือแนะนำเพื่อทำความเข้าใจ แม้ว่าระบบการแนะนำของ Netflix จะเป็นแบบผสมผสาน แต่ก็ขึ้นอยู่กับความคล้ายคลึงกันของเนื้อหาเป็นส่วนใหญ่

บริการสตรีมมีทีมงานแท็กที่คอยดูเนื้อหาใหม่ทุกชิ้นและติดป้ายกำกับ แท็กมีตั้งแต่ฉากที่เต็มไปด้วยฉากแอ็คชั่นไปจนถึงฉากในอวกาศหรือแสดงนักแสดงคนใดคนหนึ่ง การวิเคราะห์ข้อมูลแท็กเทียบกับพฤติกรรมของผู้ชมด้วยอัลกอริทึมการเรียนรู้ของเครื่องทำให้แพลตฟอร์มการสตรีมสามารถระบุได้ว่าสิ่งใดมีความเกี่ยวข้องอย่างแท้จริงสำหรับผู้ใช้แต่ละราย

การกรองร่วมกัน

ระบบการกรองที่ทำงานร่วมกันจะให้คำแนะนำตามความคิดเห็นของผู้ใช้ ระบบดังกล่าวถือว่าผู้ใช้ที่ชอบสินค้าที่คล้ายกันมีแนวโน้มที่จะตอบสนองเช่นเดียวกันกับผลิตภัณฑ์และเนื้อหาใหม่

มีสองวิธีในการสร้างเครื่องมือคำแนะนำที่อาศัยการกรองร่วมกัน: ตามผู้ใช้และตามรายการ

ด้วยการกรองตามผู้ใช้ คุณจะสร้างกลุ่มของผู้ใช้ที่คล้ายกันซึ่งมีการตั้งค่าร่วมกัน ดังนั้น ผู้ใช้มีแนวโน้มที่จะได้รับการแนะนำรายการที่ผู้ใช้รายอื่นจากกลุ่มชื่นชอบ ไม่คำนึงถึงคุณสมบัติของเนื้อหา

ด้วยการกรองตามรายการ เครื่องยนต์จะสร้างคำแนะนำตามความคล้ายคลึงกันของรายการที่ผู้ใช้ชอบกับรายการที่แนะนำ ฟังดูคล้ายกับการกรองตามเนื้อหาใช่ไหม แม้ว่าทั้งระบบการกรองตามเนื้อหาและระบบการกรองการทำงานร่วมกันตามรายการจะใช้ความคล้ายคลึงกันของรายการเพื่อให้คำแนะนำ แต่ก็แตกต่างกันในวิธีพิจารณาว่าสิ่งใดที่คล้ายกัน

ระบบการกรองตามเนื้อหาจะแนะนำเฉพาะรายการที่คล้ายกับรายการที่ผู้ใช้ชอบอยู่แล้ว ด้วยการกรองการทำงานร่วมกันตามรายการ คุณจะได้รับการแนะนำรายการที่คล้ายกับสิ่งที่คุณชอบและผู้ใช้ในกลุ่มของคุณก็ชอบเช่นกัน

กรณีการใช้งานของเครื่องมือแนะนำ

การปรับเปลี่ยนในแบบของคุณในระดับสูงกลายเป็นความจำเป็นที่ผู้ใช้คาดหวัง ทำให้ธุรกิจต่าง ๆ เพิ่มพูนประสบการณ์ออนไลน์ด้วยเครื่องมือแนะนำ ภาคที่เครื่องมือแนะนำกลายเป็นช่วงทั่วไป:

• การค้าปลีกและอีคอมเมิร์ซ: เครื่องมือแนะนำในอีคอมเมิร์ซสามารถทำอะไรก็ได้ตั้งแต่การจัดหมวดหมู่ผลิตภัณฑ์ไปจนถึงการแนะนำสินค้าใหม่สำหรับลูกค้าที่จะซื้อ ผลกระทบที่เกิดจากการใช้เครื่องมือแนะนำในอีคอมเมิร์ซและการบริการลูกค้าที่ได้รับการปรับปรุง การตลาดที่ได้รับการปรับปรุง ตัวอย่างเช่น ผู้ประกอบการอีคอมเมิร์ซที่มีชื่อเสียงอย่าง Amazon สร้างรายได้ 35% ด้วยความช่วยเหลือจากระบบแนะนำ
• สื่อและความบันเทิง: ตั้งแต่การดูแลจัดการเพลย์ลิสต์ไปจนถึงการเสนอคำแนะนำส่วนบุคคลตามการโต้ตอบที่ผ่านมา เครื่องมือแนะนำช่วยให้แพลตฟอร์มสื่อและความบันเทิงดึงดูดผู้ใช้ได้นานขึ้นด้วยการแสดงเนื้อหาที่พวกเขาจะไม่พบ แพลตฟอร์มสื่อและความบันเทิงที่ใหญ่ที่สุด เช่น YouTube, Netflix และ Spotify กำลังพึ่งพาคำแนะนำส่วนบุคคลที่สร้างขึ้นโดย AI เพื่อดึงดูดและรักษาผู้ใช้ใหม่
• โซเชียลมีเดีย: ภาคโซเชียลมีเดียใช้ประโยชน์จากความเป็นไปได้ในการให้คำแนะนำส่วนบุคคลเช่นกัน ช่วยให้ผู้ใช้ค้นพบหน้าและบัญชีที่คล้ายกัน แพลตฟอร์มโซเชียลมีเดียจะกระตุ้นให้ผู้ใช้ใช้เวลาในการโต้ตอบกับเนื้อหามากขึ้น ซึ่งช่วยเพิ่มอัตราการคลิกผ่านและเพิ่มรายได้
• การธนาคารและการเงิน: ระบบคำแนะนำที่ใช้ AI ช่วยให้ธนาคารสามารถวิเคราะห์ธุรกรรมของผู้ใช้และเพิ่มยอดขายเพื่อเพิ่มรายได้ ตัวอย่างเช่น เมื่อผู้ใช้ซื้อตั๋วเครื่องบินมูลค่า 500 ดอลลาร์ ระบบแนะนำจะถือว่าพวกเขากำลังบินไปต่างประเทศโดยอัตโนมัติและแนะนำให้ซื้อแพ็คเกจประกันภัยการเดินทาง

ตัวเลือกการใช้งานให้เลือก

เมื่อคุณเริ่มสร้างเครื่องมือแนะนำ คุณจะพบกับตัวเลือกการใช้งานหลายตัวเลือกพร้อมข้อดีและข้อควรพิจารณา ได้แก่:

เอ็นจิ้นการแนะนำแบบพลักแอนด์เพลย์

เครื่องมือคำแนะนำแบบ Plug-and-play มอบวิธีที่สะดวกและไม่ยุ่งยากในการรวมคำแนะนำส่วนบุคคลเข้ากับผลิตภัณฑ์หรือแพลตฟอร์มของคุณ พวกเขาสร้างไว้ล่วงหน้าและได้รับการออกแบบให้รวมเข้ากับโครงสร้างพื้นฐานที่คุณมีอยู่ได้อย่างราบรื่น

ข้อได้เปรียบที่สำคัญของเอ็นจิ้นคำแนะนำแบบปลั๊กแอนด์เพลย์คือความเรียบง่ายและใช้งานง่าย โดยทั่วไปแล้วจะได้รับการออกแบบให้ใช้งานง่าย ทำให้แม้แต่ผู้ชมที่ไม่มีความรู้ด้านเทคนิคก็ตั้งค่าได้โดยแทบไม่ต้องออกแรงเลย ตัวอย่างของเครื่องมือแนะนำแบบปลั๊กแอนด์เพลย์ครอบคลุมแพลตฟอร์มต่างๆ เช่น Recombee, Seldon และ LiftIgniter

ข้อเสียของเครื่องมือแนะนำ Plug-and-Play มาพร้อมกับการปรับแต่งและความสามารถในการปรับเปลี่ยนที่จำกัด แม้ว่าพวกเขาจะให้ความสะดวกและรวดเร็ว แต่ก็อาจไม่ให้ระดับของความยืดหยุ่นและการปรับแต่งที่โซลูชันแบบกำหนดเองนำเสนอ

บริการแนะนำระบบคลาวด์ที่ผ่านการฝึกอบรมล่วงหน้า

เครื่องมือแนะนำบนคลาวด์ช่วยให้สามารถใช้ประโยชน์จากทรัพยากรการคำนวณและความเชี่ยวชาญของผู้ให้บริการคลาวด์ได้มากมาย บริการคำแนะนำเหล่านี้มักมี API ที่ใช้งานง่ายซึ่งช่วยให้นักพัฒนาสามารถรวมฟังก์ชันคำแนะนำเข้ากับแอปพลิเคชันของตนได้อย่างง่ายดาย

เอ็นจิ้นคำแนะนำบนคลาวด์นั้นปรับขนาดได้สูงเช่นกัน ซึ่งช่วยให้จัดการฐานผู้ใช้ขนาดใหญ่และปริมาณการใช้งานสูงได้ ข้อดีอีกประการหนึ่งคือการปรับปรุงอย่างต่อเนื่องเนื่องจากโมเดลพื้นฐานได้รับการปรับปรุงและปรับแต่งโดยผู้ให้บริการ

ผู้ให้บริการคลาวด์ชั้นนำ เช่น Amazon Web Services, Google Cloud Platform และ Microsoft Azure เสนอบริการคำแนะนำที่ผ่านการฝึกอบรมล่วงหน้า

ปัจจัยที่ต้องพิจารณาเมื่อเลือกใช้บริการคำแนะนำบนระบบคลาวด์ที่ได้รับการฝึกอบรมล่วงหน้านั้นครอบคลุมถึงความเป็นส่วนตัวของข้อมูล การล็อคอินของผู้ให้บริการ และข้อกำหนดในการปรับแต่ง แม้ว่าบริการเหล่านี้จะมอบความสะดวกสบายและความสามารถในการปรับขนาด แต่ก็อาจมีข้อจำกัดในแง่ของการปรับแต่งอัลกอริทึมคำแนะนำให้ตรงกับความต้องการเฉพาะทางธุรกิจของคุณ

เครื่องมือแนะนำที่กำหนดเอง

เครื่องมือคำแนะนำที่กำหนดเองมอบความยืดหยุ่นและการควบคุมระดับสูงสุด ช่วยให้คุณสามารถรวมอัลกอริทึมที่เป็นกรรมสิทธิ์ ใช้ประโยชน์จากความรู้เฉพาะโดเมน และพิจารณาความแตกต่างของข้อมูลของคุณ การใช้วิธีที่กำหนดเองทำให้คุณสามารถจับความซับซ้อนของการตั้งค่าของผู้ใช้ ลักษณะเฉพาะของรายการ และปัจจัยเชิงบริบท ซึ่งมักจะทำให้ได้คำแนะนำที่ถูกต้องและตรงประเด็นมากขึ้น

อย่างไรก็ตาม แม้ว่าเครื่องมือแนะนำแบบกำหนดเองจะให้ความยืดหยุ่นมากที่สุด แต่ก็ต้องการทรัพยากรในการพัฒนาจำนวนมาก ความเชี่ยวชาญในการเรียนรู้ของเครื่อง และความพยายามในการบำรุงรักษาอย่างต่อเนื่อง ดังนั้น ก่อนที่จะสร้างเครื่องมือคำแนะนำที่กำหนดเอง ให้ประเมินความต้องการทางธุรกิจ ทรัพยากรที่มีอยู่ และวัตถุประสงค์ระยะยาวของคุณอย่างรอบคอบ

หลักทั่วไปคือไปที่เส้นทางที่กำหนดเองในสถานการณ์ต่อไปนี้:

• คุณมีความต้องการทางธุรกิจที่ไม่เหมือนใคร: หากธุรกิจของคุณมีข้อกำหนดเฉพาะที่ไม่สามารถตอบสนองได้ด้วยโซลูชันสำเร็จรูป ให้กำหนดเอง จะช่วยให้คุณสามารถปรับแต่งอัลกอริทึมให้เหมาะกับงานเฉพาะของคุณได้ สมมติว่าคุณเป็นแพลตฟอร์มอีคอมเมิร์ซเฉพาะที่ขายผลิตภัณฑ์งานฝีมือ คุณอาจมีข้อกำหนดที่แตกต่างกันเมื่อพูดถึงการแนะนำผลิตภัณฑ์ เครื่องมือแนะนำต้องพิจารณาปัจจัยต่างๆ เช่น ความหายากของผลิตภัณฑ์ งานฝีมือ และความชอบของผู้ใช้สำหรับรูปแบบหรือวัสดุเฉพาะ การสร้างเครื่องมือแนะนำตั้งแต่เริ่มต้นจะช่วยให้คุณสร้างคำแนะนำที่สอดคล้องกับการตั้งค่าของผู้ใช้ได้มากขึ้น
• คุณต้องการควบคุมและเป็นเจ้าของอย่างเต็มที่: การสร้างเครื่องมือคำแนะนำที่กำหนดเองช่วยให้คุณควบคุมกระบวนการสร้างคำแนะนำทั้งหมดได้อย่างสมบูรณ์ ตั้งแต่การประมวลผลข้อมูลล่วงหน้าไปจนถึงการเลือกอัลกอริทึมไปจนถึงการปรับแต่งอย่างละเอียด ช่วยให้คุณได้รับความเป็นเจ้าของระบบอย่างเต็มรูปแบบและปรับใช้เมื่อธุรกิจของคุณพัฒนาโดยไม่ต้องพึ่งพาโซลูชันของบุคคลที่สาม
• คุณมีความรู้เฉพาะโดเมน: หากคุณมีความเชี่ยวชาญเฉพาะโดเมนหรือเข้าถึงข้อมูลเฉพาะที่สามารถเพิ่มความแม่นยำของคำแนะนำได้อย่างมาก การสร้างโซลูชันแบบกำหนดเองจะช่วยให้คุณใช้ประโยชน์จากความรู้นั้นได้อย่างมีประสิทธิภาพ ด้วยการพัฒนากลไกคำแนะนำที่ปรับให้เหมาะกับคุณ คุณสามารถรวมคุณลักษณะเฉพาะโดเมนหรือข้อจำกัดที่อาจไม่มีในโซลูชันที่ผ่านการฝึกอบรมล่วงหน้า
• แอปพลิเคชันของคุณต้องการความสามารถในการปรับขยายและประสิทธิภาพสูง: หากคุณคาดว่าจะมีผู้ใช้หรือรายการจำนวนมาก มีข้อจำกัดด้านเวลาแฝงที่เข้มงวด หรือต้องประมวลผลชุดข้อมูลขนาดใหญ่และซับซ้อน การสร้างเครื่องมือแนะนำที่กำหนดเองจะช่วยให้คุณมีความยืดหยุ่นในการออกแบบและเพิ่มประสิทธิภาพระบบให้ได้สูงสุด ความสามารถในการปรับขนาดและประสิทธิภาพ เช่นเดียวกับที่คุณต้องการสร้างคำแนะนำแบบเรียลไทม์หรือเกือบเรียลไทม์
• คุณต้องการความได้เปรียบในการแข่งขัน: หากคำแนะนำที่ถูกต้องเป็นปัจจัยหลักในการสร้างความแตกต่างสำหรับผลิตภัณฑ์หรือบริการของคุณ การสร้างกลไกคำแนะนำที่กำหนดเองอาจทำให้คุณได้เปรียบในการแข่งขัน การลงทุนในโซลูชันที่ออกแบบเฉพาะบุคคลในกรณีนี้อาจมอบโอกาสในการมอบประสบการณ์ที่ไม่เหมือนใครและเป็นส่วนตัว เพิ่มความผูกพัน ความภักดี และความพึงพอใจของลูกค้า

สร้างเครื่องมือแนะนำแบบกำหนดเองทีละขั้นตอน

การให้คำแนะนำส่วนบุคคลเป็นงานที่แก้ไขได้ด้วยแมชชีนเลิร์นนิง สามารถใช้โครงข่ายประสาทเทียมได้เช่นกัน แต่บทบาทส่วนใหญ่จำกัดอยู่ที่การประมวลผลข้อมูลการฝึกอบรมล่วงหน้า ต่อไปนี้คือขั้นตอนสำคัญในกระบวนการสร้างเครื่องมือแนะนำที่นักพัฒนาแมชชีนเลิร์นนิงของ ITRex แบ่งปัน

ขั้นตอนที่ 1 การกำหนดทิศทาง

เริ่มการพัฒนาโดยการกำหนดทิศทางสำหรับส่วนที่เหลือของโครงการ สิ่งสำคัญที่ต้องทำในขั้นตอนนี้ ได้แก่ :

กำหนดเป้าหมายและกำหนดขอบเขตโครงการ

ร่างสิ่งที่คุณตั้งใจจะบรรลุให้ชัดเจนด้วยระบบคำแนะนำ และชั่งน้ำหนักเป้าหมายที่ตั้งไว้เทียบกับข้อจำกัดด้านทรัพยากรและงบประมาณ ตัวอย่างเช่น หากคุณต้องการปรับปรุงการมีส่วนร่วมของลูกค้าและเพิ่มยอดขายในร้านค้าออนไลน์ของคุณ คุณอาจจำกัดขอบเขตของโครงการไว้เพียงการแนะนำผลิตภัณฑ์ให้กับลูกค้าที่ได้ซื้อไปแล้วเท่านั้น การรักษาขอบเขตที่ค่อนข้างแคบต้องใช้ความพยายามน้อยกว่าการสร้างเครื่องมือแนะนำที่กำหนดเป้าหมายลูกค้าทั้งหมด ในขณะที่ศักยภาพในการสร้าง ROI นั้นค่อนข้างสูง

การประเมินแหล่งข้อมูลที่มีอยู่

ประสิทธิภาพของระบบคำแนะนำขึ้นอยู่กับปริมาณและคุณภาพของข้อมูลการฝึกอบรมเป็นอย่างมาก ก่อนเข้าร่วมการฝึกอบรม ให้ประเมินอย่างรอบคอบว่าคุณมีจุดข้อมูลเพียงพอที่จะสร้างคำแนะนำหรือไม่

การกำหนดเมตริกประสิทธิภาพ

หนึ่งในความท้าทายที่สำคัญในการสร้างเครื่องมือแนะนำที่ควรคำนึงถึงตั้งแต่เริ่มต้นคือการกำหนดเมตริกความสำเร็จ หาวิธีที่จะบอกว่าผู้ใช้ชอบคำแนะนำที่สร้างขึ้นใหม่จริงๆ หรือไม่ก่อนที่คุณจะเริ่มฝึกอัลกอริทึม ML

ขั้นตอนที่ 2 รวบรวมข้อมูลการฝึกอบรม

ขั้นตอนต่อไปในกระบวนการสร้างระบบคำแนะนำที่กำหนดเองคือการรวบรวมและเตรียมข้อมูลสำหรับการฝึกอัลกอริทึมแมชชีนเลิร์นนิง ในการสร้างระบบคำแนะนำที่เชื่อถือได้ คุณต้องมีข้อมูลเพียงพอเกี่ยวกับการตั้งค่าของผู้ใช้

ขึ้นอยู่กับวิธีการสร้างเครื่องมือแนะนำ โฟกัสของคุณจะเปลี่ยนไป เมื่อสร้างระบบการกรองร่วมกัน ข้อมูลที่คุณรวบรวมจะอยู่ที่ศูนย์กลางพฤติกรรมของผู้ใช้ ด้วยระบบการกรองตามเนื้อหา คุณจะมุ่งเน้นไปที่คุณลักษณะของเนื้อหาที่ผู้ใช้ชอบ

การกรองร่วมกัน

ข้อมูลเกี่ยวกับพฤติกรรมของผู้ใช้อาจมาในรูปแบบต่างๆ กัน:

• คำติชมของผู้ใช้อย่างชัดเจนคือสิ่งที่ผู้ใช้ต้องใช้ความพยายาม เช่น เขียนรีวิว ชอบเนื้อหาหรือผลิตภัณฑ์ชิ้นหนึ่ง บ่น หรือเริ่มต้นการส่งคืน
• ความคิดเห็นโดยนัยของผู้ใช้ เช่น ประวัติการซื้อที่ผ่านมา เวลาที่ผู้ใช้ใช้ดูข้อเสนอพิเศษ พฤติกรรมการดู/ฟัง ความคิดเห็นที่ทิ้งไว้บนโซเชียลมีเดีย และอื่นๆ

เมื่อสร้างเครื่องมือแนะนำ เราแนะนำให้รวมความคิดเห็นทั้งแบบชัดเจนและโดยนัย เนื่องจากแบบหลังช่วยให้เจาะลึกถึงการตั้งค่าของผู้ใช้ที่พวกเขาอาจลังเลที่จะยอมรับ ทำให้ระบบมีความแม่นยำมากขึ้น

การกรองตามเนื้อหา

เมื่อรวบรวมข้อมูลสำหรับระบบการกรองตามเนื้อหา สิ่งสำคัญคือต้องเข้าใจว่าผลิตภัณฑ์/เนื้อหาใดที่คุณควรใช้เมื่อเจาะลึกถึงสิ่งที่ผู้ใช้ชอบ

สมมติว่าคุณกำลังสร้างเครื่องมือแนะนำสำหรับคนรักดนตรี คุณอาจอาศัยการวิเคราะห์สเปกตรัมเพื่อทำความเข้าใจว่าผู้ใช้แต่ละคนชื่นชอบเพลงประเภทใดและแนะนำเพลงที่มีสเปกตรัมคล้ายกัน

หรือคุณอาจเลือกเนื้อเพลงเป็นพื้นฐานสำหรับคำแนะนำของคุณและแนะนำเพลงที่มีธีมคล้ายกัน

กุญแจสำคัญคือการทดสอบและปรับแต่งเพื่อให้เข้าใจว่าอะไรดีที่สุดสำหรับคุณ และพร้อมที่จะปรับปรุงโมเดลเริ่มต้นอย่างต่อเนื่อง

ขั้นตอนที่ 3 ทำความสะอาดและประมวลผลข้อมูล

ในการสร้างเครื่องมือแนะนำที่มีประสิทธิภาพสูง คุณต้องคำนึงถึงรสนิยมของผู้ใช้ที่เปลี่ยนไป บทวิจารณ์หรือการให้คะแนนที่เก่ากว่าอาจไม่เกี่ยวข้องอีกต่อไป ทั้งนี้ขึ้นอยู่กับสิ่งที่คุณแนะนำ

เพื่อป้องกันความไม่ถูกต้อง ให้พิจารณาเฉพาะฟีเจอร์ที่มีแนวโน้มว่าจะแสดงถึงรสนิยมของผู้ใช้ในปัจจุบัน ลบข้อมูลที่ไม่เกี่ยวข้องออกไปแล้ว และเพิ่มน้ำหนักให้กับการกระทำของผู้ใช้ล่าสุดแทนที่จะเป็นการกระทำที่เก่ากว่า

ขั้นตอนที่ 4 เลือกอัลกอริทึมที่เหมาะสมที่สุด

ขั้นตอนต่อไปในกระบวนการสร้างเครื่องมือแนะนำคือการเลือกอัลกอริทึมการเรียนรู้ของเครื่องที่เหมาะสมกับงานของคุณ นักวิทยาศาสตร์ด้านข้อมูลของ ITRex แนะนำให้พิจารณาสิ่งต่อไปนี้:

• Matrix Factorization แบ่งชุดข้อมูลขนาดใหญ่ออกเป็นส่วนย่อยๆ เพื่อเปิดเผยรูปแบบที่ซ่อนอยู่และความคล้ายคลึงกันระหว่างผู้ใช้และรายการต่างๆ
• การแยกตัวประกอบของเมตริกซ์ เป็นส่วนเสริมของการแยกตัวประกอบเมทริกซ์ที่สามารถจัดการกับโครงสร้างข้อมูลที่มีมิติสูงกว่าที่เรียกว่าเทนเซอร์ โดยจะจับรูปแบบที่ซับซ้อนมากขึ้นโดยแยกเทนเซอร์ออกเป็นปัจจัยแฝง ซึ่งให้ความเข้าใจโดยละเอียดยิ่งขึ้นเกี่ยวกับการโต้ตอบระหว่างผู้ใช้และไอเท็ม
• เครื่องแยกตัวประกอบ เป็นโมเดลที่ทรงพลังที่สามารถจัดการข้อมูลที่มีมิติสูงและเบาบางได้ โดยจะจับการโต้ตอบระหว่างฟีเจอร์ต่างๆ และนำไปใช้กับงานคำแนะนำได้ เมื่อพิจารณาถึงการโต้ตอบของฟีเจอร์ พวกเขาสามารถให้คำแนะนำที่ถูกต้องแม้ว่าข้อมูลจะไม่สมบูรณ์ก็ตาม
• แบบจำลองพื้นที่ใกล้เคียง ค้นหาความคล้ายคลึงกันระหว่างผู้ใช้หรือรายการตามคุณลักษณะหรือพฤติกรรม มีประสิทธิภาพเป็นพิเศษสำหรับการกรองร่วมกัน โดยสร้างการเชื่อมต่อระหว่างผู้ใช้หรือรายการต่างๆ ในเครือข่าย และให้คำแนะนำตามความต้องการของผู้ใช้หรือรายการที่คล้ายกัน
• Random Walk เป็นอัลกอริทึมแบบกราฟที่สำรวจการเชื่อมต่อระหว่างรายการหรือผู้ใช้ในเครือข่าย การนำทางเครือข่ายจะจับความคล้ายคลึงกันระหว่างรายการหรือผู้ใช้ ให้คำแนะนำตามการเชื่อมต่อที่จับได้
• SLIM เป็นเทคนิคที่ใช้ในระบบคำแนะนำเพื่อทำความเข้าใจว่ารายการต่างๆ เกี่ยวข้องกันอย่างไร โดยมุ่งเน้นไปที่การค้นหารูปแบบในความสัมพันธ์ระหว่างรายการและใช้รูปแบบเหล่านั้นเพื่อให้คำแนะนำ
• โมเดลเชิงเส้น ทำนายการตั้งค่าผู้ใช้และรายการตามความสัมพันธ์เชิงเส้นระหว่างคุณสมบัติต่างๆ แม้จะเข้าใจได้ง่ายและฝึกได้เร็ว แต่ก็อาจไม่สามารถจับรูปแบบที่ซับซ้อนได้อย่างมีประสิทธิภาพเท่ากับแนวทางอื่นๆ

นอกจากนี้ คุณสามารถเลือกจากรูปแบบการเรียนรู้เชิงลึกต่อไปนี้:

• DSSM (Deep Structured Semantic Models) เรียนรู้การแสดงข้อความหรือเอกสาร พวกเขามุ่งเน้นไปที่การจับความหมายของคำและความสัมพันธ์ภายในกรอบโครงสร้าง
• Graph Convolutional Networks ออกแบบมาสำหรับข้อมูลที่มีโครงสร้างเป็นกราฟ พวกเขาทำงานบนกราฟ จับความสัมพันธ์และการโต้ตอบระหว่างโหนดในกราฟ
• Variational Auto-Encoder เป็นโมเดลเชิงกำเนิดที่เรียนรู้การแสดงข้อมูลโดยการจับพื้นที่แฝงของมัน โมเดลเหล่านี้ใช้สถาปัตยกรรมตัวเข้ารหัส-ตัวถอดรหัสเพื่อบีบอัดข้อมูลในพื้นที่มิติที่ต่ำกว่าและสร้างใหม่
• Transformer เป็นแบบจำลองที่ใช้กลไกการเอาใจใส่ตนเองเพื่อบันทึกความสัมพันธ์เชิงบริบทระหว่างคำในประโยคหรือเอกสาร

สิ่งสำคัญที่ควรทราบคือวิธีการข้างต้นไม่ค่อยใช้ในการแยก แต่จะรวมกันโดยใช้เทคนิคและอัลกอริทึมต่อไปนี้:

• การประกอบ เป็นการฝึกโมเดลหลายๆ แบบอย่างอิสระ จากนั้นจึงรวมการทำนายผ่านเทคนิคต่างๆ แต่ละโมเดลมีส่วนในการทำนายขั้นสุดท้ายเท่าๆ กัน และชุดค่าผสมมักจะตรงไปตรงมาและไม่เกี่ยวข้องกับการฝึกโมเดลเพิ่มเติม
• การซ้อน ใช้วิธีขั้นสูงกว่า มันเกี่ยวข้องกับการฝึกแบบจำลองหลาย ๆ แบบ ซึ่งเรียกว่าแบบจำลองพื้นฐาน จากนั้นจึงรวมการคาดคะเนผ่านแบบจำลองเมตา แบบจำลองพื้นฐานทำการคาดคะเนตามข้อมูลที่ป้อนเข้า และการคาดคะเนจะกลายเป็นคุณลักษณะการป้อนข้อมูลสำหรับแบบจำลองเมตา จากนั้น meta-model จะได้รับการฝึกฝนเพื่อทำการทำนายขั้นสุดท้าย
• AdaBoost เป็นอัลกอริทึมการเรียนรู้ทั้งมวลที่ปรับปรุงความแม่นยำของโมเดลฐานโดยการฝึกซ้ำๆ บนชุดข้อมูลย่อยต่างๆ แนวทางนี้มุ่งเน้นไปที่กรณีที่ยากต่อการจำแนกอย่างถูกต้อง และให้ความสนใจมากขึ้นในการฝึกซ้ำครั้งต่อๆ ไป ในการวนซ้ำแต่ละครั้ง AdaBoost จะกำหนดน้ำหนักให้กับอินสแตนซ์การฝึกตามความแม่นยำในการจำแนกประเภท จากนั้นจะฝึกโมเดลที่มีประสิทธิภาพไม่ดีในข้อมูลที่ถ่วงน้ำหนัก โดยที่น้ำหนักเน้นที่อินสแตนซ์ที่จัดประเภทผิดจากการวนซ้ำครั้งก่อน
• XGBoost เป็นวิธีการรวมที่รวมโมเดลการทำนายที่อ่อนแอซ้ำแล้วซ้ำอีกเพื่อสร้างโมเดลที่แข็งแกร่งขึ้น มันฝึกโมเดลตามลำดับ โดยที่โมเดลที่ตามมาแต่ละโมเดลจะแก้ไขข้อผิดพลาดที่เกิดจากโมเดลก่อนหน้า

ขั้นตอนที่ 4 ฝึกฝนและตรวจสอบโมเดล

เมื่อคุณกำหนดอัลกอริทึมสำหรับเครื่องมือแนะนำของคุณเป็นศูนย์แล้ว ก็ถึงเวลาฝึกฝนและตรวจสอบความถูกต้องของโมเดล ต่อไปนี้เป็นลักษณะของขั้นตอนในกระบวนการสร้างเครื่องมือแนะนำ:

ในการเริ่มต้น คุณต้องแบ่งข้อมูลออกเป็นสองชุด: ชุดฝึกอบรมและชุดทดสอบ ชุดการฝึกอบรมตามชื่อที่แนะนำ สอนโมเดลของคุณให้รู้จักรูปแบบในการตั้งค่าของผู้ใช้ ชุดการทดสอบช่วยประเมินประสิทธิภาพของแบบจำลองกับข้อมูลใหม่

ด้วยชุดการฝึกในมือ ให้เริ่มฝึกโมเดลของคุณ สิ่งนี้เกี่ยวข้องกับการเปิดเผยอัลกอริทึมกับข้อมูล ทำให้สามารถเรียนรู้รูปแบบและความสัมพันธ์พื้นฐานได้

หลังจากขั้นตอนการฝึกอบรม ก็ถึงเวลาประเมินประสิทธิภาพของโมเดลโดยใช้ชุดทดสอบ สิ่งนี้จะช่วยให้คุณเข้าใจว่าโมเดลสรุปข้อมูลใหม่ได้อย่างมีประสิทธิภาพเพียงใด

หรืออีกทางหนึ่ง คุณสามารถอาศัยความคิดเห็นแบบเรียลไทม์เพื่อทำความเข้าใจว่าโมเดลทำงานได้ดีเพียงใด ด้วยวิธีนี้ คุณจะปรับใช้โมเดลในการผลิตและจับคู่คำแนะนำที่สร้างขึ้นกับความคิดเห็นของผู้ใช้ จากนั้นคุณไปยังขั้นตอนถัดไป ซึ่งคุณตั้งค่าโมเดลเพื่อปรับพารามิเตอร์ผ่านกระบวนการเรียนรู้ซ้ำๆ

ขั้นตอนที่ 5 ปรับแต่งไฮเปอร์พารามิเตอร์ของโมเดล

เมื่อคุณประเมินประสิทธิภาพของโมเดลแล้ว คุณสามารถปรับแต่งได้ตามต้องการ ลองพิจารณาตัวอย่างระบบคำแนะนำที่สร้างขึ้นจากอัลกอริทึมการกรองร่วมกัน

ในการกรองร่วมกัน จำนวนเพื่อนบ้านกำหนดจำนวนผู้ใช้หรือรายการที่คล้ายกันที่จะได้รับการพิจารณาเมื่อให้คำแนะนำ สมมติว่าคุณกำลังสร้างเครื่องมือแนะนำที่ใช้การกรองร่วมกันและแนะนำภาพยนตร์ใหม่ เริ่มแรก คุณตั้งค่าจำนวนเพื่อนบ้านเป็น 10 ซึ่งหมายความว่าโมเดลจะพิจารณาการตั้งค่าของผู้ใช้ที่คล้ายกันมากที่สุด 10 คนเมื่อสร้างคำแนะนำ

หลังจากประเมินประสิทธิภาพของโมเดลแล้ว คุณพบว่าความแม่นยำของคำแนะนำต่ำกว่าที่ต้องการ เพื่อปรับปรุงสิ่งนั้น คุณตัดสินใจที่จะปรับแต่งโมเดลโดยการปรับจำนวนเพื่อนบ้าน

หากต้องการสำรวจผลกระทบของขนาดเพื่อนบ้านที่แตกต่างกัน คุณสามารถเรียกใช้การทดสอบด้วยค่าต่างๆ ตัวอย่างเช่น การลดจำนวนเพื่อนบ้านลงเหลือ 5 อาจทำให้ความแม่นยำเพิ่มขึ้นอย่างมาก อย่างไรก็ตาม คุณอาจสังเกตเห็นการเรียกคืนที่ลดลงเล็กน้อย ซึ่งบ่งชี้ว่าโมเดลขาดคำแนะนำที่เกี่ยวข้องบางประการ ในทางกลับกัน การเพิ่มจำนวน 20 อาจนำไปสู่การปรับปรุงการเรียกคืนเล็กน้อย แต่คำแนะนำอาจกลายเป็นส่วนบุคคลน้อยลง

กุญแจสำคัญคือการประนีประนอมระหว่างความแม่นยำและการเรียกคืน และสร้างสมดุลระหว่างการจับภาพการตั้งค่าของผู้ใช้ที่หลากหลายและการรักษาคำแนะนำที่ถูกต้อง

ขั้นตอนที่ 6 ใช้งาน ตรวจสอบ และอัปเดตโมเดล

เมื่อโมเดลลงสีพื้นแล้วและพร้อมเปิดตัว ก็ถึงเวลาดำเนินการ

เพื่อให้แน่ใจว่าการใช้งานประสบความสำเร็จ ให้พิจารณาวิธีที่มีประสิทธิภาพสูงสุดในการรวมโมเดลเข้ากับโครงสร้างพื้นฐานที่คุณมีอยู่ ตัวอย่างเช่น คุณสามารถฝังโมเดลลงในส่วนหลังของเว็บไซต์ของคุณ เพื่อให้มั่นใจว่าโมเดลนั้นโต้ตอบกับอินเทอร์เฟซผู้ใช้ได้อย่างราบรื่น การผสานรวมนี้ทำให้สามารถให้คำแนะนำตามเวลาจริงที่ปรับเปลี่ยนตามความต้องการของผู้ใช้แบบไดนามิก

อีกทางหนึ่ง คุณสามารถปรับใช้โมเดลเป็นบริการ เช่น API เครื่องมือแนะนำ ซึ่งคอมโพเนนต์อื่นๆ ของแอปพลิเคชันของคุณสามารถเรียกใช้ได้อย่างง่ายดาย วิธีการที่มุ่งเน้นบริการนี้ทำให้มั่นใจได้ถึงความยืดหยุ่นและความสามารถในการปรับขยาย ช่วยให้แอปพลิเคชันของคุณสามารถใช้ประโยชน์จากความสามารถของเครื่องมือแนะนำได้อย่างง่ายดาย

ขั้นตอนการใช้งานยังเป็นช่วงเวลาที่ดีในการพิจารณาว่าคำแนะนำจะนำเสนอต่อผู้ใช้อย่างไร พวกเขาจะแสดงเป็นคำแนะนำส่วนบุคคลบนหน้าแรกของเว็บไซต์โดยจัดหมวดหมู่อย่างเรียบร้อยในอินเทอร์เฟซที่ใช้งานง่ายหรือไม่ หรือจะถูกรวมเข้ากับอินเทอร์เฟซของแอปได้อย่างไร้รอยต่อ ปรากฏขึ้นในเวลาที่เหมาะสมเพื่อทำให้ผู้ใช้ประหลาดใจ ทางเลือกเป็นของคุณ แต่ให้ประสบการณ์ของผู้ใช้อยู่ในระดับแนวหน้าเสมอ

สุดท้าย สิ่งสำคัญคือต้องทดสอบโมเดลที่ใช้งานอย่างจริงจังเพื่อให้มั่นใจถึงการทำงานที่ราบรื่น เรียกใช้การทดสอบที่ครอบคลุมเพื่อตรวจสอบประสิทธิภาพและพฤติกรรมในการโต้ตอบต่างๆ ของผู้ใช้ เพื่อให้แน่ใจว่าคำแนะนำนั้นถูกต้อง ทันเวลา และสอดคล้องกับความคาดหวังของผู้ใช้

ความท้าทายในการสร้างเครื่องมือแนะนำและวิธีแก้ปัญหา

การทำความเข้าใจกับความท้าทายในการสร้างเครื่องมือคำแนะนำเป็นสิ่งสำคัญสำหรับการให้คำแนะนำที่เกี่ยวข้องและเป็นส่วนตัว นี่คือบทสรุปของรายการที่พบบ่อยที่สุด:

ความท้าทาย 1. การวัดความสำเร็จ

หนึ่งในความท้าทายที่สำคัญในการสร้างเครื่องมือแนะนำที่ควรคำนึงถึงตั้งแต่เริ่มต้นคือการกำหนดเมตริกความสำเร็จ กล่าวอีกนัยหนึ่ง ก่อนที่คุณจะลงมือรวบรวมข้อมูลและฝึกอัลกอริทึม ML คุณควรหาวิธีที่เชื่อถือได้ในการบอกว่าผู้ใช้ชอบคำแนะนำที่สร้างขึ้นใหม่จริงๆ หรือไม่ สิ่งนี้จะแนะนำกระบวนการพัฒนาของคุณ

สมมติว่าคุณเป็นแพลตฟอร์มสตรีมมิ่ง คุณอาจนับจำนวนไลค์หรือการสมัครรับข้อมูลแบบชำระเงินรายเดือนเพื่อวัดว่าเครื่องมือแนะนำของคุณทำงานได้ดีเพียงใด อย่างไรก็ตาม คำแนะนำของคุณอาจไม่เป็นไร ในขณะที่ผู้ใช้ลังเลที่จะระบุความต้องการหรือชำระค่าบริการอย่างชัดเจน

ประสบการณ์ของนักวิทยาศาสตร์ข้อมูลของเราแสดงให้เห็นว่าพฤติกรรมของผู้ใช้เป็นวิธีที่น่าเชื่อถือมากขึ้นในการวัดประสิทธิภาพของระบบคำแนะนำ เราจะไม่สงสัยเลยว่าผู้ใช้จะเพลิดเพลินกับการแสดงหากพวกเขาดูอย่างเมามันในคืนเดียว แม้ว่าจะไม่ได้รับคำติชมอย่างชัดเจนก็ตาม

ความท้าทายที่ 2 คำสาปแห่งมิติ

มิติข้อมูลหมายถึงจำนวนคุณลักษณะในชุดข้อมูล คุณสมบัติการป้อนข้อมูลที่มากขึ้นมักจะทำให้การสร้างกลไกคำแนะนำที่แม่นยำนั้นยากขึ้น ลองใช้ YouTube เป็นตัวอย่าง บนแพลตฟอร์ม มีวิดีโอและผู้ใช้หลายพันล้านรายการอยู่ร่วมกัน และผู้ใช้แต่ละรายต่างก็ต้องการคำแนะนำที่ปรับเปลี่ยนในแบบของคุณ อย่างไรก็ตาม ทรัพยากรบุคคลและการคำนวณมีจำกัด และแทบไม่มีใครต้องการใช้เวลาหลายชั่วโมงในการรอคำแนะนำเพื่อโหลด

เพื่อจัดการกับความท้าทายนี้ จำเป็นต้องมีขั้นตอนเพิ่มเติม การสร้างผู้สมัคร ก่อนที่จะเปิดตัวอัลกอริทึมคำแนะนำ ขั้นตอนนี้ช่วยให้สามารถจำกัดจำนวนวิดีโอหลายพันล้านรายการให้แคบลงเหลือหลายหมื่นรายการ และกลุ่มย่อยนี้จะใช้สำหรับสร้างคำแนะนำ

มีการใช้กลยุทธ์ต่างๆ โดยการค้นหาเพื่อนบ้านที่ใกล้ที่สุดเป็นกลยุทธ์ที่โดดเด่นที่สุด ถูกนำมาใช้ในการสร้างผู้สมัคร แนวทางปฏิบัติทั่วไปอื่นๆ ในการเอาชนะปัญหาเรื่องมิติ ได้แก่ การสำรวจหมวดหมู่ยอดนิยมหรือความชอบที่มีร่วมกันระหว่างคนที่มีอายุใกล้เคียงกัน

ความท้าทายที่ 3 การเริ่มต้นที่เย็นชา

ปัญหาที่พบบ่อยอีกประการหนึ่งในกระบวนการสร้างเครื่องมือแนะนำ ปริศนาการเริ่มเย็นเกิดขึ้นเมื่อระบบขาดข้อมูลที่เพียงพอเกี่ยวกับผู้ใช้หรือรายการ ทำให้เป็นเรื่องยากที่จะให้คำแนะนำที่ถูกต้อง การเอาชนะอุปสรรค์นี้เกี่ยวข้องกับการใช้วิธีการต่างๆ เช่น การกรองร่วมกัน การกรองตามเนื้อหา หรือวิธีการแบบผสมผสาน

ความท้าทายที่ 4 หางยาว

ระบบคำแนะนำอาจประสบกับปรากฏการณ์ที่เรียกว่า "หางยาว" ซึ่งหมายความว่ารายการที่ได้รับความนิยมจะได้รับความสนใจและคำแนะนำมากกว่า ในขณะที่รายการที่ได้รับความนิยมน้อยกว่านั้นยังคงไม่มีใครสังเกตเห็นจากผู้ใช้ การแก้ไขปัญหานี้จำเป็นต้องสร้างคำแนะนำส่วนบุคคลและคำนึงถึงการตั้งค่าของผู้ใช้แต่ละคน

ความท้าทายที่ 5 การเริ่มต้นอย่างเย็นชาสำหรับรายการใหม่

เมื่อมีการเพิ่มรายการใหม่ลงในระบบ ระบบจะมีข้อมูลประวัติเพียงเล็กน้อยหรือไม่มีเลยสำหรับการสร้างคำแนะนำ ทำให้ยากต่อการสร้างคำแนะนำที่เกี่ยวข้อง วิธีหนึ่งในการจัดการกับปัญหานี้คือการใช้ตัวกรองเนื้อหาและกระตุ้นให้ผู้ใช้โต้ตอบกับรายการใหม่ผ่านโปรโมชันหรือโฆษณา

ความท้าทายที่ 6 การเริ่มต้นใหม่สำหรับผู้ใช้ใหม่

ในทำนองเดียวกัน ผู้ใช้ใหม่อาจมีข้อมูลย้อนหลังไม่เพียงพอสำหรับคำแนะนำที่ถูกต้อง เพื่อเอาชนะความท้าทายนี้ สามารถใช้วิธีการต่างๆ เช่น การกรองตามเนื้อหา คำขอคำติชม และการสำรวจผู้ใช้เบื้องต้น

ความท้าทายที่ 7 ความกระจัดกระจายของข้อมูล

ในระบบคำแนะนำ การกระจายข้อมูลเป็นเรื่องปกติที่ผู้ใช้หลายคนให้คะแนนหรือโต้ตอบกับรายการจำนวนน้อย สิ่งนี้ทำให้เกิดความท้าทายในการทำนายการตั้งค่าของผู้ใช้ เพื่อแก้ไขปัญหานี้ สามารถใช้วิธีการแยกตัวประกอบเมทริกซ์ที่รวมการลดขนาด การทำให้เป็นปกติ และเทคนิคอื่นๆ ได้

เพื่อสรุปมันขึ้น

การสร้างเครื่องมือแนะนำคือการเดินทางที่ขับเคลื่อนด้วยอัลกอริทึม ข้อมูลเชิงลึกของผู้ใช้ และการปรับแต่งซ้ำๆ ตั้งแต่การกำหนดปัญหาไปจนถึงการเลือกแนวทางที่เหมาะสมผ่านการประมวลผลข้อมูลล่วงหน้าอย่างพิถีพิถันไปจนถึงการฝึกอบรมแบบจำลอง แต่ละขั้นตอนมีส่วนช่วยในการสร้างระบบคำแนะนำที่มีประสิทธิภาพ

ความสามารถของเครื่องมือแนะนำในการทำความเข้าใจการตั้งค่าของผู้ใช้และให้คำแนะนำที่ปรับให้เหมาะกับคุณนั้นมีศักยภาพมหาศาลสำหรับธุรกิจของคุณ Amazon, YouTube, Spotify และอื่น ๆ อีกมากมายที่รู้จักกันน้อย แต่ประสบความสำเร็จไม่น้อย ธุรกิจต่างๆ ปฏิวัติผลิตภัณฑ์ของตนและเพิ่มรายได้ด้วยคำแนะนำที่ปรับให้เหมาะกับคุณ

ตัวอย่างเช่น Spotify แพลตฟอร์มการสตรีมเพลงที่อาศัยคำแนะนำที่ปรับให้เหมาะกับแต่ละบุคคลเป็นปัจจัยหลักในการสร้างความแตกต่าง ฐานผู้ใช้และรายได้ยังคงเติบโตอย่างต่อเนื่องในแต่ละปี ในไตรมาสที่ 4 ปี 2022 คำมั่นสัญญาในการค้นหาเพลงโปรดใหม่ทำให้แพลตฟอร์มมีผู้ใช้งานเพิ่มขึ้น 20% ต่อเดือน ส่งผลให้มีผู้เข้าใช้สุทธิ 33 ล้านคน

หากคุณยังตามไม่ทัน ก็ถึงเวลาควบคุมพลังของ AI และปฏิวัติประสบการณ์ผู้ใช้ของคุณด้วยเครื่องมือแนะนำที่กำหนดเอง

กำลังมองหาวิธีปรับปรุงโซลูชันของคุณด้วยเครื่องมือแนะนำที่ทรงพลังอยู่ใช่ไหม พูดคุยกับที่ปรึกษาของ ITRex

เผยแพร่ครั้งแรกที่ https://itrexgroup.com เมื่อวันที่ 6 มิถุนายน 2023