การเปรียบเทียบเอ็นจิ้น NLU: แนวทางที่ขับเคลื่อนด้วยข้อมูลสำหรับผู้นำตลาด AI
เผยแพร่แล้ว: 2022-09-09กลไกการทำความเข้าใจภาษาธรรมชาติ (NLU) เป็นตัวขับเคลื่อนความเชื่อมั่นของลูกค้าจำนวนมาก AI และ NLU พัฒนาขึ้นมากจน พนักงาน Google ได้รับความสนใจจากทั่วโลก เมื่อเขาอ้างว่าแชทบ็อต LaMDA ของบริษัทเป็นมนุษย์ที่รู้จักตนเอง
แต่ไม่ต้องกังวล เราไม่ได้มาที่นี่เพื่อหลอกหลอนคุณด้วยเรื่องราวของบอท AI ที่ครองโลกหรือฝ่ายบริการลูกค้า
ผู้บริโภคชาวอเมริกันประมาณ 71% ยังคงต้องการสัมผัสของมนุษย์ในการสนทนาเกี่ยวกับการบริการลูกค้า และนั่นคือสิ่งที่เครื่องมือมาตรฐาน NLU เข้ามามีบทบาท
NLU สามารถช่วยให้ตัวแทนเข้าใจและให้บริการลูกค้าได้ดียิ่งขึ้นโดยเพิ่มชั้นความรู้ บริบท และความรู้สึกในการโต้ตอบกับลูกค้า AI การสนทนาที่ขับเคลื่อนโดยเอ็นจิ้น NLU ช่วยให้แบรนด์มีความชาญฉลาดและเอาใจใส่มากขึ้น และระบุสัญญาณลูกค้าที่ซ่อนอยู่เพื่อทำให้บริการลูกค้าเป็นส่วนตัวมากขึ้นและเหมือนเครื่องจักรน้อยลง
แต่คุณจะเปรียบเทียบเครื่องมือ NLU เพื่อประเมินความสามารถของ AI ได้อย่างไร ขั้นแรก มาทำความเข้าใจข้อกำหนดทางเทคนิคที่สำคัญกันก่อน
อภิธานศัพท์การเปรียบเทียบเครื่องยนต์ NLU
AI สนทนา
Conversational AI เป็นความสามารถที่ขับเคลื่อนโดย NLU ซึ่งช่วยให้คอมพิวเตอร์และแอปพลิเคชันดิจิทัลสามารถดึงดูดลูกค้าด้วยความเห็นอกเห็นใจด้วยการจดจำอารมณ์ ความเร่งด่วน และบริบทเบื้องหลังการสนทนาของมนุษย์ชุดข้อมูล
ชุดข้อมูลคือชุดของชุดข้อมูลที่เกี่ยวข้องกันซึ่งคอมพิวเตอร์สามารถประมวลผลเป็นข้อมูลชุดเดียวได้คำพูด
คำพูดคือวลีหรือประโยคของคำพูดของผู้ใช้ที่ได้รับผ่านข้อความ เสียง หรือวิดีโอ เครื่องมือ NLU ใช้คำพูดเพื่อฝึก ทดสอบ และตีความเจตนาของผู้ใช้ความตั้งใจ
เจตนาระบุวัตถุประสงค์ของผู้ใช้ที่อยู่เบื้องหลังการกระทำ เหตุการณ์ หรือคำสั่ง ตัวอย่างเช่น การดำเนินการของผู้ใช้สามารถจัดประเภทเป็นการสอบถามผลิตภัณฑ์ การร้องเรียน การขอคืนเงิน ฯลฯความแม่นยำ
ความแม่นยำคือเปอร์เซ็นต์ของประโยคทดสอบที่ตรงกับความตั้งใจที่ถูกต้องโดยเอ็นจิ้น NLUF1 Macro
ค่าเฉลี่ยฮาร์มอนิกของค่าเฉลี่ยมาโครของความแม่นยำและการเรียกคืนสำหรับแต่ละเจตนาเรียกว่า F1 Macro
ความแม่นยำ = จำนวนผลลัพธ์เชิงบวกที่แท้จริงที่มีต่อความตั้งใจ/ผลลัพธ์เชิงบวกทั้งหมดที่มีต่อความตั้งใจ
การ เรียกคืน = จำนวนผลบวกที่แท้จริงที่มีต่อความตั้งใจ/จำนวนผลลัพธ์ที่ระบุว่าเป็นผลบวกต่อความตั้งใจ
การเปรียบเทียบเอ็นจิ้น NLU: ทำความเข้าใจกระบวนการ
การเปรียบเทียบเครื่องยนต์ NLU อาจเป็นกระบวนการที่น่าเบื่อ อาจใช้เวลานานในการเลือกชุดโซลูชันที่เปิดใช้งาน NLU และดำเนินการทดสอบความตั้งใจทั่วไปที่ลูกค้าของคุณสังเกตเห็น นั่นเป็นจุดที่วิธีการที่มีโครงสร้างซึ่งสนับสนุนโดยการวิจัยมีประโยชน์ในการประเมินเอ็นจิ้น NLU และความสามารถในการ หยั่งรู้ AI ด้วยวิธีการที่ปราศจากอคติ
การเปรียบเทียบบริการทำความเข้าใจภาษาธรรมชาติสำหรับการสร้างตัวแทนการสนทนา
วิธีการ เปรียบเทียบ NLU นี้เปรียบเทียบเอ็นจิ้น NLU บนชุดข้อมูลสำหรับบอทระบบอัตโนมัติภายในบ้านที่แบ่งออกเป็นชุดข้อมูลขนาดเล็กและขนาดใหญ่เพื่อประเมินความแม่นยำของการเรียนรู้ของเครื่องผ่านการฝึกอบรมและขนาดข้อมูลการทดสอบที่แตกต่างกัน
ระเบียบวิธีที่ใช้ในวิธีการเปรียบเทียบมาตรฐานของ NLU
ชุดข้อมูลขนาดเล็ก
สุ่มเลือกความตั้งใจที่แตกต่างกัน 64 รายการ
10 ตัวอย่างประโยคที่ใช้สำหรับแต่ละความตั้งใจในการฝึกเอ็นจิ้น NLU
มีการทดสอบประโยคตัวอย่าง 1,076 ประโยค (ที่ไม่ใช่ส่วนหนึ่งของชุดการฝึก)
ชุดข้อมูลขนาดใหญ่
มีการเลือกความตั้งใจ 64 รายการเดียวกันที่กล่าวถึงข้างต้นสำหรับชุดข้อมูลขนาดใหญ่
มีการใช้ประโยคตัวอย่างประมาณ 30 ประโยคสำหรับแต่ละความตั้งใจในการฝึกเอ็นจิ้น NLU
5,518 ประโยคตัวอย่าง (ที่ไม่ใช่ส่วนหนึ่งของชุดการฝึก) ได้รับการทดสอบ
รายงานการเปรียบเทียบเครื่องยนต์ NLU: ผลลัพธ์
วิธีการเปรียบเทียบของ NLU แสดงความแม่นยำ NLP ของ Sprinklr โดยอาศัยการเรียกคืนและมาโคร F1 ให้เหนือกว่ารุ่นก่อน เช่น Google Cloud, Azure Language Studio และ AWS Comprehend ข้อมูลการเปรียบเทียบและผลลัพธ์สามารถพบได้ ที่นี่
หากเราแบ่งการเปรียบเทียบเอ็นจิ้น NLU ออกเป็นชุดข้อมูลขนาดเล็กและขนาดใหญ่ เครื่องยนต์ Sprinklr NLU ยังคงเป็นผู้ชนะที่ชัดเจน
หมายเหตุ : ชุดข้อมูลที่ใหญ่ขึ้นเป็นวิธีที่ดีที่สุดในการทดสอบและฝึกความตั้งใจเพื่อความแม่นยำที่สูงขึ้น แต่ความแปรผันของความแม่นยำด้วยเครื่องยนต์ NLU ของ Sprinklr นั้นอยู่ที่ ≤ 3% เท่านั้น
ชุดข้อมูลขนาดเล็ก
พารามิเตอร์:
640 ประโยคการฝึกอบรม = 10 ประโยคต่อความตั้งใจ
1,076 ประโยคทดสอบ
ชุดข้อมูลขนาดใหญ่
พารามิเตอร์:
1,908 ประโยคการฝึกอบรม ≈ 30 ประโยคต่อความตั้งใจ
5,518 ประโยคทดสอบ
Sprinklr กลายเป็นผู้ชนะที่ชัดเจนในการวัดประสิทธิภาพเครื่องยนต์ NLU
เอ็นจิ้น NLU ของ Sprinklr ยังคงความสม่ำเสมอและแม่นยำในการกำหนดจุดประสงค์ของการสืบค้น ด้วยการแมปที่ดีขึ้นระหว่างอินพุตทดสอบและอินพุตการฝึกอบรม
ตัวอย่างที่ 1: ชุดข้อมูลขนาดเล็ก
คำถาม: มีอะไรที่ฉันต้องระวังหรือไม่
ความจริงพื้นฐาน: calendar_query
ตัวอย่างที่ 2: ชุดข้อมูลขนาดใหญ่
คำถาม: มีกี่ประเทศในสหภาพยุโรป
ความจริงพื้นฐาน: qa_factoid
ข้อจำกัดของการเปรียบเทียบเครื่องยนต์ NLU
ขนาดของชุดข้อมูล : เนื่องจากมีการใช้ชุดข้อมูลที่มีการวิจัยอย่างดีจำนวนมาก เอ็นจิ้น NLU อาจเรียนรู้จากการทดสอบคำพูดได้เร็วกว่ากรณีที่พบข้อมูลดิบและมีโครงสร้างโดยทั่วไป
ภาษาที่ใช้: เฉพาะภาษาอังกฤษเท่านั้นที่ใช้ทดสอบกรณีและเจตนาที่แตกต่างกัน
ลักษณะของข้อมูลการทดสอบ : คำพูดของผู้ใช้อาจฟังดูไม่เหมือนลูกค้าทั่วไป ซึ่งอาจสร้างข้อผิดพลาดทางไวยากรณ์ได้มากกว่าและมีช่องว่างในการสนทนา
ความท้าทายในการตีความเอ็นจิ้น NLU ที่พบบ่อยที่สุด
เอ็นจิ้น NLU ทั่วไปมีข้อจำกัดบางประการ โดยเฉพาะอย่างยิ่งในขณะที่ตีความการโต้ตอบกับลูกค้า ต่อไปนี้คือข้อผิดพลาดในการตีความเอ็นจิน NLU ที่พบบ่อยที่สุดและกลยุทธ์ที่ควรหลีกเลี่ยง:
การเสียดสี
เอ็นจิ้น NLU สามารถตรวจจับการเสียดสีหรือความคิดเห็นของลูกค้าที่ก้าวร้าวได้
วิธีแก้ไข: วิธีหนึ่งที่จะเอาชนะสิ่งนี้ได้คือการเพิ่มคำหลักเช่น “ขอบคุณ ว้าว อะไรก็ได้” เพื่อเรียกใช้ตัวแทนก่อนที่จะอนุมัติการตอบสนองของเอ็นจิน NLU แบบอัตโนมัติ
ความคลุมเครือ
บางครั้ง มนุษย์พยายามแยกความแตกต่างหากคำในประโยคถูกใช้เป็นคำนาม กริยา หรือคำคุณศัพท์ กริยาวลี เช่น "แฮงค์" หรือ "ดับ" อาจส่งผลต่อการรับรู้ของเอ็นจิน NLU
วิธีแก้ไข: วิธีที่ดีที่สุดในการลดความกำกวมคือการฝึกเอ็นจิน NLU สำหรับประโยคและวลีที่คลุมเครืออยู่เสมอ เมื่อเวลาผ่านไป เครื่องยนต์จะเริ่มเรียนรู้จากอินพุตทดสอบโดยเปรียบเทียบกับการโต้ตอบของผู้ใช้จริง
วิธีอื่นๆ ในการลดความกำกวมในเอ็นจิน NLU และแชทบอท AI:
ใช้ประโยชน์จากโมเดลแมชชีนเลิร์นนิงเพื่อการฝึกอบรม NLU ที่ดีขึ้น : ใช้โมเดลแมชชีนเลิร์นนิงตามบริบท เช่น การแสดงตัวเข้ารหัสแบบสองทิศทางจาก Transformers (BERT) และการฝังตัวจากโมเดลภาษา (ELMo) เพื่อฝึกเอ็นจิน NLU ของคุณ โมเดล AI เหล่านี้จะพิจารณาการแสดงคำและประโยคที่แตกต่างกันทั้งหมด และใช้ข้อความเพิ่มเติมเพื่อกรอกรายการผู้ใช้ที่คลุมเครือ
สร้างข้อความแจ้งที่เหมาะสมเพื่อตรวจสอบความไม่แน่นอนของภาษาอีกครั้ง : เปิดใช้งานเอ็นจิน NLU ของคุณเพื่อให้การตอบสนอง "แก้ความกำกวม" ที่แจ้งให้ผู้ใช้เลือกเวอร์ชันที่ถูกต้องของข้อความจากความเป็นไปได้มากกว่าหนึ่งอย่าง ซึ่งค่อนข้างคล้ายกับข้อความแจ้ง “คุณหมายถึง…” จาก Google ซึ่งมีรูปแบบต่างๆ ที่เป็นไปได้ของข้อความค้นหาของคุณ
ฝึกฝนและฝึกฝนให้ดียิ่งขึ้น : ฝึกเครื่องยนต์ NLU ของคุณอย่างจริงจังเพื่อแยกสัญญาณออกจากสัญญาณรบกวน ไม่มีทางลัดในการตรวจจับเจตนาที่ดีไปกว่าการฝึกเอ็นจิน NLU ของคุณด้วยชุดข้อมูลที่หลากหลายและไม่ซ้ำใคร คำขอของผู้ใช้อาจมีคำและรูปแบบประโยคที่ส่งผลต่อความสามารถในการติดแท็กเจตนาของเอ็นจิน NLU
ข้อผิดพลาดทางภาษา
การสะกดผิดและการสร้างประโยคที่ไม่เหมาะสมสามารถขัดขวางเอ็นจิน NLU จากการระบุเจตนาของผู้ใช้ได้อย่างถูกต้อง แม้ว่าการตรวจสอบไวยากรณ์สามารถแก้ไขข้อผิดพลาดพื้นฐานได้ แต่คำสแลงและภาษาพูดก็ตีความได้ยาก โดยเฉพาะอย่างยิ่งในการวิเคราะห์ข้อความเป็นคำพูดและคำพูด
วิธีแก้ไข: อีกครั้งหนึ่ง กุญแจสำคัญในการเอาชนะปัญหานี้คือการป้อนเอ็นจิ้น NLU ด้วยชุดคำพูดจำลองที่ไม่ถูกต้องจำนวนมากซึ่งเต็มไปด้วยข้อผิดพลาดและภาษาที่ผิดพลาด
รูปแบบโดเมน
การพูดโดเมนเป็นอีกพื้นที่หนึ่งที่แตกต่างจากอุตสาหกรรมหนึ่งไปอีกอุตสาหกรรมหนึ่ง “เอกสาร” ในการดูแลสุขภาพอาจแตกต่างกันไปจากเวิร์กโฟลว์ “เอกสาร” ในเทคโนโลยี
วิธีแก้ไข: การกำหนดลำดับชั้นความตั้งใจอย่างชัดเจนสามารถช่วยให้เอ็นจิน NLU ของคุณระบุอุตสาหกรรมหรือโดเมนที่เกี่ยวข้องกับการตอบสนองหรือคำพูดของลูกค้า
คุณสมบัติที่แสดงถึงเครื่องยนต์ NLU ที่มีประสิทธิภาพสูง
ความสามารถทางปัญญาของเอ็นจิน NLU เป็นเพียงหนึ่งในปัจจัยที่ควรพิจารณาขณะประเมินผลสำหรับบริษัทของคุณ ช่วยเอาชนะความพยายามด้วยตนเองที่น่าเบื่อซึ่งขัดขวางการทำความเข้าใจความตั้งใจของผู้ใช้ในวงกว้าง
นอกจากนี้ ต่อไปนี้คือคุณสมบัติที่สำคัญกว่าที่ควรมองหาในเอ็นจิ้น NLU:
1. ความเร็ว
เอ็นจิ้น NLU ต้องส่งผลลัพธ์อย่างรวดเร็ว เนื่องจาก AI เชิงสนทนานั้นเกี่ยวกับการทำความเข้าใจความตั้งใจของลูกค้าที่จะตอบสนองด้วยความเร็วและความแม่นยำ ความเร็วในการประมวลผลการโต้ตอบกับลูกค้าไม่ควรลดความแม่นยำในการตรวจจับความตั้งใจของเอ็นจิน NLU
2. การทำให้เป็นแนวตั้ง
เครื่องยนต์ NLU มีกรณีการใช้งานมากมายครอบคลุมอุตสาหกรรมต่างๆ เช่น เทคโนโลยี การค้าปลีก อีคอมเมิร์ซ โลจิสติกส์ และการบริการ ฟังก์ชัน AI เชิงสนทนาควรสามารถแยกแยะระหว่างอุตสาหกรรมเหล่านี้และปรับให้เข้ากับทุกพื้นที่โซลูชันด้วยแนวทางที่ไม่เหมือนใคร
3. ใช้งานง่าย
มองหาเอ็นจิ้น NLU ที่รวมโปรไฟล์พนักงานที่ไม่ใช่ด้านเทคนิค การทำความเข้าใจวิธีทดสอบและฝึกอบรมชุดข้อมูลไม่ควรจำกัดเฉพาะวิศวกรและนักพัฒนาด้านการประกันคุณภาพเท่านั้น เป็นสิ่งที่เจ้าของธุรกิจที่ไม่มีพื้นฐานด้านเทคโนโลยีสามารถทำได้ด้วยตัวเอง AI แบบสนทนาที่ขับเคลื่อนโดยเอ็นจิ้น NLU แบบไม่มีโค้ดเป็นวิธีปรับปรุงการนำไปใช้และการใช้งาน
4. ความสามารถในการปรับขนาด
ด้วยการป้อนข้อมูลที่เอ็นจิน NLU รวบรวมมากขึ้นเรื่อยๆ มันจึงต้องฝึกตัวเองในความหมายระดับภูมิภาค รูปแบบทางภาษา และเอนทิตีที่แตกต่างกันของการแสดงออกของผู้ใช้ สร้างเฟรมเวิร์ก NLU ที่สามารถประมวลผลหลายภาษาและ พิสูจน์แชทบอท AI การสนทนาของคุณในอนาคต
อะไรทำให้กลไก NLU ของ Sprinklr เป็นผู้นำตลาดใน AI เชิงสนทนา
กลไก AI ของ Sprinklr สร้างขึ้นโดยมีจุดประสงค์เพื่อทำความเข้าใจและปรับบริบทของการจัดการประสบการณ์ลูกค้าทั้งหมด ต่อไปนี้คือตัวสร้างความแตกต่างเจ็ดประการที่ทำให้ Sprinklr AI แตกต่างจากแพลตฟอร์ม AI การสนทนาทั่วไป:
1. การจัดประเภทข้อความที่ถูกต้อง
อ่าน ถอดรหัส และวิเคราะห์ข้อความของลูกค้าโดยอัตโนมัติ จัดประเภทเป็นความตั้งใจ และกำหนดทีมภายในเพื่อการมอบหมายกรณีที่ถูกต้อง
2. การตรวจหาวิกฤตอย่างขยันขันแข็ง
ทริกเกอร์การแจ้งเตือนเมื่อการโต้ตอบกับลูกค้าหลุดมือโดยใช้พารามิเตอร์ที่กำหนดไว้ล่วงหน้า เช่น การกล่าวถึงแบรนด์และคำหลักเชิงลบหรือสัญญาณของความทุกข์ที่ระบุโดย AI เช่น การตรวจจับความรู้สึก
3. ความช่วยเหลือเสมือนจริงตามบริบท
สร้างการตอบกลับอัตโนมัติให้กับลูกค้าหรือให้ ความช่วยเหลือด้าน AI แก่ตัวแทน ตามข้อมูลลูกค้าที่มีอยู่ ฐานความรู้ และประวัติการโต้ตอบระหว่างช่องทางต่างๆ
4. การวิเคราะห์การทำนายที่พร้อมในอนาคต
คาดการณ์ไม่เพียงแค่การบริการลูกค้า แต่ยังรวมถึงแนวโน้มของตลาด เช่น หัวข้อยอดนิยม เศรษฐศาสตร์มหภาค ความเชื่อมั่นของผู้บริโภค วิกฤตการประชาสัมพันธ์ และการเปลี่ยนแปลงมาตรฐานอุตสาหกรรมเพื่อปรับผลิตภัณฑ์และแผนงานการตลาดของคุณใหม่ AI ของ Sprinklr สามารถจดจำรูปแบบในช่องทางดิจิทัล ข้อมูลประชากรของลูกค้า และอื่นๆ ด้วยการแบ่งข้อมูลตามบริบท
5. การตีความภาพอย่างชาญฉลาด
ประมวลผลข้อมูลภาพที่เกี่ยวข้องกับการโต้ตอบกับแบรนด์และลูกค้าเพื่อกำหนดภาพและวิดีโออย่างถูกต้องโดยไม่ต้องใช้เจ้าหน้าที่
6. สตูดิโอ AI แบบครบวงจร
ฝึกอบรม ทดสอบ และปรับใช้โมเดล AI ภายใน Sprinklr เพื่อการฟังทางสังคมที่ดีขึ้น การจัดประเภทข้อความ AI การสนทนาและแชทบอท การตอบสนองอัตโนมัติ และ ชุมชนแบบบริการ ตนเอง
7. การกลั่นกรองการโต้ตอบกับแบรนด์
ตรวจสอบการโต้ตอบระหว่างตัวแทนกับลูกค้าทุกครั้งเพื่อให้มั่นใจว่าปฏิบัติตามหลักเกณฑ์ของแบรนด์ภายในและสร้างรายงานเพื่อระบุส่วนที่ต้องปรับปรุงเพื่อเพิ่มความพึงพอใจของลูกค้า (CSAT) และลดแรงผลักดันการติดต่ออันดับต้นๆ
คุณต้องการปรับขนาดการสนับสนุนลูกค้าของคุณด้วยการตั้งค่าส่วนบุคคลแบบไม่ต้องสัมผัสและประสิทธิภาพในการปฏิบัติงานหรือไม่? เอ็นจิ้น NLU ของ Sprinklr สามารถเป็นสะพานเชื่อมที่คุณต้องการ — มาพร้อมกับการคาดการณ์ AI นับล้าน จุดข้อมูล และโมเดล AI ที่ปรับใช้ได้ทันทีหลายร้อยแบบ
เริ่มการทดลองใช้ Modern Care Lite . ฟรี
ค้นหาวิธีที่ Sprinklr ช่วยให้ธุรกิจนำเสนอประสบการณ์ระดับพรีเมียมในกว่า 13 ช่องทาง โดยใช้ AI พื้นฐาน เพื่อให้คุณสามารถรับฟัง กำหนดเส้นทาง แก้ไขปัญหา และวัดผล — ทั่วทั้งประสบการณ์ของลูกค้า