Evaluarea comparativă a motorului NLU: o abordare bazată pe date pentru liderii pieței AI

Motoarele de înțelegere a limbajului natural (NLU) sunt factori majori ai sentimentului clienților. AI și NLU au evoluat atât de mult încât un angajat Google a atras atenția la nivel mondial când a susținut că chatbot-ul companiei, LaMDA, este un om conștient de sine.

Dar nu-ți face griji. Nu suntem aici pentru a vă speria cu povești despre roboții AI care au preluat lumea sau cu serviciul pentru clienți.

Aproximativ 71% dintre consumatorii americani încă preferă o notă umană în conversațiile cu serviciul clienți și aici intră în imagine motoarele de referință NLU.

NLU poate ajuta agenții să înțeleagă și să servească mai bine clienții adăugând straturi de cunoștințe, context și sentiment la interacțiunile cu clienții. Alimentat de motoare NLU de referință, IA conversațională permite mărcilor să fie mai inteligente și mai empatice și să identifice indicii ascunse ale clienților pentru a face serviciul pentru clienți mai personal și mai puțin asemănător unei mașini.

Dar cum comparați motoarele NLU pentru a le evalua capacitățile AI? Pentru a ajunge acolo, să înțelegem mai întâi termenii tehnici cheie.

Glosar de evaluare comparativă a motorului NLU

• AI conversațional
  AI conversațional este o capacitate alimentată de NLU care permite computerelor și aplicațiilor digitale să implice clienții cu empatie, recunoscând emoția, urgența și contextul care stau la baza conversațiilor umane.
  
  

• Set de date
  Un set de date este o colecție de seturi conexe de informații pe care computerele le pot procesa ca un singur set de informații.
  
  

• rostirea
  Enunțul este o expresie sau o propoziție a vorbirii utilizatorului primite prin text, audio sau video. Motoarele NLU folosesc enunțuri pentru a instrui, testa și interpreta intențiile utilizatorilor.
  
  

• Intenție
  Intenția indică obiectivul utilizatorului din spatele acțiunilor, evenimentelor sau declarațiilor. De exemplu, o acțiune a utilizatorului poate fi clasificată ca o solicitare de produs, reclamație, cerere de rambursare etc.
  
  

• Precizie
  Precizia este procentul de propoziții de testare potrivite cu intenția corectă de către motorul NLU.
  
  

• Macro F1
  Media armonică a mediilor macro de precizie și reamintire pentru fiecare intenție se numește F1 Macro.
  
  Precizie = numărul de rezultate pozitive adevărate față de o intenție/toate rezultatele pozitive față de o intenție.
  Recall = numărul de rezultate pozitive adevărate față de o intenție/numărul de rezultate identificate ca fiind pozitive față de o intenție.

Evaluarea comparativă a motorului NLU: înțelegeți procesul

Compararea motoarelor NLU poate fi un proces obositor. Poate fi consumatoare de timp să selectați un set de soluții activate NLU și să treceți prin exercițiul de testare a intențiilor comune observate la clienții dvs. Acesta este locul în care o abordare structurată susținută de cercetare este utilă pentru a evalua motoarele NLU și capacitatea lor de intuiție AI cu o abordare fără părtinire.

Benchmarking servicii de înțelegere a limbajului natural pentru construirea de agenți conversaționali

Această metodă de evaluare comparativă NLU compară motoarele NLU din setul de date pentru un robot de automatizare a locuinței împărțite în seturi de date mici și mari pentru a evalua acuratețea învățării automate pe diferite dimensiuni de date de instruire și testare.

Metodologia utilizată în metoda de benchmarking NLU

Set mic de date

• 64 de intenții diferite sunt alese aleatoriu

• Sunt folosite 10 exemple de propoziții pentru fiecare intenție de a antrena motorul NLU

• Sunt testate 1.076 de exemple de propoziții (care nu fac parte din setul de antrenament).

Set mare de date

• Aceleași 64 de intenții menționate mai sus sunt alese pentru setul mare de date

• Aproximativ 30 de exemple de propoziții sunt folosite pentru fiecare intenție de a antrena motorul NLU

• Sunt testate 5.518 exemple de propoziții (care nu fac parte din setul de antrenament).

Raport referitor la motorul NLU: rezultatul

Metoda de evaluare comparativă NLU arată că acuratețea NLP a lui Sprinklr, în virtutea retragerii și a macrocomenzilor F1, este cu mult peste contemporanii săi - Google Cloud, Azure Language Studio și AWS Comprehend. Datele și rezultatele benchmarking-ului pot fi găsite aici .

Dacă analizăm motorul NLU la seturi de date mici și mari, motorul Sprinklr NLU este încă un câștigător clar.

Notă : seturile de date mai mari sunt cea mai bună modalitate de a testa și antrena intențiile pentru o precizie mai mare. Dar variația de precizie cu motorul NLU al lui Sprinklr este de numai ≤ 3%.

Set mic de date

Parametri:

• 640 de propoziții de antrenament = 10 propoziții per Intenție

• 1.076 de propoziții de testare

Set mare de date

Parametri:

• 1.908 propoziții de antrenament ≈ 30 de propoziții per Intenție

• 5.518 propoziții de testare

Sprinklr apare ca un câștigător clar în analiza comparativă a motoarelor NLU

Motorul NLU al Sprinklr rămâne consecvent și precis în determinarea intenției interogărilor, cu o mapare mai bună între intrările de testare și intrările de antrenament.

Exemplul 1: set mic de date

Întrebare: este ceva de care trebuie să fiu conștient
Adevărul de bază: calendar_query

Exemplul 2: set mare de date

Întrebare: câte țări sunt în Uniunea Europeană
Adevărul de bază: qa_factoid

Limitări ale benchmarking-ului motorului NLU

• Dimensiunea setului de date : Deoarece a fost folosit un număr mare de seturi de date bine cercetate, motoarele NLU ar fi putut învăța din enunțurile de testare mai repede decât a fost cazul datelor brute, structurate găsite de obicei.

• Limbi folosite: a fost folosită numai limba engleză pentru a testa diferite instanțe și intenții.

• Natura datelor de testare : este posibil ca enunțurile utilizatorilor să nu sune ca clienții obișnuiți, care ar putea face mai multe erori gramaticale și ar putea avea lacune în conversație.

Cele mai frecvente provocări de interpretare a motorului NLU

Motoarele NLU tipice vin cu anumite limitări, în special atunci când interpretează interacțiunile cu clienții. Iată cele mai frecvente greșeli de interpretare a motorului NLU și strategiile pentru a le evita:

Sarcasm

Motoarele NLU se pot lupta pentru a detecta sarcasmul sau comentariile pasiv-agresive ale clienților.

Cum să o remediați: o modalitate de a depăși acest lucru este prin adăugarea de cuvinte cheie precum „mulțumesc, uau, orice” care să fie rulați dincolo de agenți înainte de a aproba răspunsul automat al motorului NLU.

Ambiguitate

Uneori, oamenii se luptă să diferențieze dacă un cuvânt dintr-o propoziție este folosit ca substantiv, verb sau adjectiv. Verbele frazale, cum ar fi „atârna” sau „stinge” pot afecta, de asemenea, cunoașterea motorului NLU.

Cum să o remediați: cel mai bun mod de a reduce ambiguitatea este să continuați antrenamentul motorului NLU pentru propoziții și fraze ambigue. În timp, motorul începe să învețe din intrările de testare comparându-le cu interacțiunile reale ale utilizatorului.

Alte modalități de a reduce ambiguitatea în motoarele NLU și chatbot-urile AI:

• Utilizați modele de învățare automată pentru o mai bună instruire NLU : utilizați modele de învățare automată sensibile la context, cum ar fi Reprezentările codificatorului bidirecțional de la Transformers (BERT) și Embeddings from Language Model (ELMo) pentru a vă antrena motorul NLU. Aceste modele AI iau în considerare toate reprezentările diferite ale cuvintelor și propozițiilor și folosesc text suplimentar pentru a completa intrările ambigue ale utilizatorului.

• Creați solicitări adecvate pentru a verifica incertitudinile de limbă : activați motorul dvs. NLU pentru a oferi răspunsuri de „dezambiguizare” care să determine utilizatorii să aleagă versiunea corectă a textului lor din mai multe posibilități. Acesta este destul de similar cu promptul „Vrei să spui...” de la Google, care conține posibilele variații ale termenului tău de căutare.

• Antrenează-te și antrenează-te și mai mult : antrenează-ți motoarele NLU riguros pentru a separa semnalele de zgomot. Nu există comenzi rapide pentru o detectare mai bună a intențiilor decât antrenarea motorului dvs. NLU cu seturi de date variate și unice. Solicitările utilizatorilor pot conține cuvinte și formațiuni de propoziții care influențează abilitățile de etichetare a intențiilor motorului NLU.

Erori de limbaj

Greșelile de ortografie și formațiunile necorespunzătoare ale propozițiilor pot descuraja motorul NLU să identifice cu precizie intenția utilizatorului. În timp ce verificările gramaticale pot rezolva erorile de bază, argoul și limbajul colocvial sunt dificil de interpretat, mai ales în analiza textului în vorbire și a vorbirii.

Cum se remediază: încă o dată, cheia pentru depășirea acestei probleme este alimentarea motorului NLU cu seturi vaste de enunțuri simulate inexacte, încărcate cu erori și limbaj defectuos.

Variații de domeniu

Vorbirea domeniului este un alt domeniu care diferă de la o industrie la alta. „Documentarea” în domeniul sănătății poate varia de la fluxul de lucru de „documentare” în tehnologie.

Cum se remediază: definirea clară a ierarhiilor de intenții poate ajuta motorul dvs. NLU să determine industria sau domeniul cu care este asociat un răspuns sau o declarație client.

Calități care caracterizează motoarele NLU de înaltă performanță

Abilitățile cognitive ale motoarelor NLU sunt doar unul dintre factorii de luat în considerare atunci când le evaluezi pentru compania ta. Ajută la depășirea efortului manual obositor care împiedică înțelegerea intenției utilizatorului la scară.

În plus, iată câteva calități mai importante pe care trebuie să le urmăriți într-un motor NLU:

1. Viteza

Motorul NLU trebuie să obțină rapid rezultate, deoarece IA conversațională se referă la înțelegerea intenției clientului de a răspunde cu viteză și acuratețe. Viteza de procesare a unei interacțiuni cu clientul nu ar trebui să scadă acuratețea detectării intenției a motorului NLU.

2. Verticalizarea

Motoarele NLU au o multitudine de cazuri de utilizare care acoperă industrii precum tehnologia, comerțul cu amănuntul, comerțul electronic, logistica și ospitalitatea. Funcționalitatea AI conversațională ar trebui să poată face distincția între aceste industrii și să se adapteze fiecărei soluții cu o abordare unică.

3. Ușurință în utilizare

Căutați motoarele NLU care includ profiluri de angajați non-tehnice. Înțelegerea modului de testare și instruire a seturilor de date nu ar trebui să se limiteze la inginerii și dezvoltatorii de asigurare a calității. Este ceva ce proprietarii de afaceri cu un background non-tech îl pot face singuri. Inteligența artificială conversațională alimentată de motoare NLU fără cod este modalitatea de a îmbunătăți adoptarea și gradul de utilizare.

4. Scalabilitate

Cu tot mai multe intrări de date pe care le adună un motor NLU, acesta trebuie să se antreneze în diferite semantici regionale, variații lingvistice și diferite entități ale expresiei utilizatorului. Construiește un cadru NLU care poate procesa mai multe limbi și poate asigura viitorul chatbot-urilor tale conversaționale AI .

Ce face din motorul NLU al Sprinklr un lider de piață în IA conversațională?

Motorul AI al Sprinklr este conceput special pentru a înțelege și a contextualiza întregul spectru de management al experienței clienților. Iată șapte diferențieri care diferențiază Sprinklr AI de platformele convenționale AI conversaționale:

1. Clasificarea corectă a mesajelor

Citiți, descifrați și analizați automat mesajele clienților, clasificați-le ca intenții și definiți echipele interne pentru repartizarea corectă a cazurilor.

2. Detectarea diligentă a crizelor

Declanșați alerte atunci când interacțiunile cu clienții scapă de sub control utilizând parametri predeterminați, cum ar fi mențiuni și cuvinte cheie negative ale mărcii sau semne de suferință identificate de AI, cum ar fi detectarea sentimentelor.

3. Asistență virtuală conștientă de context

Generați răspunsuri automate clienților sau oferiți asistență AI agenților pe baza datelor disponibile despre clienți, baza de cunoștințe și istoricul interacțiunilor pe canale.

4. Analiză predictivă pregătită pentru viitor

Prevăzuți nu doar serviciul pentru clienți, ci și tendințele pieței, cum ar fi subiecte populare, macroeconomie, sentimentul consumatorilor, crize de relații publice și schimbarea reperelor din industrie pentru a vă realinia foile de parcurs pentru produse și marketing. Inteligența artificială a Sprinklr poate recunoaște modele pe canalele digitale, datele demografice ale clienților și multe altele cu defalcarea datelor contextuale.

5. Interpretări vizuale inteligente

Procesați datele vizuale implicate în interacțiunile cu mărcile și clienții pentru a defini imaginile și videoclipurile cu acuratețe, fără un agent uman.

6. Studio AI de la capăt la capăt

Antrenați, testați și implementați modele AI în Sprinklr pentru o mai bună ascultare socială, clasificare a mesajelor, AI conversațional și chatbot, automatizare a răspunsului și comunități de autoservire .

7. Moderarea interacțiunii cu brandul

Monitorizați fiecare interacțiune agent-client pentru a asigura respectarea ghidurilor interne ale mărcii și pentru a genera rapoarte pentru a identifica zonele de îmbunătățire pentru creșterea satisfacției clienților (CSAT) și reducerea șoferilor de contact de top.

Doriți să vă extindeți asistența pentru clienți cu personalizare fără atingere și eficiență operațională? Motorul NLU al Sprinklr poate fi puntea de care aveți nevoie - vine cu milioane de predicții AI, puncte de date și sute de modele AI implementabile instantaneu.

Începeți încercarea gratuită a Modern Care Lite

Aflați cum Sprinklr ajută companiile să ofere o experiență premium pe peste 13 canale, folosind inteligența artificială de bază, astfel încât să puteți asculta, direcționa, rezolva și măsura — în experiența clienților.

INCEPE O PROBĂ GRATUITĂ