Analyse comparative des moteurs NLU : une approche basée sur les données pour les leaders du marché de l'IA

Les moteurs de compréhension du langage naturel (NLU) sont d'énormes moteurs de sentiment des clients. L'IA et la NLU ont tellement évolué qu'un employé de Google a attiré l'attention du monde entier lorsqu'il a affirmé que le chatbot de l'entreprise, LaMDA, était un humain conscient de lui-même.

Mais ne vous inquiétez pas. Nous ne sommes pas là pour vous effrayer avec des histoires de bots IA prenant le contrôle du monde ou du service client.

Environ 71 % des consommateurs américains préfèrent toujours une touche humaine dans leurs conversations avec le service client, et c'est là que les moteurs NLU de référence entrent en scène.

NLU peut aider les agents à mieux comprendre et servir les clients en ajoutant des couches de connaissances, de contexte et de sentiment aux interactions avec les clients. Propulsée par des moteurs NLU de référence, l'IA conversationnelle permet aux marques d'être plus intelligentes et empathiques et de repérer les signaux cachés des clients pour rendre le service client plus personnel et moins semblable à une machine.

Mais comment comparer les moteurs NLU pour évaluer leurs capacités d'IA ? Pour y arriver, commençons par comprendre les principaux termes techniques.

Glossaire d'analyse comparative des moteurs NLU

• IA conversationnelle
  L'IA conversationnelle est une capacité alimentée par NLU qui permet aux ordinateurs et aux applications numériques d'engager les clients avec empathie en reconnaissant l'émotion, l'urgence et le contexte sous-jacent aux conversations humaines.
  
  

• Base de données
  Un ensemble de données est une collection d'ensembles d'informations connexes que les ordinateurs peuvent traiter comme un seul ensemble d'informations.
  
  

• Énonciation
  L'énoncé est une expression ou une phrase de la parole de l'utilisateur reçue par texte, audio ou vidéo. Les moteurs NLU utilisent des énoncés pour former, tester et interpréter les intentions des utilisateurs.
  
  

• Intention
  L'intention indique l'objectif d'un utilisateur derrière des actions, des événements ou des déclarations. Par exemple, une action de l'utilisateur peut être classée comme une demande de produit, une réclamation, une demande de remboursement, etc.
  
  

• Précision
  La précision est le pourcentage de phrases de test correspondant à la bonne intention par le moteur NLU.
  
  

• Macro F1
  La moyenne harmonique des moyennes macro de précision et de rappel pour chaque intention est appelée macro F1.
  
  Précision = nombre de vrais résultats positifs vers un intent/tous les résultats positifs vers un intent.
  Rappel = nombre de vrais résultats positifs vers un intent / nombre de résultats identifiés comme positifs vers un intent.

Analyse comparative des moteurs NLU : comprendre le processus

La comparaison des moteurs NLU peut être un processus fastidieux. Il peut être fastidieux de présélectionner un ensemble de solutions compatibles NLU et de tester les intentions communes observées chez vos clients. C'est là qu'une approche structurée soutenue par la recherche est utile pour évaluer les moteurs NLU et leur capacité d' intuition IA avec une approche sans biais.

Analyse comparative des services de compréhension du langage naturel pour la création d'agents conversationnels

Cette méthode d'analyse comparative NLU compare les moteurs NLU sur l'ensemble de données pour un robot domotique divisé en petits et grands ensembles de données afin d'évaluer la précision de l'apprentissage automatique sur différentes tailles de données d'entraînement et de test.

Méthodologie utilisée dans la méthode de benchmarking NLU

Petit ensemble de données

• 64 intentions différentes sont choisies au hasard

• 10 phrases d'exemple sont utilisées pour chaque intention de former le moteur NLU

• 1 076 exemples de phrases (qui ne font pas partie de l'ensemble de formation) sont testés

Vaste ensemble de données

• Les mêmes 64 intentions mentionnées ci-dessus sont sélectionnées pour le grand ensemble de données

• Environ 30 phrases d'exemple sont utilisées pour chaque intention de former le moteur NLU

• 5 518 exemples de phrases (qui ne font pas partie de l'ensemble de formation) sont testés

Rapport de référence du moteur NLU : le résultat

La méthode d'analyse comparative NLU montre que la précision NLP de Sprinklr en vertu du rappel et des macros F1 est bien supérieure à ses contemporains - Google Cloud, Azure Language Studio et AWS Comprehend. Les données et les résultats de l'analyse comparative sont disponibles ici .

Si nous décomposons l'analyse comparative du moteur NLU en petits et grands ensembles de données, le moteur Sprinklr NLU est toujours un gagnant clair.

Remarque : Les ensembles de données plus volumineux sont le meilleur moyen de tester et d'entraîner les intentions pour une plus grande précision. Mais la variation de précision avec le moteur NLU de Sprinklr n'est que ≤ 3 %.

Petit ensemble de données

Paramètres:

• 640 phrases d'entraînement = 10 phrases par intention

• 1 076 phrases de test

Vaste ensemble de données

Paramètres:

• 1 908 phrases d'entraînement ≈ 30 phrases par intention

• 5 518 phrases de test

Sprinklr émerge comme un gagnant clair dans l'analyse comparative des moteurs NLU

Le moteur NLU de Sprinklr reste cohérent et précis dans la détermination de l'intention des requêtes, avec un meilleur mappage entre les entrées de test et les entrées de formation.

Exemple 1 : petit ensemble de données

Question : y a-t-il quelque chose dont je dois être conscient ?
Vérité terrain : calendar_query

Exemple 2 : grand ensemble de données

Requête : combien de pays sont dans l'Union européenne
Vérité terrain : qa_factoid

Limites du benchmarking du moteur NLU

• Taille de l'ensemble de données : étant donné qu'un grand nombre d'ensembles de données bien documentés ont été utilisés, les moteurs NLU peuvent avoir appris des énoncés de test plus rapidement que ce n'était le cas avec des données brutes et structurées trouvées généralement.

• Langues utilisées : Seul l'anglais a été utilisé pour tester différentes instances et intentions.

• Nature des données de test : les énoncés de l'utilisateur peuvent ne pas ressembler à des clients typiques, qui pourraient faire plus d'erreurs grammaticales et avoir des lacunes dans la conversation.

Les défis d'interprétation des moteurs NLU les plus courants

Les moteurs NLU typiques présentent certaines limitations, en particulier lors de l'interprétation des interactions avec les clients. Voici les erreurs d'interprétation du moteur NLU les plus courantes et les stratégies pour les éviter :

Sarcasme

Les moteurs NLU peuvent avoir du mal à détecter le sarcasme ou les commentaires passifs-agressifs des clients.

Comment résoudre ce problème : une façon de surmonter ce problème consiste à ajouter des mots clés tels que "merci, wow, peu importe" à exécuter devant les agents avant d'approuver la réponse automatisée du moteur NLU.

Ambiguïté

Parfois, les humains ont du mal à différencier si un mot dans une phrase est utilisé comme nom, verbe ou adjectif. Les verbes à particule tels que "accrocher" ou "mettre" peuvent également affecter la connaissance du moteur NLU.

Comment y remédier : la meilleure façon de réduire l'ambiguïté est de continuer à entraîner le moteur NLU pour les phrases et expressions ambiguës. Au fil du temps, le moteur commence à apprendre des entrées de test en les comparant aux interactions réelles des utilisateurs.

Autres moyens de réduire l'ambiguïté dans les moteurs NLU et les chatbots IA :

• Tirez parti des modèles d'apprentissage automatique pour une meilleure formation NLU : utilisez des modèles d'apprentissage automatique contextuels tels que les représentations d'encodeurs bidirectionnels de transformateurs (BERT) et les intégrations du modèle de langage (ELMo) pour former votre moteur NLU. Ces modèles d'IA prennent en compte toutes les différentes représentations de mots et de phrases et utilisent du texte supplémentaire pour remplir les entrées utilisateur ambiguës.

• Créez des invites appropriées pour revérifier les incertitudes linguistiques : activez votre moteur NLU pour fournir des réponses de "désambiguïsation" qui invitent les utilisateurs à choisir la bonne version de leur texte parmi plusieurs possibilités. Ceci est assez similaire à l'invite "Voulez-vous dire ..." de Google, qui contient les variantes possibles de votre terme de recherche.

• Entraînez-vous encore plus : Entraînez rigoureusement vos moteurs NLU pour séparer les signaux du bruit. Il n'y a pas de raccourci pour une meilleure détection d'intention que la formation de votre moteur NLU avec des ensembles de données variés et uniques. Les demandes des utilisateurs peuvent contenir des mots et des formations de phrases qui ont un impact sur les capacités de marquage d'intention du moteur NLU.

Erreurs de langue

Les fautes d'orthographe et la formation de phrases incorrectes peuvent dissuader le moteur NLU d'identifier avec précision l'intention de l'utilisateur. Alors que les vérifications grammaticales peuvent résoudre les erreurs de base, l'argot et le langage familier sont difficiles à interpréter, en particulier dans la synthèse vocale et l'analyse de la parole.

Comment y remédier : encore une fois, la clé pour surmonter ce problème est d'alimenter le moteur NLU avec de vastes ensembles d'énoncés fictifs inexacts chargés d'erreurs et d'un langage erroné.

Variantes de domaine

Le langage de domaine est un autre domaine qui diffère d'une industrie à l'autre. La « documentation » dans les soins de santé peut différer du flux de travail de « documentation » dans la technologie.

Comment résoudre ce problème : définir clairement les hiérarchies d'intention peut aider votre moteur NLU à déterminer le secteur ou le domaine auquel une réponse ou un énoncé client est associé.

Qualités qui caractérisent les moteurs NLU les plus performants

Les capacités cognitives des moteurs NLU ne sont qu'un des facteurs à prendre en compte lors de leur évaluation pour votre entreprise. Cela aide à surmonter l'effort manuel fastidieux qui empêche de comprendre l'intention de l'utilisateur à grande échelle.

De plus, voici quelques qualités plus importantes à rechercher dans un moteur NLU :

1. Vitesse

Le moteur NLU doit produire des résultats rapidement, car l'IA conversationnelle consiste à comprendre l'intention du client de répondre avec rapidité et précision. La vitesse de traitement d'une interaction client ne doit pas diminuer la précision de détection d'intention du moteur NLU.

2. Verticalisation

Les moteurs NLU ont une multitude de cas d'utilisation couvrant des secteurs tels que la technologie, la vente au détail, le commerce électronique, la logistique et l'hôtellerie. La fonctionnalité d'IA conversationnelle devrait être capable de faire la distinction entre ces industries et de s'adapter à chaque domaine de solution avec une approche unique.

3. Facilité d'utilisation

Recherchez les moteurs NLU qui incluent des profils d'employés non techniques. Comprendre comment tester et former des ensembles de données ne devrait pas être limité aux ingénieurs et développeurs d'assurance qualité. C'est quelque chose que les propriétaires d'entreprise sans formation technique peuvent faire eux-mêmes. L'IA conversationnelle alimentée par des moteurs NLU sans code est le moyen d'améliorer l'adoption et la convivialité.

4. Évolutivité

Avec de plus en plus d'entrées de données qu'un moteur NLU rassemble, il doit s'entraîner à diverses sémantiques régionales, variations linguistiques et différentes entités d'expression de l'utilisateur. Créez un framework NLU capable de traiter plusieurs langues et de pérenniser vos chatbots d'IA conversationnelle .

Qu'est-ce qui fait du moteur NLU de Sprinklr un leader du marché de l'IA conversationnelle ?

Le moteur d'intelligence artificielle de Sprinklr est spécialement conçu pour comprendre et contextualiser l'ensemble du spectre de la gestion de l'expérience client. Voici sept différenciateurs qui distinguent Sprinklr AI des plates-formes d'IA conversationnelles conventionnelles :

1. Classification précise des messages

Lisez, déchiffrez et analysez automatiquement les messages des clients, classez-les en intentions et définissez des équipes internes pour une attribution précise des cas.

2. Détection diligente des crises

Déclenchez des alertes lorsque les interactions avec les clients deviennent incontrôlables en utilisant des paramètres prédéterminés tels que des mentions négatives de la marque et des mots-clés ou des signes de détresse identifiés par l'IA tels que la détection des sentiments.

3. Assistance virtuelle sensible au contexte

Générez des réponses automatisées aux clients ou fournissez une assistance IA aux agents en fonction des données clients disponibles, de la base de connaissances et de l'historique des interactions entre les canaux.

4. Analyse prédictive prête pour l'avenir

Anticipez non seulement le service client, mais également les tendances du marché telles que les sujets populaires, la macroéconomie, le sentiment des consommateurs, les crises de relations publiques et l'évolution des références du secteur pour réaligner vos feuilles de route produit et marketing. L'IA de Sprinklr peut reconnaître des modèles à travers les canaux numériques, les données démographiques des clients, etc., grâce à des ventilations de données contextuelles.

5. Interprétations visuelles intelligentes

Traitez les données visuelles impliquées dans les interactions avec la marque et les clients pour définir avec précision les images et les vidéos sans agent humain.

6. Studio d'IA de bout en bout

Entraînez, testez et déployez des modèles d'IA au sein de Sprinklr pour une meilleure écoute sociale, la classification des messages, l'IA conversationnelle et les chatbots, l'automatisation des réponses et les communautés en libre-service .

7. Modération des interactions avec la marque

Surveillez chaque interaction agent-client pour garantir le respect des directives internes de la marque et générez des rapports pour identifier les domaines d'amélioration afin d'augmenter la satisfaction client (CSAT) et de réduire les principaux facteurs de contact.

Souhaitez-vous faire évoluer votre support client avec une personnalisation sans contact et une efficacité opérationnelle ? Le moteur NLU de Sprinklr peut être le pont dont vous avez besoin - il est livré avec des millions de prédictions d'IA, de points de données et des centaines de modèles d'IA déployables instantanément.

Commencez votre essai gratuit de Modern Care Lite

Découvrez comment Sprinklr aide les entreprises à offrir une expérience premium sur plus de 13 canaux, en utilisant l'IA fondamentale pour que vous puissiez écouter, acheminer, résoudre et mesurer - tout au long de l'expérience client.

COMMENCER L'ESSAI GRATUIT