Evaluación comparativa del motor NLU: un enfoque basado en datos para los líderes del mercado de IA
Publicado: 2022-09-09Los motores de comprensión del lenguaje natural (NLU) son impulsores masivos de la opinión del cliente. AI y NLU evolucionaron tanto que un empleado de Google captó la atención mundial cuando afirmó que el chatbot de la empresa, LaMDA, era un ser humano consciente de sí mismo.
Pero no te preocupes. No estamos aquí para asustarlo con historias de bots de IA que se apoderan del mundo o servicio al cliente.
Alrededor del 71% de los consumidores estadounidenses todavía prefieren un toque humano en sus conversaciones de servicio al cliente, y ahí es donde los motores NLU de referencia entran en escena.
NLU puede ayudar a los agentes a comprender y atender mejor a los clientes al agregar capas de conocimiento, contexto y sentimiento a las interacciones con los clientes. Impulsada por motores NLU de referencia, la IA conversacional permite a las marcas ser más inteligentes y empáticas y detectar señales ocultas de los clientes para hacer que el servicio al cliente sea más personal y menos mecánico.
Pero, ¿cómo se comparan los motores NLU para evaluar sus capacidades de IA? Para llegar allí, primero comprendamos los términos técnicos clave.
Glosario de evaluación comparativa del motor NLU
IA conversacional
La IA conversacional es una capacidad impulsada por NLU que permite que las computadoras y las aplicaciones digitales atraigan a los clientes con empatía al reconocer la emoción, la urgencia y el contexto que subyacen a las conversaciones humanas.Conjunto de datos
Un conjunto de datos es una colección de conjuntos de información relacionados que las computadoras pueden procesar como un solo conjunto de información.Declaración
Expresión es una frase u oración del discurso del usuario recibida a través de texto, audio o video. Los motores de NLU usan declaraciones para entrenar, probar e interpretar las intenciones del usuario.Intención
La intención indica el objetivo de un usuario detrás de acciones, eventos o declaraciones. Por ejemplo, la acción de un usuario se puede categorizar como consulta de producto, queja, solicitud de reembolso, etc.Precisión
La precisión es el porcentaje de oraciones de prueba que coinciden con la intención correcta del motor NLU.Macro F1
La media armónica de los promedios macro de precisión y recuperación para cada intento se llama F1 Macro.
Precisión = número de resultados positivos verdaderos hacia una intención/todos los resultados positivos hacia una intención.
Recordar = número de resultados positivos verdaderos hacia una intención/número de resultados identificados como positivos hacia una intención.
Evaluación comparativa del motor NLU: comprender el proceso
Comparar motores NLU puede ser un proceso tedioso. Puede llevar mucho tiempo preseleccionar un conjunto de soluciones habilitadas para NLU y realizar el ejercicio de probar las intenciones comunes observadas en sus clientes. Ahí es donde un enfoque estructurado respaldado por la investigación resulta útil para evaluar los motores NLU y su capacidad de intuición de IA con un enfoque libre de sesgos.
Evaluación comparativa de los servicios de comprensión del lenguaje natural para crear agentes conversacionales
Este método de evaluación comparativa de NLU compara los motores de NLU en el conjunto de datos para un bot de automatización del hogar dividido en conjuntos de datos pequeños y grandes para evaluar la precisión del aprendizaje automático en diferentes tamaños de datos de entrenamiento y prueba.
Metodología utilizada en el método de benchmarking NLU
Pequeño conjunto de datos
Se eligen al azar 64 intenciones diferentes
Se utilizan 10 oraciones de ejemplo para cada intención de entrenar el motor NLU
Se prueban 1076 oraciones de ejemplo (que no forman parte del conjunto de entrenamiento)
Gran conjunto de datos
Las mismas 64 intenciones mencionadas anteriormente se seleccionan para el gran conjunto de datos
Se utilizan alrededor de 30 oraciones de ejemplo para cada intención de entrenar el motor NLU
Se prueban 5.518 oraciones de ejemplo (que no forman parte del conjunto de entrenamiento)
Informe de referencia del motor NLU: el resultado
El método de evaluación comparativa de NLU muestra que la precisión de NLP de Sprinklr en virtud de la recuperación y las macros F1 está muy por encima de sus contemporáneos: Google Cloud, Azure Language Studio y AWS Comprehend. Los datos y resultados de la evaluación comparativa se pueden encontrar aquí .
Si dividimos la evaluación comparativa del motor NLU en conjuntos de datos pequeños y grandes, el motor Sprinklr NLU sigue siendo un claro ganador.
Nota : los conjuntos de datos más grandes son la mejor manera de probar y entrenar intenciones para una mayor precisión. Pero la variación en la precisión con el motor NLU de Sprinklr es solo ≤ 3%.
Pequeño conjunto de datos
Parámetros:
640 oraciones de entrenamiento = 10 oraciones por intento
1,076 oraciones de prueba
Gran conjunto de datos
Parámetros:
1908 oraciones de entrenamiento ≈ 30 oraciones por Intent
5,518 oraciones de prueba
Sprinklr emerge como un claro ganador en la evaluación comparativa del motor NLU
El motor NLU de Sprinklr se mantiene constante y preciso para determinar la intención de las consultas, con un mejor mapeo entre las entradas de prueba y las entradas de entrenamiento.
Ejemplo 1: conjunto de datos pequeño
Consulta: ¿hay algo que deba tener en cuenta?
Verdad básica: calendar_query
Ejemplo 2: Gran conjunto de datos
Consulta: cuantos paises hay en la union europea
Verdad básica: qa_factoid
Limitaciones de la evaluación comparativa del motor NLU
Tamaño del conjunto de datos : dado que se utilizó una gran cantidad de conjuntos de datos bien investigados, es posible que los motores de NLU hayan aprendido de las expresiones de prueba más rápido que en el caso de los datos estructurados sin procesar que se encuentran normalmente.
Idiomas utilizados: solo se usó inglés para probar diferentes instancias e intenciones.
Naturaleza de los datos de prueba : es posible que las expresiones del usuario no suenen como los clientes típicos, que podrían cometer más errores gramaticales y tener interrupciones en la conversación.
Los desafíos más comunes de interpretación del motor NLU
Los motores típicos de NLU vienen con ciertas limitaciones, especialmente al interpretar las interacciones de los clientes. Estos son los errores de interpretación más comunes del motor NLU y las estrategias para evitarlos:
Sarcasmo
Los motores de NLU pueden tener dificultades para detectar el sarcasmo o los comentarios pasivo-agresivos de los clientes.
Cómo solucionarlo: una forma de superar esto es agregar palabras clave como "gracias, wow, lo que sea" para que se ejecuten entre los agentes antes de aprobar la respuesta del motor NLU automatizado.
Ambigüedad
A veces, los humanos luchan por diferenciar si una palabra en una oración se usa como sustantivo, verbo o adjetivo. Los verbos frasales como "aguantar" o "apagar" también pueden afectar el reconocimiento del motor NLU.
Cómo solucionarlo: la mejor manera de reducir la ambigüedad es seguir entrenando el motor NLU para oraciones y frases ambiguas. Con el tiempo, el motor comienza a aprender de las entradas de prueba comparándolas con las interacciones reales del usuario.
Otras formas de reducir la ambigüedad en los motores NLU y los chatbots de IA:
Aproveche los modelos de aprendizaje automático para una mejor capacitación de NLU : use modelos de aprendizaje automático sensibles al contexto, como representaciones de codificador bidireccional de transformadores (BERT) e incrustaciones del modelo de lenguaje (ELMo) para entrenar su motor de NLU. Estos modelos de IA consideran todas las diferentes representaciones de palabras y oraciones y usan texto adicional para completar las entradas ambiguas del usuario.
Cree avisos apropiados para verificar las incertidumbres del idioma : habilite su motor NLU para proporcionar respuestas de "desambiguación" que soliciten a los usuarios que elijan la versión correcta de su texto entre más de una posibilidad. Esto es bastante similar al mensaje “¿Quiso decir...?” de Google, que contiene las posibles variaciones de su término de búsqueda.
Entrene y entrene aún más : entrene rigurosamente sus motores NLU para separar las señales del ruido. No hay atajos para una mejor detección de intenciones que entrenar su motor NLU con conjuntos de datos variados y únicos. Las solicitudes de los usuarios pueden contener palabras y formaciones de oraciones que afectan las capacidades de etiquetado de intenciones del motor NLU.
Errores de idioma
Los errores de ortografía y las formaciones de oraciones incorrectas pueden impedir que el motor NLU identifique con precisión la intención del usuario. Si bien las verificaciones gramaticales pueden resolver errores básicos, la jerga y el lenguaje coloquial son difíciles de interpretar, especialmente en el análisis de texto a voz y de voz.
Cómo solucionarlo: una vez más, la clave para superar este problema es alimentar el motor NLU con grandes conjuntos de expresiones simuladas inexactas cargadas de errores y lenguaje defectuoso.
variaciones de dominio
El lenguaje de dominio es otra área que difiere de una industria a otra. La "documentación" en el cuidado de la salud puede variar del flujo de trabajo de "documentación" en la tecnología.
Cómo solucionarlo: definir claramente las jerarquías de intención puede ayudar a su motor NLU a determinar la industria o el dominio con el que se asocia la respuesta o expresión de un cliente.
Cualidades que caracterizan a los motores NLU de alto rendimiento
Las capacidades cognitivas de los motores NLU son solo uno de los factores a considerar al evaluarlos para su empresa. Ayuda a superar el tedioso esfuerzo manual que se interpone en el camino de comprender la intención del usuario a escala.
Además, aquí hay algunas cualidades más importantes a tener en cuenta en un motor NLU:
1. Velocidad
El motor NLU tiene que generar resultados rápidamente, ya que la IA conversacional consiste en comprender la intención del cliente de responder con rapidez y precisión. La velocidad de procesamiento de una interacción con el cliente no debería disminuir la precisión de detección de intenciones del motor NLU.
2. Verticalización
Los motores NLU tienen una multitud de casos de uso que abarcan industrias como la tecnología, el comercio minorista, el comercio electrónico, la logística y la hospitalidad. La funcionalidad de IA conversacional debería poder distinguir entre estas industrias y adaptarse a cada área de solución con un enfoque único.
3. Facilidad de uso
Busque motores NLU que incluyan perfiles de empleados no técnicos. Comprender cómo probar y entrenar conjuntos de datos no debe limitarse a los ingenieros y desarrolladores de control de calidad. Es algo que los dueños de negocios con antecedentes no tecnológicos pueden hacer por sí mismos. La IA conversacional impulsada por motores NLU sin código es la forma de mejorar la adopción y la usabilidad.
4. Escalabilidad
Con más y más entradas de datos que recopila un motor NLU, tiene que entrenarse en varias semánticas regionales, variaciones lingüísticas y diferentes entidades de expresión del usuario. Cree un marco de NLU que pueda procesar varios idiomas y prepare para el futuro sus chatbots conversacionales de IA .
¿Qué hace que el motor NLU de Sprinklr sea líder del mercado en IA conversacional?
El motor de inteligencia artificial de Sprinklr está diseñado específicamente para comprender y contextualizar todo el espectro de la gestión de la experiencia del cliente. Aquí hay siete diferenciadores que distinguen a Sprinklr AI de las plataformas convencionales de IA conversacional:
1. Clasificación precisa de mensajes
Lea, descifre y analice automáticamente los mensajes de los clientes, clasifíquelos como intenciones y defina equipos internos para una asignación de casos precisa.
2. Detección diligente de crisis
Active alertas cuando las interacciones con los clientes se salgan de control utilizando parámetros predeterminados, como menciones negativas de la marca y palabras clave, o signos de angustia identificados por IA, como la detección de sentimientos.
3. Asistencia virtual contextual
Genere respuestas automatizadas a los clientes o brinde asistencia de inteligencia artificial a los agentes en función de los datos disponibles del cliente, la base de conocimientos y el historial de interacciones en todos los canales.
4. Análisis predictivo preparado para el futuro
Anticipe no solo el servicio al cliente, sino también las tendencias del mercado, como temas populares, macroeconomía, sentimiento del consumidor, crisis de relaciones públicas y puntos de referencia cambiantes de la industria para realinear sus hojas de ruta de productos y marketing. La IA de Sprinklr puede reconocer patrones en canales digitales, datos demográficos de clientes y más con desgloses de datos contextuales.
5. Interpretaciones visuales inteligentes
Procese los datos visuales involucrados en las interacciones de marca y cliente para definir imágenes y videos con precisión sin un agente humano.
6. Estudio de inteligencia artificial de extremo a extremo
Entrene, pruebe e implemente modelos de IA dentro de Sprinklr para una mejor escucha social, clasificación de mensajes, IA conversacional y chatbots, automatización de respuestas y comunidades de autoservicio .
7. Moderación de la interacción con la marca
Supervise cada interacción agente-cliente para garantizar el cumplimiento de las pautas internas de la marca y genere informes para identificar áreas de mejora para aumentar la satisfacción del cliente (CSAT) y reducir los principales impulsores de contacto.
¿Quiere escalar su atención al cliente con personalización sin contacto y eficiencia operativa? El motor NLU de Sprinklr puede ser el puente que necesita: viene con millones de predicciones de IA, puntos de datos y cientos de modelos de IA de implementación instantánea.
Comience su prueba gratuita de Modern Care Lite
Descubra cómo Sprinklr ayuda a las empresas a brindar una experiencia premium en más de 13 canales, utilizando IA fundamental para que pueda escuchar, enrutar, resolver y medir, en toda la experiencia del cliente.