Tecnología MarketMuse NLG frente a GPT-3

Con todo el interés en GPT-3 últimamente, decidimos ver cómo se compara con MarketMuse NLG Technology, un proceso similar al que se siguió al evaluar GPT-2.

Antes de sumergirse en los ejemplos, aquí hay una descripción general rápida de los factores diferenciadores de la tecnología MarketMuse NLG.

• A diferencia de GPT-3, dado un tema, construimos un artículo pieza por pieza, utilizando un resumen de contenido como "columna vertebral".
• Dado un tema, generamos un resumen de contenido, estructurado en subtítulos y temas relacionados, lo usamos como guía.
• Para cada sección breve, usamos los temas relacionados y el subtítulo como indicación, y seguimos generando hasta que producimos resultados que pasan nuestros filtros de calidad.
• Nuestros filtros incluyen, por supuesto, la puntuación del contenido y la presencia de temas relevantes que esperamos ver en el resultado, pero también verificamos los errores gramaticales, la diversidad léxica, el plagio y otras medidas de legibilidad.

Tres ejemplos de contenido

GPT-3 es más grande y supuestamente mejor que su predecesor, pero es poco probable que domine Internet. OpenAI publicó un artículo detallado (PDF) sobre su modelo de lenguaje. Para nuestros propósitos, no estamos interesados ​​en estudiar la ciencia detrás de la generación del lenguaje natural. En su lugar, estamos adoptando un enfoque empírico.

A continuación, encontrará tres extractos sobre la importancia de estar en Twitter, escritos por MarketMuse NLG Technology, GPT-3 y un ser humano con la ayuda de MarketMuse NLG Technology. ¿Puedes decir cuál es cuál?

Versión 1

Versión 2

Versión 3

¿Qué pieza de contenido fue creada por un ser humano?

Primero, veamos si pasa la prueba del “olfateo”. ¿Estos artículos parecen haber sido escritos por un ser humano?

Solo uno lo era. ¿Puedes adivinar cuál?

El primero fue escrito por GPT-3, el segundo por un humano y el tercero por MarketMuse NLG Technology.

¿Qué tan buenos son para transmitir información?

Examinemos el resultado de los tres enfoques en comparación con la puntuación del contenido, la puntuación del escritor y el nivel de grado.

MarketMuse Content Score evalúa qué tan bien la pieza ha cubierto el tema en comparación con el modelo de tema. Cuanto más alto, mejor, y para este artículo, el puntaje de contenido sugerido es 42, aunque no hay nada como un puntaje perfecto.

Writer Score es un puntaje asignado por Writer.com y se basa en la ortografía y la gramática, los términos, el estilo, la claridad, la inclusión y la entrega: cuanto más alto, mejor. El nivel de grado denota el nivel educativo esperado requerido para comprender el contenido. El nivel de grado de su escritura generalmente debe coincidir con el de su audiencia.

Tecnología MarketMuse NLG

Como era de esperar, MarketMuse NLG Technology hizo lo mejor en términos de abordar los temas del modelo. Está diseñado para garantizar que cumpla con dos KPI importantes, el recuento de palabras y la puntuación de contenido.

A MarketMuse NLG Technology le fue sorprendentemente bien en cuanto a Writer Score. Hubo algunos problemas con la ortografía y la gramática, el uso de términos, el estilo y la claridad. El nivel de grado está dentro del rango de la audiencia prevista de este artículo.

GPT-3

GPT-3 es como una persona que habla mucho pero dice muy poco.

Hay una explicación realmente simple para su puntaje de contenido de 4. El artículo no aborda los temas importantes que aborda un experto cuando analiza la importancia de estar en Twitter. Por supuesto, la publicación puede ser linda y entretenida, pero carece de sustancia.

Ni una sola vez en casi 2400 palabras sobre Twitter el artículo habló o explicó algo que tuviera que ver con:

• medios de comunicación social
• tweets
• Seguidores de Twitter
• mercadeo en twitter
• hashtags de tendencia

Sin mencionar los otros 45 temas que encontrará en el modelo de temas de MarketMuse. El problema es que el artículo carece de estructura y de cualquier significado inherente.

Si un humano enviara ese artículo, ¿qué harías?

La publicación no dice nada perspicaz sobre la importancia de estar en Twitter. Como resultado, es infinitamente más difícil editar y pulir ese borrador en una valiosa pieza de contenido publicable. Es el mismo problema que descubrimos al evaluar GPT-2.

Hay una palabra para este tipo de artículo. Se llama "pelusa".

También sufrió la puntuación de escritor más baja. Ese es el resultado de una gran cantidad de problemas de ortografía y gramática junto con otros relacionados con la claridad, la inclusión y el estilo.

La escritura en el nivel de grado 4 es una preocupación aquí. Siempre es mejor escribir al nivel de tu audiencia. Corre el riesgo de perderlos si su escritura es demasiado complicada o demasiado simple. En este caso, GPT-3 está escribiendo a un nivel demasiado básico para una audiencia empresarial.

Humano

El humano, sinceramente, hizo un trabajo bastante decente, si se me permite decirlo. El artículo se sitúa cómodamente por encima del objetivo, con una puntuación de contenido de 45. La puntuación de escritor, de 99, es casi perfecta, como debería ser. Utilizo el complemento Writer for Chrome para detectar cualquier error por adelantado. Un nivel de grado de 8 todavía está dentro del rango de una audiencia de negocios.

La ventaja de la tecnología MarketMuse NLG

GPT-3 es una solución en busca de una aplicación. La única forma de acceder a la API es unirse a una lista de espera en la que se debe describir su caso de uso. Incluso con acceso, seguirá estando limitado en el uso de lo que se proporciona a través de la interfaz de programación de aplicaciones.

La tecnología MarketMuse NLG se creó para resolver un caso de uso específico, en particular, generar artículos extensos con calidad SEO para especialistas en marketing de contenido. Estas son las ventajas que tiene para ofrecer.

1. Coherencia y estructura : la salida de MarketMuse NL Technology está dictada por MarketMuse Content Briefs, por lo que los borradores son coherentes y están estructurados desde el primer momento. GPT-3 comienza con un mensaje de texto, pero carece de medidas de protección, lo que lleva a una salida no estructurada que no es adecuada para contenido de calidad SEO.
2. Control : los usuarios pueden crear sus propios resúmenes de contenido de MarketMuse antes de solicitar un borrador. Especifique los temas que debe mencionar el artículo, las preguntas que debe responder y las secciones del artículo. GPT-3 ofrece poco control sobre qué temas mencionan las generaciones y qué preguntas responde el contenido.
3. Listo para publicación: la salida de MarketMuse NLG Technology se puede editar en contenido listo para publicación en 1-2 horas. La salida de GPT-3 tarda varias horas en editarse en contenido listo para publicación.
4. Degradación, plagio, repetición : la tecnología MarketMuse NLG produce texto libre de degradación, plagio y repetición. La salida de GPT-3 no comprueba si hay degradación, plagio o repetición.
5. Capacitación : la tecnología MarketMuse NLG está capacitada en artículos de un conjunto de datos seleccionados (que excluye contenido sexista, racista y para adultos) para mejorar el resultado de las generaciones. GPT-3 está entrenado en toda la web, incluido el contenido de baja calidad, explícito y de odio, lo que lleva a generaciones de baja calidad.
6. Configuración : la tecnología MarketMuse NLG se puede configurar para escribir en su estilo o en uno que desee emular, así como aprender nuevo vocabulario con el tiempo. GPT-3 solo puede generar texto basado en los parámetros del modelo, con poca o ninguna configurabilidad.
7. Longitud del artículo : MarketMuse NLG Technology puede generar artículos de hasta 5000 palabras en función de la longitud del resumen de contenido de MarketMuse. GPT-3 solo puede generar hasta ~1200 palabras.

la comida para llevar

Escale su creación de contenido sin escalar sus costos y dolores de cabeza. La tecnología MarketMuse NLG acelera la creación de contenido mediante el uso de IA para crear borradores completos de artículos basados ​​en MarketMuse Content Briefs. Mantenga sus costos de contenido predecibles y su calidad constante al permitir que AI haga el trabajo de obtener un borrador inicial sólido.