Technologie MarketMuse NLG contre GPT-3

Avec tout l'intérêt suscité par GPT-3 ces derniers temps, nous avons décidé d'examiner comment il se compare à la technologie MarketMuse NLG, similaire au processus suivi lors de l'évaluation de GPT-2.

Avant de plonger dans les exemples, voici un bref aperçu des facteurs de différenciation de la technologie MarketMuse NLG.

• Contrairement à GPT-3, étant donné un sujet, nous construisons un article morceau par morceau, en utilisant un résumé de contenu comme « colonne vertébrale ».
• Étant donné un sujet, nous générons un résumé de contenu, structuré en sous-titres et sujets connexes, nous l'utilisons comme guide.
• Pour chaque brève section, nous utilisons les sujets connexes et le sous-titre comme invite, et nous continuons à générer jusqu'à ce que nous produisions une sortie qui passe nos filtres de qualité.
• Nos filtres incluent bien sûr le score de contenu et la présence de sujets pertinents que nous nous attendons à voir dans la sortie, mais nous vérifions également les erreurs grammaticales, la diversité lexicale, le plagiat et d'autres mesures de lisibilité.

Trois exemples de contenu

GPT-3 est plus grand et soi-disant meilleur que son prédécesseur, mais il est peu probable qu'il prenne le contrôle d'Internet. OpenAI a publié un article détaillé (PDF) sur leur modèle de langage. Pour nos besoins, nous ne sommes pas intéressés à étudier la science derrière la génération du langage naturel. Au lieu de cela, nous adoptons une approche empirique.

Ci-dessous, vous trouverez trois extraits sur l'importance d'être sur Twitter, écrits par MarketMuse NLG Technology, GPT-3, et un humain avec l'aide de MarketMuse NLG Technology. Pouvez-vous dire lequel est lequel ?

Version 1

Version 2

Variante 3

Quel élément de contenu a été créé par un humain ?

Voyons d'abord s'il réussit le test du "renifleur". Ces articles semblent-ils avoir été écrits par un humain ?

Un seul l'était. Pouvez-vous deviner lequel?

Le premier a été écrit par GPT-3, le second par un humain et le troisième par MarketMuse NLG Technology.

À quel point sont-ils doués pour transmettre des informations

Examinons le résultat des trois approches par rapport au score du contenu, au score du rédacteur et au niveau scolaire.

MarketMuse Content Score évalue dans quelle mesure l'article a couvert le sujet par rapport au modèle de sujet. Plus c'est élevé, mieux c'est, et pour cet article, le score de contenu suggéré est de 42, bien qu'il n'y ait rien de tel qu'un score parfait.

Writer Score est un score attribué par Writer.com et est basé sur l'orthographe et la grammaire, les termes, le style, la clarté, l'inclusivité et la livraison - plus c'est haut, mieux c'est. Le niveau scolaire indique le niveau d'éducation attendu requis pour comprendre le contenu. Le niveau scolaire de votre écriture doit généralement correspondre à celui de votre public.

Technologie MarketMuse NLG

Comme on pouvait s'y attendre, MarketMuse NLG Technology a fait de son mieux pour aborder les sujets du modèle. Il est conçu pour s'assurer qu'il respecte deux KPI importants, le nombre de mots et le score de contenu.

MarketMuse NLG Technology a étonnamment bien réussi en ce qui concerne Writer Score. Il y avait quelques problèmes d'orthographe et de grammaire, d'utilisation des termes, de style et de clarté. Le niveau scolaire se situe dans la fourchette du public visé par cet article.

GPT-3

GPT-3 est comme une personne qui parle beaucoup mais dit très peu.

Il y a une explication très simple pour son score de contenu de 4. L'article n'aborde pas les problèmes importants qu'un expert fait lorsqu'il discute de l'importance d'être sur Twitter. Certes, le message peut être mignon et divertissant, mais il est vide de toute substance.

Pas une seule fois en près de 2 400 mots sur Twitter, l'article n'a parlé ou expliqué quoi que ce soit à voir avec :

• des médias sociaux
• tweets
• Abonnés Twitter
• Marketing Twitter
• hashtag tendance

Sans parler des 45 autres sujets que vous trouverez dans le modèle de sujet MarketMuse. Le problème est que l'article manque de structure et de sens inhérent.

Si un humain soumettait cet article, que feriez-vous ?

Le message ne dit rien de perspicace sur l'importance d'être sur Twitter. En conséquence, il est infiniment plus difficile d'éditer et de peaufiner ce brouillon en un élément précieux de contenu publiable. C'est le même problème que nous avons découvert lors de l'évaluation de GPT-2.

Il y a un mot pour ce type d'article. C'est ce qu'on appelle "les peluches".

Il a également souffert du score d'écrivain le plus bas. C'est le résultat d'un grand nombre de problèmes d'orthographe et de grammaire ainsi que d'autres problèmes de clarté, d'inclusivité et de style.

L'écriture au niveau 4 est une préoccupation ici. Il est toujours préférable d'écrire au niveau de votre public. Vous risquez de les perdre si votre écriture est trop compliquée ou trop simple. Dans ce cas, GPT-3 écrit à un niveau beaucoup trop basique pour un public professionnel.

Humain

L'humain, votre serviteur, a fait un travail plutôt décent, si je peux me permettre de le dire moi-même. L'article se situe confortablement au-dessus de la cible, avec un score de contenu de 45. Le score de l'écrivain, à 99, est presque parfait, ce qu'il devrait être. J'utilise le plugin Writer pour Chrome afin de détecter les erreurs à l'avance. Un niveau scolaire de 8 est toujours à portée d'un public d'affaires.

L'avantage de la technologie MarketMuse NLG

GPT-3 est une solution à la recherche d'une application. Le seul moyen d'accéder à l'API est de rejoindre une liste d'attente dans laquelle votre cas d'utilisation doit être décrit. Même avec un accès, vous serez toujours limité dans l'utilisation de ce qui est fourni via l'interface de programmation d'application.

La technologie MarketMuse NLG a été créée pour résoudre un cas d'utilisation spécifique, en particulier la génération d'articles longs de qualité SEO pour les spécialistes du marketing de contenu. Voici les avantages qu'il a à offrir.

1. Cohérence et structure - La sortie de la technologie MarketMuse NL est dictée par les notes de contenu MarketMuse afin que les brouillons soient cohérents et structurés dès le départ. GPT-3 commence par un texte rapide mais manque de garde-fous, ce qui conduit à une sortie non structurée inadaptée au contenu de qualité SEO.
2. Contrôle - Les utilisateurs peuvent créer leurs propres briefs de contenu MarketMuse avant de commander un brouillon. Précisez les sujets que l'article doit mentionner, les questions auxquelles il doit répondre et les sections de l'article. GPT-3 offre peu de contrôle sur les sujets mentionnés par les générations et sur les questions auxquelles le contenu répond.
3. Prêt pour la publication – La sortie de la technologie MarketMuse NLG peut être modifiée en contenu prêt pour la publication en 1 à 2 heures. La sortie GPT-3 prend plusieurs heures pour être éditée en contenu prêt à être publié.
4. Dégradation, plagiat, répétition - MarketMuse NLG Technology produit un texte exempt de dégradation, de plagiat et de répétition. La sortie GPT-3 ne vérifie pas la dégradation, le plagiat ou la répétition.
5. Formation - MarketMuse NLG Technology est formé sur des articles d'un ensemble de données organisé (qui exclut le contenu sexiste, raciste et adulte) pour améliorer le résultat des générations. GPT-3 est formé sur l'ensemble du Web, y compris le contenu de mauvaise qualité, explicite et haineux, conduisant à des générations de mauvaise qualité.
6. Configuration - La technologie MarketMuse NLG peut être configurée pour écrire dans votre style ou celui que vous souhaitez imiter, ainsi que pour apprendre un nouveau vocabulaire au fil du temps. GPT-3 ne peut générer que du texte basé sur les paramètres du modèle, avec peu ou pas de configurabilité.
7. Longueur de l'article - La technologie MarketMuse NLG peut générer des articles jusqu'à 5 000 mots en fonction de la longueur du résumé de contenu MarketMuse. GPT-3 ne peut générer que jusqu'à ~1 200 mots.

Les plats à emporter

Faites évoluer votre création de contenu sans augmenter vos coûts et vos maux de tête. La technologie MarketMuse NLG accélère la création de contenu en utilisant l'IA pour créer des brouillons complets d'articles basés sur les synthèses de contenu MarketMuse. Gardez vos coûts de contenu prévisibles et votre qualité constante en laissant l'IA faire le travail pour vous fournir un brouillon initial solide.