MarketMuse NLG-Technologie im Vergleich zu GPT-3

Bei all dem Interesse an GPT-3 in letzter Zeit haben wir uns entschieden, einen Blick darauf zu werfen, wie es im Vergleich zur NLG-Technologie von MarketMuse abschneidet, ähnlich wie bei der Bewertung von GPT-2.

Bevor Sie in die Beispiele eintauchen, finden Sie hier einen kurzen Überblick über die Unterscheidungsmerkmale der MarketMuse NLG-Technologie.

• Im Gegensatz zu GPT-3 erstellen wir einen Artikel Stück für Stück, wenn wir ein bestimmtes Thema haben, wobei wir eine Inhaltsangabe als „Rückgrat“ verwenden.
• Ausgehend von einem Thema erstellen wir eine Inhaltsangabe, strukturiert in Unterüberschriften und verwandte Themen, die wir als Leitfaden verwenden.
• Für jeden kurzen Abschnitt verwenden wir die verwandten Themen und die Unterüberschrift als Aufforderung, und wir generieren weiter, bis wir eine Ausgabe produzieren, die unsere Qualitätsfilter passiert.
• Unsere Filter umfassen natürlich die Inhaltspunktzahl und das Vorhandensein relevanter Themen, die wir in der Ausgabe erwarten, aber wir prüfen auch auf Grammatikfehler, lexikalische Vielfalt, Plagiate und andere Lesbarkeitsmaßnahmen.

Drei Inhaltsbeispiele

GPT-3 ist größer und angeblich besser als sein Vorgänger, aber es ist unwahrscheinlich, dass es das Internet übernimmt. OpenAI hat ein ausführliches Papier (PDF) zu ihrem Sprachmodell veröffentlicht. Für unsere Zwecke sind wir nicht daran interessiert, die Wissenschaft hinter der Generierung natürlicher Sprache zu studieren. Stattdessen verfolgen wir einen empirischen Ansatz.

Unten finden Sie drei Auszüge darüber, wie wichtig es ist, auf Twitter zu sein, geschrieben von MarketMuse NLG Technology, GPT-3 und einem Menschen mit Hilfe von MarketMuse NLG Technology. Kannst du sagen, was was ist?

Version 1

Version 2

Fassung 3

Welcher Inhalt wurde von einem Menschen erstellt?

Lassen Sie uns zuerst sehen, ob es den „Sniff“-Test besteht. Scheinen diese Artikel, als ob sie von einem Menschen geschrieben wurden?

Nur einer war. Kannst du erraten, welche?

Das erste wurde von GPT-3 geschrieben, das zweite von einem Menschen und das dritte von MarketMuse NLG Technology.

Wie gut sind sie darin, Informationen zu übermitteln

Untersuchen wir die Ergebnisse aller drei Ansätze anhand von Content Score, Writer Score und Grade Level.

MarketMuse Content Score bewertet, wie gut das Stück das Thema im Vergleich zum Themenmodell behandelt hat. Je höher desto besser, und für diesen Artikel beträgt die empfohlene Inhaltspunktzahl 42, obwohl es keine perfekte Punktzahl gibt.

Writer Score ist eine von Writer.com zugewiesene Punktzahl und basiert auf Rechtschreibung und Grammatik, Begriffen, Stil, Klarheit, Inklusivität und Lieferung – höher ist besser. Die Klassenstufe bezeichnet das erwartete Bildungsniveau, das erforderlich ist, um den Inhalt zu verstehen. Das Notenniveau Ihres Schreibens sollte im Allgemeinen dem Ihres Publikums entsprechen.

MarketMuse NLG-Technologie

Wie zu erwarten, schnitt MarketMuse NLG Technology am besten ab, um die Themen im Modell zu adressieren. Es wurde entwickelt, um sicherzustellen, dass es zwei wichtige KPIs erfüllt, Wortzahl und Inhaltsbewertung.

MarketMuse NLG Technology hat beim Writer Score überraschend gut abgeschnitten. Es gab ein paar Probleme mit Rechtschreibung und Grammatik, Begriffsverwendung, Stil und Klarheit. Die Klassenstufe liegt im Bereich der Zielgruppe dieses Artikels.

GPT-3

GPT-3 ist wie eine Person, die viel redet, aber sehr wenig sagt.

Es gibt eine wirklich einfache Erklärung für den Content Score von 4. Der Artikel geht nicht auf die wichtigen Probleme ein, die ein Experte anspricht, wenn er die Bedeutung von Twitter diskutiert. Zugegeben, der Post mag niedlich und unterhaltsam sein, aber er ist haltlos.

Nicht ein einziges Mal in fast 2.400 Wörtern über Twitter sprach oder erklärte der Artikel etwas, das damit zu tun hatte:

• sozialen Medien
• Tweets
• Twitter-Follower
• Twitter-Marketing
• angesagte Hashtags

Ganz zu schweigen von den 45 anderen Themen, die Sie im MarketMuse-Themenmodell finden. Das Problem ist, dass dem Artikel Struktur und jede inhärente Bedeutung fehlen.

Wenn ein Mensch diesen Artikel einreichen würde, was würden Sie tun?

Der Beitrag sagt nichts Aufschlussreiches darüber aus, wie wichtig es ist, auf Twitter zu sein. Infolgedessen ist es unendlich viel schwieriger, diesen Entwurf zu einem wertvollen Stück veröffentlichungsfähigen Inhalts zu bearbeiten und zu polieren. Es ist das gleiche Problem, das wir bei der Evaluierung von GPT-2 entdeckt haben.

Es gibt ein Wort für diese Art von Artikel. Es heißt „Fluff“.

Es litt auch unter dem niedrigsten Writer Score. Das ist das Ergebnis einer großen Anzahl von Rechtschreib- und Grammatikproblemen, zusammen mit anderen, die Klarheit, Inklusivität und Stil betreffen.

Das Schreiben auf Klassenstufe 4 ist hier ein Anliegen. Es ist immer am besten, auf der Ebene deines Publikums zu schreiben. Sie riskieren, sie zu verlieren, wenn Ihr Schreiben entweder zu kompliziert oder zu einfach ist. In diesem Fall schreibt GPT-3 auf einem Niveau, das für ein Geschäftspublikum viel zu einfach ist.

Menschlich

Der Mensch, mit freundlichen Grüßen, hat ziemlich anständige Arbeit geleistet, wenn ich das selbst sagen darf. Der Artikel liegt mit einem Content Score von 45 deutlich über dem Ziel. Der Writer Score ist mit 99 nahezu perfekt, was er auch sein sollte. Ich verwende das Writer for Chrome-Plug-in, damit ich alle Fehler im Voraus erkenne. Eine Klassenstufe von 8 liegt immer noch im Bereich eines Geschäftspublikums.

Der NLG-Technologievorteil von MarketMuse

GPT-3 ist eine Lösung auf der Suche nach einer Anwendung. Die einzige Möglichkeit, auf die API zuzugreifen, besteht darin, sich einer Warteliste anzuschließen, in der Ihr Anwendungsfall beschrieben werden muss. Selbst mit Zugriff sind Sie immer noch eingeschränkt in der Nutzung dessen, was über die Anwendungsprogrammierschnittstelle bereitgestellt wird.

Die MarketMuse NLG-Technologie wurde entwickelt, um einen bestimmten Anwendungsfall zu lösen, insbesondere das Generieren von Langform-Artikeln in SEO-Qualität für Content-Vermarkter. Hier sind die Vorteile, die es zu bieten hat.

1. Kohärenz und Struktur – MarketMuse NL Die Technologieausgabe wird von MarketMuse Content Briefs vorgegeben, sodass Entwürfe kohärent und sofort einsatzbereit sind. GPT-3 beginnt mit Eingabeaufforderungstext, aber es fehlen Leitplanken, was zu einer unstrukturierten Ausgabe führt, die für Inhalte in SEO-Qualität ungeeignet ist.
2. Kontrolle – Benutzer können ihre eigenen MarketMuse Content Briefs erstellen, bevor sie einen Entwurf bestellen. Geben Sie die Themen an, die der Artikel erwähnen soll, die Fragen, die er beantworten soll, und die Abschnitte des Artikels. GPT-3 bietet wenig Kontrolle darüber, welche Themen Generationen erwähnen und welche Fragen der Inhalt beantwortet.
3. Veröffentlichungsreif – Die Ausgabe der MarketMuse NLG-Technologie kann in 1-2 Stunden in publikationsreife Inhalte umgewandelt werden. Die Bearbeitung der GPT-3-Ausgabe in veröffentlichungsreife Inhalte dauert mehrere Stunden.
4. Herabsetzung, Plagiat, Wiederholung – Die MarketMuse NLG-Technologie produziert Text, der frei von Herabsetzung, Plagiat und Wiederholung ist. Die GPT-3-Ausgabe prüft nicht auf Verschlechterung, Plagiat oder Wiederholung.
5. Schulung – Die MarketMuse NLG-Technologie wird anhand von Artikeln aus einem kuratierten Datensatz (der sexistische, rassistische und nicht jugendfreie Inhalte ausschließt) geschult, um das Ergebnis von Generationen zu verbessern. GPT-3 wird im gesamten Web trainiert, einschließlich minderwertiger, expliziter und hasserfüllter Inhalte, was zu minderwertigen Generationen führt.
6. Konfiguration – Die MarketMuse NLG-Technologie kann so konfiguriert werden, dass sie in Ihrem Stil schreibt oder einem, den Sie nachahmen möchten, und im Laufe der Zeit neue Vokabeln lernt. GPT-3 kann nur Text basierend auf den Parametern des Modells generieren, mit wenig bis gar keiner Konfigurierbarkeit.
7. Artikellänge – Die MarketMuse NLG-Technologie kann Artikel mit bis zu 5.000 Wörtern generieren, basierend auf der Länge des MarketMuse Content Brief. GPT-3 kann nur bis zu 1.200 Wörter generieren.

Das wegnehmen

Skalieren Sie Ihre Inhaltserstellung, ohne Ihre Kosten und Kopfschmerzen zu skalieren. Die NLG-Technologie von MarketMuse beschleunigt die Erstellung von Inhalten, indem mithilfe von KI vollständige Artikelentwürfe auf der Grundlage von MarketMuse Content Briefs erstellt werden. Halten Sie Ihre Content-Kosten vorhersehbar und Ihre Qualität konsistent, indem Sie die KI die Arbeit erledigen lassen, um Ihnen einen starken ersten Entwurf zu liefern.