Tecnologia MarketMuse NLG contro GPT-3

Con tutto l'interesse per GPT-3 ultimamente, abbiamo deciso di dare un'occhiata a come si confronta con la tecnologia MarketMuse NLG, in modo simile al processo adottato durante la valutazione di GPT-2.

Prima di immergerti negli esempi, ecco una rapida panoramica dei fattori di differenziazione della tecnologia MarketMuse NLG.

• A differenza di GPT-3, dato un argomento, costruiamo un articolo pezzo per pezzo, utilizzando un riassunto del contenuto come "spina dorsale".
• Dato un argomento, generiamo un brief di contenuto, strutturato in sottotitoli e argomenti correlati, lo usiamo come guida.
• Per ogni breve sezione, utilizziamo gli argomenti correlati e il sottotitolo come prompt e continuiamo a generare finché non produciamo output che supera i nostri filtri di qualità.
• I nostri filtri includono ovviamente il punteggio del contenuto e la presenza di argomenti rilevanti che ci aspettiamo di vedere nell'output, ma controlliamo anche errori grammaticali, diversità lessicale, plagio e altre misure di leggibilità.

Tre esempi di contenuto

GPT-3 è più grande e presumibilmente migliore del suo predecessore, ma è improbabile che prenda il controllo di Internet. OpenAI ha pubblicato un documento dettagliato (PDF) sul loro modello linguistico. Per i nostri scopi, non siamo interessati a studiare la scienza dietro la generazione del linguaggio naturale. Invece, stiamo adottando un approccio empirico.

Di seguito, troverai tre estratti sull'importanza di essere su Twitter, scritti da MarketMuse NLG Technology, GPT-3 e un essere umano con l'aiuto di MarketMuse NLG Technology. Puoi dire qual è quale?

Versione 1

Versione 2

Versione 3

Quale contenuto è stato creato da un essere umano?

Per prima cosa, vediamo se supera il test "sniff". Sembra che questi articoli siano stati scritti da un essere umano?

Solo uno lo era. Riesci a indovinare quale?

Il primo è stato scritto da GPT-3, il secondo da un essere umano e il terzo da MarketMuse NLG Technology.

Quanto sono bravi a trasmettere informazioni

Esaminiamo l'output di tutti e tre gli approcci rispetto al punteggio del contenuto, al punteggio dello scrittore e al livello di valutazione.

MarketMuse Content Score valuta quanto bene il pezzo ha trattato l'argomento rispetto al modello dell'argomento. Più alto è meglio e per questo articolo il punteggio del contenuto suggerito è 42, anche se non esiste un punteggio perfetto.

Writer Score è un punteggio assegnato da Writer.com e si basa su ortografia e grammatica, termini, stile, chiarezza, inclusività e consegna: più alto è meglio. Il livello di istruzione indica il livello di istruzione previsto richiesto per comprendere il contenuto. Il livello di voto della tua scrittura dovrebbe generalmente corrispondere a quello del tuo pubblico.

Tecnologia MarketMuse NLG

Come prevedibile, MarketMuse NLG Technology ha fatto il meglio nell'affrontare gli argomenti del modello. È progettato per garantire che soddisfi due importanti KPI, il conteggio delle parole e il punteggio del contenuto.

MarketMuse NLG Technology ha fatto sorprendentemente bene quando si trattava di Writer Score. C'erano alcuni problemi con l'ortografia e la grammatica, l'uso dei termini, lo stile e la chiarezza. Il livello di voto rientra nell'intervallo del pubblico previsto di questo articolo.

GPT-3

GPT-3 è come una persona che parla molto ma dice molto poco.

C'è una spiegazione molto semplice per il suo punteggio di contenuto di 4. L'articolo non affronta le questioni importanti che un esperto fa quando discute dell'importanza di essere su Twitter. Certo, il post può essere carino e divertente, ma è privo di sostanza.

Non una volta in quasi 2.400 parole su Twitter l'articolo parlava o spiegava qualcosa a che fare con:

• social media
• tweet
• Seguaci di Twitter
• Marketing su Twitter
• hashtag di tendenza

Per non parlare degli altri 45 argomenti che troverai nel modello di argomento MarketMuse. Il problema è che l'articolo manca di struttura e di significato intrinseco.

Se un essere umano inviasse quell'articolo cosa faresti?

Il post non dice nulla di perspicace sull'importanza di essere su Twitter. Di conseguenza, è infinitamente più difficile modificare e perfezionare quella bozza in un prezioso contenuto pubblicabile. È lo stesso problema che abbiamo riscontrato durante la valutazione di GPT-2.

C'è una parola per questo tipo di articolo. Si chiama "lanugine".

Ha anche sofferto del punteggio dello scrittore più basso. Questo è il risultato di un gran numero di problemi di ortografia e grammatica insieme ad altri che coinvolgono chiarezza, inclusività e stile.

Scrivere al livello 4 è una preoccupazione qui. È sempre meglio scrivere a livello di pubblico. Rischi di perderli se la tua scrittura è troppo complicata o troppo semplice. In questo caso, GPT-3 sta scrivendo a un livello troppo elementare per un pubblico aziendale.

Umano

L'umano, il tuo è veramente, ha fatto un lavoro abbastanza decente, se così posso dirlo io stesso. L'articolo si colloca comodamente al di sopra dell'obiettivo, con un punteggio di contenuto di 45. Il punteggio dello scrittore, a 99, è quasi perfetto, come dovrebbe essere. Uso il plug-in Writer per Chrome, quindi rilevo eventuali errori in anticipo. Un livello di 8 è ancora all'interno della portata di un pubblico aziendale.

Il vantaggio tecnologico di MarketMuse NLG

GPT-3 è una soluzione alla ricerca di un'applicazione. L'unico modo per accedere all'API è iscriversi a una lista d'attesa in cui viene descritto il tuo caso d'uso. Anche con l'accesso, sarai comunque limitato nell'utilizzo di ciò che viene fornito tramite l'interfaccia di programmazione dell'applicazione.

La tecnologia MarketMuse NLG è stata creata per risolvere un caso d'uso specifico, in particolare, generando articoli di qualità SEO di lunga durata per i marketer di contenuti. Ecco i vantaggi che ha da offrire.

1. Coerenza e struttura : l'output tecnologico di MarketMuse NL è dettato da MarketMuse Content Briefs, quindi le bozze sono coerenti e strutturate fuori dagli schemi. GPT-3 inizia con un messaggio di testo ma manca di guardrail, portando a un output non strutturato inadatto a contenuti di qualità SEO.
2. Controllo : gli utenti possono creare i propri riassunti dei contenuti di MarketMuse prima di ordinare una bozza. Specifica gli argomenti che l'articolo dovrebbe menzionare, le domande a cui dovrebbe rispondere e le sezioni dell'articolo. GPT-3 offre uno scarso controllo su quali argomenti menzionano le generazioni e quali domande rispondono ai contenuti.
3. Pubblicazione pronta : l'output della tecnologia MarketMuse NLG può essere modificato in contenuto pronto per la pubblicazione in 1-2 ore. L'output di GPT-3 richiede diverse ore per essere modificato in contenuto pronto per la pubblicazione.
4. Degrado, plagio, ripetizione : la tecnologia MarketMuse NLG produce un testo privo di degrado, plagio e ripetizione. L'output di GPT-3 non verifica la presenza di degrado, plagio o ripetizione.
5. Formazione : la tecnologia MarketMuse NLG viene addestrata su articoli di un set di dati curato (che esclude i contenuti sessisti, razzisti e per adulti) per migliorare il risultato delle generazioni. GPT-3 è addestrato sull'intero Web, inclusi contenuti di bassa qualità, espliciti e che incitano all'odio, portando a generazioni di bassa qualità.
6. Configurazione : la tecnologia MarketMuse NLG può essere configurata per scrivere nel tuo stile o in quello che desideri emulare, nonché per imparare un nuovo vocabolario nel tempo. GPT-3 può generare solo testo in base ai parametri del modello, con poca o nessuna configurabilità.
7. Lunghezza dell'articolo – La tecnologia MarketMuse NLG può generare articoli fino a 5.000 parole in base alla lunghezza del MarketMuse Content Brief. GPT-3 può generare solo fino a ~1.200 parole.

L'asporto

Ridimensiona la creazione di contenuti senza aumentare i costi e i mal di testa. La tecnologia MarketMuse NLG accelera la creazione di contenuti utilizzando l'intelligenza artificiale per creare bozze complete di articoli basati su MarketMuse Content Briefs. Mantieni prevedibili i costi dei tuoi contenuti e la tua qualità coerente lasciando che l'IA si occupi di fornirti una bozza iniziale forte.