Tehnologia MarketMuse NLG vs. GPT-3

Cu tot interesul pentru GPT-3 în ultima vreme, am decis să aruncăm o privire la modul în care se compară cu tehnologia MarketMuse NLG, similar procesului luat la evaluarea GPT-2.

Înainte de a vă scufunda în exemple, iată o scurtă prezentare generală a factorilor de diferențiere ai tehnologiei MarketMuse NLG.

• Spre deosebire de GPT-3, dat fiind un subiect, construim un articol bucată cu bucată, folosind un brief de conținut ca „coloană vertebrală”.
• Având în vedere un subiect, generăm un brief de conținut, structurat pe subtitluri și subiecte conexe, îl folosim ca ghid.
• Pentru fiecare secțiune scurtă, folosim subiectele aferente și subtitlul ca un prompt și continuăm să generăm până când producem rezultate care trece de filtrele noastre de calitate.
• Filtrele noastre includ, desigur, scorul de conținut și prezența subiectelor relevante pe care ne așteptăm să le vedem în rezultat, dar verificăm și erorile gramaticale, diversitatea lexicală, plagiatul și alte măsuri de lizibilitate.

Trei exemple de conținut

GPT-3 este mai mare și se presupune că este mai bun decât predecesorul său, dar este puțin probabil să preia Internetul. OpenAI a publicat o lucrare detaliată (PDF) despre modelul lor lingvistic. Pentru scopurile noastre, nu suntem interesați să studiem știința din spatele generării limbajului natural. În schimb, adoptăm o abordare empirică.

Mai jos, veți găsi trei fragmente despre importanța de a fi pe Twitter, scrise de MarketMuse NLG Technology, GPT-3 și un om cu ajutorul MarketMuse NLG Technology. Poți spune care este care?

Versiunea 1

Versiunea 2

Versiunea 3

Ce conținut a fost creat de un om?

Mai întâi, să vedem dacă trece testul „sniff”. Aceste articole par ca și cum ar fi fost scrise de un om?

Doar unul a fost. Poți ghici care?

Primul a fost scris de GPT-3, al doilea de un om, iar al treilea de MarketMuse NLG Technology.

Cât de buni sunt ei la transmiterea informațiilor

Să examinăm rezultatul tuturor celor trei abordări în raport cu Scorul conținutului, Scorul scriitorului și Nivelul clasei.

Scorul de conținut MarketMuse evaluează cât de bine a acoperit subiectul piesa în comparație cu modelul subiectului. Mai mare este mai bine, iar pentru acest articol Scorul de conținut sugerat este 42, deși nu există nimic ca un scor perfect.

Scorul Writer este un scor atribuit de Writer.com și se bazează pe ortografie și gramatică, termeni, stil, claritate, incluziune și livrare – mai mare este mai bine. Nivelul de clasă denotă nivelul de educație așteptat necesar pentru înțelegerea conținutului. Nivelul notei scrisului dvs. ar trebui să se potrivească, în general, cu cel al audienței dvs.

Tehnologia MarketMuse NLG

După cum era de așteptat, MarketMuse NLG Technology a făcut cel mai bine în ceea ce privește abordarea subiectelor din model. Este conceput pentru a se asigura că îndeplinește doi KPI importante, numărul de cuvinte și Scorul de conținut.

Tehnologia MarketMuse NLG s-a descurcat surprinzător de bine când a fost vorba de Writer Score. Au existat câteva probleme cu ortografia și gramatica, utilizarea termenilor, stilul și claritatea. Nivelul de clasă se încadrează în intervalul publicului vizat de acest articol.

GPT-3

GPT-3 este ca o persoană care vorbește mult, dar spune foarte puțin.

Există o explicație foarte simplă pentru Scorul său de conținut de 4. Articolul nu reușește să abordeze problemele importante pe care le face un expert atunci când discută despre importanța de a fi pe Twitter. Desigur, postarea poate fi drăguță și distractivă, dar este lipsită de orice substanță.

Nici o dată din aproape 2.400 de cuvinte despre Twitter articolul nu a vorbit sau a explicat ceva de-a face cu:

• social media
• tweet-uri
• urmăritori pe Twitter
• Marketing pe Twitter
• hashtag-uri în tendințe

Ca să nu mai vorbim de celelalte 45 de subiecte pe care le veți găsi în modelul de subiecte MarketMuse. Problema este că articolului îi lipsește structură și orice sens inerent.

Dacă un om ar trimite acel articol, ce ai face?

Postarea nu spune nimic perspicace despre importanța de a fi pe Twitter. Drept urmare, este infinit mai dificil să editați și să lustruiți această versiune într-o bucată valoroasă de conținut publicabil. Este aceeași problemă pe care am descoperit-o când am evaluat GPT-2.

Există un cuvânt pentru acest tip de articol. Se numește „puf”.

De asemenea, a suferit de cel mai mic Scor de scriitor. Acesta este rezultatul unui număr mare de probleme de ortografie și gramatică, împreună cu altele care implică claritate, incluziune și stil.

Scrisul la nivelul clasei 4 este o preocupare aici. Cel mai bine este întotdeauna să scrii la nivelul publicului tău. Riști să le pierzi dacă scrierea ta este fie prea complicată, fie prea simplă. În acest caz, GPT-3 scrie la un nivel mult prea elementar pentru un public de afaceri.

Uman

Omul, cu adevărat, a făcut o treabă destul de decentă, dacă pot să spun și eu. Articolul se află confortabil deasupra țintei, cu un Scor de conținut de 45. Scorul Writer, la 99, este aproape perfect, ceea ce ar trebui să fie. Folosesc pluginul Writer pentru Chrome, așa că detectez erorile din timp. Un nivel de nota 8 este încă în raza unui public de afaceri.

Avantajul tehnologiei MarketMuse NLG

GPT-3 este o soluție în căutarea unei aplicații. Singura modalitate de a accesa API-ul este să vă alăturați unei liste de așteptare în care să fie descrisă muza dvs. de utilizare. Chiar și cu acces, veți fi în continuare limitat în utilizarea a ceea ce este furnizat prin Interfața de programare a aplicației.

Tehnologia MarketMuse NLG a fost creată pentru a rezolva un caz specific de utilizare, în special, generarea de articole de calitate SEO de lungă durată pentru marketerii de conținut. Iată care sunt avantajele pe care le are de oferit.

1. Coerență și structură – Rezultatele tehnologiei MarketMuse NL sunt dictate de Rezumatele de conținut MarketMuse, astfel încât schițele sunt coerente și structurate din nou. GPT-3 începe cu text prompt, dar nu are bare de protecție, ceea ce duce la o ieșire nestructurată nepotrivită pentru conținut de calitate SEO.
2. Control – Utilizatorii își pot construi propriile Rezumate de conținut MarketMuse înainte de a comanda o versiune nefinalizată. Specificați subiectele pe care ar trebui să le menționeze articolul, întrebările la care ar trebui să răspundă și secțiunile articolului. GPT-3 oferă puțin control asupra subiectelor menționate de generațiile și asupra întrebărilor răspunsurilor la conținut.
3. Gata pentru publicare – Tehnologia MarketMuse NLG poate fi editată în conținut gata pentru publicare în 1-2 ore. Ieșirea GPT-3 durează câteva ore pentru a fi editată în conținut pregătit pentru publicare.
4. Degradare, plagiat, repetare – Tehnologia MarketMuse NLG produce text fără degradare pe termen lung, plagiat și repetare. Ieșirea GPT-3 nu verifică degradarea, plagiatul sau repetarea.
5. Instruire – Tehnologia MarketMuse NLG este instruită pe articole dintr-un set de date organizat (care exclude conținutul sexist, rasist și pentru adulți) pentru a îmbunătăți rezultatul generațiilor. GPT-3 este antrenat pe întregul web, inclusiv conținut de calitate scăzută, explicit și plin de ură, ceea ce duce la generații de calitate scăzută.
6. Configurare – Tehnologia MarketMuse NLG poate fi configurată să scrie în stilul dvs. sau pe care doriți să-l emulați, precum și să învețe vocabular nou în timp. GPT-3 poate genera text numai pe baza parametrilor modelului, cu puțină sau deloc configurabilitate.
7. Lungimea articolului – Tehnologia MarketMuse NLG poate genera articole de până la 5.000 de cuvinte pe baza lungimii Rezumatului de conținut MarketMuse. GPT-3 poate genera numai până la ~1.200 de cuvinte.

The Takeaway

Scalați-vă crearea de conținut fără a vă scala costurile și durerile de cap. Tehnologia MarketMuse NLG accelerează crearea de conținut prin utilizarea AI pentru a crea schițe complete de articole bazate pe MarketMuse Content Briefs. Păstrați costurile de conținut previzibile și calitatea consecventă, lăsând AI să facă munca pentru a vă obține o versiune inițială puternică.