Technologia MarketMuse NLG kontra GPT-3

Biorąc pod uwagę całe zainteresowanie GPT-3 w ostatnim czasie, postanowiliśmy przyjrzeć się porównaniu z technologią MarketMuse NLG, podobnie jak w przypadku oceny GPT-2.

Zanim zagłębimy się w przykłady, oto krótki przegląd czynników wyróżniających technologię MarketMuse NLG.

• W przeciwieństwie do GPT-3, biorąc pod uwagę temat, tworzymy artykuł kawałek po kawałku, używając briefu dotyczącego treści jako „kręgosłupa”.
• Podany temat generujemy brief, podzielony na podtytuły i powiązane tematy, używamy go jako przewodnika.
• W przypadku każdej krótkiej sekcji używamy powiązanych tematów i podtytułów jako monitu i generujemy dalej, dopóki nie wyprodukujemy danych wyjściowych, które przejdą nasze filtry jakości.
• Nasze filtry obejmują oczywiście ocenę treści i obecność odpowiednich tematów, które spodziewamy się zobaczyć w danych wyjściowych, ale sprawdzamy również błędy gramatyczne, różnorodność leksykalną, plagiat i inne wskaźniki czytelności.

Trzy przykłady treści

GPT-3 jest większy i podobno lepszy od swojego poprzednika, ale raczej nie zawładnie Internetem. OpenAI opublikował szczegółowy artykuł (PDF) na temat swojego modelu językowego. Dla naszych celów nie jesteśmy zainteresowani badaniem nauki stojącej za generowaniem języka naturalnego. Zamiast tego przyjmujemy podejście empiryczne.

Poniżej znajdziesz trzy fragmenty o znaczeniu bycia na Twitterze, napisane przez technologię MarketMuse NLG, GPT-3 i człowieka z pomocą technologii MarketMuse NLG. Czy możesz powiedzieć, który jest który?

Wersja 1

Wersja 2

Wersja 3

Która treść została stworzona przez człowieka?

Najpierw zobaczmy, czy przechodzi test „wąchania”. Czy te artykuły wyglądają tak, jakby zostały napisane przez człowieka?

Tylko jeden był. Czy potrafisz zgadnąć, który?

Pierwsza została napisana przez GPT-3, druga przez człowieka, a trzecia przez MarketMuse NLG Technology.

Jak dobrzy są w przekazywaniu informacji

Przyjrzyjmy się wynikom wszystkich trzech podejść pod kątem oceny treści, oceny autora i poziomu ocen.

MarketMuse Content Score ocenia, w jakim stopniu artykuł obejmuje temat w porównaniu z modelem tematycznym. Im wyższy, tym lepszy, a dla tego artykułu wynik sugerowanej treści wynosi 42, chociaż nie ma czegoś takiego jak doskonały wynik.

Writer Score to wynik przyznawany przez Writer.com i opiera się na pisowni i gramatyce, terminach, stylu, jasności, inkluzywności i sposobie wyświetlania – im wyższy, tym lepiej. Poziom ocen oznacza oczekiwany poziom wykształcenia wymagany do zrozumienia treści. Poziom twojego pisania powinien generalnie odpowiadać poziomowi twoich odbiorców.

Technologia MarketMuse NLG

Zgodnie z oczekiwaniami, technologia MarketMuse NLG poradziła sobie najlepiej, jeśli chodzi o poruszanie tematów w modelu. Został zaprojektowany tak, aby spełniał dwa ważne wskaźniki KPI, liczbę słów i ocenę treści.

Technologia MarketMuse NLG poradziła sobie zaskakująco dobrze, jeśli chodzi o Writer Score. Wystąpiło kilka problemów z pisownią i gramatyką, użyciem terminów, stylem i jasnością. Poziom oceny mieści się w zakresie zamierzonych odbiorców tego artykułu.

GPT-3

GPT-3 jest jak osoba, która dużo mówi, ale mówi bardzo mało.

Istnieje naprawdę proste wyjaśnienie jego wyniku treści wynoszącego 4. W artykule nie poruszono ważnych kwestii, jakie robi ekspert, omawiając znaczenie bycia na Twitterze. To prawda, post może być uroczy i zabawny, ale jest pozbawiony jakiejkolwiek treści.

Ani razu w prawie 2400 słowach na temat Twittera artykuł nie mówił lub wyjaśniał cokolwiek, co ma związek z:

• Media społecznościowe
• tweety
• Obserwatorzy na Twitterze
• Marketing na Twitterze
• popularne hashtagi

Nie wspominając o 45 innych tematach, które znajdziesz w modelu tematycznym MarketMuse. Problem w tym, że artykułowi brakuje struktury i nieodłącznego znaczenia.

Gdyby człowiek przesłał ten artykuł, co byś zrobił?

Post nie mówi nic odkrywczego o znaczeniu bycia na Twitterze. W rezultacie nieskończenie trudniej jest edytować i dopracowywać ten szkic, aby uzyskać wartościowy fragment treści do publikacji. To ten sam problem, który wykryliśmy podczas testowania GPT-2.

Jest słowo na tego typu artykuł. Nazywa się „puch”.

Ucierpiała również z najniższego wyniku Writer Score. Jest to wynik dużej liczby problemów ortograficznych i gramatycznych, a także innych związanych z jasnością, inkluzywnością i stylem.

Pisanie na poziomie 4 jest tutaj problemem. Zawsze najlepiej jest pisać na poziomie odbiorców. Ryzykujesz ich utratę, jeśli Twoje pisanie jest zbyt skomplikowane lub zbyt proste. W tym przypadku GPT-3 pisze na poziomie zbyt podstawowym dla odbiorców biznesowych.

Człowiek

Ten człowiek, naprawdę, wykonał całkiem przyzwoitą robotę, jeśli mogę tak powiedzieć. Artykuł znajduje się wygodnie powyżej celu, z wynikiem 45 punktów za treść. Wynik pisarza na poziomie 99 jest prawie doskonały, a powinien być. Używam wtyczki Writer for Chrome, więc z góry wyłapuję wszelkie błędy. Poziom 8 nadal mieści się w zakresie odbiorców biznesowych.

Przewaga technologii MarketMuse NLG

GPT-3 to rozwiązanie w poszukiwaniu aplikacji. Jedynym sposobem uzyskania dostępu do interfejsu API jest dołączenie do listy oczekujących, na której opisany jest Twój przypadek użycia muse. Nawet mając dostęp, nadal będziesz ograniczony w korzystaniu z tego, co zapewnia interfejs programowania aplikacji.

Technologia MarketMuse NLG została stworzona w celu rozwiązania konkretnego przypadku użycia, w szczególności generowania długich artykułów o jakości SEO dla content marketerów. Oto zalety, jakie ma do zaoferowania.

1. Spójność i struktura – Wydajność technologii MarketMuse NL jest podyktowana dokumentami dotyczącymi zawartości MarketMuse, dzięki czemu szkice są spójne i ustrukturyzowane po wyjęciu z pudełka. GPT-3 zaczyna się od szybkiego tekstu, ale brakuje mu barier ochronnych, co prowadzi do nieuporządkowanych danych wyjściowych nieodpowiednich dla treści o jakości SEO.
2. Kontrola — użytkownicy mogą tworzyć własne zestawienia zawartości MarketMuse przed zamówieniem wersji roboczej. Określ tematy, o których powinien wspomnieć artykuł, pytania, na które powinien odpowiadać, oraz sekcje artykułu. GPT-3 oferuje niewielką kontrolę nad tematami, o których wspominają generacje, a które pytania dotyczące treści.
3. Gotowy do publikacji — dane wyjściowe technologii MarketMuse NLG można przetworzyć na treści gotowe do publikacji w ciągu 1-2 godzin. Edycja danych wyjściowych GPT-3 w treść gotową do publikacji zajmuje kilka godzin.
4. Degradacja, plagiat, powtórzenia — technologia MarketMuse NLG tworzy tekst wolny od degradacji, plagiatu i powtórzeń. Wyjście GPT-3 nie sprawdza degradacji, plagiatu ani powtórzeń.
5. Szkolenie — Technologia MarketMuse NLG jest szkolona na podstawie artykułów z wyselekcjonowanego zbioru danych (z wyłączeniem treści seksistowskich, rasistowskich i dla dorosłych), aby poprawić wyniki pokoleń. GPT-3 jest szkolony w całej sieci, w tym w treściach o niskiej jakości, wulgarnych i nienawistnych, co prowadzi do generacji o niskiej jakości.
6. Konfiguracja – Technologia MarketMuse NLG może być skonfigurowana do pisania w Twoim stylu lub takim, który chcesz naśladować, a także z czasem przyswaja nowe słownictwo. GPT-3 może generować tekst tylko na podstawie parametrów modelu, z niewielką lub żadną konfigurowalnością.
7. Długość artykułu — technologia MarketMuse NLG może generować artykuły o długości do 5000 słów w oparciu o długość dokumentu MarketMuse Content Brief. GPT-3 może generować tylko do ~ 1200 słów.

Na wynos

Skaluj tworzenie treści bez skalowania kosztów i bólu głowy. Technologia MarketMuse NLG przyspiesza tworzenie treści, wykorzystując sztuczną inteligencję do tworzenia kompletnych wersji roboczych artykułów na podstawie informacji o treści MarketMuse. Utrzymuj przewidywalne koszty treści i stałą jakość, pozwalając sztucznej inteligencji na wykonanie pracy polegającej na przygotowaniu mocnego wstępnego szkicu.