MarketMuse NLG 기술 대 GPT-3

최근 GPT-3에 대한 모든 관심으로 우리는 GPT-2를 평가할 때 취한 프로세스와 유사하게 MarketMuse NLG Technology와 비교하기로 결정했습니다.

예제를 살펴보기 전에 MarketMuse NLG Technology의 차별화 요소에 대한 간략한 개요가 있습니다.

• GPT-3와 달리 주제가 주어지면 내용 요약을 '백본'으로 사용하여 기사를 하나씩 작성합니다.
• 주어진 주제에 대해 소제목 및 관련 주제로 구성된 내용 요약을 생성하고 이를 가이드로 사용합니다.
• 각 간략한 섹션에 대해 관련 주제와 부제목을 프롬프트로 사용하고 품질 필터를 통과하는 출력을 생성할 때까지 계속 생성합니다.
• 필터에는 물론 콘텐츠 점수와 출력에서 ​​볼 것으로 예상되는 관련 주제의 존재가 포함되지만 문법 오류, 어휘 다양성, 표절 및 기타 가독성 측정도 확인합니다.

세 가지 콘텐츠 예시

GPT-3은 이전 제품보다 더 크고 더 나은 것으로 추정되지만 인터넷을 장악할 가능성은 낮습니다. OpenAI는 그들의 언어 모델에 대한 상세한 논문(PDF)을 발표했습니다. 우리의 목적을 위해 우리는 자연어 생성 뒤에 숨은 과학을 연구하는 데 관심이 없습니다. 대신에 우리는 실증적 접근을 취하고 있습니다.

아래에서 MarketMuse NLG Technology, GPT-3 및 MarketMuse NLG Technology의 도움으로 사람이 작성한 Twitter에서의 중요성에 대한 세 가지 발췌문을 찾을 수 있습니다. 어느 것이 어느 것인지 알 수 있습니까?

버전 1

버전 2

버전 3

사람이 만든 콘텐츠는 무엇입니까?

먼저 "sniff" 테스트를 통과하는지 봅시다. 이 글들이 마치 사람이 쓴 것처럼 보입니까?

단 하나였습니다. 어느 쪽인지 짐작할 수 있습니까?

첫 번째는 GPT-3, 두 번째는 사람, 세 번째는 MarketMuse NLG Technology가 작성했습니다.

그들이 정보를 얼마나 잘 전달하는가

Content Score, Writer Score, Grade Level에 대한 세 가지 접근 방식 모두의 결과를 살펴보겠습니다.

MarketMuse 콘텐츠 점수는 주제 모델과 비교하여 해당 작품이 주제를 얼마나 잘 다루었는지 평가합니다. 높을수록 좋으며 이 기사의 경우 권장 콘텐츠 점수는 42이지만 완벽한 점수는 없습니다.

Writer Score는 Writer.com에서 할당한 점수이며 철자 및 문법, 용어, 스타일, 명확성, 포괄성 및 전달을 기반으로 합니다. 높을수록 좋습니다. 학년 수준은 내용을 이해하는 데 필요한 예상 교육 수준을 나타냅니다. 글의 학년 수준은 일반적으로 청중의 수준과 일치해야 합니다.

MarketMuse NLG 기술

예상대로 MarketMuse NLG Technology는 모델의 주제를 다루는 데 최선을 다했습니다. 두 가지 중요한 KPI인 단어 수와 콘텐츠 점수를 충족하도록 설계되었습니다.

MarketMuse NLG Technology는 Writer Score에서 놀라울 정도로 좋은 성과를 보였습니다. 철자 및 문법, 용어 사용, 스타일 및 명확성에 몇 가지 문제가 있었습니다. 등급 수준은 이 기사의 대상 독자 범위 내에 있습니다.

GPT-3

GPT-3 는 말은 많이 하지만 말은 거의 하지 않는 사람과 같습니다.

콘텐츠 점수 4점에 대한 정말 간단한 설명이 있습니다. 이 기사는 전문가가 Twitter에서 활동하는 것의 중요성을 논의할 때 하는 중요한 문제를 다루지 않습니다. 물론 게시물이 귀엽고 재미있을 수 있지만 내용이 없습니다.

Twitter에 대한 거의 2,400단어 중 한 번도 기사에서 다음과 관련된 내용을 언급하거나 설명하지 않았습니다.

• 소셜 미디어
• 트윗
• 트위터 팔로워
• 트위터 마케팅
• 인기 해시태그

MarketMuse 주제 모델에서 찾을 수 있는 45개의 다른 주제는 말할 것도 없습니다. 문제는 기사에 구조와 고유한 의미가 없다는 것입니다.

인간이 그 기사를 제출했다면 어떻게 하시겠습니까?

이 게시물에는 Twitter에 있는 것의 중요성에 대해 통찰력 있는 내용이 없습니다. 결과적으로 해당 초안을 편집하고 출판 가능한 가치 있는 콘텐츠로 다듬는 것이 훨씬 더 어렵습니다. GPT-2를 평가할 때 발견한 것과 동일한 문제입니다.

이런 종류의 기사에 대한 단어가 있습니다. "푸프"라고 합니다.

그것은 또한 가장 낮은 작가 점수를 받았습니다. 이는 명확성, 포괄성 및 스타일과 관련된 다른 문제와 함께 많은 철자 및 문법 문제의 결과입니다.

여기서 4학년 작문은 관심사입니다. 청중 수준에서 작성하는 것이 항상 가장 좋습니다. 글이 너무 복잡하거나 너무 단순하면 잃어버릴 위험이 있습니다. 이 경우 GPT-3은 비즈니스 청중에게 너무 기본적인 수준에서 작성하고 있습니다.

인간

내 자신이 그렇게 말할 수 있다면, 당신의 인간은 정말로 꽤 괜찮은 일을 했습니다. 기사는 콘텐츠 점수가 45로 대상보다 편안하게 표시됩니다. 작성자 점수(99)는 거의 완벽합니다. Writer for Chrome 플러그인을 사용하므로 오류를 미리 파악합니다. 8등급은 여전히 ​​비즈니스 대상 범위 내에 있습니다.

MarketMuse NLG 기술의 장점

GPT-3는 응용 프로그램을 찾는 솔루션입니다. API에 액세스하는 유일한 방법은 사용 사례를 설명하는 대기자 명단에 가입하는 것입니다. 액세스 권한이 있어도 응용 프로그래밍 인터페이스를 통해 제공되는 것을 사용하는 데는 여전히 제한이 있습니다.

MarketMuse NLG 기술은 특히 콘텐츠 마케터를 위한 긴 형식의 SEO 품질 기사를 생성하는 특정 사용 사례를 해결하기 위해 만들어졌습니다. 여기에서 제공하는 이점이 있습니다.

1. 일관성 및 구조 – MarketMuse NL 기술 출력은 MarketMuse Content Briefs에 의해 결정되므로 초안이 즉시 구성되고 일관성이 있습니다. GPT-3은 프롬프트 텍스트로 시작하지만 가드레일이 없기 때문에 SEO 품질 콘텐츠에 부적합한 구조화되지 않은 출력이 나옵니다.
2. 제어 – 사용자는 초안을 주문하기 전에 자신만의 MarketMuse 콘텐츠 브리프를 작성할 수 있습니다. 기사에서 언급해야 하는 주제, 답변해야 하는 질문 및 기사 섹션을 지정합니다. GPT-3은 세대가 언급한 주제와 내용이 답변하는 질문에 대한 제어를 거의 제공하지 않습니다.
3. 출판 준비 – MarketMuse NLG 기술 출력은 1-2시간 안에 출판 준비 콘텐츠로 편집할 수 있습니다. GPT-3 출력은 출판 준비가 된 콘텐츠로 편집하는 데 몇 시간이 걸립니다.
4. 품질 저하, 표절, 반복 – MarketMuse NLG 기술은 길이, 표절 및 반복에 있어 품질 저하가 없는 텍스트를 생성합니다. GPT-3 출력은 저하, 표절 또는 반복을 확인하지 않습니다.
5. 교육 – MarketMuse NLG Technology는 선별된 데이터 세트(성차별, 인종차별 및 성인 콘텐츠 제외)의 기사에 대해 교육을 받아 세대의 결과를 개선합니다. GPT-3은 저품질, 노골적, 증오성 콘텐츠를 포함하여 전체 웹에서 교육되어 저품질 세대로 이어집니다.
6. 구성 – MarketMuse NLG 기술은 시간이 지남에 따라 새로운 어휘를 학습할 뿐만 아니라 에뮬레이션하려는 스타일이나 스타일로 작성하도록 구성할 수 있습니다. GPT-3은 구성 가능성이 거의 또는 전혀 없이 모델의 매개변수를 기반으로 하는 텍스트만 생성할 수 있습니다.
7. 기사 길이 – MarketMuse NLG Technology는 MarketMuse 콘텐츠 요약의 길이를 기준으로 최대 5,000단어의 기사를 생성할 수 있습니다. GPT-3는 최대 1,200단어까지만 생성할 수 있습니다.

테이크아웃

비용과 골칫거리를 늘리지 않고 콘텐츠 생성을 확장하십시오. MarketMuse NLG 기술은 AI를 사용하여 MarketMuse 콘텐츠 브리프를 기반으로 기사의 완전한 초안을 작성함으로써 콘텐츠 생성을 가속화합니다. AI가 강력한 초기 초안을 만드는 작업을 수행하도록 하여 콘텐츠 비용을 예측 가능하고 품질을 일관되게 유지하세요.