MarketMuseNLGテクノロジーとGPT-3

最近GPT-3に関心が集まったため、GPT-2を評価する際のプロセスと同様に、MarketMuseNLGテクノロジーとの比較を検討することにしました。

例に飛び込む前に、MarketMuseNLGテクノロジーの差別化要因の概要を簡単に説明します。

• GPT-3とは異なり、トピックを指定して、コンテンツブリーフを「バックボーン」として使用して、記事を1つずつ作成します。
• トピックが与えられると、小見出しと関連トピックに構造化されたコンテンツブリーフを生成し、それをガイドとして使用します。
• 短いセクションごとに、関連するトピックと小見出しをプロンプトとして使用し、品質フィルターを通過する出力を生成するまで生成を続けます。
• 私たちのフィルターには、もちろん、出力に表示されると予想されるコンテンツスコアと関連トピックの存在が含まれますが、文法エラー、語彙の多様性、盗用、およびその他の読みやすさの尺度もチェックします。

3つのコンテンツ例

GPT-3は以前のものよりも大きく、おそらく優れていますが、インターネットを乗っ取る可能性は低いです。 OpenAIは、言語モデルに関する詳細な論文（PDF）を公開しました。 私たちの目的のために、私たちは自然言語生成の背後にある科学を研究することに興味がありません。 代わりに、経験的なアプローチを取っています。

以下に、MarketMuse NLG Technology、GPT-3、およびMarketMuse NLG Technologyの助けを借りた人間によって書かれた、Twitterに参加することの重要性に関する3つの抜粋を示します。 どれがどれかわかりますか？

バージョン1

バージョン2

バージョン3

人間が作成したコンテンツはどれですか？

まず、「スニフ」テストに合格するかどうかを見てみましょう。 これらの記事は人間によって書かれたように見えますか？

1つだけでした。 どれだと思いますか？

1つ目はGPT-3によって作成され、2つ目は人間によって作成され、3つ目はMarketMuseNLGTechnologyによって作成されました。

彼らは情報を伝えるのがどれほど上手か

コンテンツスコア、ライタースコア、および学年に対する3つのアプローチすべての出力を調べてみましょう。

MarketMuseコンテンツスコアは、トピックモデルと比較して、作品がトピックをどの程度カバーしているかを評価します。 高いほど良いです。この記事の推奨コンテンツスコアは42ですが、完璧なスコアというものはありません。

ライタースコアは、Writer.comによって割り当てられたスコアであり、スペルと文法、用語、スタイル、明快さ、包括性、および配信に基づいています。高いほど良いです。 グレードレベルは、コンテンツを理解するために必要な予想される教育レベルを示します。 あなたの文章の成績レベルは、一般的にあなたの聴衆のそれと一致する必要があります。

MarketMuseNLGテクノロジー

予想通り、MarketMuse NLGテクノロジーは、モデル内のトピックに対処するという点で最善を尽くしました。 これは、単語数とコンテンツスコアという2つの重要なKPIを確実に満たすように設計されています。

MarketMuse NLGテクノロジーは、ライタースコアに関しては驚くほどうまくいきました。 スペルと文法、用語の使用法、スタイル、および明快さに関していくつかの問題がありました。 グレードレベルは、この記事の対象読者の範囲内です。

GPT-3

GPT-3は、多くのことを話すがほとんど話さない人のようなものです。

コンテンツスコア4については、非常に簡単な説明があります。この記事では、Twitterを利用することの重要性について専門家が行う重要な問題については取り上げていません。 確かに、この投稿はかわいくて面白いかもしれませんが、実体はありません。

Twitterについての約2,400語に一度も、この記事は次のことについて話したり説明したりしませんでした。

• ソーシャルメディア
• ツイート
• Twitterフォロワー
• Twitterマーケティング
• トレンドハッシュタグ

MarketMuseトピックモデルにある他の45のトピックは言うまでもありません。 問題は、記事に構造と固有の意味が欠けていることです。

人間がその記事を提出した場合、あなたはどうしますか？

投稿には、Twitterを利用することの重要性について洞察に満ちたものは何も書かれていません。 その結果、そのドラフトを編集して、公開可能なコンテンツの貴重な部分に磨くのは非常に困難です。 これは、GPT-2を評価したときに発見したのと同じ問題です。

この種の記事には一言あります。 それは「綿毛」と呼ばれています。

また、ライタースコアが最も低くなりました。 これは、明快さ、包括性、スタイルに関係する他の問題とともに、多数のスペルと文法の問題の結果です。

ここでは、グレードレベル4で書くことが懸念事項です。 あなたの聴衆のレベルで書くことが常に最善です。 文章が複雑すぎたり単純すぎたりすると、それらを失うリスクがあります。 この場合、GPT-3は、ビジネスオーディエンスにはあまりにも基本的なレベルで書いています。

人間

私がそう言うかもしれないが、人間は、あなたの本当に、かなりまともな仕事をしました。 記事は目標を上回り、コンテンツスコアは45です。ライタースコアは99で、ほぼ完璧です。 Writer for Chromeプラグインを使用しているので、エラーを事前にキャッチします。 グレードレベル8は、依然としてビジネスオーディエンスの範囲内です。

MarketMuseNLGテクノロジーの利点

GPT-3は、アプリケーションを検索するためのソリューションです。 APIにアクセスする唯一の方法は、ユースケースのミューズが記述されている順番待ちリストに参加することです。 アクセスできる場合でも、アプリケーションプログラミングインターフェイスを介して提供されるものを使用することは制限されます。

MarketMuse NLGテクノロジーは、特定のユースケースを解決するために作成されました。特に、コンテンツマーケター向けの長い形式のSEO品質の記事を生成します。 これが提供しなければならない利点です。

1. 一貫性と構造– MarketMuse NL Technologyの出力は、MarketMuseコンテンツブリーフによって決定されるため、ドラフトは一貫性があり、箱から出してすぐに構造化されます。 GPT-3はプロンプトテキストで始まりますが、ガードレールがないため、SEO品質のコンテンツに適さない非構造化出力になります。
2. コントロール–ユーザーは、ドラフトを注文する前に、独自のMarketMuseコンテンツブリーフを作成できます。 記事で言及するトピック、回答する質問、および記事のセクションを指定します。 GPT-3は、世代が言及するトピックとコンテンツが回答する質問をほとんど制御できません。
3. パブリケーション対応– MarketMuse NLGテクノロジーの出力は、1〜2時間でパブリケーション対応のコンテンツに編集できます。 GPT-3出力は、パブリケーション対応のコンテンツに編集されるまでに数時間かかります。
4. 劣化、盗用、繰り返し– MarketMuse NLGテクノロジーは、長さの劣化、盗用、繰り返しのないテキストを生成します。 GPT-3出力は、劣化、盗用、または繰り返しをチェックしません。
5. トレーニング– MarketMuse NLGテクノロジーは、世代の結果を改善するために、厳選されたデータセット（性差別主義者、人種差別主義者、および成人向けコンテンツを除く）からの記事でトレーニングされます。 GPT-3は、低品質で露骨な嫌悪感のあるコンテンツを含むWeb全体でトレーニングされており、低品質の世代につながります。
6. 構成– MarketMuse NLGテクノロジーは、自分のスタイルまたはエミュレートしたいスタイルで記述し、時間の経過とともに新しい語彙を学習するように構成できます。 GPT-3は、モデルのパラメーターに基づいてテキストを生成することしかできず、構成可能性はほとんどまたはまったくありません。
7. 記事の長さ– MarketMuse NLGテクノロジーは、MarketMuseコンテンツブリーフの長さに基づいて最大5,000語の記事を生成できます。 GPT-3は、最大1,200語しか生成できません。

テイクアウェイ

コストや頭痛の種を増やすことなく、コンテンツ作成を拡大します。 MarketMuse NLGテクノロジーは、AIを使用して、MarketMuseコンテンツブリーフに基づいて記事の完全なドラフトを作成することにより、コンテンツの作成を加速します。 強力な初期ドラフトを取得する作業をAIに任せることで、コンテンツのコストを予測可能にし、品質を一定に保ちます。