GPT-3 暴露：煙霧和鏡子背後

最近有很多關於 GPT-3 的炒作，用 OpenAI 的首席執行官 Sam Altman 的話來說， “太多了”。 如果你不認識這個名字，OpenAI 是開發自然語言模型 GPT-3 的組織，它代表生成式預訓練變壓器。

NLG 模型 GPT 系列的第三次演變目前可用作應用程序接口 (API)。 這意味著如果您現在打算使用它，您將需要一些編程技巧。

是的，確實，GPT-3 還需要很長時間。 在這篇文章中，我們看看為什麼它不適合內容營銷人員並提供替代方案。

使用 GPT-3 創建文章效率低下

衛報在 9 月寫了一篇文章，標題是一個機器人寫了整篇文章。 你還害怕嗎，人類？ AI 內部一些受人尊敬的專業人士的反對是立竿見影的。

The Next Web 寫了一篇反駁文章，說明他們的文章是如何與 AI 媒體炒作完全不符的。 正如文章解釋的那樣， “這篇專欄文章所隱藏的內容比它所說的更多。”

他們必須拼湊出 8 篇不同的 500 字論文，才能想出適合發表的內容。 想一想。 沒有什麼有效的！

沒有人可以給編輯 4,000 個單詞，並期望他們將其編輯到 500 個！ 這揭示了平均而言，每篇文章包含大約 60 個單詞 (12%) 的可用內容。

那週晚些時候，《衛報》確實發表了一篇關於他們如何創作原創作品的後續文章。 他們編輯 GPT-3 輸出的分步指南從“第 1 步：向計算機科學家尋求幫助”開始。

真的嗎？ 我不知道有任何內容團隊有計算機科學家隨叫隨到。

GPT-3 產生低質量的內容

早在《衛報》發表他們的文章之前，關於 GPT-3 輸出質量的批評就越來越多。

仔細研究 GPT-3 的人發現，流暢的敘述缺乏實質內容。 正如《技術評論》所觀察到的， “儘管它的輸出是合乎語法的，甚至是令人印象深刻的慣用語，但它對世界的理解往往嚴重偏離。”

GPT-3 的炒作體現了我們需要小心的那種擬人化。 正如 VentureBeat 解釋的那樣， “圍繞此類模型的炒作不應誤導人們相信語言模型能夠理解或理解。”

在對 GPT-3 進行圖靈測試時，Kevin Lacker 透露 GPT-3 沒有專業知識，並且在某些領域“仍然明顯低於人類” 。

在他們對測量大規模多任務語言理解的評估中，這是 Synced AI Technology & Industry Review 不得不說的。

“即使是頂級的 1750 億參數的 OpenAI GPT-3 語言模型，在語言理解方面也有點愚蠢，尤其是在遇到更廣度和深度的話題時。”

為了測試 GPT-3 可以產生多全面的文章，我們通過 Optimize 運行 Guardian 文章，以確定它在多大程度上解決了專家在撰寫該主題時提到的主題。 我們過去在比較 MarketMuse 與 GPT-3 及其前身 GPT-2 時已經這樣做了。

再一次，結果並不理想。 GPT-3 得分為 12，而 SERP 中前 20 篇文章的平均得分為 18。目標內容得分，即某人/某事創建該文章的目標，為 29。

進一步探索這個話題

什麼是內容分數？
什麼是優質內容？
解釋了 SEO 的主題建模

GPT-3 是 NSFW

GPT-3 可能不是棚子裡最鋒利的工具，但還有更陰險的東西。 根據 Analytics Insight 的說法， “該系統能夠輸出有毒的語言，很容易傳播有害的偏見。”

問題出在用於訓練模型的數據上。 GPT-3 60% 的訓練數據來自 Common Crawl 數據集。 這個龐大的文本語料庫被挖掘用於統計規律，這些規律作為加權連接輸入到模型的節點中。 該程序查找模式並使用這些模式來完成文本提示。

正如 TechCrunch 所說， “任何在很大程度上未經過濾的互聯網快照上訓練的模型，其發現都可能相當有害。”

在他們關於 GPT-3 (PDF) 的論文中，OpenAI 研究人員調查了關於性別、種族和宗教的公平、偏見和代表性。 他們發現，對於男性代詞，該模型更可能使用“懶惰”或“古怪”等形容詞，而女性代詞則經常與“頑皮”或“爛”等詞相關聯。

當 GPT-3 準備好談論種族時，黑人和中東人的輸出比白人、亞洲人或拉丁裔更負面。 同樣，各種宗教也有許多負面含義。 “恐怖主義”更常見於“伊斯蘭教”附近，而“種族主義者”一詞更常見於“猶太教”附近。

接受過未經整理的互聯網數據培訓後，GPT-3 的輸出可能會令人尷尬，即使不是有害的。

所以你很可能需要八份草稿來確保你最終得到適合發表的東西。

MarketMuse NLG 技術與 GPT-3 的區別

MarketMuse NLG 技術幫助內容團隊創建長篇文章。 如果您正在考慮以這種方式使用 GPT-3，您會感到失望。

使用 GPT-3，您會發現：

• 它實際上只是一個尋找解決方案的語言模型。
• API 需要編程技能和知識才能訪問。
• 輸出沒有結構，並且在其主題覆蓋範圍內往往非常淺。
• 沒有考慮工作流程會導致使用 GPT-3 效率低下。
• 它的輸出沒有針對 SEO 進行優化，因此您需要編輯和 SEO 專家來審查它。
• 它不能產生長篇內容，遭受退化和重複，並且不檢查抄襲。

MarketMuse NLG 技術具有許多優勢：

• 它專門用於幫助內容團隊構建完整的客戶旅程，並使用 AI 生成的、可供編輯的內容草稿更快地講述他們的品牌故事。
• 人工智能驅動的內容生成平台不需要技術知識。
• MarketMuse NLG 技術由人工智能驅動的內容簡介構成。 他們保證滿足 MarketMuse 的目標內容分數，這是衡量文章全面性的重要指標。
• MarketMuse NLG 技術通過 MarketMuse Suite 中的內容創建直接連接到內容規劃/策略。 直到編輯和發佈為止，內容計劃的創建都完全由技術支持。
• 除了全面涵蓋某個主題外，MarketMuse NLG 技術還針對搜索進行了優化。
• MarketMuse NLG 技術生成長篇內容，不存在抄襲、重複或退化。

MarketMuse NLG 技術如何運作

我有機會與 MarketMuse 數據科學團隊的兩位機器學習研究工程師 Ahmed Dawod 和 Shash Krishna 交談。 我讓他們了解 MarketMuse NLG 技術的工作原理以及 MarketMuse NLG 技術和 GPT-3 方法之間的區別。

這是該對話的摘要。

用於訓練自然語言模型的數據起著至關重要的作用。 MarketMuse 在用於訓練其自然語言生成模型的數據方面非常有選擇性。 我們有非常嚴格的過濾器，以確保數據乾淨，避免性別、種族和宗教方面的偏見。

此外，我們的模型專門針對結構良好的文章進行訓練。 我們不使用 Reddit 帖子或社交媒體帖子等。 儘管我們談論的是數百萬篇文章，但與其他方法中使用的信息的數量和類型相比，它仍然是一個非常精緻和精心策劃的集合。 在訓練模型時，我們使用許多其他數據點來構建它，包括標題、副標題和每個副標題的相關主題。

GPT-3 使用來自 Common Crawl、維基百科和其他來源的未經過濾的數據。 他們對數據的類型或質量不是很挑剔。 格式良好的文章約佔 Web 內容的 3%，這意味著 GPT-3 的訓練數據中只有 3% 由文章組成。 當您以這種方式考慮時，他們的模型不是為撰寫文章而設計的。

我們根據每個生成請求微調我們的 NLG 模型。 在這一點上，我們收集了幾千篇關於特定主題的結構良好的文章。 就像用於基礎模型訓練的數據一樣，這些需要通過我們所有的質量過濾器。 分析文章以提取每個小節的標題、小節和相關主題。 我們將這些數據反饋到訓練模型中以進行另一階段的訓練。 這使模型從能夠普遍談論主題的狀態轉變為或多或少像主題專家一樣交談。

此外，MarketMuse NLG 技術使用標題、副標題及其相關主題等元標籤在生成文本時提供指導。 這為我們提供了更多的控制權。 它基本上教導模型，以便在生成文本時，在其輸出中包含那些重要的相關主題。

GPT-3 沒有這樣的上下文； 它只是使用了一個介紹性段落。 微調他們龐大的模型非常困難，而且僅僅為了運行推理就需要龐大的基礎設施，更不用說微調了。

儘管 GPT-3 可能很神奇，但我不會花一分錢來使用它。 無法使用！ 正如 Guardian 文章所示，您將花費大量時間將多個輸出編輯成一篇可發布的文章。

即使模型很好，它也會像任何普通的非專家一樣談論主題。 這是由於他們的模型學習的方式。 事實上，它更有可能像社交媒體用戶一樣說話，因為這是它的大部分訓練數據。

另一方面，MarketMuse NLG Technology 是針對結構良好的文章進行培訓，然後使用關於草案特定主題的文章進行微調。 這樣一來，MarketMuse NLG Technology 的輸出比 GPT-3 更接近專家的想法。

概括

MarketMuse NLG 技術旨在解決特定挑戰； 如何幫助內容團隊更快地製作出更好的內容。 這是我們已經成功的人工智能內容簡介的自然延伸。

雖然從研究的角度來看 GPT-3 非常出色，但要投入使用還有很長的路要走。