GPT-3 노출: 연기와 거울 뒤에

최근 GPT-3를 둘러싸고 많은 과대 광고가 있었고 OpenAI의 CEO Sam Altman은 "너무 많다"고 말했습니다. 이름을 모르신다면 OpenAI는 Generative Pretrained Transformer를 의미하는 자연어 모델 GPT-3을 개발한 기관입니다.

NLG 모델의 GPT 라인에서 이 세 번째 진화는 현재 API(응용 프로그램 인터페이스)로 사용할 수 있습니다. 즉, 지금 사용할 계획이라면 약간의 프로그래밍 작업이 필요합니다.

그렇습니다. GPT-3는 아직 갈 길이 멀었습니다. 이 게시물에서는 콘텐츠 마케터에게 적합하지 않은 이유를 살펴보고 대안을 제시합니다.

GPT-3을 사용하여 기사를 만드는 것은 비효율적입니다.

가디언은 9월에 A 로봇이 이 전체 기사를 작성했다는 제목으로 기사를 작성했습니다. 아직 두렵습니까, 인간? AI 내에서 존경받는 일부 전문가들의 반발은 즉각적이었습니다.

Next Web은 그들의 기사가 AI 미디어 과대 광고와 함께 어떻게 모든 것이 잘못된 것인지에 대한 반박 기사를 작성했습니다. 기사에서 설명하듯이, "기판은 말한 것보다 숨기는 것으로 더 많은 것을 드러냅니다."

그들은 출판에 적합한 것을 찾기 위해 8개의 500단어 에세이를 조합해야 했습니다. 그것에 대해 잠시 생각해보십시오. 그것에 대해 효율적인 것은 없습니다!

편집자에게 4,000단어를 주고 편집자가 500단어로 줄인다고 기대할 수 있는 사람은 아무도 없습니다! 이것은 평균적으로 각 에세이에 사용 가능한 콘텐츠의 약 60단어(12%)가 포함되어 있음을 알 수 있습니다.

그 주 후반에 Guardian은 원본 작품을 어떻게 제작했는지에 대한 후속 기사를 게시했습니다. GPT-3 출력 편집에 대한 단계별 가이드는 "1단계: 컴퓨터 과학자에게 도움을 요청하기"로 시작합니다.

진짜? 저는 컴퓨터 과학자가 필요로 하는 콘텐츠 팀을 알지 못합니다.

GPT-3은 저품질 콘텐츠를 생성합니다.

Guardian이 기사를 게시하기 훨씬 전에 GPT-3의 출력 품질에 대한 비판이 거세게 일고 있었습니다.

GPT-3를 자세히 살펴본 사람들은 부드러운 내러티브에 내용이 부족하다는 것을 알았습니다. Technology Review가 언급한 바와 같이, "출력물이 문법적이고 인상적일 정도로 관용적이긴 하지만 세계에 대한 이해력은 종종 심각하게 떨어져 있습니다."

GPT-3 과대 광고는 우리가 조심해야 할 의인화 유형을 보여줍니다. VentureBeat가 설명하는 것처럼 "그러한 모델에 대한 과대 광고가 사람들로 하여금 언어 모델이 이해하거나 의미할 수 있다고 믿게 해서는 안 됩니다."

Kevin Lacker는 GPT-3에 Turing Test를 제공하면서 GPT-3에 전문 지식이 없고 일부 영역에서 "아직도 분명히 인간 이하" 임을 밝혔습니다.

대규모 멀티태스킹 언어 이해도 측정에 대한 평가에서 Synced AI Technology & Industry Review는 다음과 같이 말했습니다.

" 최상위 계층인 1,750억 개의 매개변수 OpenAI GPT-3 언어 모델도 언어 이해와 관련하여, 특히 더 광범위하고 깊이 있는 주제를 접할 때 약간 멍청합니다 ."

GPT-3 기사가 얼마나 포괄적인 기사를 생성할 수 있는지 테스트하기 위해 Optimize를 통해 Guardian 기사를 실행하여 전문가들이 이 주제에 대해 작성할 때 언급하는 주제를 얼마나 잘 다루고 있는지 확인했습니다. MarketMuse와 GPT-3 및 이전 버전 GPT-2와 비교할 때 과거에 이 작업을 수행했습니다.

다시 한 번, 결과는 그다지 좋지 않았습니다. GPT-3은 12점을 받았지만 SERP에서 상위 20개 기사의 평균은 18점입니다. 해당 기사를 만드는 사람/물건이 목표로 삼아야 하는 대상 콘텐츠 점수는 29점입니다.

GPT-3는 NSFW입니다

GPT-3은 창고에서 가장 날카로운 도구는 아니지만 더 교활한 것이 있습니다. Analytics Insight에 따르면 "이 시스템은 유해한 편향을 쉽게 전파하는 유해한 언어를 출력하는 기능이 있습니다."

문제는 모델을 훈련하는 데 사용된 데이터에서 발생합니다. GPT-3 훈련 데이터의 60%는 Common Crawl 데이터 세트에서 가져옵니다. 이 방대한 텍스트는 모델의 노드에 가중치 연결로 입력되는 통계적 규칙성을 위해 마이닝됩니다. 프로그램은 패턴을 찾고 이를 사용하여 텍스트 프롬프트를 완성합니다.

TechCrunch가 말했듯이 "대부분 필터링되지 않은 인터넷 스냅샷에서 훈련된 모든 모델은 결과에 상당히 해로울 수 있습니다."

GPT-3(PDF)에 대한 논문에서 OpenAI 연구원은 성별, 인종 및 종교에 관한 공정성, 편견 및 대표성을 조사합니다. 그들은 남성 대명사의 경우 모델이 "게으른" 또는 "편심한"과 같은 형용사를 사용할 가능성이 더 높은 반면 여성 대명사는 종종 "장난스러운" 또는 "흡인된"과 같은 단어와 연결된다는 것을 발견했습니다.

GPT-3이 인종에 대해 이야기할 준비가 되었을 때 출력은 백인, 아시아인 또는 LatinX보다 흑인과 중동에 더 부정적입니다. 비슷한 맥락에서 다양한 종교와 관련된 부정적인 의미가 많이 있습니다. "테러리즘"은 "이슬람" 근처에 더 일반적으로 배치되는 반면 "인종차별주의자"라는 단어는 "유대교" 근처에서 발견되는 것과 비슷합니다.

선별되지 않은 인터넷 데이터에 대한 교육을 받은 GPT-3 출력은 해롭지는 않더라도 당혹스러울 수 있습니다.

따라서 게시하기에 적합한 것을 확인하려면 8개의 초안이 필요할 수 있습니다.

MarketMuse NLG 기술과 GPT-3의 차이점

MarketMuse NLG 기술은 콘텐츠 팀이 긴 형식의 기사를 작성하는 데 도움이 됩니다. 이러한 방식으로 GPT-3을 사용할 생각이라면 실망할 것입니다.

GPT-3를 사용하면 다음을 발견할 수 있습니다.

• 솔루션을 찾는 언어 모델일 뿐입니다.
• API에 액세스하려면 프로그래밍 기술과 지식이 필요합니다.
• 출력물은 구조가 없으며 국소 적용 범위가 매우 얕은 경향이 있습니다.
• 워크플로를 고려하지 않아도 GPT-3 사용이 비효율적입니다.
• 출력은 SEO에 최적화되어 있지 않으므로 검토하려면 편집자와 SEO 전문가가 모두 필요합니다.
• 긴 형식의 콘텐츠를 생성할 수 없고, 저하와 반복이 발생하며, 표절 여부를 확인하지 않습니다.

MarketMuse NLG 기술은 다음과 같은 많은 이점을 제공합니다.

• 콘텐츠 팀이 편집자가 준비한 AI 생성 콘텐츠 초안을 사용하여 완전한 고객 여정을 구축하고 브랜드 스토리를 더 빠르게 전달할 수 있도록 특별히 설계되었습니다.
• AI 기반 콘텐츠 생성 플랫폼에는 기술적 지식이 필요하지 않습니다.
• MarketMuse NLG 기술은 AI 기반 Content Briefs로 구성됩니다. 기사의 포괄성을 측정하는 귀중한 지표인 MarketMuse의 Target Content Score를 충족할 것을 보장합니다.
• MarketMuse NLG Technology는 MarketMuse Suite에서 콘텐츠 제작과 함께 콘텐츠 기획/전략에 직접 연결됩니다. 콘텐츠 기획 제작은 편집 및 출판 단계까지 기술로 완벽하게 가능합니다.
• 주제를 철저히 다루는 것 외에도 MarketMuse NLG 기술은 검색에 최적화되어 있습니다.
• MarketMuse NLG 기술은 표절, 반복 또는 저하 없이 긴 형식의 콘텐츠를 생성합니다.

MarketMuse NLG 기술 작동 방식

MarketMuse 데이터 과학 팀의 두 기계 학습 연구 엔지니어인 Ahmed Dawod와 Shash Krishna와 이야기를 나눌 기회가 있었습니다. 나는 그들에게 MarketMuse NLG Technology의 작동 방식과 MarketMuse NLG Technology와 GPT-3의 접근 방식의 차이점을 설명하도록 요청했습니다.

다음은 그 대화를 요약한 것입니다.

자연어 모델을 훈련하는 데 사용되는 데이터는 중요한 역할을 합니다. MarketMuse는 자연어 생성 모델을 교육하는 데 사용하는 데이터에 대해 매우 선택적입니다. 우리는 성별, 인종 및 종교에 대한 편견을 피하는 깨끗한 데이터를 보장하기 위해 매우 엄격한 필터를 가지고 있습니다.

또한, 우리 모델은 잘 구성된 기사에 대해서만 학습됩니다. 우리는 Reddit 게시물이나 소셜 미디어 게시물 등을 사용하지 않습니다. 수백만 개의 기사에 대해 이야기하고 있지만 다른 접근 방식에서 사용되는 정보의 양과 유형에 비해 여전히 매우 세련되고 선별된 세트입니다. 모델을 교육할 때 제목, 부제목 및 각 부제목에 대한 관련 주제를 포함하여 모델을 구조화하기 위해 다른 많은 데이터 요소를 사용합니다.

GPT-3은 Common Crawl, Wikipedia 및 기타 소스에서 필터링되지 않은 데이터를 사용합니다. 그들은 데이터의 유형이나 품질에 대해 그다지 선택적이지 않습니다. 잘 구성된 기사는 웹 콘텐츠의 약 3%를 차지하며, 이는 GPT-3에 대한 교육 데이터의 3%만이 기사로 구성되어 있음을 의미합니다. 그들의 모델은 그런 식으로 생각할 때 기사를 작성하도록 설계되지 않았습니다.

우리는 각 세대 요청에 따라 NLG 모델을 미세 조정합니다. 이 시점에서 우리는 특정 주제에 대해 잘 구성된 수천 개의 기사를 수집합니다. 기본 모델 교육에 사용된 데이터와 마찬가지로 모든 품질 필터를 통과해야 합니다. 기사를 분석하여 각 하위 섹션의 제목, 하위 섹션 및 관련 주제를 추출합니다. 우리는 이 데이터를 훈련의 다른 단계를 위한 훈련 모델에 다시 공급합니다. 이것은 모델을 주제에 대해 일반적으로 말할 수 있는 상태에서 주제 전문가처럼 다소간 이야기할 수 있는 상태로 만듭니다.

또한 MarketMuse NLG Technology는 제목, 부제목 및 관련 주제와 같은 메타 태그를 사용하여 텍스트를 생성할 때 지침을 제공합니다. 이것은 우리에게 훨씬 더 많은 제어를 제공합니다. 기본적으로 텍스트를 생성할 때 출력에 중요한 관련 주제를 포함하도록 모델을 가르칩니다.

GPT-3에는 이와 같은 컨텍스트가 없습니다. 그것은 단지 소개 단락을 사용합니다. 거대한 모델을 미세 조정하는 것은 미친 듯이 어렵고 미세 조정은 고사하고 추론을 실행하기 위한 방대한 인프라가 필요합니다.

GPT-3가 아무리 훌륭해도 나는 그것을 사용하는 데 한 푼도 지불하지 않을 것입니다. 사용할 수 없습니다! Guardian 기사에서 볼 수 있듯이 여러 출력을 하나의 게시 가능한 기사로 편집하는 데 많은 시간을 할애하게 됩니다.

모델이 아무리 좋아도 전문가가 아닌 일반 사람처럼 주제에 대해 이야기합니다. 이는 모델이 학습하는 방식 때문입니다. 사실, 소셜 미디어 사용자처럼 이야기할 가능성이 더 높습니다. 소셜 미디어가 훈련 데이터의 대부분이기 때문입니다.

반면에 MarketMuse NLG Technology는 잘 구성된 기사에 대해 교육을 받은 다음 초안의 특정 주제에 대한 기사를 사용하여 구체적으로 미세 조정됩니다. 이런 식으로 MarketMuse NLG Technology의 출력은 GPT-3보다 전문가의 생각에 더 가깝습니다.

요약

MarketMuse NLG Technology는 특정 문제를 해결하기 위해 만들어졌습니다. 콘텐츠 팀이 더 나은 콘텐츠를 더 빨리 제작할 수 있도록 돕는 방법. 이미 성공한 AI 기반 콘텐츠 브리프의 자연스러운 확장입니다.

GPT-3는 연구 관점에서 훌륭하지만 사용 가능하려면 아직 갈 길이 멉니다.