GPT-3 Maruz Kaldı: Duman ve Aynaların Arkası

Son zamanlarda GPT-3'ü çevreleyen çok fazla yutturmaca var ve OpenAI'nin CEO'su Sam Altman'ın sözleriyle “çok fazla”. Adı bilmiyorsanız, OpenAI, üretici önceden eğitilmiş transformatör anlamına gelen doğal dil modeli GPT-3'ü geliştiren kuruluştur.

NLG modellerinin GPT serisindeki bu üçüncü evrim, şu anda bir uygulama programı arayüzü (API) olarak mevcuttur. Bu, şu anda kullanmayı planlıyorsanız, bazı programlama parçalarına ihtiyacınız olacağı anlamına gelir.

Evet, gerçekten de, GPT-3'ün gidecek çok zamanı var. Bu yazıda, içerik pazarlamacıları için neden uygun olmadığına bakıyoruz ve bir alternatif sunuyoruz.

GPT-3 Kullanarak Makale Oluşturmak Verimsiz

Guardian, Eylül ayında başlığıyla bir makale yazdı. Bu makalenin tamamını bir robot yazdı. Hala korkuyor musun, insan? Yapay zeka içindeki bazı saygın profesyonellerin tepkisi hemen gerçekleşti.

Next Web, makalelerinin AI medya yutturmaca ile ilgili her şeyin nasıl yanlış olduğuna dair bir çürütme makalesi yazdı. Makalenin açıkladığı gibi, "Baskı, söylediklerinden çok gizledikleriyle ortaya çıkıyor."

Yayınlanmaya uygun bir şey bulmak için 8 farklı 500 kelimelik makaleyi bir araya getirmek zorunda kaldılar. Bunu bir dakikalığına düşün. Bu konuda verimli bir şey yok!

Hiçbir insan bir editöre 4.000 kelime verip onlardan bunu 500'e indirmesini bekleyemez! Bunun ortaya çıkardığı şey, her bir makalenin ortalama olarak yaklaşık 60 kelime (%12) kullanılabilir içerik içerdiğidir.

O haftanın ilerleyen saatlerinde The Guardian, orijinal parçayı nasıl oluşturduklarına dair bir takip makalesi yayınladı. GPT-3 çıktısını düzenlemeye yönelik adım adım kılavuzları "1. Adım: Bir bilgisayar bilimcisinden yardım isteyin" ile başlar.

Gerçekten? Bir bilgisayar bilimcisinin emrinde olan herhangi bir içerik ekibi bilmiyorum.

GPT-3 Düşük Kaliteli İçerik Üretiyor

Guardian makalelerini yayınlamadan çok önce, GPT-3'ün çıktısının kalitesi hakkında eleştiriler artıyordu.

GPT-3'e daha yakından bakanlar, akıcı anlatımın özden yoksun olduğunu gördüler. Technology Review'in gözlemlediği gibi, "çıktısı dilbilgisel ve hatta etkileyici bir biçimde deyimsel olsa da, dünyayı kavrayışı çoğu zaman ciddi biçimde kapalıdır."

GPT-3 hype, dikkatli olmamız gereken kişileştirme türünün bir örneğidir. VentureBeat'in açıkladığı gibi, "bu tür modellerin etrafındaki hype, insanları dil modellerinin anlama veya anlamlandırma yeteneğine sahip olduğuna inanmaya yönlendirmemelidir."

Kevin Lacker, GPT-3'e Turing Testi verirken, GPT-3'ün hiçbir uzmanlığa sahip olmadığını ve bazı alanlarda "hala açıkça insanlık dışı" olduğunu ortaya koyuyor.

Devasa çok görevli dil anlayışını ölçme değerlendirmelerinde, işte Senkronize Yapay Zeka Teknoloji ve Endüstri İncelemesinin söyledikleri.

“ En üst düzey 175 milyar parametreli OpenAI GPT-3 dil modeli bile, dil anlama söz konusu olduğunda, özellikle daha geniş ve derinlikli konularla karşılaşıldığında biraz aptalca .”

GPT-3'ün ne kadar kapsamlı bir makale üretebileceğini test etmek için, uzmanların bu konuda yazarken bahsettiği konuları ne kadar iyi ele aldığını belirlemek için Optimize aracılığıyla Guardian makalesini çalıştırdık. Bunu geçmişte MarketMuse ile GPT-3'ü ve önceki GPT-2'yi karşılaştırırken yapmıştık.

Bir kez daha, sonuçlar yıldızdan daha azdı. GPT-3 12 puan alırken, SERP'deki ilk 20 makalenin ortalaması 18'dir. Bu makaleyi oluşturan kişinin/bir şeyin neyi hedeflemesi gerektiği Hedef İçerik Puanı 29'dur.

GPT-3, NSFW'dir

GPT-3, kulübedeki en keskin araç olmayabilir, ancak daha sinsi bir şey var. Analytics Insight'a göre, "bu sistem, zararlı önyargıları kolayca yayan zehirli bir dil çıkarma yeteneğine sahiptir."

Sorun, modeli eğitmek için kullanılan verilerden kaynaklanmaktadır. GPT-3'ün eğitim verilerinin %60'ı Common Crawl veri kümesinden gelir. Bu geniş metin külliyatı, modelin düğümlerinde ağırlıklı bağlantılar olarak girilen istatistiksel düzenlilikler için çıkarılmıştır. Program kalıpları arar ve bunları metin istemlerini tamamlamak için kullanır.

TechCrunch'ın belirttiği gibi, "İnternetin büyük ölçüde filtrelenmemiş bir anlık görüntüsü üzerinde eğitilmiş herhangi bir model, bulgular oldukça toksik olabilir."

OpenAI araştırmacıları, GPT-3 hakkındaki makalelerinde (PDF) cinsiyet, ırk ve din ile ilgili adaleti, önyargıyı ve temsili araştırıyor. Modelin erkek zamirleri için "tembel" veya "eksantrik" gibi sıfatları kullanma olasılığının daha yüksek olduğunu, kadın zamirlerinin ise genellikle "yaramaz" veya "emilmiş" gibi kelimelerle ilişkilendirildiğini buldular.

GPT-3 ırk hakkında konuşmaya hazır olduğunda, çıktı Siyah ve Orta Doğu için beyaz, Asyalı veya LatinX için olduğundan daha olumsuzdur. Benzer şekilde, çeşitli dinlerle ilişkilendirilen birçok olumsuz çağrışım vardır. “Terörizm” daha çok “İslam”ın yanına yerleştirilirken, “ırkçılar” kelimesi daha çok “Yahudilik”in yanında bulunur.

Düzenlenmemiş İnternet verileri konusunda eğitilmiş olan GPT-3 çıktısı, zararlı değilse de utanç verici olabilir.

Bu nedenle, yayınlamaya uygun bir şey elde ettiğinizden emin olmak için sekiz taslağa ihtiyacınız olabilir.

MarketMuse NLG Teknolojisi ve GPT-3 Arasındaki Fark

MarketMuse NLG Teknolojisi, içerik ekiplerinin uzun biçimli makaleler oluşturmasına yardımcı olur. GPT-3'ü bu şekilde kullanmayı düşünüyorsanız hayal kırıklığına uğrayacaksınız.

GPT-3 ile şunları keşfedeceksiniz:

• Bu gerçekten sadece bir çözüm arayan bir dil modeli.
• API'ye erişmek için programlama becerileri ve bilgisi gerekir.
• Çıktının bir yapısı yoktur ve güncel kapsamı çok sığ olma eğilimindedir.
• Hiçbir iş akışı düşüncesi, GPT-3 kullanımını verimsiz hale getirmez.
• Çıktısı SEO için optimize edilmemiştir, bu nedenle incelemek için hem bir editöre hem de bir SEO uzmanına ihtiyacınız olacaktır.
• Uzun biçimli içerik üretemez, bozulma ve tekrardan muzdariptir ve intihal kontrolü yapmaz.

MarketMuse NLG Teknolojisi birçok avantaj sunar:

• İçerik ekiplerinin eksiksiz müşteri yolculukları oluşturmasına ve yapay zeka tarafından oluşturulan, editöre hazır içerik taslaklarını kullanarak marka hikayelerini daha hızlı anlatmasına yardımcı olmak için özel olarak tasarlanmıştır.
• Yapay zeka destekli içerik oluşturma platformu, teknik bilgi gerektirmez.
• MarketMuse NLG Teknolojisi, AI destekli İçerik Özetleri tarafından yapılandırılmıştır. Bir makalenin kapsamlılığını ölçen değerli bir ölçüm olan MarketMuse'un Hedef İçerik Puanını karşılamaları garanti edilir.
• MarketMuse NLG Teknolojisi, MarketMuse Suite'te içerik oluşturma ile doğrudan içerik planlama/stratejiye bağlanır. İçerik planlama oluşturma, düzenleme ve yayınlama noktasına kadar teknoloji tarafından tamamen etkinleştirilir.
• MarketMuse NLG Teknolojisi, bir konuyu kapsamlı bir şekilde ele almanın yanı sıra Arama için optimize edilmiştir.
• MarketMuse NLG Teknolojisi, intihal, tekrarlama veya bozulma olmaksızın uzun biçimli içerik üretir.

MarketMuse NLG Teknolojisi Nasıl Çalışır?

MarketMuse Veri Bilimi Ekibindeki iki Makine Öğrenimi Araştırma Mühendisi Ahmed Dawod ve Shash Krishna ile konuşma fırsatım oldu. Onlardan MarketMuse NLG Teknolojisinin nasıl çalıştığını ve MarketMuse NLG Teknolojisi ile GPT-3'ün yaklaşımları arasındaki farkı incelemelerini istedim.

İşte o konuşmanın özeti.

Bir doğal dil modelini eğitmek için kullanılan veriler kritik bir rol oynar. MarketMuse, doğal dil oluşturma modelini eğitmek için kullandığı verilerde çok seçicidir. Cinsiyet, ırk ve din ile ilgili önyargılardan kaçınan temiz veriler sağlamak için çok katı filtrelerimiz var.

Ayrıca, modelimiz yalnızca iyi yapılandırılmış makaleler üzerinde eğitilmiştir. Reddit gönderilerini veya sosyal medya gönderilerini ve benzerlerini kullanmıyoruz. Milyonlarca makaleden söz etmemize rağmen, diğer yaklaşımlarda kullanılan bilgi miktarı ve türü ile karşılaştırıldığında hala çok incelikli ve derlenmiş bir kümedir. Modeli eğitirken, onu yapılandırmak için başlık, alt başlık ve her bir alt başlık için ilgili konular dahil olmak üzere birçok başka veri noktası kullanırız.

GPT-3, Common Crawl, Wikipedia ve diğer kaynaklardan filtrelenmemiş verileri kullanır. Veri türü veya kalitesi konusunda çok seçici değiller. İyi biçimlendirilmiş makaleler, web içeriğinin yaklaşık %3'ünü temsil eder; bu, GPT-3 için eğitim verilerinin yalnızca %3'ünün makalelerden oluştuğu anlamına gelir. Modelleri, bu şekilde düşündüğünüzde makale yazmak için tasarlanmamıştır.

Her nesil talebiyle NLG modelimize ince ayar yapıyoruz. Bu noktada belirli bir konuda birkaç bin iyi yapılandırılmış makale topluyoruz. Temel model eğitimi için kullanılan veriler gibi, bunların da tüm kalite filtrelerimizden geçmesi gerekir. Makaleler, her bir alt bölüm için başlık, alt bölümler ve ilgili konuları çıkarmak için analiz edilir. Bu verileri eğitimin başka bir aşaması için eğitim modeline geri besliyoruz. Bu, modeli genel olarak bir konu hakkında konuşabilme durumundan, az ya da çok bir konu uzmanı gibi konuşmaya götürür.

Ayrıca MarketMuse NLG Teknolojisi, metin oluştururken rehberlik sağlamak için başlık, alt başlıklar ve bunlarla ilgili konular gibi meta etiketleri kullanır. Bu bize çok daha fazla kontrol sağlıyor. Temel olarak modeli öğretir, böylece metin oluşturduğunda, bu önemli ilgili konuları çıktısına dahil eder.

GPT-3'ün böyle bir bağlamı yoktur; sadece bir giriş paragrafı kullanır. Devasa modellerine ince ayar yapmak delicesine zor ve ince ayar yapmak şöyle dursun, çıkarım yapmak için bile geniş bir altyapı gerektiriyor.

GPT-3 ne kadar şaşırtıcı olursa olsun, onu kullanmak için bir kuruş bile ödemem. Kullanılamaz! Guardian makalesinin gösterdiği gibi, birden çok çıktıyı yayınlanabilir tek bir makale halinde düzenlemek için çok zaman harcayacaksınız.

Model iyi olsa bile, konu hakkında uzman olmayan herhangi bir normal insan gibi konuşacaktır. Bu, modellerinin öğrenme biçiminden kaynaklanmaktadır. Aslında, eğitim verilerinin çoğunluğu bu olduğu için bir sosyal medya kullanıcısı gibi konuşma olasılığı daha yüksektir.

Öte yandan, MarketMuse NLG Teknolojisi iyi yapılandırılmış makaleler konusunda eğitilir ve ardından taslağın belirli konusuyla ilgili makaleler kullanılarak özel olarak ince ayar yapılır. Bu şekilde, MarketMuse NLG Teknoloji çıktısı, bir uzmanın düşüncelerine GPT-3'ten daha çok benzemektedir.

Özet

MarketMuse NLG Teknolojisi, belirli bir zorluğu çözmek için oluşturuldu; içerik ekiplerinin daha iyi içeriği daha hızlı üretmesine nasıl yardımcı olunur. Zaten başarılı olan AI destekli içerik özetlerimizin doğal bir uzantısıdır.

GPT-3 araştırma açısından muhteşem olsa da, kullanılabilir hale gelmesi için daha kat edilmesi gereken uzun bir yol var.