İçerik Pazarlamasında NLP Nasıl Kullanılır?

Trust Insights'ın kurucu ortağı Chris Penn ve MarketMuse Kurucu Ortağı ve Baş Ürün Sorumlusu Jeff Coyle, pazarlama için yapay zekanın iş gerekçesini tartışıyor. Web seminerinden sonra Paul, Slack Topluluğumuz The Content Strategy Collective'de (buradan katılın) bir bana her şeyi sor oturumuna katıldı. İşte web semineri notları ve ardından AMA'nın bir dökümü.

Web Semineri

Sorun

İçerikteki patlama ile yeni aracılarımız oldu. Onlar gazeteci veya sosyal medya fenomeni değiller. Bunlar algoritmalardır; sizinle hedef kitleniz arasında duran her şeyi dikte eden makine öğrenimi modelleri.

Bunu hesaba katmazsanız, içeriğiniz belirsizliğe gömülmeye devam edecektir.

Çözüm: Doğal Dil İşleme

NLP, büyük miktarda doğal dil verisini işlemek ve analiz etmek için bilgisayarların programlanmasıdır. Bu, belgelerden, sohbet robotlarından, sosyal medya gönderilerinden, web sitenizdeki sayfalardan ve aslında bir kelime yığını olan her şeyden gelir. Kural tabanlı NLP önce geldi, ancak yerini istatistiksel doğal dil işleme aldı.

NLP Nasıl Çalışır?

Doğal dil işlemenin üç temel görevi tanıma, anlama ve oluşturmadır.

Tanıma – Bilgisayarlar metni insanlar gibi işleyemez. Sadece sayıları okuyabilirler. Dolayısıyla ilk adım, dili bilgisayarın anlayabileceği bir biçime dönüştürmektir.

Anlama – Metni sayılar olarak temsil etmek, algoritmaların hangi konuların birlikte en sık bahsedildiğini belirlemek için istatistiksel analiz yapmalarını sağlar.

Üretim – Analiz ve matematiksel anlamadan sonra, NLP'deki bir sonraki mantıklı adım metin üretimidir. Makineler, bir yazarın içeriklerinde yanıtlaması gereken soruları ortaya çıkarmak için kullanılabilir. Başka bir düzeyde, yapay zeka, uzman düzeyinde içerik oluşturmaya yönelik ek bilgiler sağlayan içerik özetlerini yönlendirebilir.

Bu araçlar bugün MarketMuse aracılığıyla ticari olarak mevcuttur. Bunun ötesinde, bugün oynayabileceğiniz, ancak ticari olarak kullanılabilir bir biçimde olmayan doğal dil oluşturma modelleri vardır. Her ne kadar MarketMuse NLG Teknolojisi çok yakında gelecek.

Bahsedilen Ek Kaynaklar

• Huggingface.com
• piton
• R
• ortak çalışma
• IBM Watson Stüdyosu

AMA

AI endüstri trendlerine ayak uydurmak için herhangi bir makaleniz veya web sitesi öneriniz var mı?

Orada yayınlanan akademik araştırmaları okuyun. Bunun gibi sitelerin tümü, en son ve en iyileri kapsama konusunda harika bir iş çıkarıyor.

• KDNuggets.com
• Veri Bilimine Doğru
• kaggle

Bu ve Facebook, Google, IBM, Microsoft ve Amazon'daki büyük araştırma yayın merkezleri. Bu sitelerde paylaşılan tonlarca harika materyal göreceksiniz.

"İçeriğimin tamamı için bir anahtar kelime yoğunluğu denetleyicisi kullanıyorum. Bu, bugün SEO için makul bir strateji olmaktan ne kadar uzak?”

Anahtar kelime yoğunluğu aslında terim sıklığı sayımıdır. Metnin çok kaba doğasını anlamak için yeri vardır, ancak her türlü anlam bilgisinden yoksundur. NLP araçlarına erişiminiz yoksa, en azından seçtiğiniz SEO aracındaki “insanlar da aradı” içeriğine bakın.

Web sayfalarına nasıl içerik ürettiğinize dair bazı özel örnekler verebilir misiniz? Gönderiler? tweetler?

Buradaki zorluk, bu araçların tam olarak böyle olmalarıdır - onlar araçlardır. Bir spatulayı nasıl çalıştırırsınız? Ne pişirdiğine bağlı. Çorbayı karıştırmak ve krep çevirmek için kullanabilirsiniz. Bu bilgilerin bir kısmına başlamanın yolu, teknik beceri seviyenize bağlıdır. Örneğin, Python ve Jupyter not defterlerinde rahatsanız, transformatör kitaplığını tam anlamıyla içe aktarabilir, eğitim metin dosyanızı besleyebilir ve hemen oluşturmaya başlayabilirsiniz. Bunu belirli bir politikacının tweetleriyle yaptım ve 3. Dünya Savaşı'nı başlatacak tweetler atmaya başladı. Teknik olarak rahat değilseniz, MarketMuse gibi araçlara bakmaya başlayın. Jeff Coyle'un ortalama bir pazarlamacının oraya nasıl başlayacağı konusunda önerilerde bulunmasına izin vereceğim.

Araçların ötesine, ancak daha çok stratejilere bakarsanız, bu bilgiyi kullanmak için uygulayabileceğiniz bir strateji örneği ne olabilir?

Birkaç hızlı vuruş, meta açıklamalar gibi şeyler, sayfaları veya içerik bloklarını bir sınıflandırmada sınıflandırmak veya yanıtlanması gereken soruları tahmin etmeye çalışmak içindir - ancak bunlar gerçekten nokta çözümlerdir. Daha büyük stratejik bilgelik, bunu size mevcut güçlü yönlerinizi, boşluklarınızı ve ivmenizin nerede olduğunu göstermek için kullandığınızda ortaya çıkar. Oradan, neyin yaratılacağı, güncelleneceği, genişletileceği konusunda kararlar vermek bir işletme için dönüştürücü hale gelir. Şimdi aynı şeyi bir rakibe karşı yaptığınızı hayal edin. Boşluklarını bulmak. köpürtün, durulayın, tekrarlayın.

Strateji her zaman hedefe dayanır. Hangi hedefe ulaşmaya çalışıyorsun? Arama trafiğini çekiyor musunuz? Kurşun üretimi yapıyor musunuz? PR yapıyor musun? NLP bir dizi araçtır. Şuna benzer – strateji menüdür. Kahvaltı mı, öğle yemeği mi yoksa akşam yemeği mi veriyorsunuz? Hangi araçları ve tarifleri kullanacağınız büyük ölçüde hizmet ettiğiniz menüye bağlı olacaktır. Spanakopita yapıyorsanız, bir çorba tenceresi son derece yararsız olacaktır.

İçgörü için veri madenciliğine başlamak isteyen biri için iyi bir başlangıç ​​noktası neresidir?

Bilimsel yöntemle başlayın.

1. Hangi soruyu cevaplamak istiyorsun?
2. Bu soruyu cevaplamak için hangi verilere, süreçlere ve araçlara ihtiyacınız var?
3. Test edebileceğiniz bir hipotez, tek koşullu, kanıtlanabilir doğru veya yanlış bir ifade formüle edin.
4. Ölçek.
5. Test verilerinizi analiz edin.
6. Hipotezi iyileştirin veya reddedin.

Verilerin kendisi için, verilerin kalitesini değerlendirmek için 6C veri çerçevemizi kullanın.

Sizce, pazarlamacıların dikkate alması gereken ana arama kullanıcılarının amaçları nelerdir?

Müşteri yolculuğundaki adımlar. Müşteri deneyimini baştan sona haritalayın - farkındalık, değerlendirme, katılım, satın alma, sahiplik, sadakat, müjdecilik. Ardından, her aşamada amaçların ne olabileceğinin haritasını çıkarın. Örneğin, sahiplik durumunda, arama amaçlarının hizmet odaklı olma olasılığı yüksektir. “Airpods pro çatırtı sesi nasıl düzeltilir” bir örnektir. Zorluk, yolculuğun her aşamasında veri toplamak ve bunu eğitmek/ayarlamak için kullanmaktır.

Bunun biraz değişken olabileceğini düşünmüyor musunuz? Süreci otomatikleştirmek için daha kararlı bir şeye ihtiyacımız varsa, o zaman işleri daha yüksek bir düzeyde genelleştirmemiz gerekir.

Jeff Bezos'un ünlü sözü, değişmeyen şeylere odaklanın. Sahipliğe giden genel yol pek değişmiyor - sakız paketinden memnun olmayan biri, görevlendirdiği yeni nükleer uçak gemisinden memnun olmayan biriyle benzer şeyler yaşayacak. Ayrıntılar elbette değişir, ancak birinin bir yolculukta duygusal olarak nerede olduğunu ve bunu dilde nasıl ilettiğini bilmek için ne tür veri ve amaçları anlamak hayati önem taşır.

Kullanıcı amacı sınıflandırması yapmaya çalışırken insanların düşeceği muhtemel tuzaklar nelerdir?

Şimdiye kadar, doğrulama yanlılığı. İnsanlar kendi varsayımlarını müşteri deneyimine yansıtacak ve müşteri verilerini kendi önyargılarıyla yorumlayacaktır. Ayrıca, mümkün olduğu kadar etkileşim verilerini (e-postaların açılması, kapıdaki ayaklar, çağrı merkezine yapılan aramalar vb.) doğrulamak için elinizden geldiğince kullanmanızı öneririm. Bazı yerlerin, özellikle daha büyük kuruluşların, kullanıcı amacını anlamak için yapılandırılmış denklem modellemenin büyük hayranları olduğunu biliyorum. Ben onlar kadar hayran değildim ama bu ek bir potansiyel yaklaşım.

Bir sorgunun kullanıcı amacını belirlemede iyi bir iş çıkardığını düşündüğünüz araçlar veya ürünler nelerdir?

hav. MarketMuse dışında mı? Dürüst olmak gerekirse, özellikle ana SEO araçlarından harika sonuçlar bulamadığım için kendi malzemelerimle çalışmak zorunda kaldım. Vektörleştirme ve ardından yapılandırılmamış kümeleme için FastText.

Deneyiminize göre, BERT Google Arama'yı nasıl değiştirdi?

BERT'in birincil katkısı, özellikle değiştiricilerle bağlamdır. BERT, Google'ın kelime sırasını görmesini ve anlamı yorumlamasını sağlar. Bundan önce, bu iki sorgu, bir torba kelime stili modelinde işlevsel olarak eşdeğer olabilir:

• en iyi kahve dükkanı nerede
• kahve için alışveriş yapmak için en iyi yer neresi

Bu iki sorgu, çok benzer olsa da, büyük ölçüde farklı sonuçlara sahip olabilir. Kahve dükkanı, fasulye satın almak isteyeceğiniz bir yer olmayabilir. Walmart KESİNLİKLE kahve içmek isteyeceğiniz bir yer değildir.

AI veya ICT'nin insanlar gibi bilinç/duygular/empati geliştireceğini düşünüyor musunuz? Onları nasıl programlayacağız? Yapay zekayı nasıl insanlaştırabiliriz?

Bunun cevabı, kuantum hesaplama ile ne olduğuna bağlıdır. Kuantum, değişken bulanık durumlara ve kendi beynimizde olanları taklit eden büyük ölçüde paralel hesaplamaya izin verir. Beyniniz çok yavaş, kimyasal tabanlı devasa bir paralel işlemcidir. Hızlı olmasa da bir çok şeyi aynı anda yapmak gerçekten çok iyi. Kuantum, bilgisayarların da aynı şeyi yapmasına izin verecek, ancak çok, çok daha hızlı - ve bu da yapay genel zekanın kapısını açıyor. İşte benim endişem ve bu, bugün zaten dar kullanımda olan AI ile ilgili bir endişe: onları kendimize göre eğitiyoruz. İnsanlık, kendisine veya üzerinde yaşadığımız gezegene iyi davranmak konusunda iyi bir iş çıkarmadı. Bilgisayarlarımızın bunu taklit etmesini istemiyoruz.

Sistemlerin izin verdiği ölçüde, bilgisayar duygularının işlevsel olarak bizimkinden çok farklı olacağından ve verilerinden kendi kendini organize edeceğinden şüpheleniyorum, tıpkı bizimkilerin kimyasal temelli sinir ağlarımızdan yaptığı gibi. Bu da, bizden çok farklı hissedebilecekleri anlamına gelir. Temelde mantığa ve verilere dayanan makineler, insanlık hakkında samimi, nesnel bir değerlendirme yaparsa, açıkçası, hak ettiğimizden daha fazla sorun olduğumuzu belirleyebilirler. Ve açıkçası yanılmayacaklardı. Bir tür olarak çoğu zaman barbar bir karmaşayız.

Sizce, Doğal Dil Üretimini günlük iş akışlarına/süreçlerine entegre eden/benimseyen içerik pazarlamacılarını nasıl görüyorsunuz?

Pazarlamacılar, MarketMuse ürününde gösterdiğimiz gibi soruları yanıtlıyor olsa bile, bunun bir biçimini zaten entegre ediyor olmalıdır. Kitlenin umursadığını bildiğiniz soruları yanıtlamak, anlamlı içerik oluşturmanın hızlı ve kolay bir yoludur. Arkadaşım Marcus Sheridan, ironik bir şekilde, temel müşteri stratejisini kavramak için okumanız gerekmeyen, “Onlar Soruyor, Siz Cevaplıyorsunuz” adlı harika bir kitap yazdı: İnsanların sorularını yanıtlayın. Henüz gerçek kişiler tarafından gönderilen sorularınız yoksa, bunları yapmak için NLG'yi kullanın.

Önümüzdeki 2 yıl içinde AI ve NLP'nin nerede ilerlediğini görüyorsunuz?

Bunu bilseydim burada olmazdım çünkü kazandığım parayla aldığım dağın tepesindeki kalede olurdum. Ancak tüm ciddiyetle, son 2 yılda gördüğümüz ve hiçbir değişiklik belirtisi göstermeyen ana eksen, “kendi yuvarlayın” modellerinden “önceden eğitilmiş indir ve ince ayar”a geçiştir. Makineler sentezde daha iyi hale geldikçe, video ve seste bazı heyecan verici zamanlar geçireceğimizi düşünüyorum. Özellikle müzik üretimi, otomasyon için RIPE'dir; Şu anda makineler, en iyi ihtimalle tamamen vasat bir müzik ve en kötü ihtimalle kulak yaraları üretiyor. Bu hızla değişiyor. BART'ın model ilerlemesinde ve son teknoloji sonuçlarda sonraki büyük adımlar olarak yaptığı gibi harmanlama transformatörleri ve otomatik kodlayıcılar gibi daha fazla örnek görüyorum.

Bilgi edinmeyle ilgili olarak Google araştırma başlığını nerede görüyorsunuz?

Google'ın yüzleşmeye devam ettiği ve araştırma makalelerinin çoğunda gördüğünüz zorluk, ölçektir. Özellikle YouTube gibi şeylerle uğraşıyorlar; Hala büyük ölçüde bigramlara güvenmeleri, onların gelişmişliklerine bir darbe değil, bundan daha fazlasının delice bir hesaplama maliyetine sahip olduğunun bir kabulüdür. Bunlardan herhangi bir büyük atılım, her gün internete dökülen yeni, zengin içerik seliyle başa çıkmak için ölçek düzeyinde olduğu kadar model düzeyinde olmayacak.

Karşılaştığınız en ilginç AI uygulamalarından bazıları nelerdir?

Otonom her şey yakından izlediğim bir alan. Derin sahteler de öyle. Dikkatli olmazsak, önümüzdeki yolun ne kadar tehlikeli olduğunun örnekleridir. Özellikle NLP'de, nesil hızlı adımlar atıyor ve izlenmesi gereken alan.

SEO'ların NLP'yi işe yaramayan veya çalışmayacak şekillerde kullandığını nerede gördünüz?

Sayıyı kaybettim. Çoğu zaman, bir aracı amaçlanmayan bir şekilde kullanan ve ortalamanın altında sonuçlar alan insanlardır. Web seminerinde bahsettiğimiz gibi, modeller için farklı son teknoloji testler için puan kartları var ve güçlü olmayan bir alanda bir araç kullanan insanlar genellikle sonuçlardan hoşlanmazlar. Bununla birlikte… çoğu SEO uygulayıcısı, satıcıların kendilerine sağladığının dışında herhangi bir NLP kullanmıyor ve birçok satıcı hala 2015'te takılıp kalıyor. Bunların hepsi, her zaman anahtar kelime listeleridir.

Google'da video (YouTube) ve Görsel aramayı nerede görüyorsunuz? Google'ın her tür arama için kullandığı teknolojilerin birbirine çok benzer veya birbirinden farklı olduğunu düşünüyor musunuz?

Google'ın teknolojilerinin tümü, altyapılarının üzerine inşa edilmiştir ve teknolojilerini kullanır. TensorFlow üzerine çok fazla şey inşa edilmiştir ve bunun iyi bir nedeni vardır - süper sağlam ve ölçeklenebilir. İşlerin değiştiği yer, Google'ın farklı araçları nasıl kullandığıdır. Görüntü tanıma için TensorFlow, ikili karşılaştırma ve dil işleme için doğası gereği TensorFlow'dan çok farklı girdilere ve katmanlara sahiptir. Ancak TensorFlow'u ve orada bulunan çeşitli modelleri nasıl kullanacağınızı biliyorsanız, kendi başınıza oldukça havalı şeyler elde edebilirsiniz.

Yapay zeka ve NLP'deki gelişmelere hangi yollarla uyum sağlayabiliriz / ayak uydurabiliriz?

Okumaya, araştırmaya ve test etmeye devam edin. Ellerinizi kirletmenin yerini hiçbir şey tutamaz, en azından biraz. Ücretsiz bir Google Colab hesabı için kaydolun ve bir şeyler deneyin. Kendine biraz Python öğret. Stack Overflow'dan kod örneklerini kopyalayıp yapıştırın. Bir araba sürmek için içten yanmalı bir motorun tüm iç işleyişini bilmeniz gerekmez, ancak bir şeyler ters gittiğinde, biraz bilgi uzun bir yol kat eder. Aynısı AI ve NLP için de geçerlidir - sadece bir satıcıda BS'yi arayabilmek bile değerli bir beceridir. MarketMuse ile çalışmaktan zevk almamın sebeplerinden biri de bu. Aslında ne yaptıklarını biliyorlar ve AI çalışmaları BS değil.

Yapay zekanın işlerini elinden almasından endişe duyan insanlara ne söylersiniz? Örneğin, NLG gibi bir teknolojiyi gören ve yapay zeka bir editörün metni biraz temizlemesi için "yeterince iyi" olabilirse işsiz kalacaklarından endişelenen yazarlar.

Brookings Enstitüsü “Yapay zeka işlerin değil görevlerin yerini alacak” ve bu kesinlikle doğru. Ancak net işler kaybedilecek, çünkü burada olacaklar. İşinizin 50 görevden oluştuğunu varsayalım. AI bunlardan 30 tanesini yapıyor. Harika, artık 20 göreviniz var. Bunu yapan tek kişi sizseniz, o zaman nirvanadasınız çünkü daha ilginç, daha eğlenceli işler yapmak için 30 ünite daha zamanınız var. AI iyimserlerinin vaat ettiği şey budur. Gerçeklik kontrolü: Bu 50 birimi yapan 5 kişi varsa ve AI 30'unu yapıyorsa, AI şimdi 150 / 250 birim iş yapıyor. Bu, insanların yapması için 100 birim iş kaldığı ve şirketler oldukları gibi, 100 birim işi 2 kişi tarafından yapılabileceği için hemen 3 pozisyonu kesecekleri anlamına gelir. Yapay zekanın iş alması konusunda endişelenmeli misiniz? İşe bağlı. Yaptığınız iş inanılmaz derecede tekrar ediyorsa, kesinlikle endişelenmeyin. Eski ajansımda, işi günde 8 saat arama sonuçlarını kopyalayıp müşteriler için bir elektronik tabloya yapıştırmak olan zavallı bir herif vardı (bir halkla ilişkiler firmasında çalıştım, teknolojik olarak en gelişmiş yerde değil). Bu iş ani tehlikede ve açıkçası yıllardır olması gerekiyordu. Tekrarlama = otomasyon = AI = görev kaybı. İşiniz ne kadar az tekrarlanırsa, o kadar güvende olursunuz.

Her değişiklik aynı zamanda daha fazla gelir eşitsizliği yarattı. Artık, harcamayan, tüketici olmayan makinelerin, harcayan, tüketen insanların işlerini giderek daha fazla yaptığı tehlikeli bir noktadayız ve bunu teknolojideki muazzam zenginlik egemenliğinde görüyoruz. Bu, bir noktada ele almamız gereken toplumsal bir sorun.

Ve bununla ilgili zorluk ilerlemedir, güçtür. Robert Ingersoll'un yazdığı gibi (ve daha sonra Abraham Lincoln'e yanlış atfedildi): “Neredeyse tüm insanlar zorluklara dayanabilir, ancak bir adamın karakterini test etmek istiyorsanız, ona güç verin.” Bugün insanların gücü nasıl idare ettiğini görüyoruz.

Google Analytics verilerini NLP Research ile nasıl eşleştirebilirim?

GA yönü gösterir, ardından NLP yaratmayı gösterir. Ne popüler? Bunu az önce bir müşterim için yaptım. Binlerce web sayfası ve sohbet oturumları var. Sitelerinde hangi kategorilerin en hızlı büyüdüğünü analiz etmek için GA'yı kullandık ve ardından onlara neyin trend olduğunu ve ne hakkında içerik oluşturmak için ihtiyaç duyduklarını göstermek için bu sohbet günlüklerini işlemek için NLP'yi kullandık.

Google Analytics, bize NE olduğunu anlatmak için harikadır. NLP, NEDEN'i biraz açığa çıkarmaya başlayabilir ve sonra bunu pazar araştırması ile tamamlarız.

Çalışmalarınızın çoğunda Talkwalker'ı veri kaynağı olarak kullandığınızı gördüm. Analiz için başka hangi kaynakları ve kullanım örneklerini dikkate almalıyım?

Yani, pek çok. veri.gov. Talkwalker. MarketMuse. Sesinizi kopyalamak için Otter.ai. Kaggle çekirdekleri. Google Veri Arama – bu arada ALTIN ​​ve kullanmıyorsanız kesinlikle kullanmalısınız. Google Haberler ve GDELT. O kadar çok harika kaynak var ki.

Pazarlama ve veri analizi ekibi arasında ideal bir işbirliği size nasıl görünüyor?

Şaka değil; Katie Robbert ve benim müşterilerde her zaman gördüğümüz en büyük hatalardan biri organizasyonel silolardır. Sol elin sağ elin ne yaptığı hakkında hiçbir fikri yok ve her yer sıcak bir karmaşa. İnsanları bir araya getirmek, fikirleri paylaşmak, yapılacaklar listelerini paylaşmak, ortak duruşlara sahip olmak, birbirlerine öğretmek – işlevsel olarak “tek takım, tek hayal” olmak, artık işbirliği kelimesini kullanmanıza gerek kalmadığı noktaya kadar ideal bir işbirliğidir. . İnsanlar sadece birlikte çalışır ve tüm becerilerini masaya getirir.

Sunumlarınızda sıklıkla ön izlemesini yaptığınız MVP raporunu ve nasıl çalıştığını inceler misiniz?

MVP raporu, en değerli sayfalar anlamına gelir. Çalışma şekli, Google Analytics'ten yol verilerini çıkarmak, bunları sıralamak ve ardından hangi sayfaların dönüşümlere yardımcı olma olasılığının en yüksek olduğunu belirlemek için bir Markov zincir modeline koymaktır.

Ve daha uzun bir açıklama istiyorsanız.

Veri yanlılığı hakkında biraz daha bilgi verebilir misiniz? NLP veya NLG modelleri oluştururken dikkat edilmesi gereken bazı noktalar nelerdir?

Oh evet. Burada söylenecek çok şey var. İlk olarak, önyargının ne olduğunu belirlememiz gerekiyor, çünkü iki temel tür var.

İnsan yanlılığı genel olarak “Bir şeyin diğerine kıyasla lehinde veya aleyhinde olan, genellikle haksız sayılan bir şekilde önyargı” olarak tanımlandığı kabul edilir.

Sonra, genellikle "Bir istatistik, tahmin edilen popülasyon parametresinden sistematik olarak farklı olacak şekilde hesaplanıyorsa taraflıdır" olarak tanımlandığı kabul edilen matematiksel önyargı vardır.

Onlar farklı ama ilgili. Matematiksel önyargı mutlaka kötü değildir; örneğin, herhangi bir ticari anlayışınız varsa, kesinlikle en sadık müşterileriniz lehine önyargılı olmak istersiniz. İnsan önyargısı, özellikle korunan bir sınıf olarak kabul edilen her şeye karşı adaletsizlik anlamında dolaylı olarak kötüdür: yaş, cinsiyet, cinsel yönelim, cinsel kimlik, ırk/etnik köken, kıdem durumu, engellilik vb. Bunlar, YAPMAMANIZ GEREKEN sınıflardır. Ayrımcılık karşıtı.

İnsan yanlılığı, tipik olarak 6 yerde veri yanlılığını doğurur: insanlar, strateji, veri, algoritmalar, modeller ve eylemler. Önyargılı insanları işe alıyoruz - önyargının ne olduğunu belirlemek için bir şirketin yönetici odasına veya yönetim kuruluna bakmanız yeterli. Geçen gün bir PR ajansının çeşitliliğe olan bağlılığını ve yönetim ekibine tek bir tıklamayla lanse ettiğini gördüm ve hepsi tek bir etnik köken, hepsi 15.

Bu konuda bir süreliğine devam edebilirim, ancak Pazarlama AI Enstitüsü'nde bu konuda geliştirdiğim bir kursa gitmenizi önereceğim. NLG ve NLP modelleri açısından yapmamız gereken birkaç şey var.

Öncelikle verilerimizi doğrulamamız gerekiyor. İçinde bir önyargı var mı ve eğer öyleyse, korunan bir sınıfa karşı ayrımcı mı? İkincisi, eğer ayrımcıysa, bunu hafifletmek mümkün mü, yoksa verileri atmak zorunda mıyız?

Yaygın bir taktik, meta verileri debias'a çevirmektir. Örneğin, %60 erkek ve %40 kadından oluşan bir veri kümeniz varsa, model eğitimi için dengelemek için erkeklerin %10'unu kadın olarak yeniden kodlarsınız. Bu kusurlu ve bazı sorunları var, ancak önyargının sürmesine izin vermekten daha iyidir.

İdeal olarak, modellerimizde süreç sırasında kontroller yapmamıza izin veren yorumlanabilirlik oluşturduk ve ardından sonuçları (açıklanabilirlik) post hoc da doğruladık. Modellerinize önyargı oluşturmadığınızı onaylayan bir denetimden geçmek istiyorsanız, her ikisi de gereklidir. Woe, yalnızca post hoc açıklamaları olan şirkettir.

Ve son olarak, sonuçları doğrulamak için kesinlikle çeşitli ve kapsayıcı bir ekibin insan gözetimine ihtiyacınız var. İdeal olarak bir üçüncü taraf kullanırsınız, ancak güvenilir bir şirket içi taraf sorun değildir. Model ve sonuçları, popülasyonun kendisinden alacağınızdan daha çarpık bir sonuç mu sunuyor?

Örneğin, 16-22 yaşındakiler için içerik oluşturuyorsanız ve oluşturulan metinde bir kez ölü, dank, low-key vb. terimleri görmediyseniz, giriş tarafında herhangi bir veri yakalayamadınız. bu, modeli kendi dillerini doğru bir şekilde kullanması için eğitirdi.

Buradaki en büyük zorluk, yapılandırılmamış veriler aracılığıyla tüm bunlarla başa çıkmaktır. Bu nedenle soy çok önemlidir. Soy olmadan, popülasyonu doğru şekilde örneklediğinizi kanıtlayamazsınız. Köken, veri kaynağının ne olduğuna, nereden geldiğine, nasıl toplandığına, herhangi bir düzenleyici gereklilik veya açıklamanın kendisi için geçerli olup olmadığına ilişkin belgelerinizdir.