Analiste sorun: anket tasarımında önyargıdan kaçınmak

Gerçek insanlardan veri toplamak hem bir sanat hem de bir bilimdir.

Herhangi bir araştırmacı, içgörülerinizin yalnızca sorduğunuz sorular kadar iyi olduğunu söyleyecektir. Veya başka bir deyişle, "çöp, çöpe at".

Kaliteli veri elde etmenin bir kısmı, anket tasarımının farklı yönlerinin yanıtlayan deneyimini nasıl etkilediğini bilmeye dayanır. Hangi sosyal araştırma alanında çalışıyor olursanız olun, bunların en temellerinden biri önyargıdan kaçınmaktır.

Ama önyargıdan bahsettiğimizde ne demek istiyoruz? Oxford sözlüğü, yanlılığı “ Gerçek durumdan elde edilen sonuçların veya bulguların sistematik olarak çarpıtılması veya sistematik çarpıtmaya yol açan çeşitli süreçlerden herhangi biri ” olarak tanımlar.

Buradaki anahtar kelime çarpıtmadır .

Önyargı, araştırma tasarımımızdaki kusurlar nedeniyle aradığımız nihai gerçeği çarpıttığımızda ortaya çıkar.

Katılımcıların şu ya da bu yönde yanıt vermelerinin birçok nedeni vardır. Deneyimli pazar araştırmacıları, bunun pratikte nasıl göründüğünü ve bunun yanı sıra bulgular üzerindeki etkilerini ve nihayetinde müşterilerinin kârlılığını gördüler.

Şirketler araştırmaya binlerce dolar (veya daha fazla) harcadıklarında, elde ettikleri sonuçların güvenilir olduğunu bilmeleri gerekir: bunlar genellikle çok sayıda büyük ve maliyetli kararlara rehberlik eder.

İyi haber şu ki, araştırmacıların önyargının etkilerini hem tespit etmek hem de azaltmak için yapabilecekleri çok şey var.

Örnekleme yanlılığına karşı tasarım

Kalemi kağıda dökmeden ve soruları hazırlamadan önce, iyi düşünülmüş bir anket tasarımı örneklemeyle ilgili planlarla başlar. Sonuç çıkarmak istediğiniz daha geniş popülasyonu temsil eden bir örneklemi işe almak çok önemlidir, aksi takdirde içgörüler yalnızca anket yapılan bireysel grup için geçerlidir.

Örnekleme söz konusu olduğunda, önyargı için çok yer var.

İlk günlerde, standart pazar araştırması uygulaması, katılımcılarla yüz yüze veya telefonda görüşme yapmaktı. Bu, istekli katılımcıları bulmak için kapıdan kapıya gitmek, bir telefon rehberinden isimleri aramak veya bazen olduğu gibi dünyanın her yerinden insanlarla röportaj yapmak anlamına geliyordu.

İlk iki seçenek araştırmacılara daha fazla kontrol sağlarken, ikincisi örnekleme yanlılığına karşı çok savunmasızdır.

Örneğin, mağaza içi tüketici alışveriş alışkanlıklarını araştırmak istediğinizi varsayalım. Bunu yapmanın kolay bir yolu, alışveriş merkezinde bulunan insanlardan araştırmanıza katılmalarını istemek olabilir.

Bu katılımcıların bir şekilde "alışveriş yapanlar" olduğunu varsayabiliriz, ancak bu çalışmanın anlamaya çalıştığımız yerdeki "alışveriş yapan" nüfusu geniş ölçüde yansıtıp yansıtmadığını söylemenin bir yolu yok.

Alışveriş merkezi katılımcılarımızın kim olduğunu ve farklı davranışlarını etkileyen bir sürü şey var. Örneğin:

• Katılımcıları hafta içi (birçok yetişkin işteyken) mi yoksa hafta sonu mu işe alacağız?
• Normalde alışveriş merkezlerine gitmeyen birçok insan alışverişe çıktığı bir tatile yakın bir zamanda mı araştırma yapıyoruz?
• Alışveriş merkezinin yapısı nedir - daha zengin, daha varlıklı müşterileri çeken esas olarak premium mağazalar mı?
• Ulaşmak zor mu - yani sadece kendi arabalarına erişimi olanlar orada alışveriş yapabilir mi?
• Peki ya katılmayı reddeden tüm alışverişçiler?

İstekli olanlardan çok farklıdırlar ve yanıt vermeme yanlılığı nedeniyle sonuçları çarpıtacaklar.

Bu varsayımsal çalışmada, bulgularımızı istekli alışveriş merkezi katılımcılarından daha fazla alışveriş yapan nüfusa genellemenin gerçekten bir yolu yok.

kotalar ve temsil

Çoğu tüketici araştırması çevrimiçi ortama taşındığından, örnekleme yanlılığının etkileri önceki örnekte olduğu gibi daha az dramatiktir. Ancak bu tuzaktan kaçınmak için hala önemli hususlar var.

Katılımcıları çevrimiçi olarak nasıl ve nerede işe aldıkları konusunda geniş bir ağ oluşturan saygın ve deneyimli panel sağlayıcılarla çalışmak çok önemlidir.

Yaş, cinsiyet, ırk veya etnik köken, gelir ve eğitim gibi demografik göstergeler için kotalar belirlemek de önyargıdan kaçınmak için önemlidir. Anahtar, örneğin, üzerinde çalıştığınız daha geniş popülasyona bakmasını sağlamaktır.

Kotalarla bile, veriler ağırlıklandırılmalıdır - bu, anket örneğinin söz konusu nüfusun demografik dağılımını daha doğru bir şekilde yansıtmak için matematiksel olarak "düzeltildiği" anlamına gelir.

Yanıtlayanı hazırlama

Örnekleme dışında, anket tasarımında denenmesi ve kaçınılması gereken yanlılığın temel unsurları vardır.

Bunlardan birine astarlama denir. Marketing Society'ye göre bu, "beynimiz hafızamızla bilinçsiz bağlantılar kurduğunda gerçekleşir, böylece bir prime maruz kalmak hafızada zaten var olan bilgilere erişilebilirliği arttırır".

Esasen, anketinize katılanların hafızalarında zaten bir hafıza var, ama siz onların hatırlamalarını artırdınız. İşte bir örnek:

Bir reklamla ilgili tüketici algılarını anlamak için bir anket yazdığınızı varsayalım.

Önce onlara reklamı oluşturan marka hakkında sorular soruyorsunuz, reklamın yer aldığı kampanyadan bahsediyorsunuz ve markanın sağladığı ürün veya hizmetleri ana hatlarıyla veriyorsunuz.

Sonunda yanıtlayanlara reklamı gösterdiğinizde, marka, ürünleri veya kampanyaları hakkında herhangi bir bilgi olmadan "soğuk" yanıt vermelerine izin vermenize kıyasla, reklamı tanıdıklarını ve daha olumlu tepki vereceklerini söyleme olasılıkları daha yüksektir.

Örnekte gösterildiği gibi, hazırlama, bulguları şişirmede büyük bir rol oynayabilir.

Marka bilinirliği, marka yakınlığı veya reklam hatırlanabilirliği gibi şeyleri ölçmeye çalışırken, bu tür önyargıları akılda tutmak özellikle önemlidir.

Cevaplayıcıya liderlik etmek

Önyargı yaratmanın başka bir biçimi olan liderlik, kulağa tam olarak nasıl bir şey geliyor - anketleri veya soruları insanları belirli bir şekilde yanıt vermeye "yönlendirmek" için yapılandırmak.

Sorular, bir ifadeyi koşullu yapan çok sayıda fikri birbirine bağlayarak, önceki bilgilerle ilgili varsayımlarda bulunarak veya tonda zorlayıcı olarak birçok biçimde yol gösterici olabilir.

Örneğin iki soruyu ele alalım:

Plastik krizinin okyanuslarımız için ne kadar büyük bir sorun olduğunu düşünüyorsunuz?

1. Büyük problem
2. Büyük sorun
3. büyük bir sorun değil
4. hiç sorun değil

Bu, birkaç nedenden dolayı öncülük ediyor. İlk olarak, ifadeleri, katılımcıların okyanuslardaki plastiğin bir dereceye kadar bir sorun olduğunu düşündüklerini varsayar. İkincisi, okyanus kirliliğinden bir “kriz” olarak bahsederek konuyu felakete çeviriyor. Üçüncüsü, “bizim” kelimesini kullanarak cevaplayıcı için kişisel sorumluluk duygusu yaratır. Bu sorudaki önyargıyı azaltmak şöyle görünebilir:

Sizce okyanuslardaki plastik kirliliği…

1. büyük bir sorun
2. Büyük bir problem
3. büyük bir sorun değil
4. hiç sorun değil

Sıralama ve rastgeleleştirme

Soru tasarımı söz konusu olduğunda, rastgeleleştirme bir araştırmacının en iyi arkadaşıdır.

Biri anketi her doldurduğunda bölümlerin, soruların veya seçeneklerin sırasını değiştirerek hazırlama ve yönlendirmenin etkileriyle mücadeleye yardımcı olur.

Bir soru içinde listelenen seçenekler için, sabit bir sıra gerekli olmadığında (yani zaman aralıkları için bir anlaşma ölçeği için) rastgeleleştirme standart uygulamadır. Bu, insanların seçenekleri listelerin ortasından ziyade başında ve sonunda seçmeye daha meyilli olduğu sıra yanlılığının etkisini azaltır.

Orta seçeneklerin karışımda kaybolmasını önlemek için listeleri kısa tutmak da yardımcı olur.

Anlaşma, memnuniyet veya olasılık gibi Likert ölçekleri söz konusu olduğunda, birçok araştırmacı bunları en olumsuzdan en olumluya doğru sıralamayı seçmektedir.

Bu, doğal olmayan bir his olabilir, ancak, sipariş yanlılığının, boyun eğme yanlılığının (insanların hoş bir şekilde yanıt verme eğiliminin) üzerinde çalışan çifte kötü etkisine karşı çalışır.

Sosyal istenirlik ve görüşmeci etkisi

Kabullenme yanlılığı, insanların kaba veya nahoş olmaktan kaçınması araştırmayı yarattığından, sosyal koşullandırmanın araştırmayı nasıl etkilediğine bir örnektir.

Sosyal koşullandırma, genel olarak araştırmaları çarpıtmada büyük bir rol oynar. Çoğu zaman, etki o kadar güçlüdür ki, bir anketin hem gizli hem de anonim olmasına rağmen, insanlar davranışlarını doğru olandan daha "daha iyi" veya daha "kabul edilebilir" gösterecek şekilde yanıt verirler. Buna sosyal istenirlik yanlılığı denir.

Bu yanlılığın en çok alıntılanan (ve incelenen) örneklerinden biri, anket araştırmalarında pek çok kişinin küçümseme eğiliminde olduğu alkol tüketimi hakkında yanıt verenlere sorulmasıdır.

Diğer durumlarda, katılımcılar geri dönüşüm, oy verme veya hayır kurumlarına bağış yapma gibi sosyal olarak “iyi” davranışlar hakkında aşırı rapor verebilirler.

Sosyal istenirlik yanlılığı herhangi bir araştırma türünde gerçekleşebilse de, bir araştırmacı yüz yüze görüşmeler, telefon görüşmeleri veya odak grupları aracılığıyla doğrudan veri toplamaya dahil olduğunda ek bir risk vardır.

“Mülakatçı etkisi” olarak adlandırılan bu tür bir yanlılık, bir katılımcının bir araştırmacıyla etkileşimi onların yanıtlarını etkilediğinde ortaya çıkar. Görüşmeyi yapan kişinin geçmişi – yaşı veya cinsiyeti gibi – katılımcıların sordukları belirli sorulara dürüstçe yanıt verme konusunda ne kadar rahat hissettiklerini etkileyebilir.

Mülakatı yapan kişinin tarafsız kalmaya yönelik en iyi niyetlerine rağmen ortaya koyabileceği sözlü ve sözlü olmayan ipuçları da büyük bir etkiye sahip olabilir.

kültür önemlidir

Bu tür önyargılarla ilgili anlaşılması gereken önemli bir nokta, sosyal olarak inşa edilmiş her şeyde olduğu gibi, onları şekillendiren şeyin nihayetinde kültür olduğudur.

Kültür, bir toplumda neyin “uygun”, “kabul edilebilir” ve “kibar” olduğuna ilişkin beklentileri ve normları belirler. Dolayısıyla, rıza gösterme yanlılığı, sosyal istenirlik ve görüşmeci etkisinin araştırmanın yapıldığı yere bağlı olarak biraz değişmesini bekleyebiliriz.

En yaygın örneklerden biri, ABD gibi daha bireyci toplumlara karşı Hindistan veya Çin gibi kolektivist toplumlarda güçlü bir anlaşmayı ifade etme tercihidir.

Yüksek düzeyde kolektivist kültürlerde, yanıt stilleri daha ılımlıdır - katılımcılar ifadelere şiddetle katılmak veya katılmamak yerine ölçeklerin orta noktalarını seçerler.

ABD'de bunun tersi doğrudur; Katılımcılar daha güçlü bir anlaşma veya anlaşmazlık gösterme eğilimindedir. Hindistan ve Brezilya gibi ülkelerde bu etki daha da belirgindir.

Küresel araştırma yaparken kültürel önyargıyı kontrol etmenin bir yolu olmasa da, bunun farkında olmak ve analizde dikkate almak önemlidir.