詢問分析師：避免調查設計中的偏見

已發表: 2022-04-17

從真人那裡收集數據既是一門藝術，也是一門科學。

任何研究人員都會告訴您，您的見解與您提出的問題一樣好。或者，換句話說，“垃圾進，垃圾出”。

獲得高質量數據的一部分依賴於了解調查設計的不同方面如何影響受訪者的體驗。無論您從事何種社會研究領域，其中最基本的一項就是避免偏見。

但是，當我們談論偏見時，我們的意思是什麼？牛津詞典將偏見定義為“對真實情況的結果或發現的系統性扭曲，或導致系統性扭曲的多種過程中的任何一種。”

這裡的關鍵詞是失真。

當我們由於研究設計中的缺陷而歪曲我們正在尋找的最終真相時，就會出現偏見。

參與者可能會被左右以一個或另一個方向回答的原因有很多。經驗豐富的市場研究人員已經看到了這在實踐中的樣子——以及它對調查結果的影響，並最終影響到他們客戶的底線。

當公司在研究上花費數千美元（或更多）時，他們需要知道他們得到的結果是可靠的：這些通常會指導許多大而昂貴的決策。

好消息是研究人員可以做很多事情來發現和減輕偏見的影響。

針對抽樣偏差進行設計

在寫下紙和起草問題之前，周到的調查設計從圍繞抽樣的計劃開始。招募代表您想要得出結論的更廣泛人群的樣本至關重要，否則這些見解僅適用於接受調查的個別人群。

在抽樣方面，存在很大的偏差空間。

早期，標準的市場調研做法是面對面或通過電話採訪受訪者。這意味著挨家挨戶尋找願意的參與者，從電話簿中點名，或者像有時那樣，採訪世界各地的人。

雖然前兩種選擇為研究人員提供了更多控制權，但後者很容易受到抽樣偏差的影響。

例如，假設您想研究店內消費者的購物習慣。一個簡單的方法可能是讓碰巧在商場裡的人參與你的研究。

雖然我們可以假設這些受訪者在某種形式上是“購物者”，但無法判斷這項研究是否廣泛反映了我們試圖了解的地方的“購物者”人口。

有很多事情會影響我們的購物中心參與者的身份及其獨特的行為。例如：

我們會在工作日（很多成年人都在工作）還是周末招募參與者？
我們是否在臨近假期進行研究，當時很多通常不去購物中心的人都外出購物？
購物中心的構成是什麼——主要是高檔商店吸引更富有、更富裕的顧客嗎？
是否很難到達——這意味著只有那些擁有自己汽車的人才能在那裡購物？
所有拒絕參與的購物者怎麼辦？

他們與那些願意的人非常不同，並且會由於不回應的偏見而扭曲結果。

在這項假設性研究中，我們確實無法將我們的發現從願意的商場參與者推廣到更多的購物者。

配額和代表

由於大多數消費者研究已經轉移到網上，因此抽樣偏差的影響不像前面的例子那麼顯著。但在避免這一陷阱方面仍有一些主要考慮因素。

與信譽良好且經驗豐富的小組供應商合作至關重要，這些供應商在網上招募受訪者的方式和地點方面撒下了廣泛的網絡。

為人口指標設定配額——例如年齡、性別、種族或民族、收入和教育——對於避免偏見也很重要。關鍵是確保您的樣本能夠看到您正在研究的更廣泛的人群。

即使有配額，也必須對數據進行加權——這意味著調查樣本經過數學“校正”，以更準確地反映相關人口的人口分佈。

啟動受訪者

除了抽樣之外，問卷設計中還有一些關鍵的偏倚因素需要嘗試和避免。

其中之一稱為啟動。根據營銷協會的說法，這種情況發生在“我們的大腦與我們的記憶建立無意識的聯繫，因此暴露於素數會增加記憶中已經存在的信息的可訪問性”。

從本質上講，您調查中的受訪者已經存儲了記憶，但您提高了他們的回憶。這是一個例子：

假設您正在編寫一項調查以了解消費者對廣告的看法。

首先，您向他們詢問有關創建廣告的品牌的問題，提及廣告所展示的廣告系列，並概述該品牌提供的產品或服務。

當您最終向受訪者展示廣告時，他們更有可能說他們認出了它並且會做出更積極的反應，而不是讓他們做出“冷淡”的回應——沒有任何關於品牌、產品或活動的信息。

如示例所示，啟動可以在誇大結果方面發揮重要作用。

在嘗試衡量品牌知名度、品牌親和力或廣告回想度等指標時，牢記此類偏見尤為重要。

領導答辯人

領導，另一種製造偏見的形式，正是它聽起來的樣子——構建調查或問題以“引導”人們以某種方式做出回應。

問題可以以多種形式引導，或者通過將許多想法聯繫在一起，使陳述有條件，對先前信息做出假設，或者語氣強制。

以兩個問題為例：

你認為塑料危機對我們的海洋有多大的影響？

大問題
大問題
問題不大
完全不是問題

這有很多原因。首先，它的措辭假設受訪者認為海洋中的塑料在某種程度上是一個問題。其次，它通過將海洋污染稱為“危機”來災難化這個話題。第三，它通過使用“我們的”這個詞，為受訪者創造了一種個人責任感。減少這個問題的偏見可能如下所示：

你認為海洋中的塑料污染是……

一個巨大的問題
一個大問題
問題不大
完全不是問題

順序和隨機化

在問題設計方面，隨機化是研究人員最好的朋友。

它通過在每次有人進行調查時改變部分、問題或選項的順序來幫助對抗啟動和引導的影響。

對於問題中列出的選項，當不需要固定順序時（即時間間隔、協議量表），隨機化是標準做法。這減輕了順序偏差的影響，人們更傾向於在列表的開頭和結尾而不是中間選擇選項。

保持列表簡短，以避免中間選項在組合中迷失方向，也有幫助。

當談到李克特量表時，例如一致性、滿意度或可能性，許多研究人員選擇從最消極到最積極的順序排列這些量表。

它可能會讓人覺得不自然，但它可以對抗順序偏見在默認偏見之上的雙重打擊——人們傾向於愉快地回答。

社會期望與面試官效應

默認偏見是社會條件如何影響研究的一個例子，因為人們對不禮貌或不愉快的厭惡造成了它。

總體而言，社會條件在扭曲研究中起著重要作用。通常，這種影響是如此強烈，以至於人們會以使他們的行為看起來“更好”或更“可接受”的方式做出回應，而不是真實的——儘管調查是保密的和匿名的。這被稱為社會期望偏差。

這種偏見最常被引用（和研究）的例子之一是詢問受訪者他們的飲酒量，許多人在調查研究中傾向於淡化這一點。

在其他情況下，參與者可能會過度報告社會“良好”行為——比如回收、投票或捐贈給慈善機構。

雖然社會期望偏差可能發生在任何研究模式中，但當研究人員直接參與數據收集（例如通過面對面訪談、電話訪談或焦點小組）時，就會增加風險。

這種偏見被稱為“採訪者效應”，當參與者與研究人員的互動影響了他們的反應時，就會發生這種偏見。面試官的背景——比如他們的年齡或性別——可能會影響參與者在誠實回答他們提出的某些問題時的舒適程度。

面試官可能會透露的語言和非語言暗示，儘管他們的最佳意圖是保持中立，但也會產生很大的影響。

文化很重要

理解這些類型的偏見的一個關鍵點是，就像任何社會建構的東西一樣，最終是文化塑造了它們。

文化決定了社會中“適當”、“可接受”和“禮貌”的期望和規範。因此，我們可以預期默認偏差、社會期望和採訪者效應會根據研究進行的地點而有很大差異。

最常見的例子之一是在集體主義社會（如印度或中國）與更個人主義的社會（如美國）更傾向於表達強烈的一致意見

在高度集體主義的文化中，反應風格更為溫和——參與者選擇量表的中點，而不是強烈同意或不同意陳述。

在美國，情況正好相反。受訪者往往表現出更強的同意或不同意。在印度和巴西等國家，這種影響更為明顯。

雖然在進行全球研究時無法控製文化偏見，但重要的是要意識到它並在分析中考慮到它。