询问分析师：避免调查设计中的偏见

已发表: 2022-04-17

从真人那里收集数据既是一门艺术，也是一门科学。

任何研究人员都会告诉您，您的见解与您提出的问题一样好。或者，换句话说，“垃圾进，垃圾出”。

获得高质量数据的一部分依赖于了解调查设计的不同方面如何影响受访者的体验。无论您从事何种社会研究领域，其中最基本的一项就是避免偏见。

但是，当我们谈论偏见时，我们的意思是什么？牛津词典将偏见定义为“对真实情况的结果或发现的系统性扭曲，或导致系统性扭曲的多种过程中的任何一种。”

这里的关键词是失真。

当我们由于研究设计中的缺陷而歪曲我们正在寻找的最终真相时，就会出现偏见。

参与者可能会被左右以一个或另一个方向回答的原因有很多。经验丰富的市场研究人员已经看到了这在实践中的样子——以及它对调查结果的影响，并最终影响到他们客户的底线。

当公司在研究上花费数千美元（或更多）时，他们需要知道他们得到的结果是可靠的：这些通常会指导许多大而昂贵的决策。

好消息是研究人员可以做很多事情来发现和减轻偏见的影响。

针对抽样偏差进行设计

在写下纸和起草问题之前，周到的调查设计从围绕抽样的计划开始。招募代表您想要得出结论的更广泛人群的样本至关重要，否则这些见解仅适用于接受调查的个别人群。

在抽样方面，存在很大的偏差空间。

早期，标准的市场调研做法是面对面或通过电话采访受访者。这意味着挨家挨户寻找愿意的参与者，从电话簿中点名，或者像有时那样，采访世界各地的人。

虽然前两种选择为研究人员提供了更多控制权，但后者很容易受到抽样偏差的影响。

例如，假设您想研究店内消费者的购物习惯。一个简单的方法可能是让碰巧在商场里的人参与你的研究。

虽然我们可以假设这些受访者在某种形式上是“购物者”，但无法判断这项研究是否广泛反映了我们试图了解的地方的“购物者”人口。

有很多事情会影响我们的购物中心参与者的身份及其独特的行为。例如：

我们会在工作日（很多成年人都在工作）还是周末招募参与者？
我们是否在临近假期进行研究，当时很多通常不去购物中心的人都外出购物？
购物中心的构成是什么——主要是高档商店吸引更富有、更富裕的顾客吗？
是否很难到达——这意味着只有那些拥有自己汽车的人才能在那里购物？
所有拒绝参与的购物者怎么办？

他们与那些愿意的人非常不同，并且会由于不回应的偏见而扭曲结果。

在这项假设性研究中，我们确实无法将我们的发现从愿意的商场参与者推广到更多的购物者。

配额和代表

由于大多数消费者研究已经转移到网上，因此抽样偏差的影响不像前面的例子那么显着。但在避免这一陷阱方面仍有一些主要考虑因素。

与信誉良好且经验丰富的小组供应商合作至关重要，这些供应商在网上招募受访者的方式和地点方面撒下了广泛的网络。

为人口指标设定配额——例如年龄、性别、种族或民族、收入和教育——对于避免偏见也很重要。关键是确保您的样本能够看到您正在研究的更广泛的人群。

即使有配额，也必须对数据进行加权——这意味着调查样本经过数学“校正”，以更准确地反映相关人口的人口分布。

启动受访者

除了抽样之外，问卷设计中还有一些关键的偏倚因素需要尝试和避免。

其中之一称为启动。根据营销协会的说法，这种情况发生在“我们的大脑与我们的记忆建立无意识的联系，因此暴露于素数会增加记忆中已经存在的信息的可访问性”。

从本质上讲，您调查中的受访者已经存储了记忆，但您提高了他们的回忆。这是一个例子：

假设您正在编写一项调查以了解消费者对广告的看法。

首先，您向他们询问有关创建广告的品牌的问题，提及广告所展示的广告系列，并概述该品牌提供的产品或服务。

当您最终向受访者展示广告时，他们更有可能说他们认出了它并且会做出更积极的反应，而不是让他们做出“冷淡”的回应——没有任何关于品牌、产品或活动的信息。

如示例所示，启动可以在夸大结果方面发挥重要作用。

在尝试衡量品牌知名度、品牌亲和力或广告回想度等指标时，牢记此类偏见尤为重要。

领导答辩人

领导，另一种制造偏见的形式，正是它听起来的样子——构建调查或问题以“引导”人们以某种方式做出回应。

问题可以以多种形式引导，或者通过将许多想法联系在一起，使陈述有条件，对先前信息做出假设，或者语气强制。

以两个问题为例：

你认为塑料危机对我们的海洋有多大的影响？

大问题
大问题
问题不大
完全不是问题

这有很多原因。首先，它的措辞假设受访者认为海洋中的塑料在某种程度上是一个问题。其次，它通过将海洋污染称为“危机”来灾难化这个话题。第三，它通过使用“我们的”这个词，为受访者创造了一种个人责任感。减少这个问题的偏见可能如下所示：

你认为海洋中的塑料污染是……

一个巨大的问题
一个大问题
问题不大
完全不是问题

顺序和随机化

在问题设计方面，随机化是研究人员最好的朋友。

它通过在每次有人进行调查时改变部分、问题或选项的顺序来帮助对抗启动和引导的影响。

对于问题中列出的选项，当不需要固定顺序时（即时间间隔、协议量表），随机化是标准做法。这减轻了顺序偏差的影响，人们更倾向于在列表的开头和结尾而不是中间选择选项。

保持列表简短，以避免中间选项在组合中迷失方向，也有帮助。

当谈到李克特量表时，例如一致性、满意度或可能性，许多研究人员选择从最消极到最积极的顺序排列这些量表。

它可能会让人觉得不自然，但它可以对抗顺序偏见在默认偏见之上的双重打击——人们倾向于愉快地回答。

社会期望与面试官效应

默认偏见是社会条件如何影响研究的一个例子，因为人们对不礼貌或不愉快的厌恶造成了它。

总体而言，社会条件在扭曲研究中起着重要作用。通常，这种影响是如此强烈，以至于人们会以使他们的行为看起来“更好”或更“可接受”的方式做出回应，而不是真实的——尽管调查是保密的和匿名的。这被称为社会期望偏差。

这种偏见最常被引用（和研究）的例子之一是询问受访者他们的饮酒量，许多人在调查研究中倾向于淡化这一点。

在其他情况下，参与者可能会过度报告社会“良好”行为——比如回收、投票或捐赠给慈善机构。

虽然社会期望偏差可能发生在任何研究模式中，但当研究人员直接参与数据收集（例如通过面对面访谈、电话访谈或焦点小组）时，就会增加风险。

这种偏见被称为“采访者效应”，当参与者与研究人员的互动影响了他们的反应时，就会发生这种偏见。面试官的背景——比如他们的年龄或性别——可能会影响参与者在诚实回答他们提出的某些问题时的舒适程度。

面试官可能会透露的语言和非语言暗示，尽管他们的最佳意图是保持中立，但也会产生很大的影响。

文化很重要

理解这些类型的偏见的一个关键点是，就像任何社会建构的东西一样，最终是文化塑造了它们。

文化决定了社会中“适当”、“可接受”和“礼貌”的期望和规范。因此，我们可以预期默认偏差、社会期望和采访者效应会根据研究进行的地点而有很大差异。

最常见的例子之一是在集体主义社会（如印度或中国）与更个人主义的社会（如美国）更倾向于表达强烈的一致意见

在高度集体主义的文化中，反应风格更为温和——参与者选择量表的中点，而不是强烈同意或不同意陈述。

在美国，情况正好相反。受访者往往表现出更强的同意或不同意。在印度和巴西等国家，这种影响更为明显。

虽然在进行全球研究时无法控制文化偏见，但重要的是要意识到它并在分析中考虑到它。