アナリストに尋ねる：調査設計の偏見を避ける

公開: 2022-04-17

実在の人物からデータを収集することは、芸術であると同時に科学でもあります。

どんな研究者もあなたの洞察はあなたが尋ねる質問と同じくらい良いとあなたに言うでしょう。または、言い換えれば、「ジャンクイン、ジャンクアウト」です。

質の高いデータを取得することの一部は、調査デザインのさまざまな側面が回答者の経験にどのように影響するかを知ることに依存しています。あなたが取り組んでいる社会調査の分野に関係なく、これらの最も基本的なものの1つは、偏見を避けることです。

しかし、バイアスについて話すとき、私たちはどういう意味ですか？オックスフォード辞書は、バイアスを「実際の状況からの結果または発見の体系的な歪み、または体系的な歪みにつながるいくつかの種類のプロセスのいずれか」と定義しています。

ここでのキーワードはディストーションです。

バイアスは、研究デザインの欠陥のために私たちが探している究極の真実を歪めるときに起こります。

参加者が一方向または別の方向に答えるために動揺する可能性がある理由はたくさんあります。経験豊富な市場調査員は、これが実際にどのように見えるか、そして調査結果への影響、そして最終的にはクライアントの収益を見てきました。

企業が研究に数千ドル（またはそれ以上）を費やすとき、彼らは彼らが得ている結果が信頼できることを知る必要があります：これらはしばしば多くの大きくて費用のかかる決定を導きます。

良いニュースは、バイアスの影響を見つけて軽減するために研究者ができることがたくさんあるということです。

サンプリングバイアスに対する設計

紙にペンを置いて質問を作成する前に、慎重な調査設計はサンプリングに関する計画から始まります。結論を導き出したいより広い母集団を代表するサンプルを採用することは非常に重要です。そうでない場合、洞察は調査対象の個々のグループにのみ適用されます。

サンプリングに関しては、バイアスの余地がたくさんあります。

初期の標準的な市場調査の慣行は、回答者に直接または電話でインタビューすることでした。これは、戸別訪問して意欲的な参加者を見つけたり、電話帳から名前を呼んだり、場合によっては世界中の人々にインタビューしたりすることを意味しました。

前者の2つのオプションは研究者により多くの制御を提供しますが、後者はサンプリングバイアスに対して非常に脆弱です。

たとえば、店内の消費者の買い物習慣を調査したいとします。これを行う簡単な方法は、たまたまモールにいる人々にあなたの研究に参加するように頼むことかもしれません。

これらの回答者は、何らかの形で「買い物客」であると推測できますが、この調査が、理解しようとしている場所の「買い物客」の人口を広く反映しているかどうかを判断する方法はありません。

私たちのモールの参加者が誰であるか、そして彼らの明確な行動に影響を与えるものはたくさんあります。例えば：

平日（大人が多い）と週末のどちらで参加者を募集しますか？
普段は商店街に行かない人がたくさん買い物に出かける休日の近くで調べていますか？
モールの構成は何ですか？それは主に、より裕福でより裕福な常連客を引き付けるプレミアムストアですか？
行くのは難しいですか？つまり、自分の車にアクセスできる人だけがそこで買い物をすることができますか？
参加を拒否するすべての買い物客はどうですか？

彼らは喜んでいる人々とは非常に異なり、無反応の偏見のために結果を歪めます。

この仮説の研究では、喜んでモールの参加者からより多くの買い物客に私たちの調査結果を一般化する方法は実際にはありません。

クォータと表現

ほとんどの消費者調査はオンラインに移行しているため、サンプリングバイアスの影響は前の例ほど劇的ではありません。しかし、この落とし穴を回避するには、まだ大きな考慮事項があります。

オンラインで回答者を募集する方法と場所に幅広いネットを投じる、評判の良い経験豊富なパネルプロバイダーと協力することが重要です。

年齢、性別、人種または民族、収入、教育などの人口統計指標の割り当てを設定することも、偏見を回避する上で重要です。重要なのは、サンプルが調査しているより広い母集団を確実に見られるようにすることです。

割り当てがある場合でも、データに重みを付ける必要があります。つまり、調査サンプルは、問題の母集団の人口統計分布をより正確に反映するように数学的に「修正」されます。

回答者のプライミング

サンプリングとは別に、質問票の設計で避けるべきバイアスの重要な要素があります。

これらの1つはプライミングと呼ばれます。マーケティングソサエティによると、これは「私たちの脳が私たちの記憶に無意識に接続し、素数にさらされると、記憶にすでに存在する情報へのアクセスが容易になる」ときに起こります。

基本的に、あなたの調査の回答者はすでに記憶を保存していましたが、あなたは彼らの想起を後押ししました。次に例を示します。

広告に対する消費者の認識を理解するための調査を書いているとします。

まず、広告を作成したブランドについて質問し、広告が掲載されたキャンペーンについて言及し、ブランドが提供する製品やサービスの概要を説明します。

最終的に回答者に広告を表示すると、ブランド、その製品、またはキャンペーンに関する情報がなくても、「コールド」と回答させる場合よりも、回答者がそれを認識し、より積極的に反応すると言う可能性が高くなります。

例が示すように、プライミングは結果を膨らませるのに大きな役割を果たすことができます。

ブランド認知度、ブランドアフィニティ、広告想起などを測定する場合は、この種のバイアスを念頭に置くことが特に重要です。

回答者をリードする

バイアスを生み出す別の形であるリーディングは、まさにそのように聞こえます。調査や質問を構成して、特定の方法で人々を「リード」するようにします。

質問は、ステートメントを条件付きにする多数のアイデアをリンクするか、事前情報を仮定するか、または口調を強要することによって、さまざまな形で導くことができます。

たとえば、次の2つの質問を考えてみましょう。

プラスチック危機は私たちの海にとってどれほど大きな問題だと思いますか？

大きな問題
大問題
大きな問題ではありません
全く問題ありません

これは多くの理由でリードしています。まず、その文言は、回答者が海洋のプラスチックがある程度問題であると考えていることを前提としています。第二に、海洋汚染を「危機」と呼んで、このトピックを壊滅させます。第三に、「私たち」という言葉を使用することで、回答者に個人的な責任感をもたらします。この質問のバイアスを減らすと、次のようになります。

海洋のプラスチック汚染は…

大きな問題
大問題
大きな問題ではありません
全く問題ありません

順序とランダム化

質問のデザインに関しては、ランダム化は研究者の親友です。

誰かが調査を行うたびにセクション、質問、またはオプションの順序を変更し続けることで、プライミングとリードの影響に対抗するのに役立ちます。

質問内にリストされたオプションの場合、固定された順序が必要ない場合（つまり、時間間隔、合意尺度）、ランダム化が標準的な方法です。これにより、リストの中央ではなくリストの最初と最後でオプションを選択する傾向があるという順序バイアスの影響が緩和されます。

リストを短くして、中間のオプションがミックスで失われすぎないようにすることも役立ちます。

合意、満足度、可能性などのリッカート尺度に関しては、多くの研究者がこれらを最も否定的なものから最も肯定的なものの順に並べることを選択します。

それは不自然に感じるかもしれませんが、それは黙認バイアスの上に働く秩序バイアスの二重の厄介な効果、つまり人々が同意して答える傾向に逆らって働きます。

社会的望ましさおよびインタビュアー効果

黙認バイアスは、社会的条件が研究にどのように影響するかの一例です。それは、それを生み出すのは失礼または不快であることに対する人々の嫌悪感だからです。

社会的条件付けは、一般的に研究を歪曲する上で大きな役割を果たします。多くの場合、その影響は非常に強いため、機密で匿名の調査にもかかわらず、人々は自分の行動が真実ではなく「より良い」または「許容できる」ように見えるように反応します。これは社会的望ましさバイアスと呼ばれます。

このバイアスの最も引用された（そして研究された）例の1つは、回答者にアルコール消費量について尋ねることです。これは、調査研究では多くの人が軽視する傾向があります。

その他の場合、参加者は、リサイクル、投票、慈善団体への寄付など、社会的に「良い」行動について過大報告する可能性があります。

社会的望ましさのバイアスはどのような研究モードでも発生する可能性がありますが、対面インタビュー、電話インタビュー、フォーカスグループなど、研究者がデータ収集に直接関与する場合は、追加のリスクがあります。

「インタビュアー効果」と呼ばれるこのタイプのバイアスは、参加者と研究者との相互作用が彼らの反応に影響を与えるときに発生します。インタビュアーの経歴（年齢や性別など）は、参加者が提起する特定の質問に正直に答えるのにどれだけ快適に感じるかに影響を与える可能性があります。

インタビュアーが中立を保つという最善の意図にもかかわらず、明らかにする可能性のある言語的および非言語的手がかりも、大きな影響を与える可能性があります。

文化が重要

これらのタイプのバイアスについて理解するための重要なポイントは、社会的に構築されたものと同様に、最終的にはそれらを形作るのは文化であるということです。

文化は、社会において「適切」、「許容可能」、「礼儀正しい」ものに関する期待と規範を決定します。したがって、黙認バイアス、社会的望ましさ、インタビュアー効果は、調査が行われている場所によってかなり異なることが予想されます。

最も一般的な例の1つは、インドや中国などの集産主義社会と、米国などのより個人主義的な社会で強い合意を表明することを好むことです。

非常に集団主義的な文化では、応答スタイルはより穏やかです。参加者は、ステートメントに強く賛成または反対するのではなく、スケールの中間点を選択します。

米国では、その逆が当てはまります。回答者は、より強い賛成または反対を示す傾向があります。インドやブラジルなどの国では、その影響はさらに顕著です。

グローバルな研究を行う際に文化的偏見を制御する方法はありませんが、それを認識し、分析で考慮することが重要です。