Demandez à l'analyste : éviter les biais dans la conception de l'enquête

La collecte de données auprès de personnes réelles est à la fois un art et une science.

N'importe quel chercheur vous dira que vos idées sont aussi bonnes que les questions que vous posez. Ou, en d'autres termes, « junk in, junk out ».

Une partie de l'obtention de données de bonne qualité repose sur la connaissance de l'influence des différents aspects de la conception de l'enquête sur l'expérience des répondants. L'un des plus fondamentaux d'entre eux, quel que soit le domaine de recherche sociale dans lequel vous travaillez, est d'éviter les préjugés .

Mais de quoi parle-t-on quand on parle de biais ? Le dictionnaire Oxford définit le biais comme « une distorsion systématique des résultats ou des conclusions de la situation réelle, ou l'une des nombreuses variétés de processus conduisant à une distorsion systématique ».

Le mot clé ici est la distorsion .

Le biais se produit lorsque nous déformons la vérité ultime que nous recherchons en raison de défauts dans notre conception de la recherche.

Il existe de nombreuses raisons pour lesquelles les participants peuvent être amenés à répondre dans un sens ou dans l'autre. Des chercheurs de marché expérimentés ont vu à quoi cela ressemble dans la pratique - ainsi que ses effets sur les résultats et, en fin de compte, sur les résultats de leurs clients.

Lorsque les entreprises dépensent des milliers de dollars (ou plus) en recherche, elles ont besoin de savoir que les résultats qu'elles obtiennent sont fiables : ceux-ci guident souvent de nombreuses décisions importantes et coûteuses.

La bonne nouvelle est que les chercheurs peuvent faire beaucoup pour repérer et atténuer les effets des biais.

Concevoir contre les biais d'échantillonnage

Avant de mettre la plume sur papier et de rédiger des questions, une conception d'enquête réfléchie commence par des plans autour de l'échantillonnage. Il est crucial de recruter un échantillon représentatif de la population plus large sur laquelle vous souhaitez tirer des conclusions, sinon les informations ne s'appliquent qu'au groupe individuel de personnes interrogées.

En ce qui concerne l'échantillonnage, il y a beaucoup de place pour les biais.

Au début, la pratique courante des études de marché consistait à interroger les répondants en personne ou par téléphone. Cela signifiait faire du porte-à-porte pour trouver des participants volontaires, appeler des noms dans un annuaire téléphonique ou, comme c'était parfois le cas, interroger des personnes dans le monde.

Alors que les deux premières options offrent aux chercheurs plus de contrôle, la seconde est très vulnérable aux biais d'échantillonnage.

Supposons, par exemple, que vous souhaitiez rechercher les habitudes d'achat des consommateurs en magasin. Un moyen simple de le faire pourrait être de demander aux personnes qui se trouvent dans un centre commercial de participer à votre recherche.

Bien que nous puissions probablement supposer que ces répondants sont, sous une certaine forme, des « acheteurs », il n'y a aucun moyen de dire si cette étude reflète globalement la population « d'acheteurs » dans l'endroit que nous essayons de comprendre.

Il y a une tonne de choses qui influencent qui sont les participants de nos centres commerciaux et leurs comportements distincts. Par example:

• Recruterons-nous des participants un jour de semaine (lorsque de nombreux adultes sont au travail) ou un week-end ?
• Faisons-nous des recherches à l'approche des vacances, lorsque de nombreuses personnes qui ne vont pas normalement dans les centres commerciaux sont en train de faire du shopping ?
• Quelle est la composition du centre commercial ? S'agit-il principalement de magasins haut de gamme qui attirent des clients plus riches et plus aisés ?
• Est-il difficile d'y accéder, ce qui signifie que seuls ceux qui ont accès à leur propre voiture peuvent y faire leurs achats ?
• Qu'en est-il de tous les acheteurs qui refusent de participer ?

Ils sont très différents de ceux qui le souhaitent et fausseront les résultats en raison du biais de non-réponse.

Dans cette étude hypothétique, il n'y a vraiment aucun moyen de généraliser nos résultats des participants volontaires du centre commercial à la plus grande population d'acheteurs.

Quotas et représentation

Étant donné que la plupart des recherches sur les consommateurs ont été mises en ligne, les effets du biais d'échantillonnage sont moins dramatiques que dans l'exemple précédent. Mais il y a encore des considérations majeures pour éviter cet écueil.

Il est crucial de travailler avec des fournisseurs de panel réputés et expérimentés qui jettent un large filet sur comment et où ils recrutent des répondants en ligne.

L'établissement de quotas pour les indicateurs démographiques - tels que l'âge, le sexe, la race ou l'origine ethnique, le revenu et l'éducation - est également important pour éviter les préjugés. La clé est de s'assurer que votre échantillon regarde la population plus large que vous étudiez.

Même avec des quotas, les données doivent être pondérées, ce qui signifie que l'échantillon de l'enquête est « corrigé » mathématiquement pour refléter plus précisément la répartition démographique de la population en question.

Amorcer le répondant

Outre l'échantillonnage, il existe des éléments clés de biais à essayer d'éviter dans la conception du questionnaire.

L'un d'eux s'appelle l'amorçage. Selon la Marketing Society, cela se produit lorsque "notre cerveau établit des connexions inconscientes avec notre mémoire, de sorte que l'exposition à un premier augmente l'accessibilité des informations déjà existantes dans la mémoire".

Essentiellement, les personnes interrogées dans votre enquête avaient déjà une mémoire stockée, mais vous avez amélioré leur rappel. Voici un exemple:

Supposons que vous rédigez une enquête pour comprendre les perceptions des consommateurs à l'égard d'une publicité.

Vous leur posez d'abord des questions sur la marque qui a créé l'annonce, mentionnez la campagne dans laquelle l'annonce a été présentée et décrivez les produits ou services fournis par la marque.

Lorsque vous montrez enfin l'annonce aux répondants, ils sont plus susceptibles de dire qu'ils la reconnaissent et réagiraient plus positivement que si vous les laissiez répondre "à froid" - sans aucune information sur la marque, ses produits ou ses campagnes.

Comme le montre l'exemple, l'amorçage peut jouer un rôle important dans le gonflement des résultats.

Lorsque vous essayez de mesurer des éléments tels que la notoriété de la marque, l'affinité avec la marque ou le rappel publicitaire, il est particulièrement important de garder à l'esprit ce type de biais.

Diriger le répondant

Diriger, une autre forme de création de biais, est exactement ce à quoi cela ressemble - des enquêtes ou des questions structurantes pour «amener» les gens à répondre d'une certaine manière.

Les questions peuvent être suggestives sous de nombreuses formes, soit en reliant de nombreuses idées qui rendent une déclaration conditionnelle, en faisant des hypothèses sur des informations préalables, soit en ayant un ton coercitif.

Prenons, par exemple, deux questions :

Selon vous, quelle est l'ampleur du problème que représente la crise du plastique pour nos océans ?

1. Énorme problème
2. Gros problème
3. Pas un gros problème
4. Pas un problème du tout

Ceci est en tête pour un certain nombre de raisons. Tout d'abord, sa formulation suppose que les répondants pensent que le plastique dans les océans est, dans une certaine mesure, un problème. Deuxièmement, il catastrophise le sujet en qualifiant la pollution des océans de « crise ». Troisièmement, cela crée un sentiment de responsabilité personnelle pour le répondant en utilisant le mot « notre ». La réduction du biais dans cette question pourrait ressembler à ceci :

Pensez-vous que la pollution plastique dans les océans est…

1. Un énorme problème
2. Un gros problème
3. Pas un gros problème
4. Pas un problème du tout

Ordre et randomisation

Lorsqu'il s'agit de concevoir des questions, la randomisation est la meilleure amie du chercheur.

Il aide à combattre les effets de l'amorçage et de l'orientation en gardant l'ordre des sections, des questions ou des options changeant chaque fois que quelqu'un répond à une enquête.

Pour les options énumérées dans une question, la randomisation est une pratique courante lorsqu'un ordre fixe n'est pas requis (c'est-à-dire pour des intervalles de temps, une échelle d'accord). Cela atténue l'effet du biais d'ordre, où les gens sont plus enclins à sélectionner des options au début et à la fin des listes plutôt qu'au milieu.

Garder des listes courtes, pour éviter que les options intermédiaires ne se perdent trop dans le mélange, aide également.

En ce qui concerne les échelles de Likert, telles que l'accord, la satisfaction ou la probabilité, de nombreux chercheurs choisissent de les classer du plus négatif au plus positif.

Cela peut sembler anormal, mais cela va à l'encontre du double effet du biais d'ordre qui s'ajoute au biais d'acquiescement - la tendance des gens à répondre agréablement.

Désirabilité sociale et effet intervieweur

Le biais d'acquiescement est un exemple de l'impact du conditionnement social sur la recherche, car c'est l'aversion des gens à être impoli ou désagréable qui le crée.

Le conditionnement social joue un grand rôle dans le biais de la recherche en général. Souvent, l'effet est si fort que les gens répondront d'une manière qui rendra leur comportement « meilleur » ou plus « acceptable » plutôt que ce qui est véridique – même si une enquête est à la fois confidentielle et anonyme. C'est ce qu'on appelle le biais de désirabilité sociale.

L'un des exemples les plus cités (et les plus étudiés) de ce biais consiste à interroger les répondants sur leur consommation d'alcool, ce que de nombreuses personnes ont tendance à minimiser dans les enquêtes.

Dans d'autres cas, les participants pourraient surévaluer les comportements socialement « bons » - comme le recyclage, le vote ou les dons à des œuvres caritatives.

Bien que le biais de désirabilité sociale puisse se produire dans n'importe quel mode de recherche, il existe un risque supplémentaire lorsqu'un chercheur est directement impliqué dans la collecte de données, par exemple par le biais d'entretiens en face à face, d'entretiens téléphoniques ou de groupes de discussion.

Appelé « effet intervieweur », ce type de biais se produit lorsque l'interaction d'un participant avec un chercheur influence ses réponses. Les antécédents de l'intervieweur, comme son âge ou son sexe, peuvent avoir une incidence sur la mesure dans laquelle les participants se sentent à l'aise pour répondre honnêtement à certaines questions qu'ils posent.

Les indices verbaux et non verbaux que l'intervieweur peut révéler, malgré ses meilleures intentions de rester neutre, peuvent également avoir une grande influence.

La culture compte

Un point clé à comprendre avec ces types de préjugés est que, comme pour tout ce qui est socialement construit, c'est finalement la culture qui les façonne.

La culture dicte les attentes et les normes concernant ce qui est « approprié », « acceptable » et « poli » dans une société. Nous pouvons donc nous attendre à ce que le biais d'acquiescement, la désirabilité sociale et l'effet de l'intervieweur varient considérablement selon l'endroit où la recherche est effectuée.

L'un des exemples les plus courants est la préférence pour exprimer un accord fort dans les sociétés collectivistes, comme l'Inde ou la Chine, par rapport aux sociétés plus individualistes, comme les États-Unis.

Dans les cultures hautement collectivistes, les styles de réponse sont plus modérés - les participants choisissant des points médians d'échelles plutôt que d'être fortement d'accord ou en désaccord avec les déclarations.

Aux États-Unis, c'est le contraire qui est vrai ; les répondants ont tendance à montrer un accord ou un désaccord plus fort. Dans des pays comme l'Inde et le Brésil, l'effet est encore plus prononcé.

Bien qu'il n'y ait aucun moyen de contrôler les préjugés culturels lors d'une recherche mondiale, il est important d'en être conscient et d'en tenir compte dans l'analyse.