Chiedi all'analista: evitare distorsioni nella progettazione del sondaggio

Raccogliere dati da persone reali è sia un'arte che una scienza.

Qualsiasi ricercatore ti dirà che le tue intuizioni sono valide solo quanto le domande che poni. O, in altre parole, "junk in, junk out".

Parte dell'ottenimento di dati di buona qualità si basa sulla conoscenza in che modo diversi aspetti della progettazione del sondaggio influenzano l'esperienza del rispondente. Uno dei più fondamentali di questi, indipendentemente dal campo di ricerca sociale in cui lavori, è evitare i pregiudizi .

Ma cosa intendiamo quando parliamo di pregiudizi ? Il dizionario di Oxford definisce il bias come " distorsione sistematica dei risultati o dei risultati dal vero stato delle cose, o una qualsiasi delle numerose varietà di processi che portano a una distorsione sistematica ".

La parola chiave qui è distorsione .

Il pregiudizio si verifica quando distorciamo la verità ultima che stiamo cercando a causa di difetti nel nostro progetto di ricerca.

Ci sono molte ragioni per cui i partecipanti possono essere influenzati a rispondere in una direzione o nell'altra. Esperti ricercatori di mercato hanno visto come appare nella pratica, così come i suoi effetti sui risultati e, in definitiva, sui profitti dei loro clienti.

Quando le aziende spendono migliaia di dollari (o più) per la ricerca, devono sapere che i risultati che ottengono sono affidabili: questi spesso guidano molte decisioni grandi e costose.

La buona notizia è che c'è molto che i ricercatori possono fare sia per individuare che per mitigare gli effetti del pregiudizio.

Progettare contro la distorsione del campionamento

Prima di mettere penna su carta e redigere domande, un'attenta progettazione del sondaggio inizia con i piani relativi al campionamento. Reclutare un campione rappresentativo della popolazione più ampia su cui vorresti trarre conclusioni è fondamentale, altrimenti le informazioni sono applicabili solo al singolo gruppo di persone intervistate.

Quando si tratta di campionamento, c'è molto spazio per i pregiudizi.

All'inizio, la pratica standard delle ricerche di mercato consisteva nell'intervistare gli intervistati faccia a faccia o al telefono. Ciò significava andare porta a porta per trovare partecipanti disponibili, chiamare nomi da un elenco telefonico o, come a volte accadeva, intervistare persone nel mondo.

Mentre le prime due opzioni offrono ai ricercatori un maggiore controllo, la seconda è molto vulnerabile ai bias di campionamento.

Supponiamo, ad esempio, di voler ricercare le abitudini di acquisto dei consumatori in negozio. Un modo semplice per farlo potrebbe essere chiedere alle persone che si trovano in un centro commerciale di partecipare alla tua ricerca.

Sebbene possiamo probabilmente presumere che questi intervistati siano, in qualche modo, "shopper", non c'è modo di dire se questo studio rifletta ampiamente la popolazione di "shopper" nel luogo che stiamo cercando di capire.

Ci sono un sacco di cose che influenzano chi sono i partecipanti al centro commerciale e i loro comportamenti distinti. Per esempio:

• Recluteremo partecipanti in un giorno feriale (quando molti adulti sono al lavoro) o in un fine settimana?
• Stiamo effettuando ricerche in prossimità di una vacanza, quando molte persone che normalmente non vanno nei centri commerciali sono fuori a fare la spesa?
• Qual è la struttura del centro commerciale: sono principalmente i negozi premium ad attrarre clienti più ricchi e benestanti?
• È difficile da raggiungere, il che significa che solo chi ha accesso alla propria auto può fare acquisti lì?
• E tutti gli acquirenti che rifiutano di partecipare?

Sono molto diversi da quelli che sono disposti e distorceranno i risultati a causa del pregiudizio della mancata risposta.

In questo studio ipotetico, non c'è davvero modo di generalizzare i nostri risultati dai partecipanti volontari del centro commerciale alla più ampia popolazione di acquirenti.

Quote e rappresentanza

Poiché la maggior parte delle ricerche sui consumatori si è spostata online, gli effetti della distorsione del campionamento sono meno drammatici come nell'esempio precedente. Ma ci sono ancora importanti considerazioni per evitare questa trappola.

È fondamentale lavorare con fornitori di panel affidabili ed esperti che lanciano un'ampia rete su come e dove reclutano gli intervistati online.

Anche la definizione di quote per gli indicatori demografici, come età, sesso, razza o etnia, reddito e istruzione, è importante per evitare pregiudizi. La chiave è assicurarsi che il tuo campione guardi alla popolazione più ampia che stai studiando.

Anche con le quote, i dati devono essere ponderati, il che significa che il campione dell'indagine viene "corretto" matematicamente per rispecchiare in modo più accurato la distribuzione demografica della popolazione in questione.

Adescamento dell'intervistato

Oltre al campionamento, ci sono elementi chiave di distorsione da cercare di evitare nella progettazione del questionario.

Uno di questi è chiamato adescamento. Secondo la Marketing Society, ciò accade quando "il nostro cervello stabilisce connessioni inconsce con la nostra memoria in modo che l'esposizione a un numero primo aumenti l'accessibilità delle informazioni già esistenti nella memoria".

In sostanza, gli intervistati nel tuo sondaggio avevano già una memoria archiviata, ma hai potenziato il loro ricordo. Ecco un esempio:

Supponiamo che tu stia scrivendo un sondaggio per comprendere le percezioni dei consumatori su un annuncio.

Per prima cosa fai loro domande sul marchio che ha creato l'annuncio, menzioni la campagna in cui è stato presentato l'annuncio e descrivi i prodotti o i servizi forniti dal marchio.

Quando alla fine mostri l'annuncio agli intervistati, è più probabile che dicano che lo riconoscono e che reagirebbero in modo più positivo rispetto a se li lasciassi rispondere "a freddo", senza alcuna informazione sul marchio, sui suoi prodotti o sulle sue campagne.

Come mostra l'esempio, l'adescamento può svolgere un ruolo importante nel gonfiare i risultati.

Quando si tenta di misurare elementi come la consapevolezza del marchio, l'affinità con il marchio o il ricordo dell'annuncio, è particolarmente importante tenere a mente questo tipo di pregiudizio.

Guidare l'intervistato

Leader, un'altra forma di creazione di pregiudizi, è esattamente quello che sembra: strutturare sondaggi o domande per "guidare" le persone a rispondere in un certo modo.

Le domande possono assumere molte forme, collegando tra loro numerose idee che rendono condizionale un'affermazione, assumendo informazioni preliminari o assumendo un tono coercitivo.

Prendi, ad esempio, due domande:

Quanto grande è un problema pensi che la crisi della plastica sia per i nostri oceani?

1. Problema enorme
2. Grande problema
3. Non è un grosso problema
4. Non è affatto un problema

Questo sta portando per una serie di motivi. Innanzitutto, la sua formulazione presuppone che gli intervistati pensino che la plastica negli oceani sia, in una certa misura, un problema. In secondo luogo, catastrofizza l'argomento riferendosi all'inquinamento degli oceani come a una "crisi". Terzo, crea un senso di responsabilità personale per l'intervistato usando la parola "nostro". La riduzione del pregiudizio in questa domanda potrebbe essere simile a questa:

Pensi che l'inquinamento da plastica negli oceani sia...

1. Un grosso problema
2. Un grosso problema
3. Non è un grosso problema
4. Non è affatto un problema

Ordine e randomizzazione

Quando si tratta di design delle domande, la randomizzazione è la migliore amica di un ricercatore.

Aiuta a combattere gli effetti dell'adescamento e della guida mantenendo l'ordine delle sezioni, delle domande o delle opzioni che cambiano ogni volta che qualcuno partecipa a un sondaggio.

Per le opzioni elencate all'interno di una domanda, la randomizzazione è una pratica standard quando non è richiesto un ordine fisso (cioè per intervalli di tempo, una scala di accordo). Ciò attenua l'effetto della distorsione degli ordini, in cui le persone sono più inclini a selezionare le opzioni all'inizio e alla fine degli elenchi piuttosto che a metà.

Anche mantenere elenchi brevi, per evitare che le opzioni intermedie si perdano troppo nel mix, aiuta.

Quando si tratta di scale Likert, come accordo, soddisfazione o probabilità, molti ricercatori scelgono di ordinarle dal più negativo al più positivo.

Può sembrare innaturale, ma funziona contro l'effetto double-whammy del bias dell'ordine che si aggiunge al bias di acquiescenza: la tendenza delle persone a rispondere in modo gradevole.

Desiderabilità sociale ed effetto dell'intervistatore

Il pregiudizio di acquiescenza è un esempio di come il condizionamento sociale influisca sulla ricerca, poiché è l'avversione delle persone a essere scortesi o sgradevoli che lo crea.

Il condizionamento sociale gioca un ruolo importante nel distorcere la ricerca in generale. Spesso, l'effetto è così forte che le persone risponderanno in modi che fanno sembrare il loro comportamento "migliore" o più "accettabile" piuttosto che ciò che è veritiero, nonostante un sondaggio sia confidenziale e anonimo. Questo è chiamato bias di desiderabilità sociale.

Uno degli esempi più citati (e studiati) di questo pregiudizio è nel chiedere agli intervistati il ​​loro consumo di alcol, che molte persone tendono a minimizzare nella ricerca del sondaggio.

In altri casi, i partecipanti potrebbero riferire eccessivamente su comportamenti socialmente "buoni", come il riciclaggio, il voto o le donazioni a enti di beneficenza.

Sebbene il pregiudizio della desiderabilità sociale possa verificarsi in qualsiasi modalità di ricerca, c'è un rischio aggiuntivo quando un ricercatore è direttamente coinvolto nella raccolta dei dati, ad esempio attraverso interviste faccia a faccia, interviste telefoniche o focus group.

Chiamato "effetto intervistatore", questo tipo di pregiudizio si verifica quando l'interazione di un partecipante con un ricercatore influenza le sue risposte. Il background di un intervistatore, come l'età o il sesso, potrebbe influire sul modo in cui i partecipanti si sentono a proprio agio nel rispondere onestamente a determinate domande che pongono.

Anche i segnali verbali e non verbali che l'intervistatore può rivelare, nonostante le loro migliori intenzioni di rimanere neutrali, possono avere una grande influenza.

La cultura conta

Un punto chiave da capire con questi tipi di pregiudizi è che, come con qualsiasi cosa costruita socialmente, è in definitiva la cultura che li modella.

La cultura detta le aspettative e le norme su ciò che è "appropriato", "accettabile" ed "educato" in una società. Quindi possiamo aspettarci che il pregiudizio di acquiescenza, la desiderabilità sociale e l'effetto dell'intervistatore varino un po' a seconda di dove viene condotta la ricerca.

Uno degli esempi più comuni è la preferenza per esprimere un forte accordo nelle società collettiviste, come l'India o la Cina, rispetto a quelle più individualistiche, come gli Stati Uniti

Nelle culture altamente collettiviste, gli stili di risposta sono più moderati, con i partecipanti che scelgono i punti medi delle scale piuttosto che essere fortemente d'accordo o in disaccordo con le affermazioni.

Negli Stati Uniti è vero il contrario; gli intervistati tendono a mostrare maggiore accordo o disaccordo. In paesi come l'India e il Brasile, l'effetto è ancora più pronunciato.

Anche se non c'è modo di controllare i pregiudizi culturali quando si fa ricerca globale, è importante esserne consapevoli e tenerne conto nell'analisi.