Întrebați analistul: evitarea părtinirii în proiectarea sondajului

Colectarea datelor de la oameni reali este atât o artă, cât și o știință.

Orice cercetător îți va spune că intuițiile tale sunt la fel de bune ca și întrebările pe care le pui. Sau, cu alte cuvinte, „junk in, junk out”.

O parte a obținerii de date de bună calitate se bazează pe cunoașterea modului în care diferitele aspecte ale designului sondajului influențează experiența respondentului. Una dintre cele mai fundamentale dintre acestea, indiferent de domeniul cercetării sociale în care lucrați, este evitarea părtinirii .

Dar la ce ne referim când vorbim despre părtinire ? Dicționarul Oxford definește prejudecățile ca „ Denaturarea sistematică a rezultatelor sau constatărilor din adevărata stare a lucrurilor, sau oricare dintre mai multe tipuri de procese care duc la distorsiuni sistematice ”.

Cuvântul cheie aici este denaturare .

Prejudecățile se întâmplă atunci când denaturăm adevărul suprem pe care îl căutăm din cauza unor defecte în designul cercetării noastre.

Există multe motive pentru care participanții pot fi influențați să răspundă într-o direcție sau alta. Cercetătorii de piață cu experiență au văzut cum arată acest lucru în practică – precum și efectele sale asupra constatărilor și, în cele din urmă, rezultatul final al clienților lor.

Atunci când companiile cheltuiesc mii de dolari (sau mai mult) pentru cercetare, trebuie să știe că rezultatele pe care le obțin sunt de încredere: acestea ghidează adesea o mulțime de decizii mari și costisitoare.

Vestea bună este că sunt multe pe care cercetătorii pot face atât pentru a identifica, cât și pentru a atenua efectele părtinirii.

Proiectare împotriva părtinirii eșantionării

Înainte de a pune pixul pe hârtie și de a redacta întrebări, proiectarea atentă a sondajului începe cu planuri în jurul eșantionării. Recrutarea unui eșantion care să fie reprezentativ pentru populația mai largă despre care ați dori să trageți concluzii este crucială, în caz contrar, informațiile sunt aplicabile numai grupului individual de persoane chestionate.

Când vine vorba de eșantionare, există mult loc pentru părtinire.

În primele zile, practica standard de cercetare de piață a fost de a intervieva respondenții față în față sau la telefon. Aceasta însemna să mergi din uşă în uşă pentru a găsi participanţi dispuşi, strigând nume dintr-o carte de telefon sau, după cum era uneori cazul, intervievând oameni din lume.

În timp ce primele două opțiuni oferă cercetătorilor mai mult control, cea din urmă este foarte vulnerabilă la prejudecățile de eșantionare.

Să presupunem, de exemplu, că doriți să cercetați obiceiurile de cumpărături ale consumatorilor din magazine. O modalitate ușoară de a face acest lucru ar putea fi să le cereți persoanelor care se află într-un mall să participe la cercetarea dvs.

Deși probabil putem presupune că acești respondenți sunt, într-o anumită formă, „cumpărători”, nu există nicio modalitate de a spune dacă acest studiu reflectă în linii mari populația „cumpărători” din locul pe care încercăm să-l înțelegem.

Există o mulțime de lucruri care influențează cine sunt participanții la mall-ul nostru și comportamentele lor distincte. De exemplu:

• Vom recruta participanți într-o zi a săptămânii (când mulți adulți sunt la serviciu) sau într-un weekend?
• Ne cercetăm aproape de vacanță, când mulți oameni care nu merg în mod normal la mall-uri sunt la cumpărături?
• Care este structura mall-ului – sunt în principal magazinele premium care atrag clienți mai bogați și mai înstăriți?
• Este greu de ajuns, adică doar cei care au acces la propriile lor mașini pot face cumpărături acolo?
• Dar toți cumpărătorii care refuză să participe?

Sunt foarte diferiți de cei care sunt dispuși și vor denatura rezultatele din cauza părtinirii lipsei de răspuns.

În acest studiu ipotetic, nu există într-adevăr nicio modalitate de a generaliza concluziile noastre de la participanții la mall-uri la o populație mai mare de cumpărători.

Cote și reprezentare

Deoarece majoritatea cercetărilor privind consumatorii s-au mutat online, efectele părtinirii eșantionării sunt mai puțin dramatice ca în exemplul anterior. Dar există încă considerații majore în evitarea acestei capcane.

Este esențial să lucrezi cu furnizori de panel de renume și cu experiență, care fac o rețea largă în modul și unde recrutează respondenți online.

Stabilirea de cote pentru indicatorii demografici – cum ar fi vârsta, sexul, rasa sau etnia, venitul și educația – este, de asemenea, importantă pentru a evita părtinirea. Cheia este să vă asigurați că eșantionul dvs. se uită la populația mai largă pe care o studiați.

Chiar și cu cote, datele trebuie ponderate – ceea ce înseamnă că eșantionul sondajului este „corectat” matematic pentru a oglindi mai exact distribuția demografică a populației în cauză.

Primirea intimatului

În afară de eșantionare, există elemente cheie de părtinire de încercat și evitat în proiectarea chestionarului.

Una dintre acestea se numește amorsare. Potrivit Marketing Society, acest lucru se întâmplă atunci când „creierul nostru face conexiuni inconștiente cu memoria noastră, astfel încât expunerea la un prim crește accesibilitatea informațiilor deja existente în memorie”.

În esență, respondenții din sondajul dvs. aveau deja o memorie stocată, dar le-ați îmbunătățit amintirea. Iată un exemplu:

Să presupunem că scrieți un sondaj pentru a înțelege percepțiile consumatorilor asupra unei reclame.

Mai întâi le puneți întrebări despre marca care a creat anunțul, menționați campania în care a fost prezentat anunțul și descrieți produsele sau serviciile oferite de marca.

Când în sfârșit le arătați respondenților anunțul, este mai probabil ca aceștia să spună că o recunosc și că ar reacționa mai pozitiv decât dacă i-ați lăsa să răspundă „la rece” – fără nicio informație despre marcă, produsele sale sau campaniile sale.

După cum arată exemplul, amorsarea poate juca un rol important în umflarea rezultatelor.

Când încercați să măsurați lucruri precum gradul de cunoaștere a mărcii, afinitatea mărcii sau amintirea reclamelor, este deosebit de important să aveți în vedere acest tip de părtinire.

Conducerea intimatului

Conducerea, o altă formă de a crea părtinire, este exact ceea ce sună – structurarea de sondaje sau întrebări pentru a „conduce” oamenii să răspundă într-un anumit mod.

Întrebările pot fi conducătoare în multe forme, fie prin legarea a numeroase idei care fac o declarație condiționată, făcând presupuneri despre informații anterioare, fie prin tonul coercitiv.

Luați, de exemplu, două întrebări:

Cât de mare crezi că este o problemă criza plasticului pentru oceanele noastre?

1. Problemă uriașă
2. Problema mare
3. Nu este o mare problemă
4. Nu e deloc problema

Acest lucru conduce din mai multe motive. În primul rând, formularea acesteia presupune că respondenții cred că plasticul din oceane este, într-o oarecare măsură, o problemă. În al doilea rând, catastrofizează subiectul referindu-se la poluarea oceanelor drept o „criză”. În al treilea rând, creează un sentiment de responsabilitate personală pentru respondent prin utilizarea cuvântului „al nostru”. Reducerea părtinirii acestei întrebări ar putea arăta astfel:

Crezi că poluarea cu plastic din oceane este...

1. O problemă uriașă
2. O problema mare
3. Nu este o mare problemă
4. Nu e deloc problema

Ordinea și randomizarea

Când vine vorba de proiectarea întrebărilor, randomizarea este cel mai bun prieten al cercetătorului.

Ajută la combaterea efectelor amorsării și conducerii prin păstrarea ordinii secțiunilor, întrebărilor sau opțiunilor care se schimbă de fiecare dată când cineva participă la un sondaj.

Pentru opțiunile enumerate într-o întrebare, randomizarea este o practică standard atunci când nu este necesară o comandă fixă ​​(adică pentru intervale de timp, o scală de acord). Acest lucru atenuează efectul părtinirii comenzii, în care oamenii sunt mai înclinați să selecteze opțiuni la începutul și la sfârșitul listelor, mai degrabă decât la mijloc.

Menținerea listelor scurte, pentru a evita ca opțiunile de mijloc să se piardă prea mult în amestec, de asemenea, ajută.

Când vine vorba de scalele Likert, cum ar fi acordul, satisfacția sau probabilitatea, mulți cercetători aleg să le ordoneze de la cel mai negativ la cel mai pozitiv.

Poate fi nefiresc, dar funcționează împotriva efectului de dublu-whammy al prejudecății de ordine care lucrează pe deasupra părtinirii acceptării - tendința oamenilor de a răspunde agreabil.

Dezirabilitatea socială și efectul intervievatorului

Prejudecățile de acceptare este un exemplu al modului în care condiționarea socială influențează cercetarea, deoarece aversiunea oamenilor de a fi nepoliticoși sau dezagreabil este cea care o creează.

Condiționarea socială joacă un rol important în denaturarea cercetării în general. Adesea, efectul este atât de puternic încât oamenii vor răspunde în moduri care le fac comportamentul să pară „mai bun” sau mai „acceptabil”, mai degrabă decât ceea ce este adevărat – în ciuda faptului că un sondaj este atât confidențial, cât și anonim. Aceasta se numește prejudecată socială.

Unul dintre cele mai citate (și studiate) exemple ale acestei părtiniri este în a întreba respondenții despre consumul lor de alcool, pe care mulți oameni tind să-l minimizeze în cercetarea prin sondaj.

În alte cazuri, participanții ar putea raporta în exces despre comportamentele „bune” din punct de vedere social - cum ar fi reciclarea, votul sau donarea către organizații caritabile.

În timp ce părtinirea dezirabilității sociale poate apărea în orice mod de cercetare, există un risc suplimentar atunci când un cercetător este direct implicat în colectarea datelor, cum ar fi prin interviuri față în față, interviuri telefonice sau grupuri de discuție.

Denumit „efectul intervievatorului”, acest tip de părtinire apare atunci când interacțiunea unui participant cu un cercetător influențează răspunsurile acestora. Contextul unui intervievator – cum ar fi vârsta sau sexul acestuia – ar putea influența cât de confortabil se simt participanții în a răspunde sincer la anumite întrebări pe care le pun.

Indiciile verbale și nonverbale pe care intervievatorul le poate dezvălui, în ciuda celor mai bune intenții ale lor de a rămâne neutre, pot avea, de asemenea, o mare influență.

Cultura contează

Un punct cheie de înțeles cu aceste tipuri de prejudecăți este că, la fel ca în orice lucru construit social, cultura este cea care le modelează.

Cultura dictează așteptările și normele în jurul a ceea ce este „adecvat”, „acceptabil” și „politicos” într-o societate. Prin urmare, ne putem aștepta ca părtinirea acceptării, dezirabilitatea socială și efectul intervievatorului să varieze destul de mult în funcție de locul în care se face cercetarea.

Unul dintre cele mai comune exemple este preferința de a exprima acordul puternic în societățile colectiviste, precum India sau China, față de cele mai individualiste, precum SUA.

În culturile extrem de colectiviste, stilurile de răspuns sunt mai moderate – participanții alegând punctele medii ale scalei, mai degrabă decât să fie de acord sau dezacord puternic cu afirmațiile.

În SUA, este adevărat opusul; respondenții tind să manifeste un acord sau dezacord mai puternic. În țări precum India și Brazilia, efectul este și mai pronunțat.

Deși nu există nicio modalitate de a controla prejudecățile culturale atunci când faceți cercetări globale, este important să fiți conștienți de aceasta și să o luați în considerare în analiză.