Zapytaj analityka: unikanie stronniczości w projektowaniu ankiet

Zbieranie danych od prawdziwych ludzi to zarówno sztuka, jak i nauka.

Każdy badacz powie ci, że twoje spostrzeżenia są tak dobre, jak pytania, które zadajesz. Innymi słowy, „śmieci, śmieci”.

Częścią uzyskania dobrej jakości danych jest wiedza o tym, jak różne aspekty projektu ankiety wpływają na doświadczenia respondentów. Jednym z najbardziej podstawowych z nich, niezależnie od dziedziny badań społecznych, w której pracujesz, jest unikanie uprzedzeń .

Ale co mamy na myśli, kiedy mówimy o stronniczości ? Słownik oksfordzki definiuje stronniczość jako „ systematyczne zniekształcanie wyników lub ustaleń z prawdziwego stanu rzeczy lub dowolnej z kilku odmian procesów prowadzących do systematycznego zniekształcenia ”.

Kluczowym słowem jest tutaj zniekształcenie .

Błąd pojawia się, gdy zniekształcamy ostateczną prawdę, której szukamy, z powodu błędów w naszym projekcie badawczym.

Istnieje wiele powodów, dla których uczestnicy mogą być skłaniani do odpowiedzi w tym czy innym kierunku. Doświadczeni badacze rynku zobaczyli, jak to wygląda w praktyce – a także jego wpływ na wyniki, a ostatecznie na wynik finansowy ich klientów.

Kiedy firmy wydają tysiące dolarów (lub więcej) na badania, muszą wiedzieć, że uzyskiwane wyniki są wiarygodne: często kierują one wieloma ważnymi, kosztownymi decyzjami.

Dobrą wiadomością jest to, że naukowcy mogą zrobić wiele, aby zarówno wykryć, jak i złagodzić skutki uprzedzeń.

Projektowanie przeciwko stronniczości próbkowania

Zanim przełożysz pióro na papier i napiszesz pytania, przemyślany projekt ankiety zaczyna się od planów dotyczących pobierania próbek. Rekrutacja próby, która jest reprezentatywna dla szerszej populacji, z której chcesz wyciągnąć wnioski, jest kluczowa, w przeciwnym razie spostrzeżenia mają zastosowanie tylko do pojedynczej grupy ankietowanych osób.

Jeśli chodzi o samplowanie, jest dużo miejsca na stronniczość.

Na początku standardową praktyką badania rynku było przeprowadzanie wywiadów z respondentami twarzą w twarz lub telefonicznie. Oznaczało to chodzenie od drzwi do drzwi w celu znalezienia chętnych uczestników, wywoływanie nazwisk z książki telefonicznej lub, jak to czasami bywa, przeprowadzanie wywiadów z ludźmi z całego świata.

Podczas gdy dwie pierwsze opcje zapewniają naukowcom większą kontrolę, ta druga jest bardzo podatna na błędy w próbkowaniu.

Załóżmy na przykład, że chcesz zbadać zwyczaje zakupowe konsumentów w sklepach. Prostym sposobem na zrobienie tego może być poproszenie osób, które akurat przebywają w centrum handlowym, o wzięcie udziału w Twoich badaniach.

Chociaż możemy prawdopodobnie założyć, że ci respondenci są w jakiejś formie „kupującymi”, nie ma sposobu, aby stwierdzić, czy to badanie w szerokim zakresie odzwierciedla populację „kupujących” w miejscu, które próbujemy zrozumieć.

Jest mnóstwo rzeczy, które wpływają na to, kim są nasi uczestnicy i jakie są ich zachowania. Na przykład:

• Czy będziemy rekrutować uczestników w dzień powszedni (kiedy dużo dorosłych jest w pracy) czy w weekend?
• Czy szukamy informacji blisko wakacji, kiedy wiele osób, które zwykle nie chodzą do centrów handlowych, robi zakupy?
• Jak wygląda galeria – czy to głównie sklepy premium przyciągają zamożniejszych, bardziej zamożnych klientów?
• Czy trudno się tam dostać – czyli tylko ci, którzy mają dostęp do własnego samochodu, mogą tam robić zakupy?
• A co ze wszystkimi kupującymi, którzy odmówią udziału?

Różnią się bardzo od tych, którzy są chętni i mogą przekrzywiać wyniki z powodu braku odpowiedzi.

W tym hipotetycznym badaniu tak naprawdę nie ma sposobu na uogólnienie naszych ustaleń z chętnych uczestników centrów handlowych na większą populację kupujących.

Kwoty i reprezentacja

Ponieważ większość badań konsumenckich przeniesiono do Internetu, skutki błędu próbkowania są mniej dramatyczne, jak w poprzednim przykładzie. Jednak nadal istnieją poważne względy, aby uniknąć tej pułapki.

Niezwykle ważna jest współpraca z renomowanymi i doświadczonymi dostawcami paneli, którzy zarzucają szeroką sieć na temat tego, jak i gdzie rekrutują respondentów online.

Ustalenie kwot dla wskaźników demograficznych – takich jak wiek, płeć, rasa lub pochodzenie etniczne, dochód i wykształcenie – jest również ważne dla uniknięcia uprzedzeń. Kluczem jest upewnienie się, że twoja próbka obejmuje szerszą populację, którą badasz.

Nawet w przypadku kwot dane muszą być ważone – co oznacza, że ​​próba badawcza jest „poprawiona” matematycznie, aby dokładniej odzwierciedlać rozkład demograficzny danej populacji.

Przygotowywanie respondenta

Oprócz doboru próby istnieją kluczowe elementy stronniczości, których należy unikać przy projektowaniu kwestionariusza.

Jednym z nich jest gruntowanie. Według Marketing Society dzieje się tak, gdy „nasze mózgi tworzą nieświadome połączenia z naszą pamięcią, tak że ekspozycja na liczbę pierwszą zwiększa dostępność informacji już istniejących w pamięci”.

Zasadniczo respondenci w Twojej ankiecie mieli już zapisaną pamięć, ale poprawiłeś ich pamięć. Oto przykład:

Załóżmy, że piszesz ankietę, aby zrozumieć, jak konsumenci postrzegają reklamę.

Najpierw zadajesz im pytania dotyczące marki, która utworzyła reklamę, wspominasz kampanię, w której reklama była prezentowana, i przedstawiasz produkty lub usługi oferowane przez markę.

Kiedy w końcu pokażesz respondentom reklamę, są bardziej skłonni powiedzieć, że ją rozpoznali i zareagowaliby bardziej pozytywnie, niż gdybyś pozwolił im odpowiedzieć „na zimno” – bez żadnych informacji o marce, jej produktach lub kampaniach.

Jak pokazuje przykład, torowanie może odgrywać dużą rolę w zawyżaniu wyników.

Próbując zmierzyć takie czynniki, jak świadomość marki, podobieństwo do marki lub rozpoznawalność reklamy, szczególnie ważne jest, aby pamiętać o tego rodzaju uprzedzeniu.

Prowadzenie respondenta

Przewodzenie, inna forma tworzenia stronniczości, jest dokładnie tym, na co brzmi – konstruowaniem ankiet lub pytań, aby „poprowadzić” ludzi w określony sposób.

Pytania mogą prowadzić w wielu formach, albo łącząc ze sobą wiele pomysłów, które warunkują wypowiedź, przyjmując założenia dotyczące wcześniejszych informacji, albo stosując przymusowy ton.

Weźmy na przykład dwa pytania:

Jak dużym problemem, twoim zdaniem, jest kryzys tworzyw sztucznych dla naszych oceanów?

1. Ogromny problem
2. Wielki problem
3. Nie jest to duży problem
4. Nie ma problemu

Prowadzi to z wielu powodów. Po pierwsze, jego sformułowanie zakłada, że ​​respondenci uważają, że plastik w oceanach jest do pewnego stopnia problemem. Po drugie, katastrofalnie porusza temat, nazywając zanieczyszczenie oceanów „kryzysem”. Po trzecie, tworzy poczucie osobistej odpowiedzialności za respondenta, używając słowa „nasze”. Redukcja stronniczości w tym pytaniu może wyglądać tak:

Czy uważasz, że zanieczyszczenie oceanów plastikiem to…

1. Ogromny problem
2. Wielki problem
3. Nie jest to duży problem
4. Nie ma problemu

Zamówienie i randomizacja

Jeśli chodzi o projektowanie pytań, randomizacja jest najlepszym przyjacielem badacza.

Pomaga zwalczyć efekty torowania i prowadzenia, zachowując kolejność sekcji, pytań lub opcji zmieniających się za każdym razem, gdy ktoś wypełnia ankietę.

W przypadku wymienionych opcji w pytaniu, randomizacja jest standardową praktyką, gdy nie jest wymagana stała kolejność (np. dla przedziałów czasowych skala zgody). To łagodzi efekt stronniczości kolejności, gdzie ludzie są bardziej skłonni do wybierania opcji na początku i na końcu list, a nie w środku.

Pomaga również utrzymywanie krótkich list, aby uniknąć zbytniego zagubienia się w miksie środkowych opcji.

Jeśli chodzi o skale Likerta, takie jak zgoda, satysfakcja lub prawdopodobieństwo, wielu badaczy decyduje się na uporządkowanie ich od najbardziej negatywnych do najbardziej pozytywnych.

Może wydawać się to nienaturalne, ale działa przeciwko podwójnemu efektowi nastawienia na porządek, działającemu na szczycie nastawienia na zgodę – skłonności ludzi do zgodnego odpowiadania.

Społeczna aprobata i efekt ankietera

Tolerancja jest przykładem tego, jak uwarunkowania społeczne wpływają na badania, ponieważ to niechęć ludzi do bycia niegrzecznym lub nieprzyjemnym, które je tworzy.

Uwarunkowania społeczne odgrywają dużą rolę w ogólnym wypaczeniu badań. Często efekt jest tak silny, że ludzie reagują w sposób, który sprawia, że ​​ich zachowanie wydaje się „lepsze” lub bardziej „akceptowalne” zamiast tego, co jest zgodne z prawdą – mimo że ankieta jest zarówno poufna, jak i anonimowa. Nazywa się to uprzedzeniem społecznym.

Jednym z najczęściej cytowanych (i przebadanych) przykładów tego uprzedzenia jest pytanie respondentów o spożycie alkoholu, co wiele osób ma tendencję do bagatelizowania w badaniach ankietowych.

W innych przypadkach uczestnicy mogą przesadzać z społecznie „dobrymi” zachowaniami – takimi jak recykling, głosowanie lub przekazywanie darowizn na cele charytatywne.

Chociaż stronniczość aprobaty społecznej może wystąpić w dowolnym trybie badań, istnieje dodatkowe ryzyko, gdy badacz jest bezpośrednio zaangażowany w zbieranie danych, na przykład poprzez wywiady bezpośrednie, wywiady telefoniczne lub grupy fokusowe.

Nazywany „efektem ankietera”, ten rodzaj uprzedzeń ma miejsce, gdy interakcja uczestnika z badaczem wpływa na jego odpowiedzi. Pochodzenie ankietera – na przykład wiek lub płeć – może mieć wpływ na to, jak dobrze uczestnicy czują się, odpowiadając szczerze na niektóre pytania, które zadają.

Werbalne i niewerbalne wskazówki, które ankieter może ujawnić, pomimo ich najlepszych intencji zachowania neutralności, również mogą mieć duży wpływ.

Kultura ma znaczenie

Kluczową kwestią do zrozumienia w przypadku tego rodzaju uprzedzeń jest to, że podobnie jak w przypadku wszystkiego, co konstruowane jest społecznie, ostatecznie kształtuje je kultura.

Kultura dyktuje oczekiwania i normy dotyczące tego, co jest „odpowiednie”, „dopuszczalne” i „uprzejme” w społeczeństwie. Możemy więc oczekiwać, że stronniczość zgody, atrakcyjność społeczna i efekt ankietera będą się różnić w zależności od tego, gdzie przeprowadzane są badania.

Jednym z najczęstszych przykładów jest preferencja wyrażania silnej zgody w społeczeństwach kolektywistycznych, takich jak Indie czy Chiny, w porównaniu z bardziej indywidualistycznymi, jak USA

W wysoce kolektywistycznych kulturach style odpowiedzi są bardziej umiarkowane – uczestnicy wybierają punkty środkowe skali zamiast zdecydowanie zgadzać się lub nie zgadzać z twierdzeniami.

W USA jest odwrotnie; respondenci wykazują silniejszą zgodę lub sprzeciw. W krajach takich jak Indie i Brazylia efekt jest jeszcze wyraźniejszy.

Chociaż nie ma możliwości kontrolowania uprzedzeń kulturowych podczas prowadzenia badań globalnych, ważne jest, aby być tego świadomym i brać to pod uwagę w analizie.