Tanyakan kepada analis: menghindari bias dalam desain survei

Mengumpulkan data dari orang-orang nyata adalah seni dan sains.

Peneliti mana pun akan memberi tahu Anda bahwa wawasan Anda hanya sebaik pertanyaan yang Anda ajukan. Atau, dengan kata lain, "sampah, sampah keluar."

Bagian dari mendapatkan data berkualitas baik bergantung pada mengetahui bagaimana berbagai aspek desain survei memengaruhi pengalaman responden. Salah satu yang paling mendasar, terlepas dari bidang penelitian sosial apa pun yang Anda geluti, adalah menghindari bias .

Tapi apa yang kita maksud ketika kita berbicara tentang bias ? Kamus Oxford mendefinisikan bias sebagai “ Distorsi sistematis hasil atau temuan dari keadaan sebenarnya, atau salah satu dari beberapa jenis proses yang mengarah ke distorsi sistematis .”

Kata kuncinya di sini adalah distorsi .

Bias terjadi ketika kita mendistorsi kebenaran tertinggi yang kita cari karena kekurangan dalam desain penelitian kita.

Ada banyak alasan mengapa peserta dapat terombang-ambing untuk menjawab ke satu arah atau lainnya. Peneliti pasar yang berpengalaman telah melihat seperti apa hal ini dalam praktiknya – serta pengaruhnya terhadap temuan dan, pada akhirnya, keuntungan klien mereka.

Ketika perusahaan menghabiskan ribuan dolar (atau lebih) untuk penelitian, mereka perlu mengetahui bahwa hasil yang mereka peroleh dapat diandalkan: ini sering memandu banyak keputusan besar dan mahal.

Kabar baiknya adalah ada banyak hal yang dapat dilakukan peneliti untuk mengenali dan mengurangi efek bias.

Merancang melawan bias pengambilan sampel

Sebelum meletakkan pena di atas kertas dan menyusun pertanyaan, desain survei yang bijaksana dimulai dengan rencana seputar pengambilan sampel. Merekrut sampel yang mewakili populasi yang lebih luas yang ingin Anda tarik kesimpulannya sangat penting, jika tidak, wawasan hanya berlaku untuk kelompok individu yang disurvei.

Dalam hal pengambilan sampel, ada banyak ruang untuk bias.

Pada hari-hari awal, praktik riset pasar standar adalah mewawancarai responden secara langsung atau melalui telepon. Ini berarti pergi dari pintu ke pintu untuk menemukan peserta yang bersedia, memanggil nama dari buku telepon, atau, seperti yang kadang-kadang terjadi, mewawancarai orang-orang di dunia.

Sementara dua opsi sebelumnya menawarkan lebih banyak kontrol kepada peneliti, yang terakhir sangat rentan terhadap bias pengambilan sampel.

Katakanlah, misalnya, Anda ingin meneliti kebiasaan belanja konsumen di dalam toko. Cara mudah untuk melakukannya adalah dengan meminta orang-orang yang kebetulan berada di mal untuk berpartisipasi dalam penelitian Anda.

Meskipun kita mungkin dapat berasumsi bahwa responden ini, dalam beberapa bentuk, "pembeli", tidak ada cara untuk mengetahui apakah penelitian ini secara luas mencerminkan populasi "pembeli" di tempat yang kita coba pahami.

Ada banyak hal yang memengaruhi siapa peserta mal kami dan perilaku mereka yang berbeda. Sebagai contoh:

• Apakah kami akan merekrut peserta pada hari kerja (ketika banyak orang dewasa bekerja) atau pada akhir pekan?
• Apakah kita meneliti menjelang hari libur, ketika banyak orang yang biasanya tidak pergi ke mal sedang berbelanja?
• Bagaimana susunan mal – apakah sebagian besar toko premium yang menarik pelanggan yang lebih kaya dan lebih kaya?
• Apakah sulit dijangkau – artinya hanya mereka yang memiliki akses ke mobil sendiri yang dapat berbelanja di sana?
• Bagaimana dengan semua pembeli yang menolak untuk berpartisipasi?

Mereka sangat berbeda dari mereka yang bersedia, dan akan mengubah hasil karena bias non-respons.

Dalam studi hipotetis ini, benar-benar tidak ada cara untuk menggeneralisasi temuan kami dari peserta mal yang bersedia ke populasi pembeli yang lebih besar.

Kuota dan representasi

Karena sebagian besar riset konsumen telah beralih ke online, efek bias pengambilan sampel kurang dramatis seperti pada contoh sebelumnya. Namun masih ada pertimbangan utama dalam menghindari jebakan ini.

Sangat penting untuk bekerja dengan penyedia panel yang bereputasi dan berpengalaman yang memberikan jaring yang luas tentang bagaimana dan di mana mereka merekrut responden secara online.

Menetapkan kuota untuk indikator demografi – seperti usia, jenis kelamin, ras atau etnis, pendapatan, dan pendidikan – juga penting untuk menghindari bias. Kuncinya adalah memastikan sampel Anda melihat populasi yang lebih luas yang Anda pelajari.

Bahkan dengan kuota, data harus diberi bobot – artinya sampel survei “dikoreksi” secara matematis agar lebih akurat mencerminkan distribusi demografis dari populasi yang bersangkutan.

Mengutamakan responden

Selain pengambilan sampel, ada elemen kunci bias yang harus dicoba dan dihindari dalam desain kuesioner.

Salah satunya disebut priming. Menurut Marketing Society, ini terjadi ketika "otak kita membuat koneksi bawah sadar ke memori kita sehingga paparan prima meningkatkan aksesibilitas informasi yang sudah ada dalam memori".

Pada dasarnya, responden dalam survei Anda sudah memiliki ingatan yang tersimpan, tetapi Anda telah meningkatkan ingatan mereka. Berikut ini contohnya:

Katakanlah Anda sedang menulis survei untuk memahami persepsi konsumen tentang sebuah iklan.

Pertama, Anda mengajukan pertanyaan kepada mereka tentang merek yang membuat iklan, menyebutkan kampanye yang menampilkan iklan tersebut, dan menguraikan produk atau layanan yang disediakan merek tersebut.

Saat Anda akhirnya menampilkan iklan kepada responden, mereka cenderung mengatakan bahwa mereka mengenalinya dan akan bereaksi lebih positif daripada jika Anda membiarkan mereka merespons "dingin" – tanpa informasi apa pun tentang merek, produknya, atau kampanyenya.

Seperti yang ditunjukkan oleh contoh, priming dapat memainkan peran besar dalam menggembungkan temuan.

Saat mencoba mengukur hal-hal seperti kesadaran merek, afinitas merek, atau ingatan iklan, sangat penting untuk mengingat jenis bias ini.

Memimpin responden

Memimpin, bentuk lain dari menciptakan bias, persis seperti apa kedengarannya – menyusun survei atau pertanyaan untuk “memimpin” orang dalam merespons dengan cara tertentu.

Pertanyaan dapat mengarah dalam berbagai bentuk, baik dengan menghubungkan banyak ide yang membuat pernyataan menjadi kondisional, membuat asumsi tentang informasi sebelumnya, atau dengan nada yang memaksa.

Ambil, misalnya, dua pertanyaan:

Menurut Anda seberapa besar masalah krisis plastik bagi lautan kita?

1. Masalah besar
2. Masalah besar
3. Bukan masalah besar
4. Tidak masalah sama sekali

Ini memimpin karena beberapa alasan. Pertama, kata-katanya mengasumsikan bahwa responden berpikir bahwa plastik di lautan, sampai taraf tertentu, merupakan masalah. Kedua, topik ini menjadi bencana dengan mengacu pada polusi laut sebagai “krisis.” Ketiga, menciptakan rasa tanggung jawab pribadi responden dengan menggunakan kata “milik kami”. Mengurangi bias dalam pertanyaan ini mungkin terlihat seperti ini:

Apakah menurut Anda polusi plastik di lautan adalah…

1. Masalah besar
2. Masalah besar
3. Bukan masalah besar
4. Tidak masalah sama sekali

Urutan dan pengacakan

Ketika datang ke desain pertanyaan, pengacakan adalah teman terbaik peneliti.

Ini membantu memerangi efek priming dan memimpin dengan menjaga urutan bagian, pertanyaan, atau pilihan berubah setiap kali seseorang mengikuti survei.

Untuk opsi yang terdaftar dalam pertanyaan, pengacakan adalah praktik standar ketika urutan tetap tidak diperlukan (yaitu untuk interval waktu, skala kesepakatan). Ini mengurangi efek bias pesanan, di mana orang lebih cenderung memilih opsi di awal dan akhir daftar daripada di tengah.

Membuat daftar tetap pendek, untuk menghindari opsi tengah agar tidak terlalu tersesat dalam campuran, juga membantu.

Ketika sampai pada skala Likert, seperti persetujuan, kepuasan, atau kemungkinan, banyak peneliti memilih untuk mengurutkannya dari yang paling negatif ke yang paling positif.

Ini bisa terasa tidak wajar, tetapi bekerja melawan efek ganda dari bias pesanan yang bekerja di atas bias persetujuan – kecenderungan orang untuk menjawab dengan setuju.

Keinginan sosial dan efek pewawancara

Bias persetujuan adalah contoh bagaimana pengkondisian sosial memengaruhi penelitian, karena keengganan orang untuk bersikap tidak sopan atau tidak menyenangkan yang menciptakannya.

Pengkondisian sosial memainkan peran besar dalam mencondongkan penelitian secara umum. Seringkali, efeknya begitu kuat sehingga orang akan merespons dengan cara yang membuat perilaku mereka tampak “lebih baik” atau lebih “dapat diterima” daripada yang sebenarnya – meskipun survei bersifat rahasia dan anonim. Ini disebut bias keinginan sosial.

Salah satu contoh bias ini yang paling sering dikutip (dan dipelajari) adalah dalam menanyakan responden tentang konsumsi alkohol mereka, yang cenderung diremehkan oleh banyak orang dalam penelitian survei.

Dalam kasus lain, peserta mungkin melaporkan secara berlebihan perilaku "baik" secara sosial - seperti mendaur ulang, memilih, atau menyumbang untuk amal.

Sementara bias keinginan sosial dapat terjadi dalam mode penelitian apa pun, ada risiko tambahan ketika seorang peneliti terlibat langsung dalam pengumpulan data, seperti melalui wawancara tatap muka, wawancara telepon, atau kelompok fokus.

Disebut "efek pewawancara", jenis bias ini terjadi ketika interaksi peserta dengan peneliti mempengaruhi tanggapan mereka. Latar belakang pewawancara – seperti usia atau jenis kelamin mereka – dapat memengaruhi kenyamanan peserta dalam menjawab pertanyaan tertentu yang mereka ajukan dengan jujur.

Isyarat verbal dan nonverbal yang mungkin diungkapkan pewawancara, terlepas dari niat terbaik mereka untuk tetap netral, juga dapat memiliki pengaruh besar.

Budaya penting

Poin kunci untuk memahami dengan jenis bias ini adalah bahwa, seperti apa pun yang dibangun secara sosial, pada akhirnya budayalah yang membentuknya.

Budaya mendikte ekspektasi dan norma seputar apa yang “pantas”, “dapat diterima”, dan “sopan” dalam masyarakat. Jadi kita dapat mengharapkan bias persetujuan, keinginan sosial, dan efek pewawancara sedikit berbeda tergantung di mana penelitian dilakukan.

Salah satu contoh paling umum adalah preferensi untuk mengekspresikan kesepakatan yang kuat dalam masyarakat kolektivis, seperti India atau Cina, dibandingkan dengan masyarakat yang lebih individualistis, seperti AS.

Dalam budaya yang sangat kolektivis, gaya respons lebih moderat - dengan peserta memilih skala titik tengah daripada setuju atau tidak setuju dengan pernyataan dengan kuat.

Di AS, yang terjadi adalah kebalikannya; responden cenderung menunjukkan persetujuan atau ketidaksetujuan yang lebih kuat. Di negara-negara seperti India dan Brasil, efeknya bahkan lebih terasa.

Meskipun tidak ada cara untuk mengendalikan bias budaya saat melakukan penelitian global, penting untuk menyadarinya dan mempertimbangkannya dalam analisis.