Pregúntele al analista: evitar sesgos en el diseño de encuestas

La recopilación de datos de personas reales es tanto un arte como una ciencia.

Cualquier investigador le dirá que sus ideas son tan buenas como las preguntas que hace. O, en otras palabras, "basura dentro, basura fuera".

Parte de obtener datos de buena calidad se basa en saber cómo los diferentes aspectos del diseño de la encuesta influyen en la experiencia del encuestado. Uno de los más fundamentales, independientemente del campo de investigación social en el que esté trabajando, es evitar el sesgo .

Pero, ¿a qué nos referimos cuando hablamos de sesgo ? El diccionario de Oxford define el sesgo como " Distorsión sistemática de los resultados o hallazgos del estado real de las cosas, o cualquiera de las diversas variedades de procesos que conducen a una distorsión sistemática ".

La palabra clave aquí es distorsión .

El sesgo ocurre cuando distorsionamos la verdad última que estamos buscando debido a fallas en el diseño de nuestra investigación.

Hay muchas razones por las que los participantes pueden ser influenciados para responder en una dirección u otra. Investigadores de mercado experimentados han visto cómo se ve esto en la práctica, así como sus efectos en los hallazgos y, en última instancia, en el resultado final de sus clientes.

Cuando las empresas gastan miles de dólares (o más) en investigación, necesitan saber que los resultados que están obteniendo son confiables: estos a menudo guían muchas decisiones grandes y costosas.

La buena noticia es que los investigadores pueden hacer mucho para detectar y mitigar los efectos del sesgo.

Diseño contra el sesgo de muestreo

Antes de poner la pluma en el papel y redactar preguntas, el diseño de encuestas bien pensadas comienza con planes en torno al muestreo. Reclutar una muestra que sea representativa de la población más amplia sobre la que le gustaría sacar conclusiones es crucial; de lo contrario, los conocimientos solo se aplican al grupo individual de personas encuestadas.

Cuando se trata de muestreo, hay mucho espacio para el sesgo.

En los primeros días, la práctica estándar de investigación de mercado consistía en entrevistar a los encuestados cara a cara o por teléfono. Esto significaba ir de puerta en puerta para encontrar participantes dispuestos, llamar nombres de una guía telefónica o, como sucedía a veces, entrevistar a personas en el mundo.

Si bien las dos primeras opciones ofrecen a los investigadores más control, la última es muy vulnerable al sesgo de muestreo.

Digamos, por ejemplo, que desea investigar los hábitos de compra de los consumidores en la tienda. Una manera fácil de hacer esto podría ser pedirle a las personas que se encuentran en un centro comercial que participen en su investigación.

Si bien es probable que podamos suponer que estos encuestados son, de alguna forma, "compradores", no hay forma de saber si este estudio refleja ampliamente la población de "compradores" en el lugar que estamos tratando de comprender.

Hay un montón de cosas que influyen en quiénes son los participantes de nuestro centro comercial y sus comportamientos distintivos. Por ejemplo:

• ¿Estaremos reclutando participantes en un día de semana (cuando muchos adultos están en el trabajo) o en un fin de semana?
• ¿Estamos investigando cerca de un día festivo, cuando muchas personas que normalmente no van a los centros comerciales salen de compras?
• ¿Cuál es la composición del centro comercial? ¿Son principalmente tiendas premium las que atraen a clientes más acaudalados?
• ¿Es difícil llegar, lo que significa que solo aquellos con acceso a sus propios automóviles pueden comprar allí?
• ¿Qué pasa con todos los compradores que se niegan a participar?

Son muy diferentes de los que están dispuestos y sesgarán los resultados debido al sesgo de falta de respuesta.

En este estudio hipotético, realmente no hay forma de generalizar nuestros hallazgos de los participantes dispuestos del centro comercial a la población más grande de compradores.

Cuotas y representación

Dado que la mayor parte de la investigación del consumidor se ha movido en línea, los efectos del sesgo de muestreo son menos dramáticos que en el ejemplo anterior. Pero todavía hay consideraciones importantes para evitar este escollo.

Es crucial trabajar con proveedores de paneles experimentados y de buena reputación que arrojen una amplia red sobre cómo y dónde reclutan a los encuestados en línea.

Establecer cuotas para los indicadores demográficos, como edad, género, raza o etnia, ingresos y educación, también es importante para evitar sesgos. La clave es asegurarse de que su muestra se centre en la población más amplia que está estudiando.

Incluso con cuotas, los datos deben ponderarse, lo que significa que la muestra de la encuesta se “correge” matemáticamente para reflejar con mayor precisión la distribución demográfica de la población en cuestión.

Preparar al encuestado

Además del muestreo, existen elementos clave de sesgo que se deben tratar de evitar en el diseño del cuestionario.

Uno de estos se llama cebado. Según Marketing Society, esto sucede cuando “nuestros cerebros hacen conexiones inconscientes con nuestra memoria para que la exposición a un número primo aumente la accesibilidad de la información que ya existe en la memoria”.

Esencialmente, los encuestados en su encuesta ya tenían un recuerdo almacenado, pero ha mejorado su recuerdo. Aquí hay un ejemplo:

Supongamos que está escribiendo una encuesta para comprender las percepciones de los consumidores sobre un anuncio.

Primero, les hace preguntas sobre la marca que creó el anuncio, menciona la campaña en la que apareció el anuncio y describe los productos o servicios que ofrece la marca.

Cuando finalmente muestres el anuncio a los encuestados, es más probable que digan que lo reconocen y que reaccionarán de manera más positiva que si les dejaras responder "en frío", sin ninguna información sobre la marca, sus productos o sus campañas.

Como muestra el ejemplo, el cebado puede jugar un papel importante en inflar los hallazgos.

Al tratar de medir cosas como el conocimiento de la marca, la afinidad con la marca o el recuerdo del anuncio, es especialmente importante tener en cuenta este tipo de sesgo.

Dirigir al encuestado

Liderar, otra forma de crear sesgo, es exactamente lo que parece: estructurar encuestas o preguntas para "guiar" a las personas a responder de cierta manera.

Las preguntas pueden ser dirigidas de muchas formas, ya sea al vincular numerosas ideas que hacen que una declaración sea condicional, al hacer suposiciones de información previa o al tener un tono coercitivo.

Tomemos, por ejemplo, dos preguntas:

¿Qué tan grande crees que es el problema de la crisis de los plásticos para nuestros océanos?

1. gran problema
2. Gran problema
3. No es un gran problema
4. No es un problema en absoluto

Esto está liderando por una serie de razones. En primer lugar, su redacción asume que los encuestados piensan que el plástico en los océanos es, hasta cierto punto, un problema. En segundo lugar, catastrofiza el tema al referirse a la contaminación del océano como una "crisis". Tercero, crea un sentido de responsabilidad personal para el encuestado al usar la palabra “nuestro”. Reducir el sesgo en esta pregunta podría verse así:

¿Crees que la contaminación plástica en los océanos es...

1. un gran problema
2. Un gran problema
3. No es un gran problema
4. No es un problema en absoluto

Orden y aleatorización

Cuando se trata del diseño de preguntas, la aleatorización es el mejor amigo de un investigador.

Ayuda a combatir los efectos de preparar y dirigir al cambiar el orden de las secciones, preguntas u opciones cada vez que alguien realiza una encuesta.

Para las opciones enumeradas dentro de una pregunta, la aleatorización es una práctica estándar cuando no se requiere un orden fijo (es decir, para intervalos de tiempo, una escala de acuerdo). Esto mitiga el efecto del sesgo de orden, donde las personas están más inclinadas a seleccionar opciones al principio y al final de las listas que en el medio.

Mantener las listas cortas, para evitar que las opciones intermedias se pierdan demasiado en la mezcla, también ayuda.

Cuando se trata de escalas de Likert, como acuerdo, satisfacción o probabilidad, muchos investigadores optan por ordenarlas de la más negativa a la más positiva.

Puede parecer antinatural, pero funciona contra el efecto de doble golpe del sesgo de orden que se suma al sesgo de aquiescencia: la tendencia de las personas a responder de manera agradable.

La deseabilidad social y el efecto del entrevistador

El sesgo de aquiescencia es un ejemplo de cómo el condicionamiento social afecta la investigación, ya que es la aversión de las personas a ser descortés o desagradable lo que lo crea.

El condicionamiento social juega un papel importante en la investigación sesgada en general. A menudo, el efecto es tan fuerte que las personas responderán de manera que su comportamiento parezca "mejor" o más "aceptable" en lugar de la verdad, a pesar de que la encuesta es confidencial y anónima. Esto se llama sesgo de deseabilidad social.

Uno de los ejemplos más citados (y estudiados) de este sesgo es preguntar a los encuestados sobre su consumo de alcohol, que muchas personas tienden a minimizar en la investigación de encuestas.

En otros casos, los participantes pueden informar en exceso sobre comportamientos socialmente "buenos", como reciclar, votar o donar a organizaciones benéficas.

Si bien el sesgo de deseabilidad social puede ocurrir en cualquier modo de investigación, existe un riesgo adicional cuando un investigador está directamente involucrado en la recopilación de datos, como entrevistas cara a cara, entrevistas telefónicas o grupos focales.

Este tipo de sesgo, llamado "efecto del entrevistador", ocurre cuando la interacción de un participante con un investigador influye en sus respuestas. Los antecedentes de un entrevistador, como su edad o género, pueden afectar la comodidad de los participantes para responder honestamente a ciertas preguntas que plantean.

Las señales verbales y no verbales que el entrevistador puede revelar, a pesar de sus mejores intenciones de permanecer neutral, también pueden tener una gran influencia.

La cultura importa

Un punto clave para comprender este tipo de sesgos es que, como con cualquier cosa construida socialmente, es en última instancia la cultura la que les da forma.

La cultura dicta las expectativas y normas en torno a lo que es "apropiado", "aceptable" y "cortés" en una sociedad. Por lo tanto, podemos esperar que el sesgo de aquiescencia, la deseabilidad social y el efecto del entrevistador varíen bastante según el lugar donde se realice la investigación.

Uno de los ejemplos más comunes es la preferencia por expresar un fuerte acuerdo en sociedades colectivistas, como India o China, frente a otras más individualistas, como EE. UU.

En culturas altamente colectivistas, los estilos de respuesta son más moderados: los participantes eligen los puntos medios de las escalas en lugar de estar totalmente de acuerdo o en desacuerdo con las declaraciones.

En los EE. UU., ocurre lo contrario; los encuestados tienden a mostrar un mayor acuerdo o desacuerdo. En países como India y Brasil, el efecto es aún más pronunciado.

Si bien no hay forma de controlar el sesgo cultural al realizar una investigación global, es importante ser consciente de ello y tenerlo en cuenta en el análisis.