Sesgos en encuestas: 16 tipos, ejemplos y cómo evitar cada uno

Los sesgos en encuestas son errores sistemáticos que empujan los resultados lejos de la realidad siempre en la misma dirección, por eso juntar más respuestas no los corrige. Entran por cuatro puertas: a quién le preguntas, cómo preguntas, cómo responde la gente y cómo analizas. Abajo tienes una tabla con 16 tipos de sesgo, cada uno con un ejemplo y una solución, y una lista de revisión para cada etapa del estudio.

El término general está en nuestra entrada del glosario sobre el sesgo. Esta guía es práctica: de dónde sale cada sesgo en una encuesta real, cómo se ve en los datos y qué puedes cambiar antes de lanzar.

Qué es un sesgo y por qué una muestra más grande no lo arregla

Toda encuesta tiene dos tipos de error. El error aleatorio viene de preguntar a una muestra y no a todos. Dispersa los resultados alrededor del valor real hacia los dos lados y se achica cuando la muestra crece; para eso sirve una calculadora de tamaño de muestra. El sesgo mueve los resultados hacia un solo lado y no cambia por más gente que conteste. Si duplicas la muestra, obtienes la misma respuesta equivocada con más seguridad.

El caso clásico es la encuesta de la revista Literary Digest sobre la elección presidencial de Estados Unidos en 1936. La revista envió diez millones de boletas por correo y recibió casi 2,4 millones de vuelta. Pronosticó que Alf Landon ganaría con el 54% del voto popular. Franklin Roosevelt ganó con más del 60%. Como cuentan Sharon Lohr y J. Michael Brick en un artículo de 2017, la lista de envío salió sobre todo de directorios telefónicos y registros de autos, y solo regresó cerca de una cuarta parte de las boletas. Dos millones de respuestas no sirvieron, porque quienes respondieron no se parecían a quienes votaron.

Tipos de sesgo en encuestas: la tabla completa

La tabla agrupa 16 sesgos comunes según el punto por donde entran al estudio. La primera columna lleva a la entrada del glosario cuando la tenemos.

El resto de la guía recorre los cuatro grupos con la evidencia detrás de las soluciones principales.

A quién preguntas: muestra, no respuesta y supervivientes

Los sesgos de muestra deciden de quién es la opinión que describen tus resultados. Ninguna ponderación trae de vuelta a un grupo que nunca estuvo en la muestra.

El sesgo de selección empieza en la lista. Una encuesta enviada solo a quienes reciben tu newsletter describe a esos suscriptores. Un pop-up en tu página de precios describe a quien está pensando en comprar. Las dos están bien si ese es el grupo que te interesa; el error es presentarlas como «nuestros clientes». La mejor protección es una muestra probabilística, donde cada miembro de la población tiene una probabilidad conocida de salir elegido; nuestro artículo sobre el muestreo probabilístico explica los diseños principales. Cuando eso no es posible, las cuotas sobre los pocos rasgos que más importan, como plan, región o antigüedad, evitan que la muestra se desvíe.

El sesgo de no respuesta aparece cuando quienes contestan difieren de quienes no en lo que mides. Una tasa de respuesta alta ayuda, pero no garantiza nada. La American Association for Public Opinion Research señala en su resumen sobre tasas de respuesta que, en algunos casos, los resultados con menos sesgo vinieron de encuestas con tasas de respuesta lejos de lo ideal. La revisión práctica es comparar a quienes respondieron con la lista completa en lo que ya sabes: plan, región, fecha de alta, historial de compras. Si entre quienes respondieron hay el doble de clientes de pago, lee los resultados con eso en mente o pondera. Si la encuesta es anónima, compara totales: pregunta uno o dos de esos rasgos en categorías amplias y ponlos junto a los mismos totales de la lista completa, sin cruzar respuestas con nombres.

El sesgo de supervivencia es un sesgo de selección con historia. En la Segunda Guerra Mundial, el estadístico Abraham Wald estudió los daños en los aviones que volvían de sus misiones. Su punto, descrito por Mangel y Samaniego (1984), era que la información que faltaba estaba en los aviones que no volvieron. En la investigación de clientes, esos aviones son los clientes que cancelaron, los candidatos rechazados y los empleados que renunciaron. Una encuesta de retención solo a clientes actuales siempre encontrará que los clientes te quieren. Pregúntales también a quienes se fueron, siempre que hayan aceptado que los contactes.

El muestreo por conveniencia, preguntar a quien tienes a la mano, sirve para probar preguntas o juntar ideas. Se vuelve un problema cuando los porcentajes se presentan como si describieran a una población más amplia.

Cómo preguntas: redacción, orden y anclas

Los sesgos de pregunta salen del propio cuestionario, y por eso son los más fáciles de prevenir. La guía de métodos de Pew Research Center sobre cómo redactar preguntas de encuesta documenta cuánto mueven los resultados. En una encuesta de 2003 en Estados Unidos, el apoyo a acuerdos legales que dieran a las parejas del mismo sexo los mismos derechos que a los matrimonios fue del 45% cuando la pregunta iba justo después de otra sobre el matrimonio, y del 37% sin ella. Eso es sesgo de contexto: una pregunta anterior cambia cómo se lee la siguiente.

La redacción funciona igual. Pew reporta que en 2005 el 51% apoyaba que los médicos pudieran dar a pacientes terminales «los medios para terminar con su vida», mientras que el 44% apoyaba que pudieran «ayudarlos a suicidarse». En las encuestas de negocio el sesgo de redacción suele ser un elogio dentro de la pregunta o una escala con más opciones positivas que negativas. Nuestra guía sobre cómo hacer preguntas para una encuesta trae 12 reglas con ejemplos corregidos, y el AI Survey Improver gratuito marca preguntas capciosas, dobles o vagas en el borrador que pegues.

El anclaje ocurre cuando un número en la pregunta jala la respuesta hacia él. En el estudio de Tversky y Kahneman de 1974, las personas veían primero una ruleta que se detenía en 10 o en 65 y luego estimaban el porcentaje de países africanos en la ONU. Las medianas fueron 25% y 45%. Una encuesta que dice «planes así suelen costar 500 pesos» antes de preguntar cuánto pagarías hace lo mismo.

Los efectos de orden de respuesta dependen del modo. Pew observa que quien lee una lista tiende a elegir las opciones de arriba, el efecto de primacía, y quien la escucha por teléfono tiende a elegir las últimas, el efecto de recencia. Pew muestra en orden aleatorio la mayoría de sus listas para que ninguna opción quede siempre en el mismo lugar. Las escalas ordenadas no se mezclan, se invierten para la mitad de la muestra. La aleatorización reparte el efecto entre todas las opciones en vez de favorecer a una.

Si dudas cuál de dos redacciones es neutral, prueba las dos. Divide la muestra, muestra una versión a cada mitad y compara. Si las respuestas cambian mucho, la redacción está contestando por la gente.

Cómo responde la gente: sesgos de respuesta

El sesgo de respuesta es el nombre general de las formas en que la gente responde de manera inexacta aunque la pregunta y la muestra estén bien. Cinco tipos aparecen en casi cualquier encuesta.

Aquiescencia. Algunas personas tienden a estar de acuerdo con cualquier afirmación. Pew encuentra la tendencia más fuerte entre personas con menos escolaridad y menos informadas, y más fuerte cuando hay un entrevistador presente. Su solución es pedir que elijan entre dos afirmaciones, por ejemplo «Mi equipo tiene tiempo suficiente para capacitarse» frente a «Mi equipo no tiene tiempo suficiente para capacitarse», en lugar de una escala de acuerdo.

Deseabilidad social. La gente quiere quedar bien. Pew enumera conductas que se reportan de menos, como el consumo de alcohol y la evasión de impuestos, y otras que se reportan de más, como votar, ir a la iglesia y donar. En el trabajo pasa lo mismo con las reglas de seguridad, las horas extra y la opinión sobre el jefe. El anonimato ayuda, igual que una redacción que normalice la respuesta honesta: «Algunas personas ya tuvieron tiempo de leer la nueva política y otras todavía no. ¿Tú ya la leíste?». Nuestro artículo sobre encuestas anónimas explica qué debe incluir el anonimato para que la gente lo crea.

Tendencia central y respuestas extremas. Algunas personas evitan los extremos de la escala y otras solo usan los extremos. Las dos distorsionan los promedios. Etiqueta cada punto, pregunta por conductas concretas y mira la distribución además del promedio.

Recuerdo. La memoria reconstruye. La gente olvida lo menor, mete en el periodo preguntado cosas memorables que pasaron antes y llena los huecos con lo que suele hacer. Los periodos cortos y las preguntas atadas a un hecho reciente, como «tu último pedido», dan conteos más precisos.

Efecto halo. Una impresión fuerte tiñe todas las demás calificaciones. Edward Thorndike lo describió en 1920 en «A constant error in psychological ratings», al notar que las calificaciones que daban los oficiales a sus subordinados en rasgos muy distintos estaban demasiado correlacionadas para ser reales. Pregunta por atributos concretos y pon la calificación general siempre al principio o siempre al final.

Cómo analizas: el sesgo de confirmación al codificar

El sesgo no termina con el trabajo de campo. Las respuestas abiertas son donde el sesgo de análisis hace más daño, porque codificarlas exige criterio. Quien espera encontrar quejas sobre el precio las encuentra, y además archiva comentarios mixtos bajo «precio».

Tres hábitos mantienen honesta la codificación:

• Escribe el libro de códigos antes de leer todo: nombre de cada tema, definición y un ejemplo. Agrega temas nuevos solo con una nota de por qué.
• Pide a otra persona que codifique una muestra de las mismas respuestas y comparen. Donde no coincidan, la definición necesita trabajo.
• Reporta todos los temas con su conteo, incluidos los que contradicen tu hipótesis.

Lo mismo vale para el análisis cuantitativo. Decide qué comparaciones vas a hacer antes de ver los datos. Si revisas veinte segmentos, uno o dos mostrarán una diferencia «significativa» por puro azar.

Lista para evitar sesgos, etapa por etapa

Úsala antes de lanzar y otra vez antes de compartir resultados.

Diseño

• Cada pregunta trata una sola cosa, con palabras neutrales y un periodo claro.
• Las escalas están equilibradas y etiquetadas, y las listas incluyen «Otro» o «No aplica».
• No hay números de referencia ni ejemplos que funcionen como ancla.
• Las preguntas generales van antes que las específicas del mismo tema.
• Las listas sin orden natural se muestran en orden aleatorio y las escalas ordenadas se quedan en orden.

Muestra

• La población está escrita, y la lista o el canal de verdad llega a ella.
• Quienes se fueron, rechazaron o abandonaron están incluidos cuando importan.
• Hay cuotas o ponderación planeadas para los rasgos que más pesan.
• El número de respuestas objetivo sale de un cálculo de tamaño de muestra.

Campo

• Se hizo un piloto con unas cuantas personas del público y se corrigió lo encontrado.
• La invitación es neutral y no insinúa la respuesta que esperas.
• Los recordatorios van solo a quienes no han respondido. En una encuesta anónima, donde no debes saber quién contestó, se manda un solo recordatorio a todos.
• El anonimato es real (sin nombres, enlaces personales ni combinaciones de datos que identifiquen a alguien) y se explica en una frase al inicio.
• Mientras el campo sigue abierto, comparas a quienes respondieron con la lista completa en rasgos conocidos, en totales si la encuesta es anónima.

Análisis

• Las comparaciones planeadas quedaron por escrito antes de ver los datos.
• Revisas distribuciones además de promedios.
• Las respuestas abiertas se codifican con un libro de códigos y un segundo codificador revisa una muestra.
• El reporte dice quién respondió, cuántos y quién falta.

Cómo reducir los sesgos en encuestas con SurveyNinja

Varios ajustes del creador de encuestas atacan los sesgos de arriba, y todos están en todos los planes, incluido el Gratis. El orden aleatorio de preguntas y opciones reparte los efectos de primacía y de orden. El modo anónimo facilita respuestas honestas a preguntas delicadas. El anonimato también depende de las preguntas: en un equipo chico, un campo de nombre o una combinación como área y antigüedad puede señalar a una persona, así que déjalos fuera de una encuesta que llamas anónima. La lógica de salto muestra cada pregunta solo a quien le aplica, así nadie tiene que opinar sobre algo que nunca usó. Puedes crear una encuesta gratis y activar estos ajustes en la configuración.

Para la redacción, la prueba A/B de una pregunta muestra dos versiones del título y la descripción de una pregunta a distintas personas. La exportación incluye una columna con la versión que vio cada persona, y desde el plan Estándar el reporte señala la versión que va adelante en finalización, con un nivel de confianza. Antes de armar la encuesta, pega tu borrador en el AI Survey Improver para detectar preguntas capciosas o dobles, y usa la calculadora de tamaño de muestra para planear cuántas respuestas necesitas.

Preguntas frecuentes

¿Qué es un sesgo en una encuesta?

Es un error sistemático que empuja los resultados hacia un lado, lejos de lo que la población realmente piensa o hace. Puede venir de a quién se le pregunta, de cómo se redactan y ordenan las preguntas, de cómo eligen responder las personas o de cómo se analizan los datos. A diferencia del error aleatorio, no se reduce al juntar más respuestas.

¿Cuáles son los tipos de sesgo en encuestas?

Se agrupan en cuatro. Los de muestra deciden quién responde: selección, no respuesta, supervivencia y muestreo por conveniencia. Los de pregunta vienen de la redacción, el orden, las anclas y el orden de las opciones. Los de respuesta vienen de la persona: aquiescencia, deseabilidad social, tendencia central, respuestas extremas, recuerdo y efecto halo. Los de análisis, como el sesgo de confirmación, vienen de quien investiga.

¿Qué es un ejemplo de sesgo de respuesta?

La deseabilidad social es uno muy común: la gente exagera lo que la hace quedar bien, como votar o donar, y minimiza lo que la hace quedar mal. La aquiescencia es otro: algunas personas están de acuerdo con casi cualquier afirmación, incluso con dos opuestas en la misma encuesta. Ambos se reducen con anonimato y buen diseño de preguntas.

¿Cómo evitar sesgos en una encuesta?

Define la población y llega a ella con una buena muestra, redacta preguntas neutrales con escalas equilibradas y etiquetadas, muestra en orden aleatorio las listas sin orden natural y mantén anónimas las preguntas delicadas. Haz un piloto antes de lanzar. En el análisis, planea las comparaciones antes de ver los datos y codifica las respuestas abiertas con un libro de códigos.

¿Una muestra más grande reduce el sesgo?

No. Una muestra más grande reduce el error aleatorio, la dispersión alrededor del valor real, pero el sesgo mueve todas las respuestas hacia el mismo lado y no cambia de tamaño. La encuesta de Literary Digest de 1936 juntó casi 2,4 millones de boletas y aun así pronosticó al ganador equivocado, porque quienes respondieron no se parecían a quienes votaron.

¿Qué diferencia hay entre sesgo de selección y sesgo de no respuesta?

El sesgo de selección ocurre cuando las personas invitadas no representan a la población, por ejemplo si la encuesta solo va a los suscriptores del newsletter. El de no respuesta ocurre cuando las invitadas sí la representan, pero quienes deciden contestar difieren de quienes se quedan callados. El primero es un problema de la lista y el segundo de quién responde.