Detección de fraude

Supongamos que lanzaste una encuesta a través de un panel y recogiste 600 respuestas en tres días. Miras los datos - NPS 72, todo se ve estupendo. Pero si revisas el tiempo de finalización, resulta que 90 personas rellenaron una encuesta de 20 preguntas en 40 segundos. Otras 60 eligieron la misma opción en cada pregunta

Estos no son encuestados - son ruido que distorsiona tus resultados. La detección de fraude es un conjunto de métodos que te permite encontrar esas respuestas antes de que lleguen a tu análisis.

Definición

Detección de fraude (identificación de respuestas de baja calidad) - un conjunto de métodos y procedimientos dirigidos a detectar y excluir datos de baja calidad en las encuestas. Esos datos incluyen respuestas de bots, de encuestados desatentos o deshonestos, participaciones duplicadas e intentos de manipular los resultados. La detección de fraude incluye medidas técnicas de protección, análisis del comportamiento y validación estadística de los datos.

Tipos de respuestas problemáticas

Los datos de baja calidad en las encuestas se dividen en varias categorías, cada una con sus propios indicios.

Bots y respuestas automatizadas. Programas que rellenan encuestas sin intervención humana. Indicios: tiempo de finalización de unos pocos segundos, patrones atípicos en los campos abiertos (texto sin sentido, caracteres aleatorios), respuestas idénticas desde distintas IP. Es especialmente relevante en encuestas con recompensa a través de paneles en línea.

Speeders. Personas reales que rellenan la encuesta demasiado rápido - sin leer las preguntas. Se identifican por el tiempo de finalización: si una persona dedica menos de un tercio del tiempo mediano de toda la muestra, sus respuestas son, con toda probabilidad, aleatorias. Con 20 preguntas, el tiempo mediano es de 8-10 minutos. Completarla en 2 minutos es una señal de alarma.

Straight-liners. Encuestados que eligen la misma opción en todas las preguntas de una matriz o de una serie de preguntas de escala. "Totalmente de acuerdo" en las 12 afirmaciones seguidas es un patrón propio de la desatención o del mínimo esfuerzo. Coincide en parte con el sesgo de aquiescencia, pero en la detección de fraude el foco está precisamente en la uniformidad mecánica.

Participaciones duplicadas. Una misma persona responde la encuesta varias veces desde distintos navegadores o tras borrar las cookies. Es especialmente común en sorteos y encuestas con premios. Se detecta mediante la coincidencia de IP, huellas del navegador o identificadores de dispositivo.

Random clickers. Las respuestas se eligen al azar, sin lógica. Son difíciles de distinguir de las respuestas honestas con un solo indicador - hace falta una combinación de señales: tiempo anómalo + respuestas incoherentes en preguntas relacionadas lógicamente.

Controles de atención y preguntas trampa

El método más directo para detectar encuestados desatentos son las preguntas trampa incorporadas en la encuesta. Funcionan en varios formatos:

Instrucción directa. La pregunta se lee como una normal ("Valora las siguientes afirmaciones"), pero en una de ellas dice: "Elige la opción 'Totalmente en desacuerdo' - es una pregunta de verificación". Quien la haya leído elegirá la correcta. Quien rellene de forma mecánica elegirá cualquier otra cosa.

Impossible items. Afirmaciones que no pueden ser ciertas a la vez: "Nunca he usado internet" en una encuesta en línea. O: "Uso nuestro producto a diario" y, 5 preguntas después, "Nunca he probado nuestro producto". Una contradicción en las respuestas es indicio de desatención o de selección aleatoria.

Red herring questions. Preguntas sobre productos, marcas o funciones inexistentes. "¿Qué tan satisfecho estás con nuestra función MultiSync Pro?" - si no existe tal función, pero una persona la valora con un 4/5, entonces no leyó con atención o está dando respuestas socialmente deseables. El método coincide con la escala de validez.

El número recomendado es de 1-2 preguntas de control de atención por encuesta. Más que eso irrita a los encuestados concienzudos y reduce la tasa de finalización.

Análisis del comportamiento: tiempo y patrones

El tiempo de finalización es uno de los indicadores de calidad más informativos. El procedimiento estándar:

• Calcular el tiempo mediano de todas las respuestas
• Marcar como sospechosos a quienes terminaron en menos de 1/3 de la mediana (speeders)
• Marcar a quienes tardaron demasiado - más de 3-4 desviaciones estándar por encima de la mediana (posibles distracciones, una pestaña dejada abierta)

El tiempo por sí solo no es un criterio de exclusión - funciona junto con otros indicios. Una persona pudo terminar rápido porque conoce bien el tema, no porque hiciera clic al azar.

Los patrones de respuesta en las preguntas matriciales se analizan mediante un índice de dispersión: si una persona dio la misma valoración en las 10 filas, eso es sospechoso. Un encuestado normal varía las respuestas. El straight-lining en una matriz de 8+ filas es casi siempre una señal para revisar.

Métodos técnicos de protección

CAPTCHA. Protección básica contra los bots en la entrada de la encuesta. Reduce los envíos automatizados, pero no protege contra las personas desatentas. Los CAPTCHA más complejos reducen la tasa de respuesta - conviene usarlos solo cuando hay riesgos claros de ataques automatizados.

Deduplicación de IP. Un límite para responder la encuesta desde una sola dirección IP. Es eficaz contra los duplicados simples, pero también bloquea a familias y a redes corporativas donde varias personas pueden compartir una IP. Se complementa con las huellas del navegador (browser fingerprinting) - características únicas del dispositivo.

Cookies e identificadores. En la primera vez se escribe un marcador en el dispositivo. En un intento posterior, el sistema lo reconoce y bloquea la participación repetida. Se elude borrando las cookies, pero cubre la mayoría de las repeticiones accidentales.

Límites basados en preguntas de cribado. Una discrepancia en los datos demográficos entre distintas partes de la encuesta - edad, región, puesto - puede indicar respuestas aleatorias o falsificación deliberada.

Ejemplo: detección de respuestas problemáticas en una encuesta NPS

Una empresa recogió 800 respuestas a una encuesta NPS a través de un panel en línea. Tras una comprobación básica detectó lo siguiente:

• Speeders (tiempo < 90 s con una mediana de 7 min): 54 encuestas - 6,8%
• Straight-liners en un bloque matricial de 8 preguntas: 38 encuestas - 4,8%
• Fallaron el control de atención: 47 encuestas - 5,9%
• IP duplicadas: 22 encuestas - 2,8%

Los solapamientos entre los grupos dieron 120 encuestas únicas a excluir - el 15% de la muestra. Tras la exclusión, el NPS cambió de 72 a 61. La diferencia de 11 puntos es el resultado de una inflación sistemática de las puntuaciones por parte de encuestados deshonestos. Sin detección de fraude, la empresa habría tomado una decisión basada en datos inflados.

Qué hacer con las respuestas detectadas

Las respuestas sospechosas no se eliminan automáticamente - primero se realiza una valoración. Tres enfoques:

Exclusión estricta. Todas las encuestas que fallaron un número umbral de comprobaciones (por ejemplo, 2 de 3) se excluyen del análisis. Es adecuado para investigaciones cuantitativas donde importa la limpieza de los datos.

Ponderación. A las respuestas dudosas se les asigna un peso menor en la agregación. Un enfoque más prudente - no se pierden datos, pero se reduce la influencia de las respuestas poco fiables.

Revisión manual. Los casos límite (un solo indicio) se revisan a mano, sobre todo si la muestra es pequeña y cada respuesta importa. El descarte automático con n < 100 puede distorsionar notablemente los resultados en sentido contrario.

Tras la exclusión, es importante recalcular las métricas de base y asegurarse de que la representatividad de la muestra no se ha visto afectada. Si se han eliminado muchas respuestas de un solo segmento demográfico - eso ya es un problema de sesgo de selección.

Errores típicos en la detección de fraude

Usar un solo criterio. Solo el tiempo o solo un control de atención no es suficiente. Cada indicio aislado produce falsos positivos. Un sistema fiable se construye sobre 2-3 indicadores independientes.

Excluir de forma demasiado agresiva. Un umbral de tiempo estricto (< 3 minutos) descartará a expertos reales que conocen bien el tema. Un umbral de straight-lining demasiado alto descartará a personas con opiniones realmente homogéneas.

No comprobar los datos antes del análisis final. La detección de fraude no es una medida puntual. Un lanzamiento piloto ayuda a comprobar cómo funcionan las trampas y a calibrar los valores umbral antes de la recogida a gran escala.

Ignorar el problema en las encuestas cortas. Las microencuestas de 3-5 preguntas parecen seguras - pero incluso en ellas aparecen el straight-lining y los speeders, sobre todo al trabajar con paneles. Siempre hace falta un conjunto mínimo de comprobaciones (tiempo + IP).

Detección de fraude en SurveyNinja

SurveyNinja ofrece herramientas integradas de protección de datos. La limitación de una respuesta por dispositivo o IP se configura en los ajustes de límites. Para crear preguntas de control de atención se utilizan tipos de preguntas estándar con saltos lógicos - ante una respuesta incorrecta, la encuesta se puede finalizar antes de tiempo o marcar.

El tiempo de finalización se registra para cada respuesta y está disponible al ver y descargar los datos - esto permite detectar a los speeders directamente en la tabla de resultados. Para estudios con panel con alto riesgo de respuestas deshonestas, se recomienda prever un margen del 10-15% al calcular el tamaño de panel necesario.

La detección de fraude no es paranoia, es higiene de datos. Los bots, los speeders y los straight-liners representan, de media, entre el 5 y el 20% de las respuestas en los paneles en línea. Una validación en varias capas - tiempo, controles de atención, deduplicación de IP, patrones de respuesta - permite limpiar la muestra antes del análisis, en lugar de descubrir el problema una vez tomadas las decisiones.

Preguntas frecuentes

¿Cuántas preguntas de control de atención conviene añadir a una encuesta?

Lo óptimo es de una a dos por encuesta. Una pregunta trampa en la mitad y otra más cerca del final es la práctica estándar. Más de dos empiezan a molestar a los encuestados atentos y reducen la tasa de finalización. Para encuestas cortas de hasta 10 preguntas, basta con una.

¿Qué es un speeder y cómo se detecta?

Un speeder es un encuestado que completó la encuesta mucho más rápido de lo normal. El umbral: menos de 1/3 del tiempo mediano de toda la muestra. Si la mediana es de 8 minutos, un speeder es alguien que terminó en 2-3 minutos. El tiempo de finalización se registra en la mayoría de los sistemas de encuestas y está disponible en la exportación de datos.

¿Hace falta la detección de fraude en encuestas corporativas internas?

En las encuestas de RR. HH. y de empleados la relevancia es menor: no hay incentivo económico para falsificar. Pero el straight-lining también ocurre aquí: los empleados que no confían en el anonimato pueden dar respuestas mecánicamente neutras. Una comprobación básica de patrones y tiempos es útil para muestras de más de 100 personas.

¿Cómo distinguir a un experto speeder de un encuestado deshonesto?

Solo por el tiempo, no se puede. Hace falta una combinación de señales: finalización rápida + un control de atención fallado, o finalización rápida + straight-lining en una matriz. Un experto que conoce bien el tema rellenará la encuesta rápido, pero variará las respuestas y no caerá en la trampa. Precisamente por eso la detección de fraude se construye sobre una combinación de indicadores, no sobre uno solo.

¿Qué hacer si tras eliminar las respuestas malas no queda muestra suficiente?

Recoger más datos, previendo un margen para una recogida adicional. La práctica estándar es prever un 15-20% por encima del volumen objetivo al trabajar con paneles. Si se descubre después de la recogida - se puede lanzar una ola adicional con los mismos criterios de cribado. Reducir la muestra por debajo del mínimo calculado no es aceptable - baja la significación estadística de los resultados.