Detecção de fraude

Digamos que você lançou uma pesquisa por meio de um painel e coletou 600 respostas em três dias. Você olha os dados - NPS 72, está tudo ótimo. Mas, se conferir o tempo de conclusão, descobre que 90 pessoas preencheram uma pesquisa de 20 perguntas em 40 segundos. Outras 60 escolheram a mesma opção em todas as perguntas

Esses não são respondentes - são ruído que distorce os seus resultados. A detecção de fraude é um conjunto de métodos que permite encontrar essas respostas antes que elas cheguem à sua análise.

Definição

Detecção de fraude (identificação de respostas de baixa qualidade) - um conjunto de métodos e procedimentos voltados a detectar e excluir dados de baixa qualidade nas pesquisas. Esses dados incluem respostas de bots, de respondentes desatentos ou desonestos, participações duplicadas e tentativas de manipular os resultados. A detecção de fraude inclui medidas técnicas de proteção, análise de comportamento e validação estatística dos dados.

Tipos de respostas problemáticas

Os dados de baixa qualidade nas pesquisas se dividem em várias categorias, cada uma com seus próprios indícios.

Bots e respostas automatizadas. Programas que preenchem pesquisas sem participação humana. Indícios: tempo de conclusão de poucos segundos, padrões atípicos nos campos abertos (texto sem sentido, caracteres aleatórios), respostas idênticas de IPs diferentes. É especialmente relevante em pesquisas com recompensa por meio de painéis on-line.

Speeders. Pessoas reais que preenchem a pesquisa rápido demais - sem ler as perguntas. São identificados pelo tempo de conclusão: se uma pessoa gasta menos de um terço do tempo mediano de toda a amostra, suas respostas são, muito provavelmente, aleatórias. Com 20 perguntas, o tempo mediano é de 8-10 minutos. Concluí-la em 2 minutos é um sinal de alerta.

Straight-liners. Respondentes que escolhem a mesma opção em todas as perguntas de uma matriz ou de uma série de perguntas de escala. "Concordo totalmente" nas 12 afirmações seguidas é um padrão típico de desatenção ou de esforço mínimo. Coincide em parte com o viés de aquiescência, mas, na detecção de fraude, o foco está justamente na uniformidade mecânica.

Participações duplicadas. Uma mesma pessoa responde a pesquisa várias vezes em navegadores diferentes ou depois de limpar os cookies. É especialmente comum em sorteios e pesquisas com prêmios. É detectada pela coincidência de IP, impressões digitais do navegador ou identificadores de dispositivo.

Random clickers. As respostas são escolhidas ao acaso, sem lógica. São difíceis de distinguir das respostas honestas por um único indicador - é preciso uma combinação de sinais: tempo anômalo + respostas inconsistentes em perguntas logicamente relacionadas.

Verificações de atenção e perguntas-armadilha

O método mais direto para detectar respondentes desatentos são as perguntas-armadilha incorporadas à pesquisa. Funcionam em vários formatos:

Instrução direta. A pergunta parece uma comum ("Avalie as seguintes afirmações"), mas em uma delas está escrito: "Escolha a opção 'Discordo totalmente' - esta é uma pergunta de verificação". Quem leu vai escolher a correta. Quem preencheu de forma mecânica vai escolher qualquer outra coisa.

Impossible items. Afirmações que não podem ser verdadeiras ao mesmo tempo: "Nunca usei a internet" em uma pesquisa on-line. Ou: "Uso o nosso produto diariamente" e, 5 perguntas depois, "Nunca experimentei o nosso produto". Uma contradição nas respostas é indício de desatenção ou de escolha aleatória.

Red herring questions. Perguntas sobre produtos, marcas ou funcionalidades inexistentes. "Quão satisfeito você está com a nossa funcionalidade MultiSync Pro?" - se não existe tal funcionalidade, mas uma pessoa a avalia com 4/5, então ela não leu com atenção ou está dando respostas socialmente desejáveis. O método coincide com a escala de validade.

O número recomendado é de 1-2 perguntas de verificação de atenção por pesquisa. Mais do que isso irrita os respondentes conscienciosos e reduz a taxa de conclusão.

Análise de comportamento: tempo e padrões

O tempo de conclusão é um dos indicadores de qualidade mais informativos. O procedimento padrão:

• Calcular o tempo mediano de todas as respostas
• Marcar como suspeitos aqueles que terminaram em menos de 1/3 da mediana (speeders)
• Marcar quem demorou demais - mais de 3-4 desvios padrão acima da mediana (possíveis distrações, uma aba deixada aberta)

O tempo, por si só, não é um critério de exclusão - ele funciona em conjunto com outros indícios. Uma pessoa pode ter terminado rápido porque conhece bem o tema, e não porque clicou ao acaso.

Os padrões de resposta nas perguntas matriciais são analisados por meio de um índice de dispersão: se uma pessoa deu a mesma avaliação em todas as 10 linhas, isso é suspeito. Um respondente normal varia as respostas. O straight-lining em uma matriz de 8+ linhas é quase sempre um sinal para verificar.

Métodos técnicos de proteção

CAPTCHA. Proteção básica contra bots na entrada da pesquisa. Reduz os envios automatizados, mas não protege contra pessoas desatentas. CAPTCHAs mais complexos reduzem a taxa de resposta - vale usá-los apenas quando há riscos claros de ataques automatizados.

Deduplicação de IP. Um limite para responder a pesquisa a partir de um único endereço IP. É eficaz contra duplicatas simples, mas também bloqueia famílias e redes corporativas em que várias pessoas podem compartilhar um IP. É complementada com as impressões digitais do navegador (browser fingerprinting) - características únicas do dispositivo.

Cookies e identificadores. Na primeira vez, um marcador é gravado no dispositivo. Em uma nova tentativa, o sistema o reconhece e bloqueia a participação repetida. É contornado limpando os cookies, mas abrange a maioria das repetições acidentais.

Limites baseados em perguntas de triagem. Uma discrepância nos dados demográficos entre diferentes partes da pesquisa - idade, região, cargo - pode indicar respostas aleatórias ou falsificação deliberada.

Exemplo: detecção de respostas problemáticas em uma pesquisa NPS

Uma empresa coletou 800 respostas em uma pesquisa NPS por meio de um painel on-line. Após uma verificação básica, encontrou o seguinte:

• Speeders (tempo < 90 s com uma mediana de 7 min): 54 pesquisas - 6,8%
• Straight-liners em um bloco matricial de 8 perguntas: 38 pesquisas - 4,8%
• Reprovaram na verificação de atenção: 47 pesquisas - 5,9%
• IPs duplicados: 22 pesquisas - 2,8%

As sobreposições entre os grupos resultaram em 120 pesquisas únicas a excluir - 15% da amostra. Após a exclusão, o NPS mudou de 72 para 61. A diferença de 11 pontos é resultado de uma inflação sistemática das notas por respondentes desonestos. Sem detecção de fraude, a empresa teria tomado uma decisão com base em dados inflados.

O que fazer com as respostas detectadas

As respostas suspeitas não são excluídas automaticamente - primeiro é feita uma avaliação. Três abordagens:

Exclusão rígida. Todas as pesquisas que reprovaram em um número-limite de verificações (por exemplo, 2 de 3) são excluídas da análise. É adequada para pesquisas quantitativas em que a limpeza dos dados é importante.

Ponderação. Às respostas duvidosas é atribuído um peso menor na agregação. Uma abordagem mais cautelosa - nenhum dado é perdido, mas a influência das respostas não confiáveis é reduzida.

Revisão manual. Os casos-limite (apenas um indício) são revisados manualmente, sobretudo se a amostra for pequena e cada resposta importar. A rejeição automática com n < 100 pode distorcer significativamente os resultados no sentido oposto.

Após a exclusão, é importante recalcular as métricas de base e garantir que a representatividade da amostra não foi comprometida. Se muitas respostas de um único segmento demográfico foram removidas - isso já é um problema de viés de seleção.

Erros típicos na detecção de fraude

Usar apenas um critério. Apenas o tempo ou apenas uma verificação de atenção não é suficiente. Cada indício isolado produz falsos positivos. Um sistema confiável é construído sobre 2-3 indicadores independentes.

Excluir de forma agressiva demais. Um limite de tempo rígido (< 3 minutos) eliminará especialistas reais que conhecem bem o tema. Um limite de straight-lining alto demais eliminará pessoas com opiniões realmente homogêneas.

Não verificar os dados antes da análise final. A detecção de fraude não é uma medida pontual. Um lançamento piloto ajuda a testar como as armadilhas funcionam e a calibrar os valores-limite antes da coleta em larga escala.

Ignorar o problema em pesquisas curtas. As micropesquisas de 3-5 perguntas parecem seguras - mas, mesmo nelas, ocorrem o straight-lining e os speeders, sobretudo ao trabalhar com painéis. Um conjunto mínimo de verificações (tempo + IP) é sempre necessário.

Detecção de fraude no SurveyNinja

O SurveyNinja oferece ferramentas integradas de proteção de dados. A limitação de uma resposta por dispositivo ou IP é configurada nas configurações de limites. Para criar perguntas de verificação de atenção, são usados tipos de pergunta padrão com saltos lógicos - diante de uma resposta incorreta, a pesquisa pode ser encerrada antecipadamente ou marcada.

O tempo de conclusão é registrado para cada resposta e fica disponível ao visualizar e baixar os dados - isso permite detectar os speeders já na tabela de resultados. Para estudos com painel com alto risco de respostas desonestas, recomenda-se prever uma margem de 10-15% ao calcular o tamanho de painel necessário.

A detecção de fraude não é paranoia, é higiene de dados. Bots, speeders e straight-liners representam, em média, de 5 a 20% das respostas nos painéis on-line. Uma validação em várias camadas - tempo, verificações de atenção, deduplicação de IP, padrões de resposta - permite limpar a amostra antes da análise, em vez de descobrir o problema depois de tomadas as decisões.

Perguntas frequentes

Quantas perguntas de verificação de atenção devo adicionar a uma pesquisa?

O ideal é de uma a duas por pesquisa. Uma pergunta-armadilha no meio e outra mais perto do fim é a prática padrão. Mais de duas começam a irritar os respondentes atentos e reduzem a taxa de conclusão. Para pesquisas curtas de até 10 perguntas, uma é suficiente.

O que é um speeder e como detectá-lo?

Um speeder é um respondente que concluiu a pesquisa muito mais rápido do que o normal. O limite: menos de 1/3 do tempo mediano de toda a amostra. Se a mediana for de 8 minutos, um speeder é quem terminou em 2-3 minutos. O tempo de conclusão é registrado na maioria dos sistemas de pesquisa e fica disponível na exportação de dados.

A detecção de fraude é necessária em pesquisas corporativas internas?

Em pesquisas de RH e de funcionários a relevância é menor: não há incentivo financeiro para falsificar. Mas o straight-lining também ocorre aqui: funcionários que não confiam no anonimato podem dar respostas mecanicamente neutras. Uma verificação básica de padrões e tempos é útil para amostras de mais de 100 pessoas.

Como distinguir um especialista speeder de um respondente desonesto?

Só pelo tempo, não dá. É preciso uma combinação de sinais: conclusão rápida + uma verificação de atenção reprovada, ou conclusão rápida + straight-lining em uma matriz. Um especialista que conhece bem o tema preencherá a pesquisa rápido, mas vai variar as respostas e não cairá na armadilha. É justamente por isso que a detecção de fraude se constrói sobre uma combinação de indicadores, e não sobre um só.

O que fazer se, depois de remover as respostas ruins, não sobrar amostra suficiente?

Coletar mais dados, prevendo uma margem para uma coleta adicional. A prática padrão é prever de 15 a 20% acima do volume-alvo ao trabalhar com painéis. Se isso for descoberto depois da coleta - é possível lançar uma onda adicional com os mesmos critérios de triagem. Reduzir a amostra abaixo do mínimo calculado não é aceitável - baixa a significância estatística dos resultados.