Straightlining e speeders em pesquisas

Straightlining (resposta em linha reta) acontece quando o respondente dá a mesma resposta a todos os itens de uma grade ou de uma série de perguntas de avaliação, seja qual for o conteúdo de cada item, por exemplo "4" de cima a baixo em uma matriz. Junto com os speeders, pessoas que terminam muito mais rápido do que alguém levaria para ler as perguntas, é um dos principais sinais de resposta de baixo esforço que se verificam e se removem antes da análise.

Os dois comportamentos são formas do que Jon Krosnick chamou de satisficing (Applied Cognitive Psychology, 1991): dar uma resposta suficiente para seguir em frente, em vez da mais precisa. Krosnick descreve esse comportamento como mais provável quando a tarefa é difícil, a motivação é baixa e a pesquisa se arrasta.

Por que isso importa

Respostas em linha reta parecem dados reais. Elas puxam as médias para o meio ou para o topo da escala, inflam as correlações entre itens (tudo se move junto) e podem fazer uma escala parecer mais confiável do que é. Os speeders acrescentam ruído aleatório. Poucos pontos percentuais desse tipo de resposta podem mudar qual driver parece mais importante ou se uma diferença entre grupos dá significativa.

Como detectar straightlining

• Variância zero na grade. Calcule o desvio padrão das respostas de cada pessoa nos itens de uma pergunta de matriz. Valor 0 significa respostas idênticas.
• Maior sequência. Conte a maior sequência de respostas iguais seguidas. Meade e Craig (Psychological Methods, 2012) incluem esse índice entre os índices padrão de resposta descuidada.
• Itens invertidos. Inclua um item redigido no sentido contrário, como "O app é difícil de usar" ao lado de "O app é fácil de usar". Concordar com os dois é uma contradição que uma resposta genuína não geraria.

Como detectar speeders

Compare o tempo de cada resposta com a mediana da amostra toda. Defina um ponto de corte antes do campo, por exemplo menos de 40% da mediana, e aplique do mesmo jeito para todos. O tempo por página é mais preciso que o tempo total quando a pesquisa tem ramificações de tamanhos diferentes.

Exemplo

Uma pesquisa com clientes tem uma grade de 8 itens em escala de 1 a 5 e mediana de 9 minutos. A equipe definiu duas regras antes: é speeder quem leva menos de 3,6 minutos (40% da mediana), e é straight-liner quem responde igual aos 8 itens e ainda concorda com o item normal e com o invertido. De 820 respostas, saem 38 speeders, 24 straight-liners, 11 respostas duplicadas e 17 incompletas ou sem sentido. Ficam 730 respostas válidas, uma taxa de remoção de 11%. A calculadora de limpeza de dados de pesquisa faz essa conta e mostra a taxa de remoção.

Nem toda linha reta é descuido

Alguém que gosta muito do seu produto pode marcar "5" em todas as afirmações positivas. Removê-lo puxaria os resultados para baixo. Por isso é mais seguro combinar vários sinais antes de tirar alguém: straightlining, velocidade, uma pergunta de atenção errada, texto sem sentido nas respostas abertas. Meade e Craig também recomendam usar mais de um índice. Uma regra prática é remover a resposta só quando ela tiver dois ou mais sinais, e informar quantas saíram e por quê.

Como prevenir

• Grades mais curtas. Divida matrizes longas em várias menores, ou em perguntas separadas no celular, onde as grades são mais difíceis de responder.
• Alterne o sentido dos itens para que uma pessoa atenta não consiga concordar com tudo.
• Embaralhe a ordem dos itens para que o cansaço não caia sempre nos mesmos.
• Pesquisas mais curtas. Corte perguntas que você não vai analisar; veja fadiga de pesquisa.
• Perguntas de atenção, poucas e escritas com educação, como "Nesta linha, selecione 'Discordo'".
• Incentivos justos e boas fontes. Painéis de baixa qualidade e pagamento por pesquisa completa atraem speeders e bots; veja detecção de fraude.

Erros comuns

• Criar regras depois de ver os resultados. Critérios de limpeza escolhidos para chegar à resposta desejada distorcem o estudo. Registre-os antes do campo.
• Remover por um único sinal fraco, como respostas iguais em uma grade de 3 itens.
• Usar só o tempo total em uma pesquisa com ramificações opcionais longas.
• Não registrar as exclusões. Guarde o motivo de cada remoção para que o relatório seja transparente e a regra possa ser repetida na próxima onda.

Como verificar a qualidade dos dados no SurveyNinja

Cada resposta no SurveyNinja mostra quanto tempo levou, e a partir do plano Básico você pode filtrar as respostas pelo tempo de preenchimento para achar speeders. Ordem aleatória de perguntas e opções, senha, captcha e uma resposta por pessoa estão disponíveis em todos os planos, inclusive no gratuito. Para o straightlining, exporte as respostas em CSV, XLSX ou SPSS em qualquer plano e calcule a variância da grade em uma planilha ou pacote estatístico.