Viés em pesquisas: 16 tipos, exemplos e como evitar cada um

Viés em pesquisas é um erro sistemático que empurra os resultados para longe da realidade sempre na mesma direção, e por isso juntar mais respostas não resolve. Ele entra por quatro portas: quem você pergunta, como pergunta, como as pessoas respondem e como você analisa. Abaixo está uma tabela com 16 tipos de viés, cada um com exemplo e solução, e um checklist para cada etapa do estudo.

O conceito geral está no nosso verbete do glossário sobre viés. Este guia é prático: de onde cada viés vem numa pesquisa real, como ele aparece nos dados e o que você pode mudar antes de lançar.

O que é viés e por que uma amostra maior não resolve

Toda pesquisa tem dois tipos de erro. O erro aleatório vem de perguntar a uma amostra, e não a todos. Ele espalha os resultados em volta do valor real para os dois lados e diminui quando a amostra cresce; é para isso que serve uma calculadora de tamanho de amostra. O viés move os resultados para um lado só e não muda por mais gente que responda. Dobrar a amostra dá a mesma resposta errada com mais segurança.

O caso clássico é a pesquisa da revista Literary Digest sobre a eleição presidencial americana de 1936. A revista enviou dez milhões de cédulas pelo correio e recebeu quase 2,4 milhões de volta. Previu que Alf Landon venceria com 54% do voto popular. Franklin Roosevelt venceu com mais de 60%. Como contam Sharon Lohr e J. Michael Brick num artigo de 2017, a lista de envio saiu principalmente de listas telefônicas e cadastros de automóveis, e só cerca de um quarto das cédulas voltou. Dois milhões de respostas não ajudaram, porque quem respondeu não se parecia com quem votou.

A mesma lógica vale para uma pesquisa de clientes com 300 respostas ou uma de funcionários com 50. Antes de contar respostas, pergunte se as que você tem podem estar puxando para um lado.

Tipos de viés em questionários: a tabela completa

A tabela agrupa 16 vieses comuns pelo ponto em que entram no estudo. A primeira coluna leva ao verbete do glossário quando temos um.

O resto do guia percorre os quatro grupos com as evidências por trás das principais soluções.

Quem você pergunta: amostra, não resposta e sobreviventes

Os vieses de amostra decidem de quem é a opinião que os resultados descrevem. Nenhuma ponderação traz de volta um grupo que nunca esteve na amostra.

O viés de seleção começa na lista. Uma pesquisa enviada só para quem assina a sua newsletter descreve esses assinantes. Um pop-up na página de preços descreve quem está pensando em comprar. As duas estão certas se esse é o grupo que interessa; o erro é apresentá-las como "nossos clientes". A melhor proteção é uma amostra probabilística, em que cada membro da população tem uma chance conhecida de ser sorteado; o nosso artigo sobre amostragem probabilística explica os principais desenhos. Quando isso não é possível, cotas para os poucos traços que mais importam, como plano, região ou tempo de casa, evitam que a amostra se desvie.

O viés de não resposta aparece quando quem responde é diferente de quem não responde naquilo que você mede. Uma taxa de resposta alta ajuda, mas não garante nada. A American Association for Public Opinion Research lembra, no seu resumo sobre taxas de resposta, que em alguns casos os resultados com menos viés vieram de pesquisas com taxas de resposta abaixo do ideal. A checagem prática é comparar quem respondeu com a lista completa naquilo que você já sabe: plano, região, data de cadastro, histórico de compras. Se entre os respondentes há o dobro de clientes pagantes, leia os resultados com isso em mente ou pondere. Se a pesquisa é anônima, compare totais: pergunte um ou dois desses traços em categorias amplas e coloque ao lado dos mesmos totais da lista completa, sem cruzar respostas com nomes.

O viés de sobrevivência é um viés de seleção com história. Na Segunda Guerra Mundial, o estatístico Abraham Wald estudou os danos nos aviões que voltavam das missões. O argumento dele, descrito por Mangel e Samaniego (1984), era que a informação que faltava estava nos aviões que não voltaram. Na pesquisa com clientes, esses aviões são os clientes que cancelaram, os candidatos recusados e os funcionários que pediram demissão. Uma pesquisa de retenção só com clientes atuais sempre vai concluir que os clientes gostam de você. Pergunte também a quem saiu, desde que a pessoa tenha aceitado receber contato seu.

A amostragem por conveniência, perguntar para quem está à mão, serve para testar perguntas ou levantar ideias. Vira problema quando os percentuais são apresentados como se descrevessem uma população maior.

Como você pergunta: redação, ordem e âncoras

Os vieses de pergunta vêm do próprio questionário, e por isso são os mais fáceis de evitar. O guia de métodos do Pew Research Center sobre como redigir perguntas de pesquisa documenta o quanto eles movem os resultados. Numa pesquisa de 2003 nos Estados Unidos, o apoio a acordos legais que dessem a casais do mesmo sexo os mesmos direitos de casais casados foi de 45% quando a pergunta vinha logo depois de outra sobre o casamento, e de 37% sem ela. Isso é viés de contexto: uma pergunta anterior muda o jeito de ler a seguinte.

A redação funciona do mesmo jeito. O Pew relata que em 2005 51% apoiavam permitir que médicos dessem a pacientes terminais "os meios para encerrar a vida", enquanto 44% apoiavam permitir que médicos os "ajudassem a cometer suicídio". Nas pesquisas de empresas, o viés de redação costuma ser um elogio dentro da pergunta ou uma escala com mais opções positivas que negativas. O nosso guia sobre como fazer perguntas para pesquisa traz 12 regras com exemplos corrigidos, e o AI Survey Improver gratuito aponta perguntas indutoras, duplas ou vagas no rascunho que você colar.

A ancoragem acontece quando um número na pergunta puxa a resposta para perto dele. No estudo de Tversky e Kahneman de 1974, as pessoas viam uma roleta parar em 10 ou em 65 e depois estimavam a porcentagem de países africanos na ONU. As medianas foram 25% e 45%. Uma pesquisa que diz "planos assim costumam custar R$ 50" antes de perguntar quanto a pessoa pagaria faz a mesma coisa.

Os efeitos de ordem de resposta dependem do modo. O Pew observa que quem lê uma lista tende a escolher as opções de cima, o efeito de primazia, e quem ouve a lista por telefone tende a escolher as últimas, o efeito de recência. O Pew mostra a maioria das listas em ordem aleatória para nenhuma opção ficar sempre no mesmo lugar. Escalas ordenadas não são embaralhadas, são invertidas para metade da amostra. A randomização distribui o efeito entre todas as opções em vez de favorecer uma.

Se você não sabe qual de duas redações é neutra, teste as duas. Divida a amostra, mostre uma versão para cada metade e compare. Se as respostas mudam muito, a redação está respondendo pelas pessoas.

Como as pessoas respondem: vieses de resposta

Viés de resposta é o nome geral para os jeitos de responder de forma imprecisa mesmo quando a pergunta e a amostra estão certas. Cinco tipos aparecem em quase toda pesquisa.

Aquiescência. Algumas pessoas tendem a concordar com qualquer afirmação. O Pew encontra a tendência mais forte entre pessoas com menos escolaridade e menos informadas, e mais forte quando há um entrevistador presente. A solução que ele recomenda é pedir uma escolha entre duas afirmações, por exemplo "Minha equipe tem tempo suficiente para treinamento" e "Minha equipe não tem tempo suficiente para treinamento", em vez de uma escala de concordância.

Desejabilidade social. As pessoas querem passar uma boa imagem. O Pew lista comportamentos que são relatados a menos, como consumo de álcool e sonegação de impostos, e outros relatados a mais, como votar, ir à igreja e fazer doações. No trabalho acontece o mesmo com regras de segurança, horas extras e a opinião sobre o chefe. O anonimato ajuda, assim como uma redação que normalize a resposta honesta: "Algumas pessoas já tiveram tempo de ler a nova política e outras ainda não. Você já leu?". O nosso artigo sobre pesquisas anônimas explica o que o anonimato precisa incluir para as pessoas acreditarem nele.

Tendência central e respostas extremas. Algumas pessoas evitam as pontas da escala, outras só usam as pontas. As duas coisas distorcem as médias. Rotule cada ponto, pergunte sobre comportamentos concretos e olhe a distribuição além da média.

Memória. A memória reconstrói. As pessoas esquecem o que é pequeno, puxam para o período perguntado coisas marcantes que aconteceram antes e preenchem lacunas com o que costumam fazer. Períodos curtos e perguntas presas a um fato recente, como "o seu último pedido", dão contagens mais precisas.

Efeito halo. Uma impressão forte contamina todas as outras notas. Edward Thorndike descreveu o efeito em 1920 em "A constant error in psychological ratings", ao notar que as notas dadas por oficiais aos subordinados em traços muito diferentes eram correlacionadas demais para serem reais. Pergunte sobre atributos concretos e coloque a nota geral sempre no começo ou sempre no fim.

Como você analisa: viés de confirmação na codificação

O viés não acaba com o trabalho de campo. As respostas abertas são onde o viés de análise faz mais estrago, porque codificá-las exige julgamento. Quem espera encontrar reclamações sobre preço encontra, e ainda arquiva comentários mistos como "preço".

Três hábitos mantêm a codificação honesta:

• Escreva o livro de códigos antes de ler tudo: nome de cada tema, definição e um exemplo. Inclua temas novos só com uma nota explicando por quê.
• Peça para outra pessoa codificar uma amostra das mesmas respostas e comparem. Onde vocês discordarem, a definição precisa de ajuste.
• Relate todos os temas com a contagem, inclusive os que contrariam a sua hipótese.

O mesmo vale para a análise quantitativa. Decida quais comparações vai fazer antes de olhar os dados. Se você olhar vinte segmentos, um ou dois vão mostrar uma diferença "significativa" por puro acaso.

Checklist contra viés, etapa por etapa

Use antes de lançar e de novo antes de compartilhar os resultados.

Desenho

• Cada pergunta trata de uma coisa só, com palavras neutras e um período claro.
• As escalas são equilibradas e rotuladas, e as listas têm "Outro" ou "Não se aplica".
• Não há números de referência nem exemplos que funcionem como âncora.
• As perguntas gerais vêm antes das específicas sobre o mesmo tema.
• Listas sem ordem natural aparecem em ordem aleatória, e escalas ordenadas ficam em ordem.

Amostra

• A população está escrita, e a lista ou o canal realmente chega até ela.
• Quem saiu, recusou ou desistiu está incluído quando importa.
• Cotas ou ponderação estão planejadas para os traços que mais pesam.
• O número de respostas desejado vem de um cálculo de tamanho de amostra.

Campo

• Um piloto com algumas pessoas do público foi feito e os problemas foram corrigidos.
• O convite é neutro e não sugere a resposta que você espera.
• Os lembretes vão só para quem ainda não respondeu. Numa pesquisa anônima, em que você não deve saber quem respondeu, um lembrete único vai para todos.
• O anonimato é real (sem nomes, links pessoais ou combinações de dados que identifiquem alguém) e está explicado numa frase no início.
• Com o campo ainda aberto, você compara quem respondeu com a lista completa em traços conhecidos, em totais se a pesquisa é anônima.

Análise

• As comparações planejadas foram registradas antes de olhar os dados.
• Você confere distribuições, além de médias.
• As respostas abertas são codificadas com um livro de códigos, e um segundo codificador revisa uma amostra.
• O relatório diz quem respondeu, quantos e quem ficou de fora.

Como reduzir o viés em pesquisas no SurveyNinja

Várias configurações do criador de pesquisas atacam os vieses acima, e todas estão em todos os planos, inclusive no Grátis. A ordem aleatória de perguntas e opções distribui os efeitos de primazia e de ordem. O modo anônimo facilita respostas honestas a perguntas sensíveis. O anonimato também depende das perguntas: numa equipe pequena, um campo de nome ou uma combinação como área e tempo de casa pode apontar uma pessoa, então deixe isso de fora de uma pesquisa que você chama de anônima. A lógica de pulo mostra cada pergunta só para quem ela se aplica, então ninguém precisa opinar sobre algo que nunca usou. Você pode criar uma pesquisa grátis e ativar essas opções nas configurações.

Para a redação, o teste A/B de uma pergunta mostra duas versões do título e da descrição de uma pergunta para pessoas diferentes. A exportação traz uma coluna com a versão que cada pessoa viu, e a partir do plano Padrão o relatório aponta a versão que lidera em conclusão, com um nível de confiança. Antes de montar a pesquisa, cole o seu rascunho no AI Survey Improver para pegar perguntas indutoras ou duplas, e use a calculadora de tamanho de amostra para planejar quantas respostas você precisa.

Perguntas frequentes

O que é viés em pesquisa?

É um erro sistemático que empurra os resultados para um lado, longe do que a população realmente pensa ou faz. Ele pode vir de quem é perguntado, de como as perguntas são redigidas e ordenadas, de como as pessoas escolhem responder ou de como os dados são analisados. Ao contrário do erro aleatório, ele não diminui quando você junta mais respostas.

Quais são os tipos de viés em questionários?

Eles se dividem em quatro grupos. Os de amostra decidem quem responde: seleção, não resposta, sobrevivência e amostragem por conveniência. Os de pergunta vêm da redação, da ordem, das âncoras e da ordem das opções. Os de resposta vêm da pessoa: aquiescência, desejabilidade social, tendência central, respostas extremas, memória e efeito halo. Os de análise, como o viés de confirmação, vêm de quem pesquisa.

Qual é um exemplo de viés de resposta?

A desejabilidade social é um exemplo comum: as pessoas exageram o que as faz parecer bem, como votar ou fazer doações, e diminuem o que as faz parecer mal. A aquiescência é outro: algumas pessoas concordam com quase qualquer afirmação, até com duas opostas na mesma pesquisa. Os dois diminuem com anonimato e um bom desenho de perguntas.

Como evitar viés em uma pesquisa?

Defina a população e chegue até ela com uma boa amostra, redija perguntas neutras com escalas equilibradas e rotuladas, mostre em ordem aleatória as listas sem ordem natural e mantenha anônimas as perguntas sensíveis. Faça um piloto antes de lançar. Na análise, planeje as comparações antes de olhar os dados e codifique as respostas abertas com um livro de códigos.

Uma amostra maior reduz o viés?

Não. Uma amostra maior reduz o erro aleatório, a dispersão em volta do valor real, mas o viés empurra todas as respostas para o mesmo lado e continua do mesmo tamanho. A pesquisa da Literary Digest de 1936 juntou quase 2,4 milhões de cédulas e mesmo assim previu o vencedor errado, porque quem respondeu não se parecia com quem votou.

Qual a diferença entre viés de seleção e viés de não resposta?

O viés de seleção acontece quando as pessoas convidadas não representam a população, por exemplo uma pesquisa enviada só para os assinantes da newsletter. O de não resposta acontece quando as convidadas representam a população, mas quem decide responder é diferente de quem fica em silêncio. O primeiro é um problema da lista, o segundo de quem responde.