Como analisar pesquisa com IA e conferir o que ela diz

Para analisar pesquisa com IA, divida o trabalho em duas partes. Deixe as fórmulas calcularem todos os números e use um modelo de linguagem onde ele é forte: ler respostas abertas e codificá-las em temas. Depois confira o modelo antes de qualquer coisa ir para o relatório. Este guia traz o fluxo em cinco etapas, quatro prompts prontos para copiar e uma tabela de verificação que cabe em uma tarde.

A divisão importa porque um modelo de linguagem escreve com fluência mesmo quando está errado. Um resumo de temas que soa convincente pode estar apoiado em uma contagem errada, em duas categorias fundidas ou em uma citação que ninguém escreveu. O fluxo abaixo mantém o modelo na tarefa que ele faz bem e coloca uma conferência barata depois de cada etapa.

Onde a IA ajuda na análise de pesquisas e onde não ajuda

A análise de pesquisas com IA rende mais no texto livre. Ler 600 respostas para "O que devemos melhorar?" pode tomar quase um dia inteiro de uma pessoa; um modelo propõe temas e rotula cada resposta em minutos. Números são outro trabalho. Uma média, a porcentagem de notas altas ou a diferença entre dois grupos têm um único valor correto, e uma fórmula no Excel ou no Google Planilhas acerta sempre. Um modelo de linguagem produz números prevendo texto, então pode devolver uma porcentagem que parece plausível e está simplesmente errada.

Em resumo, o modelo lê e rotula, e as fórmulas contam.

Como analisar pesquisa com IA em cinco etapas

O fluxo segue a ordem que qualquer analista cuidadoso usaria. A IA só entra na terceira etapa.

1. Limpe os dados e retire os dados pessoais.
2. Calcule as perguntas fechadas com fórmulas.
3. Codifique as respostas abertas em temas com IA.
4. Confira a IA com a tabela de verificação.
5. Escreva conclusões que juntem números, temas e citações conferidas.

Etapa 1: Limpe os dados e retire os dados pessoais

Exporte as respostas em CSV ou XLSX e trabalhe em uma cópia. Remova envios de teste, duplicatas exatas e linhas incompletas que você não vai usar. Depois procure respostas de baixa qualidade: quem terminou em noventa segundos uma pesquisa de dez minutos, quem marcou a mesma coluna em todas as matrizes ou quem digitou "asdf" em todas as caixas de texto. A calculadora de limpeza de dados de pesquisa ajuda a definir limites para respostas rápidas e padrões em linha reta e mostra quantas linhas cada regra remove. Anote as regras: você vai precisar delas quando alguém perguntar por que a amostra caiu de 480 para 452.

Antes de colar qualquer resposta em uma ferramenta de IA externa, retire os dados pessoais. Apague as colunas de nome, e-mail e telefone. Depois leia as próprias respostas abertas, porque as pessoas escrevem coisas como "fala com a Fernanda do financeiro, ela sabe" ou colam o número do pedido. Troque cada respondente por um ID (R001, R002…) e guarde a chave em um arquivo separado que não sai do seu computador. Nome, e-mail e telefone são dados pessoais pela LGPD, e em equipes pequenas um cargo mais um setor já identificam alguém, então retire isso também se a pesquisa prometeu anonimato. O mesmo vale para respostas que citam saúde, religião ou outros dados que a LGPD trata como sensíveis: retire ou generalize. Para você, que guarda a chave dos IDs, os dados continuam pessoais, então confira também a ferramenta: use uma aprovada pela sua empresa, veja se ela guarda o que você cola ou usa para treinar e confirme que o seu aviso de privacidade cobre o compartilhamento das respostas com um serviço assim.

Etapa 2: Calcule as perguntas fechadas com fórmulas

Faça os números antes de mexer no texto. Em cada pergunta de nota ou de escolha, calcule a contagem, a porcentagem de cada opção, a média e, nas escalas, a porcentagem das duas opções mais altas. Na planilha isso é CONT.SE, MÉDIA e uma tabela dinâmica. Nosso guia de análise descritiva mostra qual estatística combina com cada tipo de pergunta.

Se você vai comparar grupos, por exemplo clientes novos e recorrentes, calcule a média de cada grupo e o tamanho da diferença. Uma distância de 0,3 ponto pode importar ou não, dependendo de quão espalhadas estão as respostas. A calculadora de tamanho de efeito transforma duas médias e a dispersão delas no d de Cohen, que diz se a diferença é pequena, moderada ou grande. Para escolher o teste certo, veja o guia sobre o tratamento estatístico dos dados.

Esses números viram a moldura das respostas abertas. Quando a IA disser depois que "a entrega é a principal reclamação", você já vai saber quantas pessoas deram nota baixa para a entrega e poderá ver se as duas histórias batem.

Etapa 3: Codifique as respostas abertas em temas com IA

Codificar é dar a cada resposta aberta um ou mais rótulos de uma lista fixa, o livro de códigos. O verbete de codificação de dados do glossário explica os termos, e o guia de análise temática cobre o método manual. Com IA o método é o mesmo e muda a velocidade. Trabalhe em duas rodadas: primeiro monte o livro de códigos com uma amostra e depois aplique-o a todas as respostas.

Cole as respostas com o ID, uma por linha. Se forem mais de algumas centenas, envie em lotes de 100 a 200 e use o mesmo livro de códigos em todos. Os quatro prompts abaixo foram escritos para copiar como estão; troque o que está entre colchetes. Se as respostas estão em português, mantenha o prompt em português também.

Prompt 1: Monte um livro de códigos com uma amostra

Me ajude a codificar respostas abertas de uma pesquisa. A pergunta foi: "[texto da pergunta]". Abaixo estão [número] respostas, cada uma com um ID.<br />Proponha um livro de códigos com 6 a 12 temas. Para cada tema, dê: um nome curto, uma definição de uma frase, o que entra e o que não entra, e os IDs de 2 respostas que sejam exemplos claros.<br />Mantenha os temas específicos: "entrega atrasada" e "valor do frete" são temas diferentes, e não um único tema "entrega". Inclua um tema "Outros" para o que não se encaixar em nenhum.<br />Não conte respostas e não dê porcentagens.<br />[respostas]

Leia o livro de códigos com olhar crítico. Junte temas que se sobrepõem, separe temas que misturam dois problemas e renomeie o que ficou vago. Um bom livro de códigos é aquele que um colega consegue aplicar sem precisar te perguntar nada.

Prompt 2: Rotule cada resposta

Aplique este livro de códigos a cada resposta abaixo. [cole o livro de códigos final]<br />Devolva uma tabela com uma linha por resposta e estas colunas: ID, tema (um ou mais nomes de tema do livro de códigos, separados por ponto e vírgula), sentimento (positivo, negativo, misto ou neutro), confiança (alta ou baixa).<br />Use apenas nomes de tema do livro de códigos. Se uma resposta não se encaixar em nenhum, use "Outros". Se a resposta estiver vazia ou sem sentido, use "Sem conteúdo".<br />Não resuma e não conte. Devolva todos os IDs, na ordem original.<br />[respostas]

Cole a tabela na planilha ao lado das respostas originais. Daqui em diante, contar é uma fórmula: CONT.SE na coluna de tema ou uma tabela dinâmica de tema por nota.

Prompt 3: Encontre o que o livro de códigos deixou de fora

Estas são as respostas codificadas como "Outros" ou com confiança baixa. [respostas]<br />Alguma delas tem um assunto em comum que mereça um tema próprio, mesmo que poucas pessoas o mencionem? Liste possíveis temas novos com os IDs que pertencem a eles.<br />Aponte também qualquer resposta que fale de segurança, discriminação, problemas legais, cobrança indevida ou algo igualmente grave, mesmo que seja a única.

Prompt 4: Tire citações com o ID

Para o tema "[nome do tema]", escolha 3 respostas que mostrem o tema com mais clareza e 1 resposta que mostre outro lado dele.<br />Copie cada resposta exatamente como foi escrita, caractere por caractere, com o ID. Não encurte, não corrija e não junte respostas. Se não encontrar uma resposta adequada, diga isso.<br />[respostas codificadas com este tema]

Pedir "caractere por caractere" reduz as citações parafraseadas, mas não acaba com elas. Por isso as citações têm uma conferência própria na próxima etapa.

Etapa 4: Confira a IA antes de confiar nela

Quão bem os modelos de linguagem codificam respostas de pesquisa? Bem em tarefas claras, com grandes diferenças entre modelos. Em um estudo de 2024 publicado na Research & Politics, Mellon e colegas pediram a seis modelos que classificassem respostas abertas do British Election Study sobre "o problema mais importante" em 50 categorias. O melhor modelo ficou perto de um segundo codificador humano (93,9% de acerto contra 94,7%), enquanto outros modelos foram bem piores. Em um segundo teste, com respostas novas, a distância cresceu: 80,9% para o melhor modelo contra 88,6% do humano. Repare também no número humano: duas pessoas treinadas codificando as mesmas respostas ainda discordam em algumas. Você não sabe em qual caso está sem conferir, e as conferências abaixo levam cerca de uma hora em uma pesquisa com algumas centenas de respostas.

Os limites da tabela são regras de trabalho, não normas. O importante é defini-los antes de olhar os resultados, para não aceitar um livro de códigos só porque ele conta a história mais conveniente.

Uma observação sobre sentimento. É a parte menos estável da codificação com IA, porque respostas curtas como "ok" ou "podia ser mais rápido" ficam entre duas categorias. Use o sentimento como uma triagem aproximada para leitura e recorra às perguntas fechadas de nota quando precisar de um número para o relatório. O verbete do glossário sobre análise de sentimento explica o método e seus limites.

Etapa 5: Escreva conclusões que se sustentam

Uma conclusão que aguenta as perguntas da diretoria tem quatro partes: um número calculado com fórmulas, um tema com a contagem, uma ou duas citações conferidas e um limite. Veja em um exemplo: a pesquisa de uma loja online com 480 respostas, 452 depois da limpeza.

Calcule a porcentagem de cada tema sobre quem respondeu a pergunta aberta, não sobre o total, e diga qual base usou. Ao comparar grupos, informe o tamanho de efeito calculado na etapa 2, e não a descrição que o modelo faz da diferença. E guarde o livro de códigos, os prompts e a data em um anexo: se alguém repetir a análise no próximo trimestre, vai poder comparar alhos com alhos. Se a pesquisa prometeu anonimato, não publique grupos, contagens ou citações tão pequenos que apontem para uma pessoa.

Erros comuns ao analisar pesquisas com IA

• Colar a exportação inteira, com as perguntas fechadas, e pedir "insights" ao modelo. Você recebe um texto com números que não consegue rastrear.
• Deixar o modelo contar temas ou calcular porcentagens em vez de contar os rótulos dele com fórmulas.
• Pular o livro de códigos e pedir os temas de uma vez, de modo que cada lote termina com uma lista diferente.
• Publicar citações sem procurá-las nos dados originais.
• Tratar "Outros" como ruído. Grupos pequenos costumam dizer as coisas mais específicas.
• Colar nomes, e-mails ou detalhes que identificam alguém em uma ferramenta externa.
• Apresentar temas de 30 respostas com a mesma segurança de temas de 3.000.

Como analisar pesquisa com IA no SurveyNinja

Se você só precisa dos temas de um conjunto de respostas abertas, cole-as no resumo de pesquisa com IA, que é gratuito. Ele agrupa as respostas em temas, separa sinais positivos e negativos e sugere ações, e funciona sem conta. Retire os dados pessoais antes, como na etapa 1, e use o resumo como um primeiro livro de códigos que você depois confere.

Nas pesquisas que você roda no SurveyNinja, o relatório com IA (Smart Analytics, Beta) dos planos Premium e Enterprise monta a análise com as suas respostas a partir de 5 respostas completas. Ele tem três seções: análise de texto das respostas abertas, uma comparação entre os dois maiores grupos com o tamanho da diferença medido pelo d de Cohen, e uma seção quantitativa para as perguntas fechadas. Médias e distribuições do relatório são calculadas por código, que é exatamente a divisão que este guia recomenda. O sentimento das respostas abertas é estimado pelo modelo, então a conferência de sentimento da etapa 4 ainda vale alguns minutos. Com poucas respostas, leia o relatório como um primeiro olhar: comparar dois grupos de cinco pessoas dá uma pista, não uma conclusão. E a etapa 1 começa aqui já no desenho da pesquisa: se ela não precisa de nomes ou contatos, não peça. Dá para compartilhar o relatório em PDF ou por um link público. As respostas também são exportadas em CSV e XLSX para o trabalho com fórmulas da etapa 2.

Perguntas frequentes

Dá para analisar pesquisa com IA?

Dá, dividindo o trabalho. A IA é boa para ler respostas abertas, propor temas e rotular cada resposta. Médias, porcentagens e diferenças entre grupos devem sair de fórmulas ou código, porque um modelo de linguagem pode devolver números que parecem plausíveis e estão errados. Confira a codificação da IA com uma amostra codificada à mão antes de apresentar.

Como analisar respostas abertas com IA?

Retire os dados pessoais e peça ao modelo um livro de códigos a partir de uma amostra de respostas. Ajuste o livro, peça ao modelo que rotule cada resposta com tema e sentimento e conte os rótulos com fórmulas na planilha. Termine conferindo à mão uma amostra aleatória e confirmando que cada citação que você vai usar existe nos dados.

A IA deve calcular as porcentagens da pesquisa?

Não. Peça ao modelo um rótulo por resposta e conte esses rótulos você mesmo com CONT.SE ou uma tabela dinâmica. Modelos de linguagem geram números como texto, então uma porcentagem em um resumo pode estar muito errada sem nenhum sinal disso. Fórmulas dão sempre o mesmo resultado correto e qualquer pessoa consegue conferir.

Como conferir se a análise da IA tem erros?

Codifique você mesmo de 40 a 50 respostas aleatórias e compare com os rótulos da IA. Compare as contagens por tema com uma contagem de palavras-chave, procure cada citação nos dados originais e cruze o sentimento com a nota que cada pessoa deu. Rode a codificação de novo com outro prompt e leia o grupo "Outros" atrás de temas pequenos que foram fundidos.

É seguro colar respostas de pesquisa em uma ferramenta de IA?

Só depois de retirar os dados pessoais, e só em uma ferramenta aprovada pela sua empresa. Apague nomes, e-mails, telefones e números de pedido, troque cada respondente por um ID e procure nas respostas abertas nomes ou detalhes que identifiquem alguém. Veja se a ferramenta guarda o que você cola ou usa para treinar. Se a pesquisa prometeu anonimato, retire também cargos e outros dados que apontem para uma pessoa.

Quantas respostas são necessárias para analisar uma pesquisa com IA?

Não existe um mínimo fixo para codificar, mas os temas ficam mais estáveis conforme as respostas aumentam. Com algumas dezenas, você consegue ler tudo e usar a IA só para rotular mais rápido. Com centenas, a IA economiza mais tempo. O relatório com IA do SurveyNinja, no Premium e no Enterprise, começa a funcionar a partir de 5 respostas completas; com tão poucas, use como um primeiro olhar.