Pergunta de duplo cano

Imagine que um garçom em um restaurante pergunta: «A comida e o atendimento agradaram?». A comida estava ótima, mas o garçom vivia trocando os pedidos. O que você responde? «Sim» é impreciso. «Não» é injusto com o cozinheiro. «Meio a meio» não é uma opção. Você trava, escolhe algo ao acaso, e o restaurante acaba com uma resposta que não significa absolutamente nada.

Nos questionários, essa construção se chama pergunta de duplo cano. E é um dos erros mais comuns ao elaborar pesquisas — tão comum que até pesquisadores experientes o cometem.

Definição

Uma pergunta de duplo cano é uma pergunta que combina dois ou mais temas independentes em uma única formulação, ao mesmo tempo em que pede uma só resposta compartilhada. O respondente é obrigado a responder «no atacado» sobre algo que exige uma avaliação separada.

O termo duplo cano vem de uma metáfora de armas de fogo: um gatilho, dois disparos. No contexto das pesquisas, isso significa que uma única resposta tenta cobrir dois aspectos diferentes. E como a opinião do respondente sobre esses aspectos pode divergir drasticamente, a resposta resultante acaba sendo um compromisso médio que não reflete nenhum deles com precisão.

O lado insidioso desse erro é o quanto é fácil deixá-lo passar. O autor do questionário combina dois aspectos não por má intenção, mas para economizar esforço: parece que uma pergunta em vez de duas é mais rápido tanto para o criador quanto para o respondente. Na prática, essa economia se transforma em perda: você tem dados, mas não consegue tirar nada deles.

Em que isso prejudica seus dados

O problema não é que você vá obter poucas respostas. Pelo contrário: os respondentes responderão de bom grado. Mas interpretar suas respostas será impossível. Vejamos as consequências em mais detalhe.

Um resultado inseparável. Um cliente deu à sua loja on-line um 4 de 5 na pergunta «Quão satisfeito você está com o nosso sortimento e os nossos preços?». O que isso significa? O sortimento um 5, os preços um 3? Ambos em 4? O sortimento um 3, os preços um 5? Você nunca vai saber. E, no entanto, melhorar o sortimento e ajustar a política de preços são iniciativas completamente diferentes, com orçamentos, equipes e prazos distintos. Sem a possibilidade de separar as notas, você não sabe para onde direcionar seus recursos.

Uma falsa sensação de bem-estar. Quando dois parâmetros estão colados, uma avaliação negativa de um deles «se afoga» na avaliação positiva do outro. A nota média parece aceitável e o problema passa despercebido. Isso é especialmente perigoso em pesquisas de monitoramento periódicas —pesquisas de pulso, medições trimestrais—, em que as decisões são tomadas com base na tendência dos indicadores médios. Se um parâmetro sobe enquanto o outro cai, a pergunta combinada mostrará estabilidade. Você vai achar que está tudo bem, enquanto sob o capô uma das métricas se deteriora.

Irreprodutibilidade. Se você quiser repetir o estudo daqui a seis meses e comparar os resultados, uma pergunta de duplo cano tornará a comparação sem sentido. Suponha que a nota média subiu de 3,8 para 4,1: o que exatamente melhorou? Você não pode dizer se o crescimento foi causado por uma mudança no sortimento, por uma queda nos preços ou por ambos. Sem esse conhecimento, você não consegue repetir o sucesso.

Segmentação destruída. Uma das capacidades mais valiosas da análise é comparar respostas entre grupos: clientes novos versus recorrentes, homens versus mulheres, regiões. Uma pergunta de duplo cano torna essa comparação inútil. Se os clientes novos avaliaram «o sortimento e os preços» abaixo dos recorrentes, é porque não estão satisfeitos com a seleção? Ou porque estão acostumados a outro nível de preços? Sem separar as perguntas, você opera com suposições, não com dados.

Uma pergunta de duplo cano produz dados que parecem completos, mas que resistem à decodificação. Isso é pior do que uma lacuna: uma lacuna se vê de imediato, ao passo que uma falsa «média» se disfarça de avaliação real.

Como são as perguntas de duplo cano: cinco padrões típicos

Reconhecer uma pergunta de duplo cano é mais fácil se você conhece as construções características. Abaixo estão os cinco padrões que aparecem com mais frequência. Cada um é analisado com um exemplo de «como não fazer», uma explicação do problema e uma alternativa neutra.

1. A conjunção «e» entre dois objetos de avaliação

De duplo cano: «Quão práticas são a navegação e a busca em nosso site?»

Por que é ruim: a navegação e a busca são dois elementos de interface independentes, com mecânicas distintas e diferentes pontos de falha. A navegação pode ser intuitiva —um menu lógico, categorias claras— enquanto a busca não encontra metade dos produtos ou retorna resultados irrelevantes. Uma única resposta para dois parâmetros não permite que a equipe de UX entenda o que exatamente precisa ser consertado.

Versão corrigida: duas perguntas: «Quão prática é a navegação em nosso site?» e «Quão eficaz é a busca em nosso site?»

2. Uma enumeração separada por vírgulas

De duplo cano: «Avalie a rapidez, a cortesia e a competência do nosso suporte.»

Por que é ruim: um atendente pode responder com cortesia, mas com lentidão. Ou com rapidez e direto ao ponto, mas de forma seca. Três parâmetros: três aspectos do trabalho completamente diferentes. As empresas que, com base em uma pergunta assim, implementam treinamentos de cortesia podem deixar passar que a verdadeira dor dos clientes é a velocidade de resposta, enquanto com a cortesia justamente está tudo bem.

Versão corrigida: três perguntas separadas ou uma pergunta de matriz, em que cada parâmetro (rapidez, cortesia, competência) é avaliado em sua própria linha com a mesma escala. Uma matriz é visualmente compacta e não sobrecarrega o questionário.

3. Ação + emoção em uma única pergunta

De duplo cano: «Usar o nosso aplicativo é fácil e agradável?»

Por que é ruim: «fácil» tem a ver com a funcionalidade, a UX, o lado técnico. «Agradável» tem a ver com a estética, o design, a sensação geral. Um aplicativo pode ser funcional —tudo está a dois cliques— mas visualmente ultrapassado e dar vontade de fechá-lo o quanto antes. Ou o contrário: uma interface bonita, mas, para chegar à função de que você precisa, é necessário passar por cinco telas.

Versão corrigida: «Quão fácil é concluir as tarefas principais em nosso aplicativo?» e, separadamente, «O quanto você gosta da aparência e do design do aplicativo?»

4. Passado + futuro em uma única pergunta

De duplo cano: «Você está satisfeito com o nosso produto e pretende continuar usando-o?»

Por que é ruim: a satisfação é uma avaliação da experiência passada; a intenção de continuar é uma previsão do comportamento futuro. Essas coisas estão relacionadas, mas longe de serem idênticas. Uma pessoa pode estar satisfeita com a versão atual e, ainda assim, pretender mudar para um concorrente por causa do preço. Ou o contrário: insatisfeita com certos aspectos, mas com preguiça de trocar, acostumada, já migrou todos os seus dados. Ao misturar duas dimensões, você não obtém nem uma métrica de satisfação limpa nem um indicador de retenção confiável.

Versão corrigida: «Quão satisfeito você está com o produto neste momento?» e «Você pretende continuar usando-o nos próximos 6 meses?»: duas perguntas, dois indicadores, duas alavancas de gestão.

5. Causa + efeito em uma única pergunta

De duplo cano: «Você acha que nossos preços são justificados e correspondem à qualidade?»

Por que é ruim: «justificados» é uma avaliação subjetiva da política de preços como um todo (pode depender da renda do respondente, do seu nível de preço habitual, dos preços da concorrência). «Correspondem à qualidade» é uma avaliação mais restrita: se um produto específico vale o seu dinheiro. Um cliente pode considerar o preço normal para o mercado e, ainda assim, esperar mais por esse dinheiro justamente de você, porque você se posiciona como premium.

Versão corrigida: «Como você avalia a relação custo-benefício do nosso produto?»: um único foco, uma única escala, um resultado interpretável.

Como detectar as perguntas de duplo cano em seu próprio questionário

Três filtros rápidos que funcionam quase sem falhar.

O teste do «e». Releia cada pergunta e preste atenção às conjunções «e», «bem como», «ou» e às vírgulas nas enumerações. Se de ambos os lados da conjunção houver objetos de avaliação distintos, você tem um candidato a ser dividido. Nem todo «e» indica um problema (a pergunta «Informe seu nome e sobrenome» está bem, é um todo único), mas todo «e» vale a pena verificar.

O teste das respostas distintas. Crie mentalmente dois respondentes com opiniões opostas sobre cada parte da pergunta. Se o primeiro respondente está contente com o aspecto A, mas descontente com o aspecto B, e o segundo ao contrário, e ainda assim ambos forem obrigados a dar a mesma resposta «média», a pergunta definitivamente precisa ser dividida.

O teste da ação. Pergunte-se: «Se a resposta for baixa, o que exatamente eu vou melhorar?». Se você não consegue nomear uma ação concreta porque a pergunta cobre dois aspectos distintos e não está claro qual deles «falhou», então ela precisa ser dividida em duas. Uma boa pergunta sempre aponta para uma área de responsabilidade concreta.

A opção ideal é o teste piloto. Peça a 10–15 pessoas do seu público-alvo que respondam ao questionário e, depois, pergunte como elas entenderam cada pergunta. Se alguém disser «eu não sabia sobre o que estava respondendo — sobre uma coisa ou sobre a outra», esse é um marcador certeiro de uma construção de duplo cano.

Quando combinar é aceitável

Para ser justo: nem toda pergunta com um «e» é um erro. Há situações em que a fusão se justifica.

Conceitos inseparáveis. «A conveniência da localização e a acessibilidade por transporte do escritório»: para a maioria dos respondentes, é uma mesma coisa. Uma avaliação separada não trará informação adicional, porque um parâmetro praticamente não existe sem o outro.

Um compromisso consciente em prol da brevidade. Se o questionário já é longo e dividir a pergunta acrescentaria mais uma tela, às vezes é aceitável manter a formulação combinada, desde que você entenda a limitação de antemão e não tente interpretar a resposta como uma avaliação de cada parâmetro separadamente. É um compromisso «sujo», e vale a pena documentá-lo na descrição da metodologia.

Triagem e filtragem. A pergunta «Você comprou eletrodomésticos ou eletrônicos nos últimos 3 meses?» combina duas categorias, mas aqui isso não é um problema: o objetivo é determinar se a pessoa tem alguma experiência de compra em uma categoria ampla, não comparar eletrodomésticos com eletrônicos. Para perguntas de triagem, combinar costuma ser até preferível a uma série de filtros estreitos, cada um dos quais elimina parte do público.

As perguntas de duplo cano e os erros afins

A pergunta de duplo cano é frequentemente confundida com outros defeitos de formulação. Veja como distingui-los.

Duplo cano versus pergunta tendenciosa. Uma pergunta tendenciosa empurra para uma resposta específica; uma de duplo cano obriga você a responder duas perguntas ao mesmo tempo. Às vezes os defeitos se combinam: «Você concorda que o nosso site prático e o nosso suporte profissional são as nossas principais vantagens?»: aqui dois sujeitos são colados e uma avaliação é embutida na formulação.

Duplo cano versus pergunta complexa. Uma pergunta complexa é aquela difícil de entender por causa de uma formulação longa ou confusa. Uma pergunta de duplo cano pode ser simples e curta —«Você está satisfeito com o produto e o serviço?»— e ainda assim conter dois objetos de avaliação. A brevidade não protege do duplo cano.

Duplo cano versus dupla negação. «Você não acha que o nosso serviço não precisa de melhorias?» não é uma pergunta de duplo cano, mas uma pergunta com dupla negação, que confunde o respondente por outra razão: ele não consegue entender o que significa «sim» e o que significa «não».

Como lidar com isso no SurveyNinja

O editor do SurveyNinja não proíbe criar perguntas de duplo cano: essa é a responsabilidade do autor. Mas a plataforma oferece ferramentas que tornam a abordagem correta mais conveniente do que a incorreta.

Perguntas de matriz. Se você precisa avaliar vários parâmetros em uma única escala, a matriz é a substituição ideal para uma série de construções de duplo cano. Cada parâmetro recebe a sua própria linha, o respondente os avalia de forma independente e, visualmente, o questionário se mantém compacto. Rapidez, cortesia, competência do suporte: três linhas em uma única matriz em vez de uma única pergunta sem sentido, «Avalie o nosso suporte em todos os parâmetros».

Copiar perguntas. Dividir uma pergunta em duas é coisa de trinta segundos: você copia a pergunta, deixa o primeiro sujeito no original e coloca o segundo na cópia. As configurações da escala, a obrigatoriedade, a formatação: tudo é transferido automaticamente. A barreira para a abordagem «correta» é mínima.

Saltos lógicos. Se um dos dois aspectos é relevante apenas para parte dos respondentes, um salto lógico permite mostrar a pergunta esclarecedora apenas àqueles para quem ela é relevante. Por exemplo, a pergunta sobre a qualidade da entrega vai apenas para quem escolheu entrega, e não retirada.

Edição colaborativa. Inclua um colega no trabalho colaborativo sobre o questionário. Um olhar fresco é o detector mais confiável de construções de duplo cano: o que para o autor parece um todo único, visto de fora muitas vezes se desfaz em duas perguntas separadas.

A regra é simples: uma pergunta, um objeto de avaliação. Se você não consegue descrever o que exatamente a sua pergunta mede com um único substantivo, o mais provável é que dentro se escondam duas perguntas se passando por uma.