Teste A/B

Suponha que você lançou uma pesquisa de satisfação do cliente. A taxa de resposta é de 8%. Dos que começam, metade desiste na terceira pergunta. Você muda o assunto do e-mail de "Responda nossa pesquisa" para "Três minutos e ficaremos melhores para você" — e a taxa de resposta salta para 14%.

Coincidência? Ou um padrão? Para responder a essa pergunta com certeza, em vez de adivinhar, existe o teste A/B: um método que transforma a intuição em fatos verificáveis.

O que é o teste A/B

O teste A/B (A/B Testing, Split Testing) é um método para comparar duas (ou mais) variantes de um mesmo elemento, no qual o público é dividido em grupos de forma aleatória, cada um dos quais vê a sua própria versão. A diferença de resultados entre os grupos permite determinar qual variante funciona melhor — com base em dados, não em opiniões.

No marketing, os testes A/B são associados antes de tudo às páginas de destino e aos botões de "Comprar". Mas no mundo das pesquisas esse método não é menos valioso — e, ainda assim, é usado muito menos. E é uma pena: a redação de uma pergunta, a extensão do questionário, o tom do convite, o canal de distribuição — tudo isso influencia a qualidade e a quantidade dos dados que você coleta. E tudo isso pode ser testado.

Por que testar as pesquisas

Pode parecer que uma pesquisa é um texto que funciona ou não funciona. Na prática, entre "funciona" e "não funciona" há um espectro de opções, e a diferença entre uma boa pesquisa e uma excelente pode ser enorme: várias vezes em taxa de resposta, dezenas de pontos percentuais na proporção de questionários concluídos.

A redação determina a resposta. Um exemplo clássico da sociologia: a pergunta "Os discursos públicos contra a democracia deveriam ser proibidos?" e a pergunta "Os discursos públicos contra a democracia deveriam ser permitidos?" dão resultados estatisticamente diferentes — embora, pela lógica, seja a mesma pergunta, apenas invertida. A palavra "proibir" e a palavra "permitir" ativam estruturas mentais diferentes. Sem um teste A/B, você nunca saberá o quanto a sua redação específica desloca as respostas.

Os pequenos detalhes têm um efeito desproporcional. O assunto do e-mail de convite, a presença ou ausência de uma barra de progresso, a ordem das opções de resposta, o número de perguntas por página: cada um desses elementos parece insignificante, mas, em conjunto, eles determinam se o respondente chega até o fim. Um único teste pode gerar um aumento de 5–10% em questionários concluídos — e isso significa centenas de respostas completas adicionais em amostras grandes.

A subjetividade é eliminada. Em qualquer equipe haverá um profissional de marketing que "sente" que um título longo é melhor e um analista que tem "certeza" sobre o curto. Um teste A/B substitui a discussão por um número: a variante A teve uma conversão de 12%, a variante B, de 17%. Discussão encerrada.

O que se pode testar nas pesquisas

A lista de elementos que se prestam ao teste A/B é muito mais ampla do que pensa a maioria dos autores de questionários. Veja os principais — dos mais óbvios aos menos óbvios.

Redação das perguntas

O principal território para testes. Uma mesma ideia pode ser expressa de uma dezena de formas, e cada uma dá uma distribuição de respostas um pouco diferente.

Exemplo. Versão A: "Qual a probabilidade de você nos recomendar a amigos ou colegas?" (o clássico NPS). Versão B: "Você nos recomendaria a alguém que conhece?" (menos formal). O teste vai mostrar se o tom da redação influencia a pontuação média e a distribuição entre promotores, neutros e detratores.

Extensão do questionário

Quantas perguntas são ideais? 8? 12? 20? A única forma de descobrir para o seu público específico é um teste. O grupo A recebe o questionário completo, de 15 perguntas; o grupo B, um reduzido, de 8. Você compara a taxa de resposta, a taxa de abandono e a integridade dos dados. Muitas vezes acontece de o questionário curto coletar mais informações úteis — simplesmente porque as pessoas o concluem.

Ordem das perguntas

Começar com uma pergunta geral fácil ou ir direto ao ponto? Colocar o CSAT no início ou no fim? A ordem influencia tanto as respostas (Context Effect) quanto a proporção de conclusões. Um teste A/B de duas sequências vai mostrar qual estrutura funciona melhor para o seu objetivo.

Design visual

A cor dos botões, a presença do logotipo da empresa, o estilo da barra de progresso, o número de perguntas em uma única página: todos são fatores que influenciam o comportamento do respondente. Um dos testes menos óbvios, mas eficazes: uma página com uma pergunta versus uma página com três. A primeira opção parece mais simples, mas alonga o caminho; a segunda é mais compacta, mas pode ser percebida como uma "parede de texto".

Assunto e texto do convite

Se a pesquisa é distribuída por e-mail, o assunto é o primeiro (e, muitas vezes, único) elemento que o respondente em potencial vê. Testar os assuntos dos e-mails é um dos experimentos A/B que mais rápido se pagam: a diferença entre um assunto acertado e um malsucedido pode ser de 2–3 vezes em taxa de abertura.

Exemplo. Assunto A: "Pesquisa de satisfação do cliente — 2026". Assunto B: "Temos uma pergunta para você (leva 2 minutos)". Assunto C: "Dmitry, conte para a gente: o que devemos melhorar?". Você testa os três em partes iguais da base e mede as aberturas e os cliques no link.

Incentivo à participação

Oferecer um desconto pela conclusão? Um presente? Participação em um sorteio? Ou nada — apenas pedir com gentileza? Um teste A/B permite entender o quanto um incentivo aumenta a participação e — o que não é menos importante — se ele não reduz a qualidade das respostas. Os respondentes que vieram por um prêmio às vezes clicam pelo questionário sem olhar, só para receber a recompensa.

Como realizar um teste A/B de uma pesquisa: passo a passo

Passo 1. Escolha uma única variável

A regra principal do teste A/B: uma mudança por experimento. Se você muda ao mesmo tempo a redação de uma pergunta, a ordem dos blocos e o design do botão, é impossível entender o que exatamente influenciou o resultado. A disciplina de "uma variável por vez" exige paciência, mas é também o que garante a limpeza das suas conclusões.

A exceção é o teste multivariado (MVT), quando várias variáveis são verificadas ao mesmo tempo em diferentes combinações. Mas, para isso, é preciso uma amostra significativamente maior, e, para a maioria das tarefas aplicadas, o A/B clássico é suficiente.

Passo 2. Defina a métrica de sucesso

Antes de lançar o teste, formule o que exatamente você considera o "melhor" resultado. Métricas típicas:

• Response Rate (taxa de resposta): a proporção de pessoas que começaram a pesquisa, em relação ao total de convidadas
• Completion Rate (taxa de conclusão): a proporção das que chegaram ao fim, em relação às que começaram
• Tempo médio de preenchimento: um indicador indireto de engajamento
• Proporção de respostas "lixo": respostas em linha reta, avaliações idênticas em todas as perguntas, texto sem sentido nos campos abertos
• Distribuição das respostas: se uma das variantes de redação desloca a escala, isso pode indicar um caráter indutivo da pergunta

Passo 3. Divida o público de forma aleatória

A aleatoriedade é o fundamento do experimento. Se o grupo A é o dos respondentes da manhã e o grupo B o dos da tarde, a diferença nas respostas pode ser causada pela hora do dia, e não pela mudança que está sendo testada. A atribuição aleatória (Random Assignment) garante que os grupos sejam aproximadamente iguais em todos os parâmetros — idade, fidelidade, humor — e que a única diferença entre eles seja o elemento testado.

Passo 4. Aguarde a significância estatística

Este é o erro mais frequente: o autor do teste vê que a versão B está à frente após 50 respostas e a declara vencedora. Mas, com uma amostra pequena, a diferença pode ser aleatória. Para que o resultado seja confiável, é preciso um volume de dados suficiente.

Uma referência: para detectar uma diferença de 5 pontos percentuais (por exemplo, Completion Rate de 60% versus 65%) com um intervalo de confiança de 95%, são necessárias cerca de 1.500 respostas em cada grupo. Para uma diferença de 10 p.p., cerca de 400. Quanto menor a diferença esperada, maior a amostra necessária.

Se o seu público for pequeno, concentre-se em testar elementos com efeito potencialmente grande (assunto do e-mail, extensão do questionário), e não nas nuances da redação: ali a diferença será perceptível mesmo com volumes modestos.

Passo 5. Interprete o resultado e implemente

Se a diferença for estatisticamente significativa, implemente a versão vencedora. Se não for, isso também é um resultado: significa que o elemento testado não influencia a métrica, e você pode escolher por outros critérios (comodidade, estilo, manual de marca). Um resultado negativo de um teste A/B é tempo economizado em futuros debates.

Erros típicos

Testar tudo de uma vez. Você mudou a redação, reorganizou as perguntas e mudou a cor de fundo — e depois tenta entender o que funcionou. Isso não é um teste A/B, é uma roleta. Um experimento, uma variável.

Parar o teste cedo demais. "Ah, a versão B está à frente após 30 respostas — vamos lançar!" Não. Com números pequenos, as flutuações aleatórias são enormes. Determine o tamanho de amostra necessário antes de lançar e mantenha-se nesse número.

Ignorar a qualidade das respostas. A versão com a pesquisa curta mostrou uma taxa de resposta 20% maior? Ótimo. Mas se, ao mesmo tempo, 40% das respostas forem cliques sem leitura, a quantidade final de dados úteis pode acabar sendo menor do que a da versão longa com menos respostas. Olhe sempre o conjunto de métricas, não apenas uma.

Testar com um público irrelevante. Se você otimiza uma pesquisa para clientes B2B, mas realiza o teste com visitantes aleatórios do site, os resultados não se transferirão. O público de teste deve coincidir o máximo possível com o público-alvo.

Não documentar os testes. Daqui a seis meses você terá esquecido o que testou, quais foram as hipóteses e por que escolheu a variante B. Mantenha uma tabela: data, hipótese, elemento testado, métrica, tamanho da amostra, resultado. Essa é a base para acumular conhecimento sobre o seu público.

Teste A/B no SurveyNinja

No criador SurveyNinja, o teste A/B de pesquisas é implementado por meio de uma combinação de várias ferramentas integradas.

Variáveis ocultas para marcar os grupos. Por meio das variáveis ocultas na URL, é possível passar um identificador de variante (por exemplo, ?variant=A ou ?variant=B). O respondente não vê o parâmetro, mas ele é salvo nos resultados — e você pode filtrar as respostas por grupo, comparando métricas.

Ramificações lógicas para diferentes versões. As ramificações lógicas permitem direcionar os respondentes a diferentes versões de uma pergunta ou de um bloco dentro de um mesmo questionário. Por exemplo, conforme o valor de uma variável oculta, o grupo A vê a redação "Qual a probabilidade de você nos recomendar?", enquanto o grupo B vê "Você nos recomendaria a pessoas que conhece?".

Analítica integrada com filtragem. Na seção de analítica, é possível filtrar as respostas por qualquer parâmetro, incluindo as variáveis ocultas. Isso permite comparar os resultados do grupo A e do grupo B diretamente na interface — sem exportar para o Excel.

Duplicar a pesquisa. Para testes em que não difere uma pergunta específica, mas todo o questionário (por exemplo, uma versão curta versus uma longa), é possível criar uma cópia da pesquisa e distribuir os dois links em paralelo. Os resultados são comparados na analítica de cada pesquisa.

O teste A/B de pesquisas não é um luxo para grandes departamentos de pesquisa, mas uma ferramenta de trabalho ao alcance de qualquer pessoa disposta a dedicar um pouco de tempo à verificação de hipóteses. Um único teste do assunto de um e-mail é capaz de dobrar a taxa de resposta — e compensar todo o esforço de configuração.