Pesquisa pós-compra no WooCommerce: 7 perguntas, quando fazer e o que fazer depois Calculadora de significância estatística A/B
Informe visitantes e conversões de cada variante. Você descobre se a diferença entre as duas taxas de conversão é estatisticamente significativa, com o valor z e o valor-p.
- Conferida com valores de referência
- Grátis, sem cadastro
- Nada sai do seu navegador
Digite os resultados do teste
Premissas e limitações
- Teste z bicaudal para duas proporções com erro padrão combinado.
- Os visitantes são divididos entre as variantes ao acaso, e cada um conta uma única vez.
- Pelo menos 5 conversões e 5 não conversões em cada variante. Com menos, a calculadora avisa: nesse caso o teste exato de Fisher é mais confiável.
Colete respostas reais com uma pesquisa no SurveyNinja e veja tudo em gráficos no relatório.
Usar este modelo Ver as perguntas antesOs dados não são armazenados — o cálculo é feito no seu navegador.
Modelo pronto
Faça com os seus próprios respondentes
O modelo “Pesquisa de mercado” já traz as perguntas. Coloque o nome da sua empresa, compartilhe o link e acompanhe as respostas chegando.
- Copie o modelo: as perguntas já estão escritas
- Compartilhe por link, QR code ou um widget no seu site
- Veja os resultados no relatório com gráficos
Contas novas têm 14 dias com recursos Premium, sem cartão de crédito.
O que é significância estatística em um teste A/B?
Significância estatística quer dizer que a diferença entre duas taxas de conversão é grande demais para ser atribuída só ao acaso. O teste calcula o valor-p: a probabilidade de ver uma diferença igual ou maior se as duas variantes convertessem igual. Com p abaixo de 0,05, o resultado é significativo a 95% de confiança. Por exemplo, 10% contra 13% com 1.000 visitantes em cada uma dá p = 0,0355.
Como funciona o teste de significância
-
Fórmula
z = (p_B − p_A) / √(p × (1 − p) × (1/n_A + 1/n_B)), em que p_A e p_B são as taxas de conversão e p é a taxa combinada das duas variantes. O valor-p é a cauda bicaudal da distribuição normal padrão além de |z|.
-
Como ler o valor-p
O valor-p é a probabilidade de ver uma diferença igual ou maior se as duas variantes convertessem, na verdade, à mesma taxa. Abaixo de 0,05 o resultado é significativo a 95%; abaixo de 0,01, a 99%.
-
Pontos e porcentagem
Ir de 10% para 13% é uma diferença de 3 pontos percentuais e uma mudança relativa de +30%. Quando a variante A tem 0% de conversão, a mudança relativa não é definida e só os pontos aparecem.
-
Maior ou menor é melhor
Em cadastros e compras, uma taxa maior é melhor. Para abandono de carrinho, rejeição ou reclamações escolha "Menor é melhor" para que o veredito aponte o vencedor certo.
Exemplos de teste A/B
-
Conversão: variante A contra B
- Variante A: 100 conversões de 1.000 visitantes (10%). Variante B: 130 de 1.000 (13%).
+3 pontos percentuais, +30%. z = 2,103, p = 0,0355: significativo a 95%, não a 99%.
-
Cliques no CTA
- Variante A: 45 cliques de 500 (9%). Variante B: 52 de 500 (10,4%).
+1,4 ponto. z = 0,748, p = 0,4545: não significativo. A amostra é pequena demais para detectar uma diferença desse tamanho.
-
Cadastros
- Variante A: 80 de 2.000 (4%). Variante B: 120 de 2.000 (6%).
+2 pontos, +50%. z = 2,902, p = 0,0037: significativo a 95% e a 99%.
-
Abandono de carrinho (menor é melhor)
- Controle: 200 carrinhos abandonados de 1.000 (20%). Novo checkout: 150 de 1.000 (15%). Escolha "Menor é melhor".
−5 pontos, −25%. z = −2,942, p = 0,0033: significativo, e a variante B é melhor porque menos pessoas abandonam o carrinho.
-
Inscrição na newsletter
- Variante A: 30 inscrições de 600 (5%). Variante B: 42 de 600 (7%).
+2 pontos, +40%. z = 1,459, p = 0,1447: não significativo. O ganho pode ser real, mas 600 visitantes por variante não bastam para confirmá-lo.
-
Conversão em compra
- Landing antiga: 25 compras de 500 (5%). Landing nova: 35 de 500 (7%).
+2 pontos, +40%. z = 1,332, p = 0,1830: não significativo. Mantenha o teste até o tamanho de amostra planejado antes de decidir.
O que evitar
-
Encerrar o teste cedo demais
Espere o tamanho de amostra planejado. Olhar o valor-p todo dia e parar no primeiro p < 0,05 aumenta a proporção de falsos positivos.
-
Comparar muitos grupos sem correção
Quanto mais comparações em pares, maior a chance de alguma dar significativa por sorte. Defina uma métrica principal antes de começar ou corrija para comparações múltiplas.
-
Confundir significância estatística e prática
Uma diferença pode ser significativa e ainda assim pequena demais para o negócio. Olhe o tamanho da diferença, em pontos e em porcentagem, não só o valor-p.
-
Não planejar o tamanho da amostra antes de começar
Calcule a amostra necessária com a calculadora de amostra mínima para comparação. Sem isso, o teste pode ser pequeno demais para detectar um efeito real.
Próximo passo
Colete os dados para esta análise
Monte a pesquisa no SurveyNinja, compartilhe o link no seu e-mail ou chat, ou como QR code, e exporte as respostas para Excel, CSV ou SPSS em todos os planos.
- Perguntas prontas ou IA a partir de uma descrição
- Um link para o seu e-mail ou chat, um QR code ou um widget no seu site
- Gráficos no relatório, exportação para Excel, CSV e SPSS
Perguntas frequentes sobre significância A/B
O que é significância estatística?
Um resultado é estatisticamente significativo quando o valor-p fica abaixo do nível escolhido: 0,05 para 95% de confiança. Isso indica que uma diferença desse tamanho seria improvável se as variantes convertessem igual. Não significa 95% de probabilidade de B ser melhor que A.
Quantos visitantes ou conversões um teste precisa?
Depende da taxa de conversão de partida e da menor diferença que você quer detectar: quanto menor a diferença, maior a amostra. Calcule antes de começar com a calculadora de amostra mínima para comparação.
E se o resultado não for significativo?
Ou a diferença é pequena demais para ser detectada com essa amostra, ou não há diferença. Se você ainda não chegou à amostra planejada, continue o teste; se já chegou, trate as variantes como equivalentes por enquanto.
O que é o poder do teste?
A probabilidade de detectar um efeito real de certo tamanho, se ele existir. O usual é 80%. Com pouco poder você pode deixar passar uma melhoria real; uma amostra maior aumenta o poder.
Posso parar o teste antes se já vejo uma diferença?
Não com este teste. Conferir várias vezes e parar no primeiro resultado significativo gera falsos positivos com muito mais frequência que 5%. Defina o tamanho da amostra antes ou use métodos sequenciais feitos para verificações intermediárias.
O que significa valor-p = 0,05?
Se as variantes fossem iguais, uma diferença igual ou maior apareceria em 5% dos testes. Não é a probabilidade de B ser melhor que A: o valor-p descreve os dados supondo que não há diferença, não as hipóteses.
Que teste a calculadora usa?
Um teste z bicaudal para duas proporções com erro padrão combinado. Serve para dados de conversão quando cada variante tem conversões e não conversões suficientes. Com frequências muito pequenas, prefira o teste exato de Fisher.
Onde faço um teste A/B em uma pesquisa?
No SurveyNinja um teste A/B mostra duas versões da redação de uma pergunta para respondentes diferentes em qualquer plano, e a partir do Standard o relatório marca a versão que mais pessoas concluem, com o nível de confiança. Para comparar outros números, exporte os dados e verifique a significância aqui.
Entenda o método
Leia como o método funciona e de onde vêm os números.
Skills para agentes
Faça com o seu assistente de IA
Skills grátis para Claude Code, Codex, Cursor e Gemini CLI que fazem essa tarefa na sua conta do SurveyNinja.
Todas as skills
Transforme os números em uma pesquisa
Comece pelo modelo “Pesquisa de mercado”: as perguntas já estão prontas.