Calculadora de significância A/B

Q: O que é o teste de significância A/B?

Verifica se a diferença de conversão (ou outra proporção) entre duas variantes é estatisticamente significativa (não devida ao acaso).

Q: O que é o p-value?

Probabilidade de observar uma diferença tão grande ou maior se na verdade não houvesse diferença. p < 0,05 costuma ser considerado significativo.

Q: Que tamanho de amostra preciso?

Use a calculadora de amostra mínima para comparação antes do teste. Com amostras pequenas é difícil atingir significância.

Q: Quando declarar vencedor?

Quando p < 0,05 (ou seu limiar) e fizer sentido prático. Não declare vencedor só por p; veja também o tamanho do efeito.

Q: Teste unilateral ou bilateral?

Bilateral (há diferença?) é o padrão. Unilateral só se tiver uma direção clara de antemão.

Q: O que é o intervalo de confiança da diferença?

Faixa em que está a diferença real com uma confiança dada. Se o 0 estiver fora do intervalo, a diferença é significativa.

Q: Posso usar para mais de duas variantes?

Esta calculadora é para duas proporções. Para A/B/C compare aos pares ou use testes múltiplos (com correção).

Q: Como se calcula o teste z?

z = (p₁ − p₂) / EP, onde EP é o erro padrão da diferença. O p-value é obtido da distribuição normal.

Verifique se a diferença entre duas proporções é significativa

Significância A/B — teste z para duas proporções. Indica se a diferença observada entre variantes é estatisticamente significativa.

Digite os resultados do teste

Variante A (controle)

Visitantes

Conversões

Variante B (teste)

Visitantes

Conversões

Nível de significância (α)

90% 95% 99%

Premissas e limitações

Teste z bilateral para duas proporções
Amostras assumidas independentes
n × p > 5 para ambas as variantes

Significância

—

Digite os dados

No SurveyNinja, NPS, CSAT e mais são calculados automaticamente. Crie uma pesquisa em 5 minutos e tenha análise em tempo real.

Começar grátis

Exemplos de testes A/B

1 Conversão: variante A vs B

Variante A: 100 conversões de 1000 (10%). Variante B: 130 de 1000 (13%).

Diferença 3 p.p. A calculadora dá z-score e p-value. Se p < 0,05 a diferença é significativa — B é melhor estatisticamente.

2 Cliques em CTA

Variante A: 45 cliques de 500 (9%). Variante B: 52 de 500 (10,4%).

Diferença pequena 1,4 p.p. — a calculadora indica se a amostra basta para significância.

3 Cadastros (volumes diferentes)

Variante A: 80 de 2000 (4%). Variante B: 120 de 2000 (6%).

Diferença 2 p.p. Com este n o teste z de duas amostras mostra se é significativa a α = 0,05.

4 Abandono de carrinho

Controle: 200 abandonos de 1000 (20%). Novo funil: 150 de 1000 (15%).

Redução de 5 p.p. — a calculadora ajuda a verificar se a melhoria é significativa.

5 Inscrição na newsletter

Variante A: 30 inscrições de 600 (5%). Variante B: 42 de 600 (7%).

Aumento 2 p.p. — com 600 visitas por variante a potência pode ser baixa para resultado significativo.

6 Conversão para compra

Landing antiga: 25 compras de 500 (5%). Landing nova: 35 de 500 (7%).

+2 p.p. — digite os dados e verifique o p-value antes de decidir.

O que evitar

Parar o teste antes do tempo Espere o tamanho de amostra planejado. Parar antes (peeking) distorce o p-value e aumenta falsos positivos.
Comparar muitos grupos sem correção Quanto mais comparações em pares, maior o risco de falsos positivos. Fixe uma métrica principal e o tamanho antes de lançar.
Confundir significância estatística e prática A diferença pode ser significativa (p < 0,05) mas pequena para o negócio. Veja a diferença em % e o efeito mínimo relevante.
Não planejar o tamanho de amostra Calcule o tamanho mínimo com a calculadora de amostra para comparação. Caso contrário o teste pode não detectar um efeito real.

FAQ sobre significância A/B

O que é o teste de significância A/B?