Calculadora de significación A/B

Q: ¿Qué es el test de significación A/B?

Comprueba si la diferencia de conversión (o otra proporción) entre dos variantes es estadísticamente significativa (no debida al azar).

Q: ¿Qué es el p-value?

Probabilidad de observar una diferencia tan grande o mayor si en realidad no hubiera diferencia. p < 0,05 suele considerarse significativo.

Q: ¿Qué tamaño de muestra necesito?

Use la calculadora de muestra mínima para comparación antes del test. Con muestras pequeñas es difícil alcanzar significación.

Q: ¿Cuándo declarar ganador?

Cuando p < 0,05 (o su umbral) y tiene sentido práctico. No declare ganador solo por p; mire también el tamaño del efecto.

Q: ¿Test unilateral o bilateral?

Bilateral (¿hay diferencia?) es lo estándar. Unilateral solo si tiene una dirección clara de antemano.

Q: ¿Qué es el intervalo de confianza de la diferencia?

Rango en el que está la diferencia real con una confianza dada. Si el 0 está fuera del intervalo, la diferencia es significativa.

Q: ¿Puedo usar para más de dos variantes?

Esta calculadora es para dos proporciones. Para A/B/C compare por pares o use tests múltiples (con corrección).

Q: ¿Cómo se calcula el z-test?

z = (p₁ − p₂) / SE, donde SE es el error estándar de la diferencia. El p-value se obtiene de la distribución normal.

Compruebe si la diferencia entre dos proporciones es significativa

Significación A/B — test z para dos proporciones. Indica si la diferencia observada entre variantes es estadísticamente significativa.

Introduzca los resultados del test

Variante A (control)

Visitantes

Conversiones

Variante B (test)

Visitantes

Conversiones

Nivel de significación (α)

90% 95% 99%

Supuestos y limitaciones

Z-test bilateral para dos proporciones
Se asume independencia de las muestras
n × p > 5 para ambas variantes

Significación

—

Introduzca datos

En SurveyNinja, NPS, CSAT y más se calculan automáticamente. Cree una encuesta en 5 minutos y obtenga análisis en tiempo real.

Empezar gratis

Ejemplos de tests A/B

1 Conversión: variante A vs B

Variante A: 100 conversiones de 1000 (10%). Variante B: 130 de 1000 (13%).

Diferencia 3 p.p. La calculadora da z-score y p-value. Si p < 0,05 la diferencia es significativa — la B es mejor estadísticamente.

2 Clics en CTA

Variante A: 45 clics de 500 (9%). Variante B: 52 de 500 (10,4%).

Diferencia pequeña 1,4 p.p. — la calculadora indica si la muestra basta para significación.

3 Registros (distintos volúmenes)

Variante A: 80 de 2000 (4%). Variante B: 120 de 2000 (6%).

Diferencia 2 p.p. Con esta n el z-test de dos muestras muestra si es significativa a α = 0,05.

4 Abandono de carrito

Control: 200 abandonos de 1000 (20%). Nuevo embudo: 150 de 1000 (15%).

Reducción de 5 p.p. — la calculadora ayuda a comprobar si la mejora es significativa.

5 Suscripción a newsletter

Variante A: 30 suscripciones de 600 (5%). Variante B: 42 de 600 (7%).

Subida 2 p.p. — con 600 visitas por variante puede faltar potencia para un resultado significativo.

6 Conversión a compra

Landing antigua: 25 compras de 500 (5%). Landing nueva: 35 de 500 (7%).

+2 p.p. — introduzca los datos y compruebe el p-value antes de decidir.

Qué evitar

Parar el test antes de tiempo Espere al tamaño de muestra planificado. Parar antes (peeking) distorsiona el p-value y aumenta falsos positivos.
Comparar muchos grupos sin corrección Cuantas más comparaciones por pares, mayor riesgo de falsos positivos. Fije una métrica principal y el tamaño antes de lanzar.
Confundir significación estadística y práctica La diferencia puede ser significativa (p < 0,05) pero demasiado pequeña para el negocio. Mire la diferencia en % y el efecto mínimo relevante.
No planificar el tamaño de muestra Calcule el tamaño mínimo con la calculadora de muestra para comparación. Si no, el test puede no detectar un efecto real.

FAQ sobre significación A/B

¿Qué es el test de significación A/B?