Análisis estadístico

Calculadora de significancia estadística A/B

Ingresa visitantes y conversiones de cada variante. Sabrás si la diferencia entre las dos tasas de conversión es estadísticamente significativa, con el valor z y el valor p.

  • Verificada con valores de referencia
  • Gratis, sin registro
  • Nada sale de tu navegador

Ingresa los resultados del test

Variante A (control)
Variante B (prueba)

Supuestos y limitaciones

  • Prueba z bilateral para dos proporciones con error estándar combinado.
  • Los visitantes se reparten entre las variantes al azar y cada uno cuenta una sola vez.
  • Al menos 5 conversiones y 5 no conversiones en cada variante. Con menos, la calculadora avisa: en ese caso la prueba exacta de Fisher es más fiable.
Valor p
—
Ingresa datos

Reúne respuestas reales con una encuesta en SurveyNinja y míralas en gráficos en el informe.

Usar esta plantilla Ver primero las preguntas

Los datos no se almacenan — el cálculo se realiza en tu navegador.

Plantilla lista

Hazlo con tus propios encuestados

La plantilla “Investigación de mercado” ya tiene las preguntas. Pon el nombre de tu empresa, comparte el enlace y mira cómo llegan las respuestas.

  1. Copia la plantilla: las preguntas ya están escritas
  2. Compártela por enlace, código QR o un widget en tu sitio
  3. Lee los resultados en el informe con gráficos

Las cuentas nuevas tienen 14 días con funciones Premium, sin tarjeta de crédito.

¿Qué es la significancia estadística en una prueba A/B?

La significancia estadística indica que la diferencia entre dos tasas de conversión es demasiado grande para atribuirla solo al azar. La prueba calcula un valor p: la probabilidad de ver una diferencia igual o mayor si ambas variantes convirtieran igual. Si p es menor que 0,05, el resultado es significativo al 95% de confianza. Por ejemplo, 10% frente a 13% con 1.000 visitantes cada una da p = 0,0355.

Cómo funciona la prueba de significancia

  • Fórmula

    z = (p_B − p_A) / √(p × (1 − p) × (1/n_A + 1/n_B)), donde p_A y p_B son las tasas de conversión y p es la tasa combinada de ambas variantes. El valor p es la cola bilateral de la distribución normal estándar más allá de |z|.

  • Cómo leer el valor p

    El valor p es la probabilidad de ver una diferencia igual o mayor si las dos variantes convirtieran en realidad a la misma tasa. Por debajo de 0,05 el resultado es significativo al 95%; por debajo de 0,01, al 99%.

  • Puntos y porcentaje

    Pasar del 10% al 13% es una diferencia de 3 puntos porcentuales y un cambio relativo de +30%. Cuando la variante A tiene 0% de conversión, el cambio relativo no está definido y solo se muestran los puntos.

  • Más alto o más bajo es mejor

    En registros y compras, una tasa más alta es mejor. Para abandono de carrito, rebote o quejas elige "Más bajo es mejor" para que el veredicto indique el ganador correcto.

Ejemplos de pruebas A/B

  1. Conversión: variante A contra B

    • Variante A: 100 conversiones de 1.000 visitantes (10%). Variante B: 130 de 1.000 (13%).

    +3 puntos porcentuales, +30%. z = 2,103, p = 0,0355: significativo al 95%, no al 99%.

  2. Clics en el CTA

    • Variante A: 45 clics de 500 (9%). Variante B: 52 de 500 (10,4%).

    +1,4 puntos. z = 0,748, p = 0,4545: no significativo. La muestra es demasiado pequeña para detectar una diferencia de este tamaño.

  3. Registros

    • Variante A: 80 de 2.000 (4%). Variante B: 120 de 2.000 (6%).

    +2 puntos, +50%. z = 2,902, p = 0,0037: significativo al 95% y al 99%.

  4. Abandono de carrito (más bajo es mejor)

    • Control: 200 carritos abandonados de 1.000 (20%). Nuevo checkout: 150 de 1.000 (15%). Elige "Más bajo es mejor".

    −5 puntos, −25%. z = −2,942, p = 0,0033: significativo, y la variante B es mejor porque menos personas abandonan el carrito.

  5. Suscripción al newsletter

    • Variante A: 30 suscripciones de 600 (5%). Variante B: 42 de 600 (7%).

    +2 puntos, +40%. z = 1,459, p = 0,1447: no significativo. La mejora puede ser real, pero 600 visitantes por variante no alcanzan para confirmarla.

  6. Conversión a compra

    • Landing anterior: 25 compras de 500 (5%). Landing nueva: 35 de 500 (7%).

    +2 puntos, +40%. z = 1,332, p = 0,1830: no significativo. Mantén la prueba hasta el tamaño de muestra planificado antes de decidir.

Qué evitar

  1. Detener la prueba antes de tiempo

    Espera al tamaño de muestra planificado. Mirar el valor p cada día y detener la prueba en el primer p < 0,05 aumenta la proporción de falsos positivos.

  2. Comparar muchos grupos sin corrección

    Cuantas más comparaciones por pares, más probable es que alguna salga significativa por suerte. Fija una métrica principal antes del lanzamiento o corrige por comparaciones múltiples.

  3. Confundir significancia estadística y práctica

    Una diferencia puede ser significativa y aun así demasiado pequeña para el negocio. Mira el tamaño de la diferencia, en puntos y en porcentaje, no solo el valor p.

  4. No planificar el tamaño de muestra antes de empezar

    Calcula la muestra necesaria con la calculadora de muestra mínima para comparación. Si no, la prueba puede ser demasiado pequeña para detectar un efecto real.

El ninja de SurveyNinja con plantillas de encuestas

Siguiente paso

Reúne los datos para este análisis

Crea la encuesta en SurveyNinja, comparte el enlace en tu correo o chat, o como código QR, y exporta las respuestas a Excel, CSV o SPSS en todos los planes.

  • Preguntas listas o IA a partir de una descripción
  • Un enlace para tu correo o chat, un código QR o un widget en tu sitio
  • Gráficos en el informe, exportación a Excel, CSV y SPSS

Preguntas frecuentes sobre la significancia A/B

¿Qué es la significancia estadística?

Un resultado es estadísticamente significativo cuando su valor p está por debajo del nivel elegido: 0,05 para una confianza del 95%. Eso indica que una diferencia tan grande sería improbable si las variantes convirtieran igual. No significa que haya un 95% de probabilidad de que B sea mejor que A.

¿Cuántos visitantes o conversiones necesita una prueba?

Depende de la tasa de conversión de partida y de la diferencia más pequeña que quieras detectar: cuanto menor la diferencia, mayor la muestra. Calcúlalo antes de empezar con la calculadora de muestra mínima para comparación.

¿Qué hago si el resultado no es significativo?

O la diferencia es demasiado pequeña para detectarla con esta muestra, o no hay diferencia. Si aún no llegaste a la muestra planificada, sigue con la prueba; si ya llegaste, considera las variantes equivalentes por ahora.

¿Qué es la potencia de la prueba?

La probabilidad de detectar un efecto real de cierto tamaño si existe. Lo habitual es 80%. Con poca potencia puedes pasar por alto una mejora real; una muestra mayor aumenta la potencia.

¿Puedo detener la prueba antes si veo una diferencia?

No con esta prueba. Revisar varias veces y parar en el primer resultado significativo da falsos positivos mucho más a menudo que el 5%. Fija el tamaño de muestra de antemano o usa métodos secuenciales pensados para revisiones intermedias.

¿Qué significa un valor p = 0,05?

Si las variantes fueran iguales, una diferencia igual o mayor aparecería en el 5% de las pruebas. No es la probabilidad de que B sea mejor que A: el valor p describe los datos suponiendo que no hay diferencia, no las hipótesis.

¿Qué prueba usa la calculadora?

Una prueba z bilateral para dos proporciones con error estándar combinado. Sirve para datos de conversión cuando cada variante tiene suficientes conversiones y no conversiones. Con frecuencias muy pequeñas es preferible la prueba exacta de Fisher.

¿Dónde puedo hacer una prueba A/B en una encuesta?

En SurveyNinja una prueba A/B muestra dos versiones de la redacción de una pregunta a distintos encuestados en cualquier plan, y desde Standard el informe marca la versión que más personas completan, con su nivel de confianza. Para comparar otras cifras, exporta los datos y comprueba la significancia aquí.

Entiende el método

Lee cómo funciona el método y de dónde salen sus números.

Skills para agentes

Hazlo con tu asistente de IA

Skills gratis para Claude Code, Codex, Cursor y Gemini CLI que hacen esta tarea en tu cuenta de SurveyNinja.

Todas las skills
El ninja de SurveyNinja despega en un cohete

Convierte los números en una encuesta

Empieza con la plantilla “Investigación de mercado”: las preguntas ya están listas.