Potencia estadística y análisis de potencia

La potencia estadística es la probabilidad de que una prueba encuentre un efecto de cierto tamaño cuando ese efecto existe de verdad. El análisis de potencia es el cálculo, hecho antes del estudio, de cuántos encuestados necesitas para alcanzar esa probabilidad con el nivel de significancia que elijas y el efecto más pequeño que te importa detectar.

Sin este cálculo, un estudio puede quedar demasiado chico para detectar una diferencia real, y un resultado «no significativo» no dice casi nada. Con él, sabes de antemano qué puede mostrar el estudio y qué no.

Las cuatro magnitudes

El análisis de potencia une cuatro números. Si fijas tres, el cuarto queda determinado:

• Nivel de significancia (α): el riesgo de un falso positivo, es decir, encontrar una diferencia que no existe. Suele ser 0,05.
• Potencia (1 − β): la probabilidad de detectar un efecto real. β es el riesgo de un falso negativo.
• Tamaño del efecto: qué tan grande es la diferencia que quieres poder detectar, en unidades originales o estandarizada (d de Cohen para medias).
• Tamaño de la muestra (n): encuestados por grupo.

De dónde salen 0,8 y 0,05

Jacob Cohen propuso estas convenciones en Statistical Power Analysis for the Behavioral Sciences (2.ª edición, 1988): si no hay motivo para otra cosa, apunta a una potencia de 0,80 con α = 0,05. Eso combina un 20 % de riesgo de pasar por alto un efecto real con un 5 % de riesgo de falsa alarma, y trata la falsa alarma como unas cuatro veces más grave. Cohen también dio referencias aproximadas para d: 0,2 pequeño, 0,5 mediano, 0,8 grande. Las pensó como recurso cuando no tienes una idea mejor de qué diferencia importa en tu campo.

Son convenciones, no leyes. Si pasar por alto un efecto sale caro, por ejemplo en un tema de seguridad, planifica para 0,90 o más.

Cómo calcular la muestra para dos grupos

Para comparar dos medias con una prueba bilateral, la aproximación normal es:

n por grupo = 2 × (z(1−α/2) + z(1−β))² × σ² / Δ²

donde σ es la desviación estándar y Δ la diferencia que quieres detectar. Con α = 0,05, z(1−α/2) = 1,96; con potencia de 0,80, z(1−β) = 0,84; con 0,90, es 1,28.

Ejemplo: medias

Quieres comparar la satisfacción en un índice de 0 a 20 entre dos segmentos de clientes. Una diferencia de 2 puntos importa, y los datos anteriores muestran una desviación estándar cercana a 5, así que d = 2 / 5 = 0,4.

• Potencia 0,80: n = 2 × (1,96 + 0,84)² × 25 / 4 ≈ 98,1, es decir, unas 99 personas por grupo.
• Potencia 0,90: unas 132 por grupo.
• Para un efecto mediano, d = 0,5, la misma fórmula da unas 63 por grupo; las tablas de Cohen, basadas en la prueba t, dan 64.

Ejemplo: proporciones

Esperas que el 50 % de un grupo y el 60 % de otro elijan una opción. Con α = 0,05 y potencia de 0,80, una prueba de dos proporciones necesita unas 388 personas por grupo. Si reduces la diferencia a la mitad, 5 puntos, la muestra se multiplica más o menos por cuatro, porque n crece con 1/Δ².

La calculadora de muestra mínima para comparar dos grupos resuelve ambas versiones: ingresa dos proporciones o medias esperadas, α y la potencia. Si tienes datos de un piloto o de estudios anteriores, la calculadora de tamaño del efecto convierte medias y desviaciones estándar en d de Cohen y g de Hedges.

Cómo interpretar el resultado

La muestra que da el análisis de potencia es el mínimo de respuestas válidas por grupo. Para saber cuántas invitaciones enviar, divide por la tasa de finalización esperada, la incidencia de personas que califican y la proporción que esperas eliminar en la depuración.

El cálculo inverso es igual de útil. Con una muestra fija, el análisis de potencia te da el efecto más pequeño que puedes detectar con confianza, el efecto mínimo detectable. Si ese efecto es más grande que cualquier diferencia realista, no vale la pena hacer el estudio así.

Errores frecuentes

• Calcular la «potencia observada» después de la prueba. La potencia calculada con el efecto que acabas de observar no agrega nada al valor p. Hoenig y Heisey explican por qué en «The abuse of power» (The American Statistician, 2001). Reporta mejor un intervalo de confianza.
• Usar un tamaño de efecto optimista para que la muestra salga chica. Básalo en la diferencia más pequeña que cambiaría una decisión, o en datos previos.
• Planificar para la muestra total y analizar subgrupos. Cada comparación que vas a reportar necesita su propia potencia.
• Ignorar las comparaciones múltiples. Probar muchos indicadores con α = 0,05 sube el riesgo de falsos positivos; un α más estricto exige una muestra mayor.
• Leer un resultado no significativo de un estudio con poca potencia como «no hay diferencia». Significa que el estudio no pudo saberlo. Revisa significancia estadística.

Cómo planificar una encuesta con potencia suficiente

Escribe primero la hipótesis y el efecto mínimo, luego usa la calculadora y fija metas por grupo. En SurveyNinja, las cuotas, disponibles en todos los planes, incluido el gratuito, cierran cada grupo al llegar a su meta. Si comparas dos redacciones de una pregunta con la prueba A/B de SurveyNinja, también disponible en todos los planes, planifica las visualizaciones por variante con la misma calculadora. Para la prueba en sí, revisa prueba t y prueba de hipótesis.