Poder estatístico e análise de poder

Poder estatístico é a probabilidade de um teste encontrar um efeito de determinado tamanho quando esse efeito realmente existe. Análise de poder é o cálculo, feito antes do estudo, de quantos respondentes você precisa para atingir essa probabilidade com o nível de significância escolhido e o menor efeito que importa detectar.

Sem esse cálculo, o estudo pode ficar pequeno demais para enxergar uma diferença real, e um resultado "não significativo" quase não diz nada. Com ele, você sabe de antemão o que o estudo consegue e o que não consegue mostrar.

As quatro grandezas

A análise de poder liga quatro números. Fixe três e o quarto fica determinado:

• Nível de significância (α): o risco de um falso positivo, ou seja, encontrar uma diferença que não existe. Em geral, 0,05.
• Poder (1 − β): a chance de detectar um efeito real. β é o risco de um falso negativo.
• Tamanho do efeito: o tamanho da diferença que você quer conseguir detectar, em unidades originais ou padronizada (d de Cohen para médias).
• Tamanho da amostra (n): respondentes por grupo.

De onde vêm 0,8 e 0,05

Jacob Cohen propôs essas convenções em Statistical Power Analysis for the Behavioral Sciences (2ª edição, 1988): sem motivo para outra escolha, mire em poder de 0,80 com α = 0,05. Isso combina 20% de risco de perder um efeito real com 5% de risco de alarme falso, tratando o alarme falso como cerca de quatro vezes mais grave. Cohen também deu referências aproximadas para o d: 0,2 pequeno, 0,5 médio, 0,8 grande. Ele as pensou como recurso para quando não há ideia melhor de qual diferença importa na sua área.

São convenções, não leis. Se perder um efeito custa caro, por exemplo em uma questão de segurança, planeje para 0,90 ou mais.

Como calcular a amostra para dois grupos

Para comparar duas médias com um teste bicaudal, a aproximação normal é:

n por grupo = 2 × (z(1−α/2) + z(1−β))² × σ² / Δ²

em que σ é o desvio padrão e Δ a diferença que você quer detectar. Com α = 0,05, z(1−α/2) = 1,96; com poder de 0,80, z(1−β) = 0,84; com 0,90, é 1,28.

Exemplo: médias

Você quer comparar a satisfação em um índice de 0 a 20 entre dois segmentos de clientes. Uma diferença de 2 pontos importa, e dados anteriores mostram desvio padrão de cerca de 5, então d = 2 / 5 = 0,4.

• Poder 0,80: n = 2 × (1,96 + 0,84)² × 25 / 4 ≈ 98,1, ou seja, cerca de 99 por grupo.
• Poder 0,90: cerca de 132 por grupo.
• Para um efeito médio, d = 0,5, a mesma fórmula dá cerca de 63 por grupo; as tabelas de Cohen, baseadas no teste t, dão 64.

Exemplo: proporções

Você espera que 50% de um grupo e 60% de outro escolham uma opção. Com α = 0,05 e poder de 0,80, um teste de duas proporções precisa de cerca de 388 por grupo. Se a diferença cair pela metade, para 5 pontos, a amostra fica mais ou menos quatro vezes maior, porque n cresce com 1/Δ².

A calculadora de amostra mínima para comparar dois grupos faz as duas versões: informe duas proporções ou médias esperadas, α e o poder. Se você tem dados de um piloto ou de estudos anteriores, a calculadora de tamanho do efeito transforma médias e desvios padrão em d de Cohen e g de Hedges.

Como interpretar o resultado

A amostra que sai da análise de poder é o mínimo de respostas válidas por grupo. Para chegar ao número de convites, divida pela taxa de conclusão esperada, pela incidência de qualificados e pela fatia que você espera remover na limpeza.

O cálculo inverso é igualmente útil. Com uma amostra fixa, a análise de poder mostra o menor efeito que você consegue detectar com segurança, o efeito mínimo detectável. Se esse efeito for maior do que qualquer diferença realista, não vale a pena rodar o estudo desse jeito.

Erros comuns

• Calcular o "poder observado" depois do teste. O poder calculado a partir do efeito que você acabou de observar não acrescenta nada ao valor-p. Hoenig e Heisey explicam o motivo em "The abuse of power" (The American Statistician, 2001). Prefira reportar um intervalo de confiança.
• Usar um tamanho de efeito otimista para a amostra sair pequena. Baseie-o na menor diferença que mudaria uma decisão, ou em dados anteriores.
• Planejar para a amostra total e analisar subgrupos. Cada comparação que você vai reportar precisa do próprio poder.
• Ignorar comparações múltiplas. Testar muitos indicadores com α = 0,05 aumenta o risco de falso positivo; um α mais rígido exige amostra maior.
• Ler um resultado não significativo de um estudo com pouco poder como "não há diferença". Significa que o estudo não conseguiu dizer. Veja significância estatística.

Como planejar uma pesquisa com poder suficiente

Escreva primeiro a hipótese e o efeito mínimo, depois use a calculadora e defina metas por grupo. No SurveyNinja, as cotas, disponíveis em todos os planos, inclusive no gratuito, fecham cada grupo quando ele atinge a meta. Se você comparar duas redações de uma pergunta com o teste A/B do SurveyNinja, também disponível em todos os planos, planeje as visualizações por variante com a mesma calculadora. Para o teste em si, veja teste t e teste de hipóteses.