MDE (Minimum Detectable Effect, efeito mínimo detectável)

Você lançou um teste A/B sobre a redação de uma pergunta. Uma semana depois: 200 respostas, uma diferença de 3% na conversão, p = 0.31 — não significativo. Você volta atrás. Mas espere: será que a sua amostra conseguiria sequer detectar uma diferença de 3%?

Com 200 respostas, o efeito mínimo detectável fica em torno de 10%. Você não encontrou um resultado não porque ele não exista, mas porque o teste não tinha poder para encontrá-lo. O MDE é a fronteira abaixo da qual o seu teste é cego por definição.

Definição

MDE (Minimum Detectable Effect, efeito mínimo detectável) é o menor tamanho de efeito que um teste estatístico consegue detectar com níveis dados de significância (α) e poder (1-β) para um tamanho de amostra fixo. É um parâmetro-chave no planejamento de testes A/B e estudos: se o efeito esperado for menor que o MDE, é muito provável que o teste não mostre um resultado significativo mesmo que o efeito realmente exista.

Por que o MDE é importante

O MDE resolve um problema fundamental do desenho de um estudo: você precisa decidir de antemão qual efeito é praticamente importante detectar e garantir que a amostra seja grande o suficiente para isso.

Sem MDE, ocorre um de dois cenários:

Cenário 1: dados de menos. Você interrompe o teste com uma amostra insuficiente. Um efeito real de 5% não é detectado porque o MDE para a sua amostra é de 12%. A conclusão "sem diferença" está errada. A conclusão correta é: "não tivemos dados suficientes para detectar um efeito menor que 12%".

Cenário 2: dados demais. Você coleta 50.000 respostas para um teste em que 500 seriam suficientes. Recursos são desperdiçados, e um teste com 50.000 vai detectar diferenças estatisticamente significativas, porém praticamente irrelevantes, de 0,1%.

O MDE ajuda a encontrar o equilíbrio: coletar exatamente os dados suficientes para detectar precisamente o efeito que importa para a decisão.

Como o MDE se relaciona com o poder do teste e o nível de significância

O MDE depende de três parâmetros do desenho do teste:

α (nível de significância) — a probabilidade de um falso positivo (encontrar um efeito onde não há). Padrão: α = 0.05. Com um limiar mais rígido (α = 0.01), o mesmo MDE exige uma amostra maior.

β (probabilidade de erro do tipo II) — a probabilidade de não detectar um efeito que realmente existe. Poder do teste = 1 - β. Padrão: 80% de poder (β = 0.20). Com 90% de poder você precisa de cerca de 35% mais dados.

n (tamanho da amostra) — o número de observações. Quanto maior o n, menor o efeito que você consegue detectar. MDE ∝ 1/√n: para dobrar a sensibilidade, aumente a amostra quatro vezes.

Esses três parâmetros estão ligados: fixe dois quaisquer e o terceiro é determinado automaticamente. Na prática, fixam-se α e o poder, e depois calcula-se o n necessário para um MDE dado ou calcula-se o MDE para um n existente.

MDE para proporções: cálculo e interpretação

O caso mais frequente nos testes A/B é a comparação de proporções (conversões, percentuais de resposta, proporção de promotores).

Uma fórmula aproximada do MDE para comparar duas proporções:

MDE = (z_α/2 + z_β) × √(2 × p̄ × (1-p̄) / n)

Onde p̄ é a proporção média entre os grupos, z_α/2 = 1.96 (para α=0.05), z_β = 0.84 (para um poder de 80%) e n é o tamanho de cada grupo.

Exemplo: uma conversão base de 30%, com 200 pessoas por grupo:

MDE = (1.96 + 0.84) × √(2 × 0.3 × 0.7 / 200) = 2.8 × √(0.0021) = 2.8 × 0.0458 ≈ 0.128

MDE ≈ 12,8 pontos percentuais. Um teste com essa amostra detectará apenas diferenças de 30% a 42,8% (ou até 17,2%). Se o efeito real for de 5 pp, este teste não o encontrará.

Exemplo: planejar um teste A/B de um formato de pesquisa

Uma equipe testa duas versões da tela de boas-vindas de uma pesquisa. A métrica é a proporção de pessoas que começam a pesquisa (click-through rate). O CTR atual = 45%.

Pergunta: "Quantas impressões precisamos para detectar uma melhoria do CTR de pelo menos 5 pp — de 45% para 50%?"

Usamos o cálculo inverso (de MDE → n):

n = 2 × p̄ × (1-p̄) × ((z_α/2 + z_β) / MDE)²

n = 2 × 0.475 × 0.525 × (2.8 / 0.05)² = 0.4988 × 3136 ≈ 1564

Precisamos de cerca de 1.564 impressões por variante — ao todo, cerca de 3.128 impressões. Com um tráfego de 500 impressões por dia, o teste levaria ~6 dias. Isso é realista. Se quiséssemos detectar uma diferença de 2 pp, precisaríamos de ~9.800 impressões por variante, ou seja, quase um mês. Talvez esse efeito seja pequeno demais para justificar o custo.

MDE relativo vs absoluto

O MDE pode ser expresso de duas maneiras, e é importante não confundi-las:

MDE absoluto — a diferença em unidades de medida. "Vamos detectar uma mudança de conversão de pelo menos 5 pontos percentuais" (de 30% para 35%).

MDE relativo — a mudança como percentual do valor base. "Vamos detectar uma mudança de pelo menos 10% do valor atual". Com uma conversão base de 30%, isso são 3 pontos percentuais (30% × 10% = 3 pp).

O MDE relativo é prático para comparar testes com bases diferentes, mas pode induzir ao erro. Uma melhoria de 10% sobre uma conversão de 0,5% é de 0,55%, algo extremamente difícil de detectar. Sempre esclareça a qual MDE você se refere.

MDE ao medir médias

Para pontuações numéricas (pontuação média de satisfação, NPS médio), o MDE é expresso em unidades da escala e depende do desvio padrão dos dados. Quanto maior a dispersão das respostas, mais difícil é detectar um efeito pequeno.

Uma referência por meio do d de Cohen: MDE = d × SD. Se SD = 2.0 e você quer detectar um efeito médio (d = 0.5), então MDE = 0.5 × 2.0 = 1,0 ponto. Para um efeito pequeno (d = 0.2), MDE = 0,4 ponto, o que exige uma amostra significativamente maior.

Erros típicos ao trabalhar com o MDE

Não calcular o MDE antes de lançar o teste. O erro mais comum. O teste é lançado "no olho", os dados são coletados até o primeiro resultado significativo ou até o fim da semana — e acaba-se com poder insuficiente ou com uma estimativa pontual inflada do efeito (viés do vencedor por parada precoce).

Confundir o MDE com o efeito esperado. O MDE é o limiar de sensibilidade do teste. O efeito real pode ser maior ou menor. Se o efeito esperado for igual ao MDE, o poder do teste é exatamente 80%: em 20% dos casos o teste vai deixá-lo passar. Para uma detecção confiável, é melhor planejar um MDE um pouco abaixo do efeito esperado.

Interromper o teste cedo demais no primeiro resultado significativo. Se você olhar o p-valor várias vezes enquanto os dados se acumulam, a probabilidade de um falso positivo cresce. Fixe o tamanho da amostra e a duração do teste de antemão — e siga o plano independentemente dos resultados intermediários.

Ignorar a significância prática ao escolher o MDE. Definir um MDE de 0,1% porque "quanto mais preciso, melhor" é um erro. A amostra crescerá centenas de vezes, enquanto um efeito detectado de 0,1% não influenciará nenhuma decisão real. O MDE deve corresponder ao limiar de significância prática: qual melhoria mínima justifica a mudança?

MDE nos testes A/B de pesquisas

Nos testes A/B de formatos de pesquisa, o MDE é usado para: comparar a completion rate de duas versões de um questionário, avaliar a diferença na response rate com diferentes redações do convite e medir o impacto da ordem das perguntas ou do design sobre a conversão.

Antes de lançar o teste: determine qual melhoria mínima justifica a mudança → calcule a amostra necessária → certifique-se de que o tráfego permita reuni-la em um tempo razoável. Para o cálculo, use a calculadora de significância de testes A/B da SurveyNinja — ela calcula o tamanho de amostra necessário a partir de um MDE dado e dos parâmetros de poder.

O MDE não é uma limitação do teste, mas uma ferramenta de planejamento honesto. Conhecendo o MDE de antemão, você toma uma decisão informada: este teste consegue detectar o efeito que me importa, ou não. Lançar um teste sem calcular o MDE é como dirigir até uma reunião sem saber se há gasolina suficiente.

Perguntas frequentes

Como escolher o MDE certo para um teste?

Parta da lógica de negócio: qual melhoria mínima da métrica justifica o custo da mudança? Se implantar uma nova variante custa 200.000 e cada ponto percentual de conversão traz 50.000, o efeito mínimo justificado é de 4 pp. Esse é o seu MDE. A matemática dirá quantos dados você precisa para detectá-lo.

O que fazer se não der para reunir a amostra necessária em um tempo razoável?

Três opções: aumentar o MDE (aceitar que só interessa um efeito mais forte), baixar o poder de 80% para 70% (mais arriscado, mas exige menos dados), ou desistir do teste e decidir com base no julgamento de especialistas. Um compromisso é sempre melhor que um teste com poder notoriamente insuficiente — ele cria uma falsa sensação de decisão fundamentada.

Dá para mudar o MDE depois de lançar o teste?

Não — é um erro estatístico chamado p-hacking ou HARKing. Mudar o MDE ou o tamanho da amostra depois de ver os dados viola as garantias do nível de significância. Se quiser reconsiderar o desenho — interrompa o teste atual e lance um novo com novos parâmetros do zero.

Como o MDE se relaciona com o poder do teste?

O MDE e o poder são dois lados de um mesmo parâmetro. Com uma amostra fixa e α: baixar o MDE (detectar um efeito menor) = baixar o poder. Aumentar o poder (deixar passar um efeito real com menos frequência) = aumentar a amostra. O padrão é 80% de poder com α = 0.05. Isso significa: um teste com uma amostra corretamente calculada detectará um efeito real igual ao MDE em 80% dos casos.

O MDE se aplica apenas aos testes A/B?

Não. O MDE é um conceito universal para qualquer teste estatístico: comparar grupos em uma pesquisa, medir a mudança de um indicador entre ondas de um estudo, estimar uma correlação. Em todo lugar onde seja preciso determinar de antemão qual efeito mínimo é importante detectar e quantos dados são necessários para isso.