ANOVA (Análise de Variância)

Você está comparando a satisfação do cliente em três regiões: Norte — 7.4, Centro — 6.9, Sul — 7.1. Realizar três testes t separados? É um erro — cada teste adiciona um risco de falso positivo, e com três comparações a probabilidade de encontrar por acaso uma diferença "significativa" sobe para 14% em vez de 5%.

ANOVA (análise de variância) resolve esse problema: testa todos os grupos de uma vez com um único teste, controlando corretamente a taxa de erro.

Definição

ANOVA (Análise de Variância) — um método estatístico paramétrico para comparar as médias de três ou mais grupos. Analisa a relação entre a variabilidade entre grupos e a variabilidade dentro dos grupos. O resultado é uma estatística F e um valor-p, que mostram se ao menos um grupo difere significativamente dos demais. Quando o resultado é significativo, exige testes post hoc para determinar quais grupos especificamente diferem.

Por que não dá para simplesmente realizar vários testes t

A cada teste t, a probabilidade de um falso positivo é de 5% (em um limiar de p < 0.05). Isso significa: em 5% dos testes tratamos por engano diferenças aleatórias como reais. Com comparações múltiplas, esses erros se acumulam.

Se você comparar 3 grupos aos pares (A-B, A-C, B-C) — três testes t. A probabilidade de ao menos uma significância falsa: 1 - 0.95³ ≈ 14%. Com 5 grupos — 10 pares — a probabilidade já é de 40%. A ANOVA testa todos os grupos de uma vez, mantendo a probabilidade de erro global no nível de 5%.

Isso é chamado de problema das comparações múltiplas, e é exatamente o que a ANOVA resolve na etapa de teste inicial.

Como a ANOVA funciona

A ideia da ANOVA é decompor a variabilidade total dos dados em duas partes:

Variabilidade entre grupos (Between-group variance). O quanto as médias dos grupos diferem da média geral. Se os grupos realmente forem diferentes — essa variabilidade é grande.

Variabilidade dentro dos grupos (Within-group variance). O quanto observações individuais diferem da média do próprio grupo. Isso é o "ruído" — a dispersão natural dentro de cada grupo.

A estatística F — a razão entre essas duas quantidades:

F = Variabilidade entre grupos / Variabilidade dentro dos grupos

Se F estiver perto de 1 — as diferenças entre os grupos não ultrapassam o ruído habitual. Se F for substancialmente maior que 1 — as diferenças são mais significativas que a dispersão aleatória. O valor-p é calculado a partir da estatística F e dos graus de liberdade. Se p < 0.05 — ao menos um grupo difere significativamente dos demais.

ANOVA de um fator e de dois fatores

ANOVA de um fator (One-way ANOVA) — comparação de grupos por um único fator. Exemplo: uma pontuação de satisfação em três regiões. Há um fator — a região. Verificamos se a região afeta a pontuação.

ANOVA de dois fatores (Two-way ANOVA) — análise simultânea de dois fatores e sua interação. Exemplo: uma pontuação de satisfação por região E por tipo de cliente (B2B vs B2C). Você pode verificar: a região importa? O tipo de cliente importa? Há uma interação — ou seja, o efeito da região difere para clientes B2B e B2C?

A interação de fatores é um insight importante que não pode ser obtido a partir de dois ANOVAs de um fator separados. Por exemplo: no Norte, os clientes B2B estão mais satisfeitos que os B2C, enquanto no Sul é o contrário. Esse é um padrão de interação, e uma ANOVA de dois fatores o revela.

Testes post hoc: quem exatamente difere

Uma ANOVA significativa responde apenas à pergunta "há diferenças entre esses grupos?". Ela não diz quais grupos especificamente diferem entre si. Para isso você precisa de testes post hoc (post-hoc tests) — comparações aos pares com uma correção por multiplicidade.

Os mais comuns:

• Tukey HSD — a escolha padrão com tamanhos de grupo iguais e variâncias iguais. Controla a taxa de erro em todos os pares de comparações.
• Bonferroni — um método conservador que divide o limiar de significância pelo número de comparações. Simples de calcular, mas menos potente.
• Games-Howell — usado com variâncias desiguais ou tamanhos de grupo desiguais.

Uma sequência típica: a ANOVA mostrou p = 0.012 (significativo) → post hoc Tukey → constata-se que o Norte difere significativamente do Sul (p = 0.009), mas o Norte e o Centro, o Centro e o Sul — não diferem (p > 0.05).

Exemplo: ANOVA para comparar avaliações em quatro canais de suporte

Uma empresa avalia a qualidade do suporte em quatro canais: chat, telefone, email e autoatendimento. 40 clientes avaliaram cada canal em uma escala de 1 a 10.

• Chat: média 8.1, SD 1.3
• Telefone: média 7.4, SD 1.8
• Email: média 6.8, SD 2.1
• Autoatendimento: média 7.0, SD 1.9

ANOVA de um fator: F(3, 156) = 4.87, p = 0.003. O resultado é significativo — há diferenças entre os canais.

Post hoc Tukey:

• Chat vs Email: p = 0.002 ✓ significativo
• Chat vs Autoatendimento: p = 0.018 ✓ significativo
• Chat vs Telefone: p = 0.091 — não significativo
• Os demais pares: p > 0.05 — não significativo

Conclusão: o chat é significativamente melhor que o email e o autoatendimento, mas não é estatisticamente melhor que o telefone. Os demais canais não diferem entre si. Esta é uma conclusão concreta e operacional para a tomada de decisão — para onde direcionar o investimento na melhoria do suporte.

Pressupostos da ANOVA

A ANOVA funciona corretamente quando são atendidas condições semelhantes às do teste t:

Normalidade da distribuição em cada grupo. Com n > 30 por grupo, uma violação da normalidade não é crítica. Com grupos pequenos — verificar com o teste de Shapiro-Wilk.

Homogeneidade das variâncias (homocedasticidade). A dispersão dos dados deve ser aproximadamente a mesma em todos os grupos. Verifica-se com o teste de Levene. Em caso de violação — usar Welch ANOVA, que não exige variâncias iguais.

Independência das observações. Cada participante está em um grupo, as respostas são independentes entre si. Se uma pessoa responde sob várias condições — você precisa de uma ANOVA de medidas repetidas (Repeated Measures ANOVA).

Erros típicos ao usar a ANOVA

Não realizar testes post hoc após uma ANOVA significativa. Um F significativo diz "há algo", mas não "o quê exatamente". Sem testes post hoc a conclusão é incompleta. Às vezes constata-se que a significância é criada por um par de seis, enquanto os outros cinco estão dentro da norma.

Confundir significância estatística e prática. Com uma amostra grande, a ANOVA detectará uma diferença de 0.2 ponto entre grupos. Isso pode ser estatisticamente significativo e praticamente sem sentido. Calcule sempre o tamanho do efeito (eta-quadrado ou ômega-quadrado para a ANOVA).

Aplicar uma ANOVA de um fator quando se precisa de uma de dois fatores. Se você tem dois fatores e ignora um — perde informação sobre a interação. A interação pode ser o achado mais interessante dos dados.

Ignorar uma violação da independência. Se os mesmos respondentes avaliam várias condições (por exemplo, três variantes de design), uma ANOVA padrão é incorreta. Você precisa de uma ANOVA de medidas repetidas — caso contrário os resultados estarão enviesados.

ANOVA na análise de dados de pesquisas

Em pesquisas baseadas em questionários, a ANOVA é usada para comparar pontuações entre vários grupos demográficos (coortes de idade, regiões, cargos), para analisar os resultados de testes multivariados com três ou mais variantes, e para comparar métricas de satisfação entre linhas de produto ou canais.

Uma ANOVA de dois fatores é especialmente útil quando você precisa entender a interação de duas variáveis — por exemplo, se o tipo de dispositivo (móvel vs desktop) e o tipo de usuário (novo vs experiente) afetam a pontuação de UX simultaneamente. Você pode calcular o valor-p para a estatística F com a calculadora de valor-p da SurveyNinja.

A ANOVA é a ferramenta certa quando você precisa comparar três ou mais grupos. Um resultado significativo diz "há diferenças", os testes post hoc dizem "aqui, exatamente entre quem". O tamanho do efeito (eta-quadrado) traduz a estatística em sentido prático.

Perguntas frequentes

Em que a ANOVA difere de vários testes t?

Um teste t compara apenas dois grupos. Vários testes t para três ou mais grupos acumulam a probabilidade de um falso positivo: com três comparações aos pares o risco de ao menos uma significância aleatória sobe de 5% para ~14%. A ANOVA testa todos os grupos em um único teste, mantendo o erro global no nível de 5%.

O que fazer após uma ANOVA significativa?

Realizar um teste post hoc — comparações aos pares com uma correção por multiplicidade. A escolha padrão: Tukey HSD com grupos iguais e variâncias iguais. Games-Howell com variâncias desiguais. O teste post hoc mostrará quais pares específicos de grupos diferem entre si.

Quando usar a ANOVA de medidas repetidas?

Quando os mesmos participantes são medidos sob várias condições ou em momentos diferentes. Por exemplo: os mesmos funcionários avaliaram a satisfação antes, logo após e um mês após as mudanças. Uma ANOVA padrão é incorreta nesse caso, porque as observações são dependentes.

O que é eta-quadrado e para que serve?

Eta-quadrado (η²) — uma medida do tamanho do efeito para a ANOVA: a proporção da variabilidade total dos dados explicada pelo fator. Valores: 0.01 — efeito pequeno, 0.06 — médio, 0.14 e acima — grande. Serve para entender a significância prática do resultado: a ANOVA pode ser significativa mas explicar apenas 2% da variabilidade — o que é praticamente irrelevante.

O que fazer se os dados violam os pressupostos da ANOVA?

Se a normalidade for violada com uma amostra pequena — um análogo não paramétrico: o teste de Kruskal-Wallis (uma substituição da ANOVA de um fator). Com variâncias desiguais — Welch ANOVA. Com observações dependentes — ANOVA de medidas repetidas ou o teste de Friedman (não paramétrico). Uma violação da normalidade com n > 30 em cada grupo não é crítica — a ANOVA é robusta graças ao teorema central do limite.