Distribuição normal

Um histograma de respostas em uma escala às vezes parece um sino: a maioria dos valores se concentra no meio e são menos frequentes em direção às bordas. Essa forma é chamada de distribuição normal. Não se trata apenas de algo "bonito de ver": o quão próximos os seus dados estão dela muitas vezes determina quais métodos de análise você pode usar.

Muitas fórmulas de intervalos de confiança, testes t e regressão se apoiam na suposição de normalidade; quando os dados se afastam muito de uma distribuição normal, algumas conclusões podem perder validade ou exigir outros métodos.

Ao mesmo tempo, as respostas de pesquisas estão longe de sempre se distribuirem de forma normal: as escalas limitadas (por exemplo, 1-5), as proporções de "concordo / discordo", as avaliações enviesadas para um extremo: tudo isso pode produzir assimetria ou um aspecto "cortado". Por isso é importante entender o que é uma distribuição normal, quando ela é invocada e como verificar os dados antes de aplicar métodos que dependem dela.

O que é uma distribuição normal em palavras simples

Distribuição normal - uma curva simétrica em forma de sino: no centro (em torno da média) há mais observações, e a sua proporção cai suavemente para a esquerda e para a direita. Ela é definida por dois números: a média e o desvio padrão (que determina o quão "espalhado" está o sino). Uma curva assim costuma se caracterizar por isto: aproximadamente dois terços dos valores caem na faixa "média mais ou menos um desvio padrão", e a faixa "mais ou menos dois desvios" abrange a esmagadora maioria. Vários procedimentos estatísticos são construídos supondo que estamos lidando com dados assim, ou próximos deles.

Dito de forma mais simples: se você traçar um histograma de tais dados, obtém uma "colina" simétrica com o seu pico no centro. Quanto mais os seus dados diferirem disso (assimetria acentuada, dois picos, bordas "cortadas"), mais cautela você deve ter com os métodos projetados para a normalidade.

Um exemplo rápido. Considere a pergunta "Avalie de 1 a 5": com uma distribuição normal você veria um pico no meio (por exemplo, a maior quantidade de "3", menos "2" e "4", ainda menos "1" e "5") e "caudas" simétricas. Em pesquisas reais costuma ser diferente: 5% "1", 10% "2", 15% "3", 35% "4", 35% "5". Isso é um enviesamento à direita, sem sino, e as fórmulas projetadas para a normalidade são aplicadas a tais dados com ressalvas ou substituídas por métodos não paramétricos.

Por que isso importa nas pesquisas

• Intervalos de confiança para a média. Um intervalo estreito ao redor da média amostral (levando em conta o erro padrão é um multiplicador tabelado) dá uma estimativa correta da incerteza somente se a distribuição da média amostral for próxima da normal, o que, conforme o tamanho da amostra cresce, é garantido pelo teorema central do limite. Em amostras pequenas e com uma distribuição muito "irregular" dos dados subjacentes, esse intervalo pode errar de forma notável.
• Comparação de grupos (testes t). Um teste t de duas amostras e testes semelhantes pressupõem normalidade da distribuição dentro dos grupos (ou um tamanho suficientemente grande, caso em que a distribuição das médias é próxima da normal de qualquer forma). Quando a não normalidade é pronunciada, às vezes se usam análogos não paramétricos (por exemplo, Mann-Whitney).
• Regressão. Na regressão linear clássica supõe-se que os resíduos (erros do modelo) se distribuem normalmente. Quando isso é gravemente violado, as conclusões sobre a significância dos coeficientes e os intervalos de confiança podem ser incorretas; é possível passar para modelos generalizados ou erros padrão robustos.

Em resumo: uma distribuição normal não é um objetivo de "deixar os dados bonitos", mas uma suposição de certos métodos. Se os dados não se encaixam nela, você escolhe outros métodos, ou se apoia na assintótica (amostras grandes), ou aponta explicitamente as limitações.

Quando a verificação é especialmente oportuna. Faz sentido olhar explicitamente para a distribuição com uma amostra pequena (grosso modo, menos de 30-50 por grupo), ao comparar dois grupos em uma variável quantitativa (um teste t) e antes de construir uma regressão linear. Com amostras grandes e uma descrição simples (médias, proporções), o teorema central do limite muitas vezes te "salva": as médias amostrais se comportam de forma normal mesmo quando os dados subjacentes não são normais.

Quando os dados de uma pesquisa geralmente não são normais

Escalas limitadas. As respostas em uma escala 1-5 ou 1-10 estão limitadas por cima e por baixo. Quando a média está próxima de 4 ou 5, a distribuição muitas vezes "esbarra" na borda: não há sino simétrico. O mesmo vale para as proporções de "sim/não" ou "concordo/discordo". Para tais variáveis, a normalidade é a exceção, e não a regra.

Enviesamento em uma direção. A satisfação costuma produzir um enviesamento em direção as avaliações altas (em sua maioria "4" e "5", poucas "1" e "2"). O histograma é assimétrico: isso não é uma distribuição normal. As escalas Likert e outras escalas ordinais costumam se comportar exatamente assim.

Poucas observações. Com uma amostra pequena, mesmo de uma população normal, a distribuição amostral pode parecer "irregular"; enquanto isso, os testes de normalidade têm pouco poder. Você não deveria confiar apenas no teste: olhe o histograma e o significado da variável.

Por isso os relatórios de pesquisas costumam afirmar "foram usados métodos robustos a desvios da normalidade" ou "foi aplicado um teste não paramétrico": isso é precisamente um reconhecimento de que os dados raramente são perfeitamente normais.

Como a normalidade é verificada

Gráficos. Um histograma mostra se há um único pico no centro e se as "caudas" são simétricas. Um gráfico quantil-quantil (Q-Q) compara os seus dados com uma distribuição normal teórica: os pontos ao longo de uma linha reta indicam proximidade da normalidade, enquanto uma curvatura notável ou "caudas" para um lado indicam um desvio.

Testes estatísticos. Shapiro-Wilk, Kolmogorov-Smirnov e testes semelhantes respondem à pergunta "pode-se considerar a amostra extraída de uma população normal". A limitação: com N grande, a menor discrepância leva à rejeição da normalidade, enquanto com N pequeno os testes mal são sensíveis. Faz sentido se apoiar nos gráficos e na substância da variável. Mesmo com uma "rejeição" formal da normalidade por um teste (por exemplo, com 500 respostas), a forma da distribuição pode continuar aceitável para um teste t: julgue conforme a situação.

O papel do tamanho da amostra. O teorema central do limite afirma: à medida que o tamanho da amostra cresce, a média amostral se comporta cada vez mais próxima da lei normal, mesmo que a grandeza subjacente (por exemplo, uma avaliação em uma escala 1-5) não se distribua assim. Por isso, ao calcular intervalos e testes para a média com um N sólido, a suposição de normalidade muitas vezes é considerada satisfeita "no limite", sem uma verificação rigorosa de cada variável.

Por que "normal"

O nome é histórico: pensava-se que muitas grandezas naturais e de medição (altura, erros de medição) se agrupam exatamente assim. Nas pesquisas e nas escalas de pesquisa isso não é garantido, mas as fórmulas de significância estatística, margem de erro e intervalos de confiança ainda costumam usar as propriedades da distribuição normal. Saber quando os dados estão próximos dela e quando não ajuda a escolher os métodos corretamente e a formular ressalvas no relatório.

Erros típicos

Exigir a normalidade "a qualquer custo". Os dados de pesquisas costumam ser não normais por natureza. Não é preciso descartar variáveis nem ajustar transformações apenas por um gráfico bonito: é preciso escolher métodos adequados (não paramétricos, robustos) ou se apoiar explicitamente em amostras grandes e no teorema central do limite.

Confiar apenas no teste. Um único teste de normalidade com N grande quase sempre dará uma "rejeição", enquanto com N pequeno pode "deixar passar" uma forte não normalidade. Olhe sempre o histograma e o gráfico Q-Q.

Confundir a normalidade de uma variável com a normalidade dos resíduos. Na regressão você verifica a normalidade dos resíduos do modelo, e não das variáveis originais. Os preditores originais podem estar distribuídos de qualquer maneira.

Ignorar a normalidade onde ela importa. Se você constrói um intervalo de confiança para a média em uma amostra pequena (por exemplo, N=25) e os dados estão claramente enviesados ou têm valores atípicos, a fórmula clássica pode dar um intervalo impreciso. Em tais casos são apropriados o bootstrap, os intervalos não paramétricos ou uma nota explícita sobre as limitações.

Como isso aparece no SurveyNinja

O SurveyNinja não tem uma verificação de normalidade integrada. Os relatórios exibem médias e proporções por pergunta: a partir delas você só pode julgar a forma da distribuição de maneira aproximada. Para histogramas, gráficos Q-Q e testes, você exporta os dados para CSV/XLSX e os analisa no Excel, R, Python ou outro pacote. Se em seguida você constrói intervalos de confiança ou uma regressão em uma ferramenta externa, é ali que costumam ser verificadas as suposições também.

Recomendações práticas

Para descrever a amostra não se exige normalidade: a média, a mediana, as proporções e a dispersão são calculadas para quaisquer dados. A normalidade importa quando você passa para a inferência: testes, intervalos de confiança, regressão.

Com uma amostra pequena e dúvidas sobre a normalidade, são preferíveis os métodos não paramétricos, ou uma declaração explícita no relatório de que foram usados métodos tolerantes aos desvios da normalidade.

O que escrever no relatório. Na seção de metodologia basta uma frase: como você levou em conta a forma da distribuição, por exemplo, "verificado por histograma" ou "foram usados métodos que não exigem normalidade estrita". Assim o cliente vê que as suposições não foram ignoradas.

Média, mediana e dispersão. Em um sino "ideal" a média coincide com a mediana e a moda, e o desvio padrão descreve a amplitude. Se, nos seus dados, a média e a mediana divergem de forma notável, isso é um sinal de assimetria e de um possível desvio da lei normal. Sempre faz sentido olhar também para a dispersão: uma mesma avaliação média pode corresponder a diferentes formas de distribuição. Os detalhes, nos artigos sobre estatística descritiva e o desvio padrão.

Uma distribuição normal fixa as suposições para alguns métodos estatísticos; nas pesquisas, por causa das escalas curtas e das respostas enviesadas, os dados muitas vezes não se encaixam nela. Convém verificar a forma da distribuição onde as suas conclusões dependem dela e, quando necessário, passar para procedimentos robustos ou não paramétricos.