Erro padrão

O NPS médio de uma amostra de 50 clientes e 42. De uma amostra de 500 também é 42. Os mesmos números, mas você deve confiar neles em graus diferentes.

No primeiro caso a média poderia ter "saltado" 5-7 pontos se você tivesse pesquisado outros 50 clientes. No segundo a oscilação teria sido três vezes menor. O erro padrão é justamente o número que mostra quão instável é a sua estimativa por causa de um tamanho de amostra limitado.

Definição

Erro padrão (SE) é uma medida da precisão de uma estimativa amostral de um parâmetro da população. Mostra o quanto a média amostral oscila de amostra para amostra com um tamanho de amostra fixo. É calculado como o desvio padrão dividido pela raiz quadrada do tamanho da amostra: SE = SD / √n. Quanto maior a amostra e menor a dispersão dos dados, menor o erro padrão e mais precisa a estimativa.

Erro padrão vs desvio padrão

São duas coisas diferentes que muitas vezes são confundidas - até em artigos acadêmicos.

Desvio padrão (SD) descreve a dispersão dos dados dentro de uma amostra: o quanto as respostas individuais diferem da média. É uma característica dos dados, não da precisão da estimativa. À medida que a amostra cresce, o SD não diminui - ele descreve a variabilidade real na população.

Erro padrão (SE) descreve a precisão da estimativa da média: quão próxima a média amostral está da verdadeira média da população. À medida que a amostra cresce, o SE diminui - proporcionalmente a raiz de n. Dobrar a precisão = aumentar a amostra quatro vezes.

Uma analogia: o SD é a dispersão da altura das pessoas em uma cidade. O SE é a precisão com que uma amostra de 100 pessoas estima a altura média de toda a cidade. A dispersão da altura não mudará se pesquisarmos mais pessoas. Mas a nossa estimativa da média ficará mais precisa.

Fórmula e cálculo

Para a média:

SE = SD / √n

Onde SD é o desvio padrão da amostra e n é o tamanho da amostra.

Exemplo: uma pesquisa de satisfação, 100 respondentes, média 7,2, SD = 2,0.

SE = 2.0 / √100 = 2.0 / 10 = 0.2

Isso significa: se repetíssemos a pesquisa em outra amostra aleatória de 100 pessoas, a média provavelmente cairia na faixa 7,2 ± 0,2 (em cerca de dois terços dos casos). Aumentemos a amostra para 400:

SE = 2.0 / √400 = 2.0 / 20 = 0.1

Duas vezes mais precisa. Ao custo de um aumento quádruplo da amostra.

Erro padrão e intervalo de confiança

O SE é o bloco de construção do intervalo de confiança. O intervalo de confiança de 95% para a média é construído como:

CI = M ± 1.96 × SE

Onde 1,96 é o valor z para o nível de confiança de 95%. Em amostras pequenas (n < 30) usa-se um valor t da tabela da distribuicao t em vez de 1,96.

Para o exemplo acima (M = 7,2, SE = 0,2):

95% CI = 7.2 ± 1.96 × 0.2 = [6.81; 7.59]

Interpretação: com 95% de probabilidade a verdadeira média da população está entre 6,81 e 7,59. Esta largura do intervalo - 0,78 ponto - mostra quão imprecisa é a nossa estimativa. Com uma amostra de 400 o intervalo estreita-se para 0,39 ponto.

Erro padrão para proporções

Nas pesquisas muitas vezes precisa-se do SE não para uma média, mas para uma proporção: "32% dos clientes avaliaram o serviço com 9-10" - quão precisa é essa cifra? Para uma proporção a fórmula é diferente:

SE_p = √(p × (1-p) / n)

Onde p é a proporção observada e n é o tamanho da amostra.

Exemplo: p = 0,32, n = 200:

SE_p = √(0.32 × 0.68 / 200) = √(0.001088) ≈ 0.033

CI de 95% para a proporção: 0,32 ± 1,96 × 0,033 = [0,255; 0,385], ou seja 25,5% - 38,5%.

Esta é uma informação importante: "32%" soa preciso, mas a faixa real é de 26% a 38%. Ao tomar decisões é preciso ter em mente esse intervalo, e não a estimativa pontual.

Exemplo: comparar a precisão de estimativas em diferentes pesquisas

Uma empresa coleta dados de satisfação por três canais:

As médias são diferentes: 7,4, 7,1, 6,8. Mas observe os intervalos de confiança: os três se sobrepõem. Os intervalos de confiança do e-mail e do QR se sobrepõem quase completamente. A conclusão "os clientes estão menos satisfeitos offline" não é estatisticamente justificada - a diferença cabe dentro do erro de medição. Para uma conclusão segura são necessários mais dados do canal offline.

Como o tamanho da amostra afeta o SE

A dependência do SE em relação a n é não linear - é importante entender isso ao planejar um estudo:

• n = 25 → SE = SD / 5
• n = 100 → SE = SD / 10 (duas vezes mais precisa que com n=25)
• n = 400 → SE = SD / 20 (quatro vezes mais precisa que com n=25)
• n = 1600 → SE = SD / 40 (oito vezes mais precisa)

Cada duplicação da precisão exige um aumento quádruplo da amostra. Esta é a lei dos rendimentos decrescentes na coleta de dados: passar de n=25 para n=100 dá um grande ganho de precisão, enquanto passar de n=900 para n=1600 dá apenas um pequeno. Este é um dos argumentos para calcular antecipadamente o tamanho de amostra mínimo necessário - para não desperdiçar recursos com dados excessivos e não obter estimativas imprecisas por dados insuficientes.

Erros típicos

Confundir SE e SD nos relatórios. "Média 7,2 ± 0,2" - do que se trata? Da dispersão dos dados (SD) ou da precisão da estimativa (SE)? Nas publicações acadêmicas isso é sempre especificado. Nos relatórios de negócio muitas vezes não. Indique sempre de forma explícita o que está por trás do ±.

Não calcular o SE para subgrupos pequenos. Uma amostra total de 500 pessoas é boa. Mas se você analisa um subgrupo de 18 pessoas (por exemplo, clientes de uma região específica), o SE desse grupo será grande e as conclusões pouco confiáveis. Subgrupos pequenos exigem cuidado especial na interpretação.

Ignorar o SE ao comparar duas estimativas. "Neste trimestre o NPS subiu de 38 para 42." Parece progresso. Mas se o SE de ambas as estimativas é de ~4 pontos, então os intervalos se sobrepõem e o aumento não é estatisticamente significativo. Sem o SE não se pode afirmar que a mudança é real e não ruído de medição.

O SE na análise de dados de pesquisas

O erro padrão é uma métrica fundamental ao interpretar qualquer estimativa amostral de pesquisas. Médias, proporções, índices (NPS, CSI, eNPS) - todos têm um SE, que determina a largura do intervalo de confiança e a mudança mínima detectável.

Quando você exporta dados do SurveyNinja por meio do data export obtém respostas brutas, com base nas quais pode calcular o SE no Excel, R ou Python. Para uma estimativa rápida da precisão de uma proporção - a fórmula SE_p em qualquer planilha. Para uma estimativa da precisão de uma média - SE = SD / √n, onde SD e n estão na estatística básica de qualquer relatório.

O erro padrão é a margem da sua medição causada por um tamanho de amostra finito. Uma média sem SE é informação incompleta. Duas estimativas não podem ser comparadas sem levar em conta o seu SE: a diferença pode ser real ou pode ser apenas ruído. SE = SD / √n: mais dados significam menos erro, mas não de forma linear.

Perguntas frequentes

Em que o erro padrão difere da margem de erro?

A margem de erro é metade da largura do intervalo de confiança, normalmente para o nível de confiança de 95%: MOE = 1,96 × SE. O erro padrão é a grandeza base; a margem de erro é a sua expressão prática na forma de "±X%" usada nos relatórios públicos e na mídia.

Por que o SE diminui quando a amostra cresce, mas o SD não?

O SD descreve a variabilidade real dos dados - não depende do tamanho da amostra porque reflete uma propriedade da população. À medida que a amostra cresce, o SD não diminui. O SE descreve a precisão da estimativa da média - quanto maior a amostra, com mais precisão estimamos a verdadeira média. É uma consequência matemática da lei dos grandes números.

Que tamanho de SE é considerado aceitável?

Depende da tarefa. Uma orientação universal: o SE deve ser substancialmente menor que as diferenças que você quer detectar. Se for importante registrar uma mudança de 5 pontos no NPS, o SE da estimativa não deve ultrapassar 2-3 pontos. Se SE = 6, uma mudança de 5 pontos é estatisticamente indistinguível do ruído.

Como o SE se relaciona com o poder de um teste estatístico?

O poder de um teste (a probabilidade de detectar um efeito real) depende diretamente do SE: quanto menor o SE, maior o poder. É justamente por isso que aumentar a amostra eleva o poder - reduz o SE e torna o teste mais sensível as diferenças reais. Calcular o tamanho de amostra necessário por meio do MDE define na prática um nível-alvo de SE.

É possível comparar o SE de estudos diferentes?

Diretamente - só se as escalas forem iguais. SE = 0,3 numa escala 1-10 e SE = 0,3 numa escala 1-100 significam coisas diferentes. Para a comparação usa-se o erro relativo: o SE é dividido pela média ou pela amplitude da escala. Isso dá uma medida adimensional, comparável entre estudos.