Erro padrao

O NPS medio de uma amostra de 50 clientes e 42. De uma amostra de 500 tambem e 42. Os mesmos numeros, mas voce deve confiar neles em graus diferentes.

No primeiro caso a media poderia ter "saltado" 5-7 pontos se voce tivesse pesquisado outros 50 clientes. No segundo a oscilacao teria sido tres vezes menor. O erro padrao e justamente o numero que mostra quao instavel e a sua estimativa por causa de um tamanho de amostra limitado.

Definicao

Erro padrao (SE) e uma medida da precisao de uma estimativa amostral de um parametro da populacao. Mostra o quanto a media amostral oscila de amostra para amostra com um tamanho de amostra fixo. E calculado como o desvio padrao dividido pela raiz quadrada do tamanho da amostra: SE = SD / √n. Quanto maior a amostra e menor a dispersao dos dados, menor o erro padrao e mais precisa a estimativa.

Erro padrao vs desvio padrao

Sao duas coisas diferentes que muitas vezes sao confundidas - ate em artigos academicos.

Desvio padrao (SD) descreve a dispersao dos dados dentro de uma amostra: o quanto as respostas individuais diferem da media. E uma caracteristica dos dados, nao da precisao da estimativa. A medida que a amostra cresce, o SD nao diminui - ele descreve a variabilidade real na populacao.

Erro padrao (SE) descreve a precisao da estimativa da media: quao proxima a media amostral esta da verdadeira media da populacao. A medida que a amostra cresce, o SE diminui - proporcionalmente a raiz de n. Dobrar a precisao = aumentar a amostra quatro vezes.

Uma analogia: o SD e a dispersao da altura das pessoas em uma cidade. O SE e a precisao com que uma amostra de 100 pessoas estima a altura media de toda a cidade. A dispersao da altura nao mudara se pesquisarmos mais pessoas. Mas a nossa estimativa da media ficara mais precisa.

Formula e calculo

Para a media:

SE = SD / √n

Onde SD e o desvio padrao da amostra e n e o tamanho da amostra.

Exemplo: uma pesquisa de satisfacao, 100 respondentes, media 7,2, SD = 2,0.

SE = 2.0 / √100 = 2.0 / 10 = 0.2

Isso significa: se repetissemos a pesquisa em outra amostra aleatoria de 100 pessoas, a media provavelmente cairia na faixa 7,2 ± 0,2 (em cerca de dois tercos dos casos). Aumentemos a amostra para 400:

SE = 2.0 / √400 = 2.0 / 20 = 0.1

Duas vezes mais precisa. Ao custo de um aumento quadruplo da amostra.

Erro padrao e intervalo de confianca

O SE e o bloco de construcao do intervalo de confianca. O intervalo de confianca de 95% para a media e construido como:

CI = M ± 1.96 × SE

Onde 1,96 e o valor z para o nivel de confianca de 95%. Em amostras pequenas (n < 30) usa-se um valor t da tabela da distribuicao t em vez de 1,96.

Para o exemplo acima (M = 7,2, SE = 0,2):

95% CI = 7.2 ± 1.96 × 0.2 = [6.81; 7.59]

Interpretacao: com 95% de probabilidade a verdadeira media da populacao esta entre 6,81 e 7,59. Esta largura do intervalo - 0,78 ponto - mostra quao imprecisa e a nossa estimativa. Com uma amostra de 400 o intervalo estreita-se para 0,39 ponto.

Erro padrao para proporcoes

Nas pesquisas muitas vezes precisa-se do SE nao para uma media, mas para uma proporcao: "32% dos clientes avaliaram o servico com 9-10" - quao precisa e essa cifra? Para uma proporcao a formula e diferente:

SE_p = √(p × (1-p) / n)

Onde p e a proporcao observada e n e o tamanho da amostra.

Exemplo: p = 0,32, n = 200:

SE_p = √(0.32 × 0.68 / 200) = √(0.001088) ≈ 0.033

CI de 95% para a proporcao: 0,32 ± 1,96 × 0,033 = [0,255; 0,385], ou seja 25,5% - 38,5%.

Esta e uma informacao importante: "32%" soa preciso, mas a faixa real e de 26% a 38%. Ao tomar decisoes e preciso ter em mente esse intervalo, e nao a estimativa pontual.

Exemplo: comparar a precisao de estimativas em diferentes pesquisas

Uma empresa coleta dados de satisfacao por tres canais:

Canal	n	Media	SD	SE	95% CI
Campanha por e-mail	400	7.4	2.1	0.105	[7.19; 7.61]
Widget no site	80	7.1	2.3	0.257	[6.60; 7.60]
QR offline	25	6.8	1.9	0.380	[6.05; 7.55]

As medias sao diferentes: 7,4, 7,1, 6,8. Mas observe os intervalos de confianca: os tres se sobrepoem. Os intervalos de confianca do e-mail e do QR se sobrepoem quase completamente. A conclusao "os clientes estao menos satisfeitos offline" nao e estatisticamente justificada - a diferenca cabe dentro do erro de medicao. Para uma conclusao segura sao necessarios mais dados do canal offline.

Como o tamanho da amostra afeta o SE

A dependencia do SE em relacao a n e nao linear - e importante entender isso ao planejar um estudo:

• n = 25 → SE = SD / 5
• n = 100 → SE = SD / 10 (duas vezes mais precisa que com n=25)
• n = 400 → SE = SD / 20 (quatro vezes mais precisa que com n=25)
• n = 1600 → SE = SD / 40 (oito vezes mais precisa)

Cada duplicacao da precisao exige um aumento quadruplo da amostra. Esta e a lei dos rendimentos decrescentes na coleta de dados: passar de n=25 para n=100 da um grande ganho de precisao, enquanto passar de n=900 para n=1600 da apenas um pequeno. Este e um dos argumentos para calcular antecipadamente o tamanho de amostra minimo necessario - para nao desperdicar recursos com dados excessivos e nao obter estimativas imprecisas por dados insuficientes.

Erros tipicos

Confundir SE e SD nos relatorios. "Media 7,2 ± 0,2" - do que se trata? Da dispersao dos dados (SD) ou da precisao da estimativa (SE)? Nas publicacoes academicas isso e sempre especificado. Nos relatorios de negocio muitas vezes nao. Indique sempre de forma explicita o que esta por tras do ±.

Nao calcular o SE para subgrupos pequenos. Uma amostra total de 500 pessoas e boa. Mas se voce analisa um subgrupo de 18 pessoas (por exemplo, clientes de uma regiao especifica), o SE desse grupo sera grande e as conclusoes pouco confiaveis. Subgrupos pequenos exigem cuidado especial na interpretacao.

Ignorar o SE ao comparar duas estimativas. "Neste trimestre o NPS subiu de 38 para 42." Parece progresso. Mas se o SE de ambas as estimativas e de ~4 pontos, entao os intervalos se sobrepoem e o aumento nao e estatisticamente significativo. Sem o SE nao se pode afirmar que a mudanca e real e nao ruido de medicao.

O SE na analise de dados de pesquisas

O erro padrao e uma metrica fundamental ao interpretar qualquer estimativa amostral de pesquisas. Medias, proporcoes, indices (NPS, CSI, eNPS) - todos tem um SE, que determina a largura do intervalo de confianca e a mudanca minima detectavel.

Quando voce exporta dados do SurveyNinja por meio do data export obtem respostas brutas, com base nas quais pode calcular o SE no Excel, R ou Python. Para uma estimativa rapida da precisao de uma proporcao - a formula SE_p em qualquer planilha. Para uma estimativa da precisao de uma media - SE = SD / √n, onde SD e n estao na estatistica basica de qualquer relatorio.

O erro padrao e a margem da sua medicao causada por um tamanho de amostra finito. Uma media sem SE e informacao incompleta. Duas estimativas nao podem ser comparadas sem levar em conta o seu SE: a diferenca pode ser real ou pode ser apenas ruido. SE = SD / √n: mais dados significam menos erro, mas nao de forma linear.

Perguntas frequentes

Em que o erro padrao difere da margem de erro?

A margem de erro e metade da largura do intervalo de confianca, normalmente para o nivel de confianca de 95%: MOE = 1,96 × SE. O erro padrao e a grandeza base; a margem de erro e a sua expressao pratica na forma de "±X%" usada nos relatorios publicos e na midia.

Por que o SE diminui quando a amostra cresce, mas o SD nao?

O SD descreve a variabilidade real dos dados - nao depende do tamanho da amostra porque reflete uma propriedade da populacao. A medida que a amostra cresce, o SD nao diminui. O SE descreve a precisao da estimativa da media - quanto maior a amostra, com mais precisao estimamos a verdadeira media. E uma consequencia matematica da lei dos grandes numeros.

Que tamanho de SE e considerado aceitavel?

Depende da tarefa. Uma orientacao universal: o SE deve ser substancialmente menor que as diferencas que voce quer detectar. Se for importante registrar uma mudanca de 5 pontos no NPS, o SE da estimativa nao deve ultrapassar 2-3 pontos. Se SE = 6, uma mudanca de 5 pontos e estatisticamente indistinguivel do ruido.

Como o SE se relaciona com o poder de um teste estatistico?

O poder de um teste (a probabilidade de detectar um efeito real) depende diretamente do SE: quanto menor o SE, maior o poder. E justamente por isso que aumentar a amostra eleva o poder - reduz o SE e torna o teste mais sensivel as diferencas reais. Calcular o tamanho de amostra necessario por meio do MDE define na pratica um nivel-alvo de SE.

E possivel comparar o SE de estudos diferentes?

Diretamente - so se as escalas forem iguais. SE = 0,3 numa escala 1-10 e SE = 0,3 numa escala 1-100 significam coisas diferentes. Para a comparacao usa-se o erro relativo: o SE e dividido pela media ou pela amplitude da escala. Isso da uma medida adimensional, comparavel entre estudos.