SUS: como medir a usabilidade de um produto com dez perguntas

O SUS, ou System Usability Scale, é um questionário de dez afirmações que mede a usabilidade percebida de um produto: um site, um aplicativo, um serviço ou um dispositivo. O usuário marca o quanto concorda com cada afirmação, e as respostas se convertem em uma única pontuação de 0 a 100.

Em quatro décadas, o SUS virou o padrão de fato da pesquisa de UX: como já foi aplicado em centenas de estudos, você sempre tem com o que comparar o seu resultado.

De onde vem o SUS e por que confiar nele

O questionário foi criado pelo engenheiro John Brooke em 1986, na Digital Equipment Corporation. A equipe precisava de uma forma rápida de comparar a usabilidade de sistemas internos, e o próprio Brooke chamou o método de "quick and dirty", ou seja, rápido e tosco. A ironia é que essa ferramenta "tosca" sobreviveu a décadas de escrutínio: os estudos apontaram uma confiabilidade alta da escala, e a base de resultados acumulada transformou o SUS em uma régua comum, usada para medir de tudo, de aplicativos de banco a eletrodomésticos.

A força do SUS está em três pontos. Ele é curto: dez afirmações com um tempo de conclusão de poucos minutos, o que evita cansar quem responde. Ele é universal: serve para qualquer produto interativo. E ele é comparável: aquela pontuação única de 0 a 100 pode ser confrontada com as normas do mercado, com concorrentes e com as suas próprias medições anteriores.

Vale entender o que essa pontuação captura de fato. O SUS mede a usabilidade percebida, ou seja, a impressão que fica na cabeça do usuário depois de mexer no produto, e não o desempenho objetivo de quantas tarefas ele concluiu ou em quanto tempo. Por isso o SUS é uma foto do sentimento, não do comportamento medido no cronômetro. Os dois lados se complementam: quando a pontuação vem baixa, faz sentido cruzar com dados de conclusão de tarefas e sessões gravadas para entender de onde vem a frustração. Sozinho, o número resume bem o clima, mas não substitui a observação de pessoas reais usando o produto.

As dez perguntas do SUS em português

Não existe uma tradução oficial única do SUS para o português, então abaixo vai uma adaptação cuidadosa das formulações originais. Troque a palavra "sistema" pelo seu produto (site, aplicativo, serviço), mas faça isso de forma consistente nos dez itens. Cada afirmação é avaliada em uma escala de cinco pontos, de "discordo totalmente" (1) a "concordo totalmente" (5).

1. Acho que usaria este sistema com frequência.
2. Achei o sistema desnecessariamente complexo.
3. Achei o sistema fácil de usar.
4. Acho que precisaria da ajuda de um técnico para conseguir usar o sistema.
5. Achei que as funções do sistema eram bem pensadas e integradas.
6. Achei que havia inconsistências e contradições demais no sistema.
7. Imagino que a maioria das pessoas aprenderia a usar o sistema muito rápido.
8. Achei o sistema difícil e trabalhoso de usar.
9. Senti-me confiante ao usar o sistema.
10. Precisei aprender muita coisa antes de conseguir começar a usar o sistema.

Repare na alternância: os itens ímpares são positivos e os pares são negativos. Isso é proposital, para que o respondente leia cada item em vez de marcar cinco em tudo por inércia, de cima a baixo. Quebrar essa ordem ou descartar itens que parecem sobrar não pode: as normas foram calculadas para a escala completa, e uma versão encurtada já não é comparável a elas.

Como calcular a pontuação: fórmula e exemplo

O cálculo é mais engenhoso do que parece, justamente por causa daquela alternância. O algoritmo é assim:

• para os itens ímpares (1, 3, 5, 7, 9), subtraia um da resposta: contribuição = resposta − 1;
• para os itens pares (2, 4, 6, 8, 10), subtraia a resposta de cinco: contribuição = 5 − resposta;
• some as dez contribuições e multiplique o total por 2,5.

Cada contribuição fica entre 0 e 4, as dez contribuições dão no máximo 40, e o multiplicador 2,5 estica o resultado até a escala familiar de 0 a 100. Vamos a um exemplo. Um respondente marcou os itens ímpares como 4, 4, 5, 4, 4 e os pares como 2, 1, 2, 2, 3. As contribuições ímpares ficam 3, 3, 4, 3, 3, somando 16. As contribuições pares ficam 3, 4, 3, 3, 2, somando 15. No total, 31 pontos, que multiplicados por 2,5 dão SUS = 77,5.

A pontuação é calculada para cada respondente separadamente, e o resultado do estudo é a média de todos os participantes. Fazer isso na mão já é cansativo com dez questionários, então na prática você exporta as respostas para uma planilha e deixa a soma e a média por conta dela. O importante é lembrar que a nota de cada pessoa nasce dessas dez contribuições, e não de uma média solta das respostas cruas.

O que significa o resultado: por que 68 é a média

O erro mais comum ao ler o SUS é interpretar a pontuação como porcentagem ou como nota escolar. Um SUS de 68 não é uma "nota baixa" nem "68% de usabilidade". Segundo a meta-análise de Jeff Sauro, construída sobre mais de 500 estudos, a pontuação média do SUS é 68. Ou seja, 68 é exatamente o meio do mercado, o percentil 50: metade dos produtos do mundo é mais usável que o seu, e metade é pior.

Para traduzir a pontuação em uma nota compreensível, os pesquisadores usam uma escala com curva de distribuição, no estilo de A a F. Acima de 80,3 fica o nível A, algo como os 10% melhores produtos: os usuários estão satisfeitos e dispostos a recomendar. A faixa de 68 a 80,3 é um sólido B. Valores de 51 a 68 sinalizam problemas perceptíveis de usabilidade, e tudo abaixo de 51 significa que a usabilidade precisa virar a prioridade número um. O nosso exemplo de 77,5 cai na zona B: um produto mais usável que a média, mas que ainda não chega ao nível excelente.

Alguns pesquisadores acrescentam a essa escala uma camada de rótulos que soam mais naturais para quem não vive de números. Nesse esquema, uma pontuação por volta de 50 é apenas "ok", perto de 70 já é "bom" e a partir de 85 vira "excelente", enquanto tudo abaixo de 50 costuma ser lido como inaceitável para colocar na frente do usuário. É a mesma escala de sempre, só que descrita em palavras, e ela é útil na hora de apresentar o resultado para times que não são de pesquisa: falar em "o produto ficou no nível bom, mas ainda não excelente" comunica mais rápido do que citar o percentil.

Além da comparação com as normas, existe um segundo parâmetro, mais honesto: você mesmo. Uma medição antes e depois de um redesign mostra se as mudanças ajudaram ou atrapalharam. É na variação ao longo do tempo que o SUS revela o seu melhor: um número isolado diz pouco, mas dois números do mesmo produto em momentos diferentes já contam uma história clara.

Quantos respondentes são necessários

Uma característica agradável do SUS é a tolerância a amostras pequenas. Os estudos de convergência mostram que cerca de 12 participantes já dão uma estimativa estável o bastante para embasar decisões, e, à medida que a amostra cresce, o intervalo de confiança apenas se estreita. Para comparar duas versões de um produto ou acompanhar a evolução no tempo, isso costuma bastar. Se você quiser estimar a precisão com mais rigor, vale a leitura sobre tamanho da amostra e intervalo de confiança.

Erros comuns ao medir o SUS

Alguns tropeços aparecem quase sempre e comprometem a comparabilidade do resultado:

• Mexer no texto e na escala. Itens reescritos, escala de sete pontos no lugar da de cinco, perguntas removidas. Depois de qualquer uma dessas mudanças, comparar o resultado com a norma de 68 não faz sentido, porque você mediu outra coisa.
• Ler a pontuação como porcentagem. Um SUS de 70 não é "70 de 100 possíveis", e sim a posição em relação a outros produtos. Sem os percentis, o número engana.
• Esperar um diagnóstico do SUS. O questionário diz o quanto o produto é usável, mas fica em silêncio sobre o que exatamente é inconveniente. Por isso vale acrescentar aos dez itens uma pergunta aberta do tipo "o que foi mais difícil de usar", e para montar boas perguntas de acompanhamento ajuda um gerador de perguntas para pesquisa de UX. Sem essa pergunta aberta, uma nota baixa deixa você adivinhando as causas.
• Perguntar para as pessoas erradas. O SUS é preenchido depois de uma interação real com o produto. As respostas de quem só viu capturas de tela ou a landing page não têm relação com usabilidade.
• Formular todos os itens de forma positiva. Às vezes tiram a alternância "para simplificar", mas junto com ela se perde a proteção contra respostas no piloto automático, e com ela a comparabilidade. A forma como o texto de um item influencia a honestidade das respostas é um tema à parte, ligado ao viés de resposta.

SUS, UMUX e NPS: qual escolher

O SUS mede usabilidade, e é aí que ele se separa das métricas vizinhas. O NPS pergunta sobre a disposição de recomendar, ou seja, sobre a relação com o produto como um todo: um produto pode ser pouco usável, mas querido, e o contrário também acontece. O UMUX e a sua versão curta, o UMUX-Lite, resolvem a mesma tarefa do SUS, mas com quatro ou duas perguntas, o que é útil quando o questionário já está sobrecarregado. Para avaliar uma ação específica usa-se o SEQ, uma única pergunta logo depois de a pessoa concluir uma tarefa, e o esforço do cliente em cenários de atendimento é medido pelo Customer Effort Score.

Uma combinação prática fica assim: o SUS uma vez por trimestre ou depois de grandes lançamentos, como um termômetro geral de usabilidade, as métricas curtas no calor do momento, e sempre uma pergunta aberta para as causas. Nenhuma dessas métricas substitui as outras, porque cobrem perguntas diferentes e rendem mais quando trabalham juntas.

Como montar um SUS no SurveyNinja

No SurveyNinja, uma pesquisa SUS fica pronta em poucos minutos: você cria um questionário com as dez afirmações em uma escala de cinco pontos, acrescenta uma pergunta aberta sobre as causas e envia o link aos usuários ou embute a pesquisa dentro do produto. As respostas são exportadas para Excel ou CSV, e a pontuação de toda a amostra sai da planilha junto com o percentil e a nota por letra.

Dá para começar de graça: no criador de pesquisas do SurveyNinja o plano gratuito não tem limite de respostas, então o questionário e o volume de respondentes do primeiro estudo cabem sem custo. Monte o seu SUS antes do próximo redesign, para depois ter com o que comparar, e transforme a curiosidade sobre usabilidade em um número que você acompanha release após release.

Perguntas frequentes

Um SUS de 68 significa 68% de usabilidade?

Não. A pontuação do SUS não é porcentagem, e sim uma posição em uma escala calibrada por centenas de estudos. 68 é o resultado médio do mercado, o percentil 50, exatamente o meio. Já um SUS de 80 corresponde a algo como os 10% melhores produtos, ainda que "em porcentagem" a diferença pareça modesta.

Posso mudar o texto das perguntas?

Trocar a palavra "sistema" por "site" ou "aplicativo" pode e deve ser feito, de forma igual em todos os itens. Já reescrever as afirmações, remover a alternância entre itens positivos e negativos ou encurtar a lista não pode: as normas foram calculadas para a escala canônica, e depois dessas mudanças a comparação com elas perde o sentido.

O SUS serve para sites e lojas online?

Sim. O questionário foi criado para "sistemas" no sentido amplo e há décadas é aplicado a sites, aplicativos, intranets e até dispositivos físicos. A única condição é que o respondente tenha usado o produto de verdade antes de preencher, e não o avalie apenas pela descrição.

Qual a diferença entre SUS e NPS?

O SUS mede a usabilidade da interação, o NPS mede a disposição de recomendar. São eixos diferentes: um produto com usabilidade mediana pode ter um NPS alto por causa do preço ou da exclusividade, e vice-versa. Para o quadro completo, as métricas são usadas juntas, e não em substituição uma à outra.

Com que frequência medir o SUS?

Um ritmo razoável é uma vez por trimestre ou depois de cada grande lançamento e redesign. A percepção de usabilidade muda devagar, e questionários em excesso cansam os usuários. O importante é manter a mesma metodologia de onda em onda, para que a evolução seja honesta.

O que fazer se a pontuação for baixa?

O SUS sozinho não diz o que consertar. Olhe as respostas da pergunta aberta, analise as notas item a item (uma queda no item sobre complexidade, por exemplo, aponta para uma interface sobrecarregada) e complete o quadro com testes de usabilidade. A pontuação é um termômetro, não um raio-x.