SEQ (Single Ease Question)

O SEQ (Single Ease Question) é uma única pergunta feita logo depois de cada tarefa em um teste de usabilidade, na qual o participante avalia, em uma escala de 7 pontos, o quanto foi fácil ou difícil concluir a tarefa. Ele serve para descobrir quais tarefas de um site, aplicativo ou produto as pessoas acham difíceis e para comparar versões de uma interface.

Em provas e exames, a sigla SEQ costuma significar structured essay question, uma questão dissertativa estruturada. Esta página trata da métrica de UX.

A pergunta e a escala

A forma mais usada é:

No geral, quão difícil ou fácil foi concluir esta tarefa?

As respostas vão de 1 a 7, com rótulos nas pontas: 1 = muito difícil e 7 = muito fácil. Os pontos intermediários costumam ficar só com números.

Três regras definem o SEQ:

• uma pergunta por tarefa, feita logo após a tentativa, enquanto a experiência está fresca;
• escala de 7 pontos, na mesma direção em todas as tarefas;
• a pergunta é feita também quando o participante não consegue concluir a tarefa.

Se você mudar a escala para 5 ou 10 pontos ou reescrever a pergunta, os seus números deixam de ser comparáveis com as referências publicadas.

Como calcular

O resultado de cada tarefa é a média das notas dos participantes. Exemplo: oito pessoas testaram duas tarefas no aplicativo de um banco.

Primeira tarefa: (7 + 6 + 6 + 5 + 4 + 7 + 6 + 3) / 8 = 44 / 8 = 5,5. Segunda tarefa: 30 / 8 = 3,75.

Testes de usabilidade costumam ter poucos participantes. Por isso, informe também o intervalo de confiança da média: ele mostra se a diferença entre duas tarefas ou duas versões é maior do que o ruído.

Como interpretar a nota

Jeff Sauro e James R. Lewis, autores do livro Quantifying the User Experience, relatam que a média do SEQ em um grande conjunto de tarefas testadas fica em torno de 5,5. Esse valor serve de referência aproximada:

• média abaixo de 5,5: a tarefa é mais difícil do que a tarefa típica e merece atenção;
• média acima de 5,5: a tarefa é mais fácil do que a média;
• comparação entre versões: avalie a mesma tarefa antes e depois de uma mudança, com o mesmo roteiro.

No exemplo, a consulta de saldo está na média, enquanto o cadastro da chave Pix, com 3,75, é o primeiro candidato a revisão.

O SEQ mostra a dificuldade percebida. Leia a nota junto com as métricas de desempenho da mesma tarefa: taxa de conclusão, tempo e erros. Uma tarefa concluída por todos, mas com nota baixa, indica esforço excessivo. Uma nota alta com conclusão baixa costuma significar que o participante não percebeu que errou.

Para entender uma nota baixa, pergunte logo em seguida, em texto aberto, o que tornou a tarefa difícil.

Erros comuns

• Fazer a pergunta só no fim da sessão, para todas as tarefas de uma vez. As lembranças se misturam e as notas ficam parecidas.
• Mudar o texto ou o número de pontos e depois comparar com a média de 5,5.
• Pular a pergunta quando o participante falha na tarefa, o que elimina justamente as notas mais baixas.
• Usar o SEQ para avaliar o produto inteiro. Para isso existem questionários aplicados ao fim do teste, como o SUS e o UMUX.
• Comparar tarefas de natureza muito diferente, como ler uma informação e preencher um cadastro longo, como se fossem equivalentes.
• Tirar conclusões de diferenças de décimos com cinco ou seis participantes.

Como medir o SEQ com uma pesquisa

Em testes moderados, o facilitador faz a pergunta depois de cada tarefa. Em testes de usabilidade não moderados, monte um questionário curto:

1. Descreva a tarefa e dê o link para o protótipo ou o site.
2. Logo depois, faça a pergunta do SEQ em uma escala de avaliação de 1 a 7, com "muito difícil" e "muito fácil" nas pontas.
3. Acrescente uma pergunta aberta opcional sobre o que atrapalhou.
4. Repita o bloco para cada tarefa, sempre com a mesma pergunta.
5. Se quiser uma nota do produto como um todo, aplique o SUS no final.

No SurveyNinja, a pergunta do tipo Escala pode começar em 1 e ter 7 pontos, com legendas nas pontas, e o relatório mostra a nota média ("Classificação média") de cada pergunta.