T01
Avaliação de usabilidade
Desenvolver uma visão crítica (e construtiva) sobre a usabilidade de qualquer objeto ou ferramenta é uma habilidade importante no processo de design de dispositivos interativos. Nesse exercício vamos treinar essas habilidades avaliando a usabilidade de dois aplicativos de web conferência.
Além de aplicar os princípios de usabilidade e heurísticas de Nielsen, tente se concentrar no aspecto de experiência de professor@s sem experiência anterior com essas ferramentas.
Objetivo
Nesse exercício você deve fazer o design e teste de uma avaliação comparativa dos seguintes aplicativos:
-
Google Meet: use sua conta USP para criar uma web conferência.
-
Conferência Web: use sua conta USP para criar uma web conferência.
do ponto de vista de um@ professor@, para que ess@ adote o sistema que mais lhe "satisfaz". Uma avaliação com usuários deve ser realizada com vários usuários. Devido às circunstâncias atuais no entanto, vamos evitar essa parte. Ao invés de vários usuários, cada alun@ deve fazer uma avaliação em voz alta (think aloud
) de cada um desses sistemas, como professor de uma disciplina de cálculo sem prévia experiência de uso desses sistemas.
Requisitos para ministrar uma aula
Considere que um professor possui um computador notebook conectado à internet, com câmera e microfone, nada mais. Os seguintes requisitos devem deixar os usuários professores minimamente satisfeitos para dar uma aula não presencial:
- A aula não presencial (via web conferência) consiste:
- da exibição de um documento (arquivo e/ou tela compartilhada) no computador do professor
- É desejável que o professor possa fazer anotações durante a apresentação, por exemplo, escrevendo equações.
- da verificação da presença dos alunos (quantos e quais alunos)
- É desejável que a presença seja registrada automaticamente.
- da participação dos alunos durante as aulas (por texto e/ou por voz)
- É desejável que a participação dos alunos seja registrada automaticamente (quantas respostas e perguntas foram feitas por cada aluno)
- É desejável que o professor tenha controle sobre quem tem a palavra a cada instante.
- da gravação da aula
- é desejável que a gravação seja realizada da forma mais automatizada
- é desejável que durante o vídeo o professor possa colocar tags para identificar início e termino de tópicos.
- da colocação do vídeo na página da disciplina.
- é desejável que um link para as gravações fique disponível para os alunos de forma automática
- da exibição de um documento (arquivo e/ou tela compartilhada) no computador do professor
O que você deve fazer
Esse exercício de avaliação é individual mas fique a vontade para discutir qualquer dos itens no fórum da disciplina.
Parte 0: preliminares
Instale ou acesse os aplicativos para se acostumar com suas funcionalidades básicas. Pense o que um professor de cálculo precisaria fazer para tornar suas anotações em uma aula usando essas ferramentas.
Prepare um roteiro de uma mini aula-demonstração (você pode usar seu antigo caderno de cálculo) para usar como exemplo durante a sua avaliação em voz alta. O roteiro deve começar quando o professor entra no aplicativo para começar a aula até que o vídeo esteja online para os alunos. Há diversos problemas escondidos nesse roteiro, como funcionalidades potencialmente inexistentes. A sua avaliação deve se limitar aos recursos oferecidos por cada ferramenta e a falta de recursos deve resultar em uma avaliação menos "satisfatória" do sistema.
Parte I: definições (o que e como)
A caminhada em voz alta apenas registra o que o usuário faz e pensa ao ministrar uma aula. Você deve indicar como transformar esses registros em uma valores (notas) que correspondam a uma maior ou menor usabilidade. Você também deve elaborar um questionário para medir a "satisfação" do usuário com cada ferramenta.
Parte II: avaliação em voz alta
Idealmente, vários outros usuários (que não você) deveriam fazer essa avaliação em voz alta usando o mesmo material e condições próximas a reais (mini-aula com alunos participantes). Para normalizar todas as avaliações, nesse exercício você não precisa utilizar alunos reais, pode simplesmente "imaginar" a participação deles, dado que o foco do exercício é na definição das métricas de usabilidade (o que) e da metodologia empregada (como medir), mais para se ter uma ideia que a avaliação, caso feita de verdade, terá resultados relevantes.
Lembre-se de ser 'justo' e 'imparcial' nas suas avaliações, ou seja, tente replicar as mesmas condições em todas as avaliações. Talvez seja 'justo' fazer as avaliações mais de uma vez, pois a segunda vez que você dá a mesma aula deve ser mais fácil que a primeira, e isso pode afetar a sua avaliação. Para se mais 'justo' da segunda vez por exemplo, a ordem das ferramentas pode ser invertida. Na prática, com vários usuários, a ordem poderia ser sorteada, ou as aulas poderiam ser diferentes. Mas observe que cada decisão pode ter impacto diferente nos resultados.
Parte III: análise e discussão dos resultados da coleta
Preencha o questionário que você elaborou. Tente ser honesto e imparcial. Use tabelas e gráficos para mostrar os resultados e facilitar a comparação e discussão.
O que você deve entregar
Cada grupo deve entregar um relatório com até 5.000 caracteres descrevendo todo o processo e resultados. Além do texto, use e abuse de figuras, fotos e ilustrações. Não há limite de páginas pois não há limite para imagens e figuras, apenas caracteres.
O relatório deve ser autocontido, ou seja, alguém que não conhece o enunciado do exercício deve compreender seu propósito, metodologia e resultados.
Formato do relatório
O relatório deve ser entregue eletronicamente na página da disciplina como um arquivo PDF, formatado para papel tamanho A4, com margem de 2.5 cm nos 4 cantos, escrito com fonte times-roman 11 pt e espaçamento 1.5 entre linhas.
Recomendamos o seguinte esqueleto:
- Capa: deve ter um título, nome do autor, outras informações relevantes para a capa (data, curso, etc) e o número de caracteres escritos no relatório (não considerando a capa).
- Introdução: deve ter uma breve descrição do exercício e dos aplicativos.
- Metodologia:
- definição das métricas (o que medir) e métodos (como medir) a serem usados.
- descrever o que o usuário deve fazer durante a avaliação em voz alta (o roteiro do usuário).
- descrever o que o avaliador deve fazer (o roteiro do avaliador, ou como o avaliador fará as medidas). A parte qualitativa será avaliada usando questionário ou entrevista?
- Coleta dos dados: grave as suas sessões de avaliação em voz alta e inclua um link para os vídeos. Inclua também as questões/questionário utilizado.
- Apresentação resultados quantitativos e qualitativos: apresente os valores (quantitativos e qualitativos) na forma de tabelas e gráficos.
- Discussão: discussão dos resultados anteriores. Procure justificar os resultados. Para isso você pode apresentar também diferenças nas interfaces, nos comportamentos/formas de interação e funcionalidades disponíveis em cada sistema. Seja justo e imparcial também na discussão.
- Conclusão: baseado nos resultados e discussão, pode-se concluir que a metodologia de avaliação proposta pode ser aplicada à diversos usuários reais e vai trazer dados relevantes para avaliar a satisfação dos usuários e usabilidade do sistema? Já é possível concluir qual sistema traz mais satisfação? Qual tem melhor usabilidade?
Se desejar, você pode juntar ou separar algumas dessas seções. O objetivo principal é que o texto seja fluido, sucinto, agradável e fácil de ler e de entender.
Avaliação do relatório
- 15% forma: tem capa, obedece ao padrão (A4, margens, tipo e tamanho de caractere, etc.), limite de 5.000 caracteres.
- 15% texto: ortografia, clareza e organização. A leitura precisa ter boa "usabilidade" :-)
- 30% metodologia: Utiliza métodos e medidas coerentes e significativas para a avaliação comparativa, é de fácil aplicação (recursos, tempo, etc), segura (não põe o usuário em risco), medidas são justas e imparciais (não favorece nenhum dos métodos), etc.
- 20% coleta (vídeos) e resultados: aplicou corretamente a avaliação em voz alta e mostra os resultados de forma correta?
- 20% discussão e conclusão: A discussão deve justificar os resultados com base nas características de cada sistema e conduzir ao leitor para a conclusão. Veja que a discussão pode revelar problemas nos resultados que, na conclusão, talvez sugira alguma alteração nos métodos.