segunda-feira, março 20, 2006

Testes com utilizadores - avaliação heurística (versão1.0)

O Jornal de Negócios, tal como o nome indica, é um órgão de comunicação social especializado em Economia. A informação e as notícias disponibilizadas estão sempre relacionadas com esta temática, não havendo quaiquer conteúdos extra. O objectivo desta análise é fazer uma avaliação heurística do site do Jornal de Negócios e perceber de que forma os utlizador interagem com o site.


A análise do site deste jornal foi realizada em duas fases distintas. A primeira fase baseia-se no método experimental e empírico, ou seja, fundamentado na experimentação e participação dos utilizadores – testes com utilizadores. A segunda fase (a publicar posteriormente) pretende fazer uma avaliação heurística do site do Jornal de Negócios, baseada em 10 heurísticas definidas por Nielsen e Molich em 1990.

O análise de um site através do método experimental e empírico pressupõe a participação de utilizadores desse site. As conclusões são tiradas a partir da interacção do utilizador com a interface.
Existem vários tipos de testes com utilizadores (private camera conversations, focus group, feature checklists, field observation, etc.), que permitem ao analista compreender como o utilizador reage ao interface, quais os elementos que lhe despertam mais a atenção e a forma como interage com o site ao procurar informação.

Nesta análise, o método escolhido para realizar os testes com os utilizadores foi o field observation, um método que recolhe os resultados através da observação do utilizador a interagir com o sistema no seu ambiente natural. O utilizador navega pelo site tendo a consciência de que está a ser observado e de que os seus movimentos estão a ser registados. Neste caso, apesar de não ser condição obrigatória deste método de análise, foram definidas três tarefas para o utilizador cumprir. Para cada tarefa, foram contabilizados os números de cliques ou passos necessários para a concluir.
Para realizar os testes foi também usada como métrica: o número de cliques que cada utilizador deu até atingir o objectivo final e o tempo médio que o utilizador demorou até cumprir cada tarefa. Para além disso, cada vez que o utilizador errava (por cada cinco cliques desviados do objectivo da tarefa), parava a execução dessa tarefa e passava-se à tarefa seguinte.

Os testes foram realizados por três utilizadores, com idades entre os 21 e os 25 anos. Os utilizadores fazem da turma do 4º ano da vertente Comunicação Multimédia do curso de Jornalismo e Ciências da Comunicação da UP. Assim, os utilizadores têm bastante experiência de navegação na Internet, mas não têm, especificamente, qualquer ligação ao ramo da Economia.

As tarefas propostas aos utilizadores consistiam na procura de informações específicas sobre os diferentes conteúdos disponibilizados pelo site do Jornal de Negócios.
Assim, as tarefas do teste com utilizadores eram:
1. Encontrar o gráfico dos últimos seis meses do índice CAC40
2. Encontrar informação sobre o horário de apresentação de resultados da Lufthansa, que se iria realizar no dia 23 de Março
3. Encontrar a última notícia sobre as bolsas dos EUA

Para cada tarefa foi então definido o número mínimo de passos (a partir da homepage) até chegar à informação pretendida, sendo que este número era de três passos para a primeira tarefa e de dois passos para as restantes.

Quanto à primeira tarefa, esta apenas não foi concluída pelo utilizador 1, sendo interrompida logo no primeiro passo. O caminho mais curto seria: índices – cac40 – gráficos últimos 6 meses, ou seja, teria apenas três passos. No entanto, o utilizador 1 pareceu ter alguns problemas em orientar-se na página, talvez devido à grande quantidade de informação disponibilizada e ao número de opções disponíveis. Num primeiro olhar pela página, o utlizador 1 pareceu nem notar a existência da opção índices, procurando qualquer referência mais específica que indicasse directamente a expressão “cac40”. Até à interrupção da tarefa, quando o utilizador clicou pela 5ª vez sem conseguir completar o primeiro passo, tinham decorrido 2min.
O utilizador 2 conseguiu cumprir a tarefa em 2min e 29seg, no entanto chegou ao objectivo pretendido por um outro caminho, que o levou a ter que seleccionar mais opções e a dar mais passos. Após um clique errado, o utilizador recorreu à ferramenta de pesquisa. No entanto, não obteve nenhum resultado satisfatório e voltou à página inicial, procurando informação no menu esquerdo. Voltou novamente à ferramenta de pesquisa e encontrou uma opção que dava acesso ao segundo passo e daí passou rapidamente ao terceiro, terminando a tarefa. Assim, nota-se que este utilizador perdeu muito tempo no primeiro passo desta tarefa. Mais uma vez, este facto pode dever-se ao primeiro impacto causado pelo contacto pelo site ou pela falta de à vontade com termos relacionados com Economia.
O utilizador 3 foi o mais rápido a completar esta tarefa tendo passado por todos os passos em 37 seg, demonstrando estar à vontade no meio de tanta informação, não sendo, aparentemente, “afectado” pela primeira impressão do site.

Quanto à realização das duas tarefas seguintes, destaca-se a a desistência do utilizador 2 na segunda tarefa e a facilidade de concretização da última tarefa por todos os utilizadores.
Mais pormenores na próxima versão...