11 2 Teste Com Usuario

Teste de usabilidade com usu rios
Teste de Usabilidade com Usurios

Referncias
Hix, D.; Hartson, H. R. Developing User Interfaces: ensuring usability
Engenharia de Usabilidade Prof.: Clarindo Isaas Pereira da Silva e Pdua

Departamento de Cincia da Computao - UFMG
through product & process, John Wiley and Sons, 1993. Rubin, J. Handbook of Usability Testing: how to plan, design, an d conduct effective tests, John Wiley and Sons, 1994 Cybis, W. A. Abordagem Ergonmica para IHC: Ergonomia de Interfaces Humano-Computador. Apostila disponvel na Internet em www.labiutil.inf.ufsc.br/apostila/apostila.htm . Maio 2002.
26/8/2008
Clarindo Pd u a
Teste de usabilidade com usurios

Objetivos Introduo Planejamento Desenho Implementao Execuo Anlise Laboratrio de teste de usabilidade
3
Objetivos
Avaliao da qualidade da interface em termos de sua usabilidade. Identificao de problemas visando melhorias durante a desenvolvimento do produto. Troca de experincia. Promoo da participao/comprometimento dos usurios. Facilita decidir sobre alternativas importantes para o sucesso da interface. Pode ser associada prototipao, tornando a avaliao do prottipo mais efetiva.
4
26/8/2008
Clarindo Pd u a
26/8/2008
Clarindo Pd u a
Teste de usabilidade com usu rios > Introduo
Introduo
Avaliao emprica
Objetiva detectar problemas de usabilidade por meio da observao do usurio interagindo com o sistema.
Avaliao formativa (1/3)

Avaliao formativa a avaliao do desenho no come o e durante o processo de desenvolvimento da interface. Visa aperfeioar um produto.
No se trata de experimenta o controlada, com rigor estat stico, de testes de fatores humanos j que deseja-se resultados mais rpidos.
No se busca significncia estat stica mas sim satisfazer as necessidades do usurio para se conseguir um alto grau de usabilidade.
Pesquisa de opinio
Tem como objetivo obter a opinio do usurio sobre a qualidade da
Avaliao formativa enderea principalmente o caminho no ciclo de vida estrela
interface em termos de usabilidade.
entre prototipao e desenho / redesenho

Na prtica, geralmente usa-se 3 ciclos de avalia o / redesenho.
26/8/2008
Clarindo Pd u a
26/8/2008
Clarindo Pd u a
Teste de usabilidade com usu rios > Introduo > Avaliao formativa
Teste de usabilidade com usu rios > Introduo > Avaliao formativa
Avaliao formativa, realizada em todo ciclo de iterao, produz dados quantitativos e qualitativos.
Regra dos 10%: o desenvolvimento de uma interface deve ter pronto o suficiente para se fazer uma avaliao quando os primeiros 10% dos recursos do projeto tiverem sido gastos.
Avaliao formativa comea o mais cedo possvel no ciclo de desenvolvimento.

Usurios iro avaliar sua interface mais cedo ou mais tarde. Ento porque no fazer o certo e avaliar a interface o mais cedo possvel em um ambiente controlado e quando possvel corrigir-se os defeitos ?
26/8/2008
Clarindo Pd u a
26/8/2008
Clarindo Pd u a
Avaliao somativa
Avaliao somativa usualmente realizada uma nica vez, perto do final do processo de desenvolvimento da interface do usurio. Visa julgar um produto ou avaliar se os objetivos foram atingidos.
Pode ser utilizada como um critrio para aceita o do produto
Tipos de dados obtidos na avaliao

Objetivo : representa medidas observadas, tipicamente a performance do us urio enquanto usa a interface para realizar tarefas de benchmark. Subjetivo: representa opinies, usualmente do usurio, sobre usabilidade da interface. Quantitativo: so dados e resultados num ricos, como medidas da performance
Geralmente usada em testes finais ou para comparar dois produtos. Avaliao somativa avaliada depois que o desenho da interao j est pronto ou quase pronto.
do usurio ou avaliao de opinies. Qualitativo: dados e resultados no num ricos, como lista de problemas ocorridos durante o uso da interface pelo usurio.
26/8/2008
Clarindo Pd u a
26/8/2008
Clarindo Pd u a
10
Teste de usabilidade com usu rios > Introduo > Tipos de dados obtidos na avalia o
Tipos de dados obtidos na avaliao

Normalmente, as pessoas associam avaliao objetiva com dados quantitativos e avaliao subjetiva com dados qualitativos. Porm avaliaes objetivas podem gerar dados qualitativos e avaliaes subjetivas podem gerar dados quantitativos.
Ex. A execuo de uma tarefa em um tempo muito elevado (objetivo) pode levar um dado qualitativo: a soluo adotada est muito confusa. Ex. Opinies (subjetivo) pode ser quantificadas por meio de ques tionrios onde existem escalas (notas) para quesitos em uma avaliao.
26/8/2008
Clarindo Pd u a
Equipe de avaliao
Lder
Pessoa da equipe de usabilidade ( ou similar) ou especialista em avaliao, que vai coordenar toda a realizao da avaliao.
Monitor
Pessoa da equipe de usabilidade ( ou similar) ou especialista em avaliao que acompanha a execuo da avaliao observando e orientando os participantes.
Participantes
Representantes dos usurios que iro executar os experimentos.
11
26/8/2008
Clarindo Pd u a
12
Teste de usabilidade com usu rios com usu rios > Planejamento
Planejamento
Identificao inicial dos requisitos da avaliao Identificao dos itens a avaliar Identificao detalhada dos itens a avaliar
Identificao inicial dos requisitos da avaliao

Levantamento de recursos existentes e adicionais necessrios
pessoas (monitores de avaliao, especialistas, usurios, etc); hardware; software de sistema; ferramentas de teste; histrico de avaliaes anteriores; formulrios; suprimentos.
26/8/2008
Clarindo Pd u a
13
26/8/2008
Clarindo Pd u a
14
Teste de usabilidade com usu rios > Planejamento >
Identificao inicial dos requisitos da avaliao
Teste de usabilidade com usu rios > Planejamento
Definir:
necessidades de estruturas provisrias; reas de riscos que devem ser avaliadas; etapa do ciclo de vida do produto de software; prazos e custo/benefcio; requisitos de recursos identificados anteriormente. critrios de completeza e sucesso
26/8/2008
Clarindo Pd u a
Identificao dos itens a avaliar

Identificar:
atributos e metas de usabilidade dos itens a avaliar; status (situao de prototipao ou de desenvolvimento no momento da avaliao) dos itens a testar, dentro do projeto; caractersticas dos dados de entrada e sada cronograma da avaliao.
15 26/8/2008
Clarindo Pd u a
16
Teste de usabilidade com usu rios > Desenho > Sele o dos participantes
Teste de usabilidade com usu rios > Desenho
Desenho
No desenho configura-se as tcnicas selecionadas para a avaliao. So detalhados os parmetros especficos de cada tcnica. Por exemplo, definio de roteiros de tarefas e cenrios, nmero de usurios a participar dos testes empricos.
Atividades
Seleo dos participantes. Definio de tarefas para os participantes executarem. Definio do protocolo e procedimentos.
26/8/2008
Clarindo Pd u a
17
26/8/2008
Clarindo Pd u a
18
Seleo dos participantes

Devem ser usurios representativos do papel dos atores interagindo com a interface sob avaliao. Participantes o termo mais recentemente usado na literatura para indicar a pessoa que faz parte do experimento.
Deve-se ver a interface como o objeto da avaliao e o participante como um colaborador na avaliao do desenho.
Os participantes devem representar um usurio tpico da interface avaliada, considerando-se sua experincia e conhecimento, nvel de habilidade, conhecimento do computador e conhecimento da aplicao. Os participantes devem ter pelo menos um pouco de conhecimento do domnio do problema, no necessariamente que sejam entendidos em um sistema interativo especfico no domnio do problema.
26/8/2008
Clarindo Pd u a
19
26/8/2008
Clarindo Pd u a
20
Fontes de consulta para caracterizao dos participantes

Anlise de usurios. Especificao de requisitos de usabilidade Pessoal de marketing e outros membros do grupo de desenvolvimento podem ajudar a definir mais claramente o perfil do usurio.
Os participantes no devem ser pressionados para participar dos experimentos.

Volunt rios tipicamente fornecem dados melhores.
No caso de participantes externos ao projeto, deve-se pagar uma modesta taxa por hora para se ter uma relao mais profissional.
Excesso pode ser prejudicial por alterar comportamento t pico do usurio. Algumas pessoas acreditam que recompensa monet ria pode prejudicar os resultados.
26/8/2008
Clarindo Pd u a
21
26/8/2008
Clarindo Pd u a
22
sempre bom, e s vezes necessrio, oferecer brindes para o recrutamento de participantes (camisetas da empresa, chaveiros, etc.). Uma fonte para recrutamento de participantes so as agncias de empregos temporrios.
Um problema comum o de clientes no prover acesso a participantes representativos.

Uma possvel solu o informar e motivar o cliente, no comeo do projeto, sobre o processo de avaliao - assim pode-se ter uma maior probabilidade de ter os usu rios representativos na hora certa. Os clientes esto come ando a valorizar os termos anlise de usu rio, avaliao formativa, prototipao r pida e refinamento iterativo em contratos de desenvolvimento de software e querem saber sobre o processo de desenvolvimento. O cliente deve entender que o sucesso de todo o sistema gira fortemente em torno da usabilidade da interface, e que a usabilidade da interface gira fortemente em torno do processo de desenvolvimento envolvendo a avaliao de usabilidade.
26/8/2008
Clarindo Pd u a
23
26/8/2008
Clarindo Pd u a
24
Teste de usabilidade com usu rios > Desenho > Sele o dos participantes > Participante especialista
Alm de usurios representativos, pode-se ter tambm especialistas em usabilidade participante da avaliao formativa.
Um especialista dever ter um conhecimento geral na rea de usabilidade e dever ter grande experincia em avaliao de ampla variedade de interfaces. No necessariamente o especialista de usabilidade tem que conhec er a fundo o domnio da aplica o. O especialista est mais habilitado a identificar problemas sutis (pequenas inconsistncias, pobre uso de cores e navegao confusa) de usabilidade e propor solues.
Um especialista poder oferecer alternativas para resolver problemas, ao contrrio do que normalmente ocorre com usurios representativos. Um especialista na interao homem/computador no pode servir como um substituto para avaliao com usurios representativos.
Por exemplo, o tempo que ele executa uma tarefa pode no ser tpico dos usurios. O especialista pode contribuir mais com dados qualitativos do que com dados quantitativos obtidos pela observao.
26/8/2008
Clarindo Pd u a
25
26/8/2008
Clarindo Pd u a
26
Teste de usabilidade com usu rios > Desenho > Sele o dos participantes > Participante especialista
No so necessrios grandes grupos de participantes e sim uma escolha cuidadosa, bons usurios representativos, e um ou talvez dois especialistas em intera o.
Alguns trabalhos empricos tm mostrado que o melhor nmero de participantes para um ciclo de avaliao formativa de trs a cinco por classe de usurio (ator). A melhor forma de seleo de participantes para ciclos sucessivos usar, para cada ciclo depois do primeiro, um participante de um ciclo anterior juntamente com novos participantes.
26/8/2008
Clarindo Pd u a
Definio de tarefas
Para preparar uma sesso de avalia o o avaliador deve descrever todas as tarefas (benchmarks e tarefas representativas) na ordem em que e las sero apresentadas aos usurios. Os avaliadores devem trabalhar junto com outros membros da equipe de desenvolvimento de usabilidade. A principal fonte de consulta a tabela de especificao de requisitos de usabilidade.
27
26/8/2008
Clarindo Pd u a
28
Teste de usabilidade com usu rios > Desenho > Defini o de tarefas
Na avaliao, o avaliador pode combinar tarefas apresentadas por escritos com outras apresentadas oralmente.
Se a tarefa bem especfica e possui informaes detalhadas melhor que ela seja escrita. Se a tarefa pode ser descrita em poucas palavras que so fceis de lembrar, ento ela pode ser ditada em voz alta para os participantes.
Alm de tarefas de benchmark desenvolvidas para atributos de usabilidade, o avaliador (lder) pode tambm propor outras tarefas representativas para os participantes realizarem. Tarefas representativas no so comparadas com metas de usabilidade quantitativamente; so includas para aumentar a abrangncia das avaliaes. Geralmente geram informaes qualitativas.
26/8/2008
Clarindo Pd u a
29
26/8/2008
Clarindo Pd u a
30
Teste de usabilidade com usu rios > Desenho > Defini o de tarefas > Lista de tarefas
Deve-se preparar uma lista de tarefas com instrues para o avaliador e outra lista para os participantes.
Listas de tarefas para o monitor:
Deve haver uma lista de tarefas para cada participante Os nmeros dos benchmark no tm relao com a ordem com que eles aparecem para os participantes. As lista do monitor tm instrues a ele dirigidas, incluindo nmeros das tarefas de benchmark.
31
Lista de tarefas dos participantes:

Na lista dada aos participantes mostra-se somente as tarefas a serem cumpridas. preciso assegurar-se que o prottipo contm o suporte necessrio para a realizao das tarefas previstas.
26/8/2008
Clarindo Pd u a
26/8/2008
Clarindo Pd u a
32
Lista de tarefas para o monitor

Ver artefato
comum prever-se uma avaliao atravs do uso livre da interface, sem restries de tarefas predefinidas.
Deve-se pedir que os participantes usem livremente a interface e que verbalizem suas impresses. S deve ser solicitado no final ou aps os participantes terem realizados as tarefas relacionadas com o uso inicial da interface. O uso livre valioso para revelar o comportamento dos participantes e do sistema em situaes no previstas pelos desenvolvedores.
26/8/2008
Clarindo Pd u a
33
26/8/2008
Clarindo Pd u a
34
Tarefas de benchmark, tarefas representativas e uso livre so fontes de incidentes que so a maior forma de coletar dados qualitativos.
O uso de materiais de treinamento e documentao so outros aspectos a serem considerados durante a avaliao formativa.
O nmero de consultas documentao e a qualidade da assistncia que eles recebem desse material podem ser informaes importantes sobre a usabilidade do sistema. Em sistemas mais complexos, prefervel fazer a avaliao de material de treinamento e documenta o separadamente.
26/8/2008
Clarindo Pd u a
35
26/8/2008
Clarindo Pd u a
36
Teste de usabilidade com usu rios > Desenho > Defini o de protocolos e procedimentos
Definio de protocolos e procedimentos

O avaliador deve determinar protocolos e procedimentos para administrar o experimento, descrevendo o processo de avalia o envolvendo os participantes (regras do jogo).
Formas de avaliao
Testes em laboratrios - traz o participante at a interface, isto , o participante trazido para um laborat rio de testes para realizar as tarefas.
No laboratrio o avaliador possui maior controle do experimento, mas as condies so artificiais.
Testes de Campo - traz a interface at o participante, isto , a verso presente da interface instalada no ambiente de trabalho do participante.
No teste de campo o avaliador possui menos controle do experimen to, j a situao mais realstica.
Na vida real, os teste de campos podem ser limitados e impossveis de se realizar, neste caso, os testes de laborat rio devem ser utilizados.
26/8/2008
Clarindo Pd u a
37
26/8/2008
Clarindo Pd u a
38
Teste de usabilidade com usu rios > Desenho > Defini o de protocolos e procedimentos
Teste de usabilidade com usu rios > Desenho > Defini o de protocolos e procedimentos > Comentrio introdutrio instrucional
Comentrio Introdutrio Instrucional - um texto que d explicaes sobre o propsito do teste que est sendo realizado, dizendo um pouco sobre a interface que o usurio ir usar, o que esperado que o usurio faa e o procedimento a ser seguido pelo participante.
importante deixar claro para o participante que o objetivo da sesso no avali-lo e sim o sistema. Deve-se garantir confidencialidade para os participantes.
As instrues podem indicar aos participantes que verbalizem seus pensamentos em voz alta quando estiverem trabalhando ou podem in dicar que eles podem perguntar questes aos avaliadores a qualquer tempo. Um ponto importante que todos os participantes devem receber instrues iguais no incio e um modo fcil de assegurar a uniformidade que as instrues sejam escritas. tambm importante preparar uma declara o de consentimento do usurio com garantias para os participantes.
Esse procedimento protege ambos os participantes e os avaliadores.
26/8/2008
Clarindo Pd u a
39
26/8/2008
Clarindo Pd u a
40
Teste de usabilidade com usu rios > Implementao
Implementao
Na implementao preparado o ambiente para as avaliaes, compreendendo a instalao de prottipos ou verso de avaliao do produto, a disponibilizao da infra-estrutura necessria e a execuo de uma avaliao piloto visando a preveno de ocorrncias de problemas que poderiam vir a comprometer a realizao da avaliao posteriormente.
Realizao do teste piloto

Testes piloto devem ser conduzido para assegurar-se que todo o experimento esteja pronto.
Podem ser conduzidos com a prpria equipe de desenvolvimento.
Testes pilotos evitam queimar a equipe de avaliao perante os participantes com testes mal preparados - bons participantes so difceis de serem conseguidos.
26/8/2008
Clarindo Pd u a
41
26/8/2008
Clarindo Pd u a
42
Teste de usabilidade com usu rios > Implementao > Realizao do teste piloto
Testes pilotos podem ajudar a achar erros no produto sob avaliao antes da avaliao.
Em caso de acontecer falhas do produto na avaliao, deve-se pedir desculpas aos participantes e buscar retomar a avaliao.
Execuo
Essa atividade consiste na realizao da avaliao propriamente dita. Coletam-se os dados e registram-se os problemas de usabilidade identificados. O desenrolar de cada avaliao controlado e dirigido pelos monitores de teste que devem planejar com antecedncia como proceder nos casos de interrupes, retomadas e encerramento precoce da avaliao. As normas e os procedimentos descritos no plano e especificao da avaliao devem ser observados.
26/8/2008
Clarindo Pd u a
43
26/8/2008
Clarindo Pd u a
44
Teste de usabilidade com usu rios > Execu o
O monitor responsvel pelo bom andamento da sesso de avaliao.

Em avaliaes quantitativas, o monitor deve se posicionar parte, no interagindo com o participante a menos que haja problemas. Em avaliaes qualitativas, o avaliador deve ser colocar ao lado do participante: codescoberta. O avaliador no deve interferir no resultado da avaliao.
Normalmente, usa-se um participante de cada vez nas sesses de avaliao - as vezes pode ser interessante ter dois participantes interagindo. Inicialmente, o avaliador deve mostrar o laboratrio para o participante. Aps o participante ter lido as instrues, deve-se pedir que assine o consentimento.
26/8/2008
Clarindo Pd u a
45
26/8/2008
Clarindo Pd u a
46
O avaliador deve ser muito cuidadoso para no interferir com explicaes de como concluir a tarefa pode-se querer verificar justamente se o participante consegue completar a tarefa. Em geral, o avaliador pode fazer qualquer pergunta que julgue importante, aproveitando ao mximo a contribuio do participante. Se sentir que o participante est em dificuldades para a realizao de uma tarefa, o avaliador pode fazer perguntas do tipo:
O que voc est tentando fazer? O que voc esperava quando clicou neste boto?
Se um participante demonstra insegurana e pra, o avaliador pode perguntar:

voc tem alguma dvida ? ou voc precisa de uma dica ?
Se o participante diz no , o avaliador pode perguntar:
o que voc est pensando? ou o que voc est tentando fazer?
Se o participante diz sim, o avaliador deve anotar o incidente e tentar prosseguir. O avaliador pode dar dicas do tipo: tente usar o help, ou voc v um cone em algum lugar que possa te ajudar?
Se o participante desiste de uma tarefa, deve-se explic-lo como execut -la. Se o participante desistir de todo o teste, agradea-o, pague-o e deixe-o ir.
26/8/2008
Clarindo Pd u a
47
26/8/2008
Clarindo Pd u a
48
No final, deve-se passar o questionrio ao participante, se houver. Em seguida, deve-se conversar com o participante, responder a qualquer pergunta dele, agradecer e dar os brindes ou pagamentos prometidos.
Gerao e coleta de dados

Dificuldade: rapidez com que os testes acontecem comparado com o tempo de coleta de dados.
importante, assim, ser criterioso e anotar o que for realmente relevante.
26/8/2008
Clarindo Pd u a
49
26/8/2008
Clarindo Pd u a
50
Teste de usabilidade com usu rios > Execu o > Gerao e coleta de dados
Dados quantitativos
Fontes:
Tarefas de benchmark Questionrios de preferncias de usurios.
Dados quantitativos
Fontes:
Tarefas de benchmark Questionrios de preferncias de usurios.
Dificuldade: o que constitui erro?

Quando um participante no completa uma tarefa ocorreu um ou mais erros. Quando um participante faz uma ao que no leva a progresso na execu o de uma tarefa ( o que exclui acesso a helps e documentao ). Se o participante toma um caminho errado, volta e toma um caminho certo na soluo de uma tarefa, ainda assim ocorreu o erro.
Dificuldade: o que constitui erro?

Quando um participante no completa uma tarefa ocorreu um ou mais erros. Quando um participante faz uma ao que no leva a progresso na execu o de uma tarefa ( o que exclui acesso a helps e documentao ). Se o participante toma um caminho errado, volta e toma um caminho certo na soluo de uma tarefa, ainda assim ocorreu o erro. Se um participante toma um caminho aparentemente errado mas que o leva a completar a tarefa pode-se considerar um incidente crtico.
26/8/2008
Clarindo Pd u a
51
26/8/2008
Clarindo Pd u a
52
Teste de usabilidade com usu rios > Execu o > Gerao e coleta de dados > Dados quantitativos
Uma avaliao de tempo expendido em erros usado em anlise de impacto. , no entanto, difcil determinar-se quando um erro comeou e a pode-se usar o videotape. Em questionrios, existe o efeito bondade, quando o participante d notas muito boas de maneira no razovel e o efeito maldade quando o participante d notas muito ruins de maneira no razovel.
Esses dados podem ser descartados.
Dados qualitativos
So enganosos mas muito importantes em avaliaes formativas.
26/8/2008
Clarindo Pd u a
53
26/8/2008
Clarindo Pd u a
54
Teste de usabilidade com usu rios > Execu o > Gerao e coleta de dados > Dados qualitativos
Teste de usabilidade com usu rios > Execu o > Gerao e coleta de dados > Dados qualitativos > Tcnicas para gerao de dados qualitativos
Tcnicas para gerao de dados qualitativos

Protocolo verbal concorrente Protocolo verbal retrospectivo Anotao de incidentes crticos Entrevistas estruturadas
Protocolo verbal concorrente (pensar em voz alta)

O participante solicitado a verbalizar tudo que diz respeito sua impresso sobre o uso de uma interface enquanto a utiliza: o que est fazendo, o que espera acontecer, dificuldades, etc. Por ser uma tcnica invasiva, s deve ser usada quando o tempo est sendo medido em uma tarefa de benchmark se o participante aceit -la com naturalidade. H evidncias que a verbalizao no afeta significativamente o desempenho do usurio. As vezes difcil arrancar comentrios do participante: a entra a habilidade do monitor.
26/8/2008
Clarindo Pd u a
55
26/8/2008
Clarindo Pd u a
56
Teste de usabilidade com usu rios > Execu o > Gerao e coleta de dados > Dados qualitativos >Tcnicas para gerao de dados qualitativos > Protocolo retrospectivo
Protocolo retrospectivo
o participante trabalha sem muita interrupo pelo monitor. Imediatamente aps a sesso, o avaliador e o participante revem a gravao e procuram analisar o que aconteceu. A avaliao retrospectiva permite a descoberta direta do que o participante queria realmente fazer ou pensava, evitando suposi es, que podem ser incorretas, na anlise dos dados. Desvantagens: tempo requerido pode ser excessivo, tipicamente o dobro da sesso normal.
Pode-se avaliar s partes relevantes da gravao. Entrevista tem que ser logo aps a sesso de avaliao, para evitar esquecimento de aspectos importantes. No acontece freqentemente, mas o participante pode dar sugestes valiosas para o projeto.
26/8/2008
Clarindo Pd u a
57
26/8/2008
Clarindo Pd u a
58
Teste de usabilidade com usu rios > Execu o > Gerao e coleta de dados > Dados qualitativos >Tcnicas para gerao de dados qualitativos
Anotao de incidentes crticos

um incidente crtico um acontecimento que tem um efeito significativo, positivo ou negativo, no desempenho das tarefas ou satisfao do usurio. Incidente negativo: ex. participante tenta um n mero excessivo de vezes a execuo de uma opera o: pode significar que o desenho relacionado com essa opera o deve ser melhorado. Incidente positivo: ex. o participante demonstra satisfao quando descobre a metfora relacionada com a manipulao de um objeto grfico: pode significar que a metfora pode ser utilizada em outras situaes.
Entrevistas estruturadas
Realizadas atravs de uma s rie planejada de perguntas, tipicamente aps a sesso de avaliao. Exemplos:
O que voc gostou mais na interface? O que voc gostou menos? O que voc modificaria? Quais as 3 informaes mais importantes que um usurio precisa para comear a usar o sistema? As vezes um participante no percebe que clicando em um determinado cone obteria uma informao de que precisava.
59 60
26/8/2008
Clarindo Pd u a
26/8/2008
Clarindo Pd u a
Teste de usabilidade com usu rios > Execu o > Gerao e coleta de dados > Dados qualitativos > Tcnicas para gerao de dados qualitativos> Entrevistas estruturadas
As respostas podem ser anotadas pelo monitor ou pelo participante. interessante a participao de um profissional na elaborao das questes de uma entrevista.
Tcnicas para coleta de dados

Anotao em tempo real. Uso de videoteipe. Uso de gravao de udio. Instrumentao interna da interface.
26/8/2008
Clarindo Pd u a
61
26/8/2008
Clarindo Pd u a
62
Teste de usabilidade com usu rios > Execu o > Gerao e coleta de dados > T cnicas para coleta de dados
Anotao em tempo real

Anotao em tempo real considerada a maneira mais prtica e efetiva. Quando o avaliador no tem muita prtica, ou em sesses muito longas, deve utilizar um assistente. O avaliador d instrues e ministra os testes e o assistente toma notas. A anotao pode ser com lpis e papel ou computador (notebook ou palmtop so menos invasivos). Deve-se usar um formulrio preparado previamente (ver transparncia anexa).
Uso de videoteipe
O videoteipe til para observar-se detalhes como expresso do participante, movimento das mos, etc. Pode-se usar uma ou mais cmeras, mas a utilizao de mais de uma cmera traz o problema de sincronizao entre elas e s deve ser utilizado se houver equipamento para compor as diversas fitas em uma nica fita com janelas separadas.
26/8/2008
Clarindo Pd u a
63
26/8/2008
Clarindo Pd u a
64
Teste de usabilidade com usu rios > Execu o > Gerao e coleta de dados > T cnicas para coleta de dados > Uso de videoteipe
Na filmagem, a viso mais importante das mos dos participantes e tela em primeiro lugar, e uma viso geral incluindo a face do participante em segundo lugar. Pode-se fazer clips com passagens mais importantes para avaliao da equipe de desenvolvedores.
Uso de gravao de udio

Gravao de udio deve ser feita quando no existe a possibilidade de gravao de vdeos.
26/8/2008
Clarindo Pd u a
65
26/8/2008
Clarindo Pd u a
66
Teste de usabilidade com usu rios > Execu o > Gerao e coleta de dados > T cnicas para coleta de dados > Instrumentao interna da interface
Instrumentao interna da interface

Na coleta de dados por instrumentao da interface, deve-se tomar cuidado com o excesso de informao no significativa.
Para evitar-se esse problemas, pode-se usar tcnicas sofisticadas de anlise automatizada.
Por exemplo, a tcnica Maximal Repeating Patterns (MRP) baseada na hiptese de que os padres mais repetidos de uso contm informaes interessantes sobre usabilidade.
Ferramentas automatizadas
Ainda esto comeando a surgir. Exemplo: a ferramenta IDEAL (Interface Design Environment and Analysis Lattice) apoia o desenho da interao e a avaliao da usabilidade.
Permite associar tarefas de benchmark a descries UAN dessas tarefas e apoia a gerao de tabelas de usabilidade. Permite a compara o de resultados observados com metas especificadas.
Tem a vantagem de ser no invasivo e permitir coleta em campo.
26/8/2008
Clarindo Pd u a
67
26/8/2008
Clarindo Pd u a
68
Teste de usabilidade com usu rios > Execu o > Gerao e coleta de dados > T cnicas para coleta de dados > Instrumentao interna da interface > Ferramentas automatizadas
Anlise Caractersticas desejadas

Cronmetros na tela Contadores de erros e incidentes crticos Captura automtica de contadores de vdeo Visualizao em tempo real de vdeo em uma janela. Conexes multimdia a clips de udio e vdeos. Suporte de gerenciamento para avalia o da convergncia do desenho em itera es sucessivas.
A anlise de dados coletados durante um teste de usabilidade visa a anlise dos problemas levantados para priorizao de solues e investimento em melhorias. Deve envolver uma equipe multidisciplinar, com especialistas de diversas reas: usabilidade; desenvolvedor; marketing e publicidade; relaes pblicas; psicologia, etc engenharia de produo;
26/8/2008
Clarindo Pd u a
69
26/8/2008
Clarindo Pd u a
70
Teste de usabilidade com usu rios > Anlise
Anlise preliminar
Os problemas mais crticos so passados para os projetistas de interface antes da liberao final do relatrio, com o objetivo de fazer as devidas melhorias antes mesmo da avaliao ser concluda. Pode-se entregar uma verso resumida do relatrio com a descrio dos problemas solues iniciais propostas ou fazer solicitaes informais. Mais exaustiva.
Anlise detalhada
Alm dos problemas e recomendaes apresentadas na anlise preliminar, atualizados, se necessrio, outras anlises pormenorizadas e recomendaes devem ser implementadas e descritas no relatrio final. A durao da anlise detalhada pode levar de duas a quatro semanas aps a avaliao, dependendo da complexidade e tamanho dos produtos avaliados.
26/8/2008
Clarindo Pd u a
71
26/8/2008
Clarindo Pd u a
72
Aceita-se a soluo ?
Computar m dia dos valores observados e preencher formulrio de avaliao
Mdia pode ser enganosa, pode ser necess rio verificar desvio padro.
Atributo de Usabilidade Instrumento de medida Desempenho inicial Acrescente compromisso benchmark 1
Aceita-se a soluo ?
Valor a ser Nvel atual medido Pior nvel aceitvel Nvel alvo planejado Melhor nvel possvel Resultados observados
Se todos os requisitos de Pior nvel aceitvel forem cumpridos deve-se considerar prosseguir com o desenvolvimento. Mesmo se todas as metas de usabilidade forem atingidas, pode-se chegar concluso que foi muito leniente.
Isso pode ser identificado pelo comportamento dos usurios, via incidentes crticos.
26/8/2008
Clarindo Pd u a
Desempenho inicial
Acrescente compromisso benchmark 1
Tempo de execuo da tarefa na primeira tentativa Nmero de erros na primeira tentativa
15 segs. (manual)
30 segs.
20 segs.
10 Segs.
P1=33 s P2=42 s P3=29 s Mdia=35 s
0 erros (manual)
3 erros
2 erros
0 erros
Desempenho inicial
Apague compromisso benchmark 2
Desempenho inicial
Apague compromisso benchmark 2
Tempo de 12 execuo segundos da tarefa na primeira tentativa Nmero de 0 erros erros na primeira tentativa
20 segundos
12 segundos
P1=2 P2=4 P3=1 Mdia=2,3 erros 8 P1=71 s segundos P2=42 s P3=50 s Mdia=54 s 0 erros P1=5 P2=5 P3=3 Mdia=4,3 erros
4 erros
3 erros
73
26/8/2008
Clarindo Pd u a
74
Identificao estruturada dos problemas

Problema de usabilidade
Exemplo
O problema refere-se a uma falha no desenho da intera o ou a uma dificuldade do usurio relacionada com o desenho da interao.
observados e priorizao de solues.

Deve ser feito por negociao em equipe.
1o problema identificado: usu rio no percebeu que tinha que dar um click duplo em um compromisso e depois apag -lo. Boto estava longe do local do compromisso. 3o problema: usu rio no percebeu que tinha que arrastar o boto de alarme para cima do compromisso para ativar alarme. 4o problema: usurio no gostou do sistema de janelas que era posicionada sob seu controle. No entanto, isso seguia a diretriz mantenha o usurio no foco do controle Este . problema foi identificado pela reao irritada do usurio.
26/8/2008
Clarindo Pd u a
75
26/8/2008
Clarindo Pd u a
76

Problema Efeito no desempenho do usurio 115 em 163 s Importncia Soluo (es) Custo Deciso
Problema
Alta Move boto de apagar, acinzenta-o at que usurio selecione compromisso e acrescente mensagem para o usurio. Adiciona abas de navegao para ano futuro e ano passado. 5 horas
Usurio no sabia que teria que selecionar compromisso antes que ele pudesse ser apagado. Usurio acessa ano futuro somente atravs de sucessivos movimentos atravs de meses. Usurio no entende necessidade de arrastar cone de alarme ao compromisso desejado.
26/8/2008
Clarindo Pd u a
Efeito no Importncia desempenho do usurio 10 em 35 s Alta
Soluo (es)
Custo
Deciso
Excesso de manipulao de janela

2 horas
Arranja posicionamento automtico da janela mas permite ao usurio reposicion-la
6 horas
---
Mdia
---
Alta
Quando o usurio clica no 2 horas cone de alarme, muda o cursor para parecer cone de alarme e usurio move cursor para o compromisso desejado e clica 1 vez para adicionar um alarme.
77
Seta negra em fundo negro
---
Baixa
Reverte seta para branco 1hora em fundo preto
26/8/2008
Clarindo Pd u a
78
Efeito no desempenho do usurio

O efeito no desempenho do usurio um dado sobre o montante de tempo que o usurio gasta com um problema especfico.
Inclui tempo em que o usu rio est perplexo, irritado, parado ou perdido sem saber o que fazer. Pode-se ter que recorrer ao videoteipe para avali-lo.
Importncia do problema
Comparando nveis de especificao de usabilidade, valores observados e valores da coluna de efeito na performance do usurio, pode-se identificar quais problemas mais contribuem para que no se alcance a desejada especificao de usabilidade.
Fitas de vdeo e gravaes ajudam bastante em revises posteriores das sesses, para melhor determinao e avaliao dos problemas ocorridos.
26/8/2008
Clarindo Pd u a
79
26/8/2008
Clarindo Pd u a
80
Teste de usabilidade com usu rios > Anlise > Importncia do problema
A importncia avaliada o efeito subjetivo (baseada em opinies da equipe de desenvolvedores) de um problema observado na performance do usurio, na usabilidade da interface e em toda a integridade do sistema. A importncia de um problema pode ser baseada em vrias
A importncia caracterizada como: baixa, moderada ou alta, prov um n vel adequado de granularidade para a maioria das situaes.
Problemas de baixa importncia - podem ser todos aqueles que causam pequena confuso no usurio. Problemas de m dia importncia - podem refletir um erro do usu rio. Problemas de alta importncia - podem ser todos aqueles que impedem um usu rio de
caractersticas diferentes, incluindo freqncia, persistncia, e impacto na integridade e consistncia do sistema.

26/8/2008
Clarindo Pd u a
completar uma tarefa.
81
26/8/2008
Clarindo Pd u a
82
Tudo que est envolvido na observao das sesses de avaliao contribui para determinao da importncia. A avaliao da importncia deve ser feita em grupo. A maioria das avaliaes so bvias; em geral, o problema srio possui uma alta importncia, o problema inconseqente possui uma baixa importncia e todo o resto possui uma importncia m dia.
Solues
O grupo de desenvolvedores, incluindo o avaliador, deve propor uma ou mais possveis solues - mudanas no projeto para solucionar cada um dos problemas observados na lista. Em situaes onde princpios e diretrizes de projeto foram violados, uma soluo baseada em diretrizes pode ser proposta.
83 26/8/2008
Clarindo Pd u a
26/8/2008
Clarindo Pd u a
84
Teste de usabilidade com usu rios > Anlise > Solu es
Teste de usabilidade com usu rios > Anlise > Solu es
Solues que devem ser consideradas podem partir dos participantes ou expertos em interao homem -computador. Tecnologia disponvel e estudos de projetos similares podem dar idias para possveis solues dos problemas. Reunies do grupo de desenvolvimento podem gerar solues criativas.
Quando aparecer mais de uma boa soluo proposta, liste-as.
Diferentes solues possuem custos diferentes.

Na deciso entre solues diferentes para um mesmo problema, a diferena de custos pode influenciar na escolha.
O aumento de treinamento dos usurios e documentao pode ser uma soluo proposta para problemas de projeto.
26/8/2008
Clarindo Pd u a
85
26/8/2008
Clarindo Pd u a
86
Teste de usabilidade com usu rios > Anlise > Custos
Custos
Para cada soluo proposta, um custo de implementao deve ser estimado. Custo usualmente a quantidade de recursos necessrios para realizar a mudana indicada para cada soluo proposta. O custo medido em termos do n mero de pessoas-hora necessrias para modificar um prottipo, para modificar o cdigo fonte existente ou para escrever um novo cdigo.
87
Custos baixos so tipicamente obtidos quando mudanas so feitas em um prottipo, antes que a verso da interface tenha sido codificada.
Da a necessidade de selecionar boas ferramentas de prototipao e ter um prottipo que esteja rodando e testvel o mais cedo possvel no processo de desenvolvimento.
26/8/2008
Clarindo Pd u a
26/8/2008
Clarindo Pd u a
88
Teste de usabilidade com usu rios > Anlise > Anlise de custo/importncia
Anlise de custo/importncia
Para determinar a soluo para cada problema deve-se realizar a anlise de custo / importncia. Na anlise de custo / importncia, o grupo de desenvolvimento considera a relativa importncia dos problemas e os custos das solues. O primeiro passo determinar os recursos disponveis (em particular, tempo e pessoa).
O uso de uma planilha, ou algum processador de textos, pode ajudar a gerenciar a lista de problemas; os problemas podem ser classificados pelo custo e/ou pela importncia.
A classificao deve ser primeiro em importncia (alta para baixa) e ento dentro de cada uma destas categorias, classificada em custo (baixo para alto).
26/8/2008
Clarindo Pd u a
89
26/8/2008
Clarindo Pd u a
90
Problemas com alta importncia/ baixo custo podem ocorrer (combinao ideal ).
Ex.: problemas relacionados a mensagens mal redigidas.
IMPORTNCIA
Alta
1 3 5
Baixo
2 4 6
Alto
Moderada Baixa
Alguns problemas maiores podem no ser solucionados pelo fato de seu custo ser muito elevado. Problemas com moderada importncia e custo baixo as vezes podem ser deixados de lado simplesmente por falta de tempo. Problemas com baixa importncia e custo alto geralmente no so resolvidos.
26/8/2008
Clarindo Pd u a
CUSTO
O diagrama acima pode ser usado para anlise de custo / importncia

As bolinhas representam problemas e indicam a quantidade de problemas encontrados. Os nmeros entre colchetes indicam a ordem em que os problemas devem ser considerados.
91
26/8/2008
Clarindo Pd u a
92
Teste de usabilidade com usu rios > Anlise > Recomendaes
Recomendaes
Depois da anlise custo/importncia de todos os problemas listados, desenvolvedores devem tomar uma resoluo - uma deciso final - sobre cada problema.
Indicao de como cada problema ser endereado e qual soluo ser implementada.
Tendo como base a lista de classificao de problemas mencionada anteriormente, comece com problemas que esto no topo da lista. Isso ajuda a preparar trs listas separadas:
problemas que definitivamente sero endereados (resolver ); problemas que sero endereados se houver tempo (dependente de tempo); problemas que so adiados por agora (e talvez para sempre) (adiado indefinidamente).
Tentar manter uma ordem de prioridade dentro dessas listas de problemas.
26/8/2008
Clarindo Pd u a
93
26/8/2008
Clarindo Pd u a
94
Teste de usabilidade com usu rios > Anlise > Recomendaes
Aps as solues de projeto para cada problema serem encaminhadas, os desenvolvedores precisam atualizar a documentao apropriada do projeto para refletir as decises, e resolver quaisquer conflito ou inconsistncia no desenho da intera o. Desenvolvedores devem ter certeza que o projeto ainda coeso, que o projeto como um todo no foi afetado. Desenvolvedores devem utilizar todos os benefcios da avaliao formativa, movimentando sempre dentro do ciclo de vida estrela, ou seja, (re) desenhando, (re) implementando e (re) avaliando o projeto.
Laboratrio de teste de usabilidade

No h necessidade de um luxuoso laboratrio contendo equipamentos muito caros para realizar uma boa avaliao de usabilidade. Um requisito fundamental do laboratrio de usabilidade que ele deve ser espaoso o bastante para suportar todos os participantes das sesses (participante, avaliador e a equipe). O tamanho da sala deve ser adequado para que os participantes no se sintam mal (claustrofobia).
26/8/2008
Clarindo Pd u a
95
26/8/2008
Clarindo Pd u a
96
Teste de usabilidade com usu rios > Laborat rio de teste de usabilidade
Para quem est com pouco dinheiro e quer comear com testes bsicos de usabilidade necessrio: um cronmetro, um gravador porttil, algumas fitas, canetas e cpias dos formulrios que sero utilizados na decorrer da sesso. Para aprimorar o laboratrio pode-se acrescentar ao laboratrio uma cmara de vdeo, um monitor e um vdeo cassete com contador de quadros. Havendo lugar mais amplo, pode-se colocar uma divisria com um espelho, separando a sala em duas.
Leiaute do laboratrio
Sala do avaliador - contm o participante, o avaliador prim rio e o equipamento onde a interface roda. Uma ou mais cmaras e microfo nes podem estar colocados na sala para coletar dados extrados durante a sesso de avaliao. Sala de controle - pode conter um ou mais monitores de recepo das imagens da cmara dentro da sala do avaliador, e outros avaliadores e observadores. Dados coletados verbalmente pelos microfones da sala do avaliador podem ser ouvidos nesta sala. O segundo avaliador pode comunicar com o primeiro avaliador, atravs de fones de ouvidos, dando sugestes.
26/8/2008
Clarindo Pd u a
97
26/8/2008
Clarindo Pd u a
98
Leiaute do laboratrio
Mesa com o computador Espelho M2 O Monitor
P M1
P: Participante M1: Monitor Primrio
M2: Monitor Secundrio O: Observador
26/8/2008
Clarindo Pd u a
99

11 2 Teste Com Usuario

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

11 2 Teste Com Usuario

Uploaded by

Copyright:

Available Formats

Teste de usabilidade com usu rios

Teste de Usabilidade com Usurios

Engenharia de Usabilidade Prof.: Clarindo Isaas Pereira da Silva e Pdua

Teste de usabilidade com usu rios

Teste de usabilidade com usurios

Teste de usabilidade com usu rios

Teste de usabilidade com usu rios > Introduo

Avaliao formativa (1/3)

Avaliao formativa enderea principalmente o caminho no ciclo de vida estrela

interface em termos de usabilidade.

entre prototipao e desenho / redesenho

Avaliao formativa comea o mais cedo possvel no ciclo de desenvolvimento.

Teste de usabilidade com usu rios > Introduo

Teste de usabilidade com usu rios > Introduo

Tipos de dados obtidos na avaliao

Teste de usabilidade com usu rios > Introduo

Tipos de dados obtidos na avaliao

Teste de usabilidade com usu rios

Identificao inicial dos requisitos da avaliao

Teste de usabilidade com usu rios > Planejamento >

Identificao inicial dos requisitos da avaliao

Teste de usabilidade com usu rios > Planejamento

Identificao dos itens a avaliar

Teste de usabilidade com usu rios > Desenho

Teste de usabilidade com usu rios > Desenho

Seleo dos participantes

Fontes de consulta para caracterizao dos participantes

Os participantes no devem ser pressionados para participar dos experimentos.

Um problema comum o de clientes no prover acesso a participantes representativos.

Teste de usabilidade com usu rios > Desenho

Lista de tarefas dos participantes:

Lista de tarefas para o monitor

Teste de usabilidade com usu rios > Desenho

Definio de protocolos e procedimentos

Teste de usabilidade com usu rios

Teste de usabilidade com usu rios > Implementao

Realizao do teste piloto

Teste de usabilidade com usu rios

Teste de usabilidade com usu rios > Execu o

Teste de usabilidade com usu rios > Execu o

O monitor responsvel pelo bom andamento da sesso de avaliao.

Teste de usabilidade com usu rios > Execu o

Teste de usabilidade com usu rios > Execu o

Se um participante demonstra insegurana e pra, o avaliador pode perguntar:

Teste de usabilidade com usu rios > Execu o

Teste de usabilidade com usu rios > Execu o

Gerao e coleta de dados

Dificuldade: o que constitui erro?

Dificuldade: o que constitui erro?

Tcnicas para gerao de dados qualitativos

Protocolo verbal concorrente (pensar em voz alta)

Anotao de incidentes crticos

Tcnicas para coleta de dados

Anotao em tempo real

Uso de gravao de udio

Instrumentao interna da interface

Tem a vantagem de ser no invasivo e permitir coleta em campo.

Teste de usabilidade com usu rios

Anlise Caractersticas desejadas

Teste de usabilidade com usu rios > Anlise

Teste de usabilidade com usu rios > Anlise

Teste de usabilidade com usu rios > Anlise

Teste de usabilidade com usu rios > Anlise

Acrescente compromisso benchmark 1