Avaliao heurstica e testes com utilizadores: dois mtodos, dois resultados

Anlise comparada da usabilidade nos stios das televises portuguesas

Miguel Santinho
www.simplicidade.com Setembro 2001

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

Direitos de cpia: No existem quaisquer restries cpia, traduo ou adaptao, parcial ou integral, deste estudo. Porm, se pretender reproduzir, traduzir ou referenciar parte ou todo o trabalho muito apreciaria que fizesse referncia fonte (http://www.simplicidade.com/setembro-2001/), ao autor (Miguel Santinho) e data (Setembro 2001) e me informasse (msantinho@simplicidade.com).
Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

ndice
Prefcio I. Pontos de partida e objectivos II. Metodologias 1. Avaliao heurstica 2. Testes com utilizadores III. Resultados 1. Avaliao heurstica 2. Testes com utilizadores 3. Pistas para outras investigaes IV. Discusso dos resultados 1. O conhecimento de um stio tem influncia na facilidade de uso desse stio? 2. A opinio que os utilizadores expressam sobre a facilidade de uso de um stio tem correspondncia com a forma como utilizam esse stio? 3. Que efeito tm as pginas de entrada (splash-pages)? 4. O design grfico fundamental para facilitar a identificao da informao? 5. O facto de os links serem textuais tem influncia na pesquisa de informao? 6.O tempo de carregamento da pgina tem influncia na procura de informao? 7. Os mecanismos de pesquisa no stio so precisos auxiliares na procura de informao? 8. A utilizao de caixas de seleco para navegao em partes do stio tem influncia na facilidade de uso desse stio? 9. Qual o mtodo mais eficaz para detectar problemas de usabilidade de um stio na Web? V. Concluses principais a) Anexos b) Referncias 4 5 7 7 11 15 15 16 19 20 20 20 21 22 22 23 23 24 25 27 28 30

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

Prefcio
O panorama portugus de Usabilidade tem evoludo bastante nos tempos recentes, decorrente no s de uma divulgao j significativa em rgos de comunicao social, mas tambm de um nmero crescente de livros editados que abordam o assunto e as suas vantagens, bem como de pelo menos trs sites em Portugal exclusivamente dedicados Facilidade de Utilizao. Os artigos de Miguel Santinho, publicados no site Simplicidade.com, tornaram-se rapidamente num Caso de Sucesso, gerando interesse por factores como a profundidade e temas focados, por vezes estudados com uma profundidade e rigor raramente vistos em material de divulgao livre. O estudo que esta pequena introduo prefacia, talvez no o mais exaustivo mas sem dvida o mais interessante, especialmente relevante por dois aspectos principais. Em primeiro lugar, porque foca uma questo no nova, a da maior ou menor validade de resultados obtidos por Anlises Heursticas face a Testes com Utilizadores. O primeiro mtodo, desenvolvido por nomes como Rolf Molich e o mais famoso Jakob Nielsen, baseia-se na ideia de identificar problemas de usabilidade sem os custos de efectuar testes com utilizadores, recorrendo a um conjunto de regras (as Heursticas) com as quais confrontado o sistema em anlise. Este mtodo, rapidamente popularizado pela sua relativa simplicidade, tem sido posto em causa, com argumentos fortes, nos tempos mais recentes. A importncia de comparar os dois portanto elevada, no s em termos tericos como de mercado de consultadoria. O estudo realizado por Miguel Santinho parece apontar para um resultado de certa forma previsvel o da complementaridade dos mtodos (quem foi que disse que a resposta certa reside na zona cinzenta?). Como segundo aspecto principal de relevo, aponto claramente o facto de a anlise se centrar nos sites de estaes televisivas nacionais. Estes sites, que se poderia pensar estarem focados no seu produto, a Televiso, tm por vezes estratgias l portal de informao, repletos de notcias, extremamente lentos mas ricos graficamente1, lanados com grande pompa e circunstncia, e esquecendo tanto o dito cujo produto como principalmente o seu consumidor. Neste estudo essa tendncia (seguida alis por estaes como a CNN ou a BBC, mas de forma mais inteligente) claramente identificada, sendo o resultado de certa forma inesperado: o mais simples dos 3 sites, aquele que mais se foca na televiso e que partida seria considerado o pior (por aspectos como a imagem da instituio), foi o que mais se destacou como mais fcil de utilizar. Um interessante texto, a ler com ateno, e uma mensagem construtiva para quem concebeu cada um desses trs sites coloque-se o utilizador em primeiro lugar, e no h por onde falhar. Joo Pedro Martins Usabilidade.com
1

Revelando uma tremenda ingenuidade perante o Desenho de Interaco na web...

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

I Pontos de partida e objectivos

Este estudo tem como referncia teses principais do trabalho coordenado por Jared Spool, na forma como est exposto no livro Web Site Usability, a Designers Guide. a partir desse trabalho que se estabelecem contactos para agora discutir questes como a utilidade das pginas de entrada, a necessidade de seguir as convenes que provam ser eficientes, a relativa eficcia dos plug-ins ou os tempos de carregamento das pginas. O objectivo deste estudo a comparao de dois mtodos de determinao da facilidade de uso de um stio: a avaliao heurstica e os testes com utilizadores. Que tipo de problemas reala cada um destes dois mtodos? O grau de usabilidade de um stio pode variar consoante o mtodo empregue para o determinar? Qual o mtodo mais fivel? este o ponto de partida. O objectivo pretendido mais o da valorizao da reflexo, o processo, que a concluso ou concluses a que se cheguem. A determinao da usabilidade aqui considerada como um conjunto de prticas (metodologias) de anlise sistemtica da relao (aparente) entre o homem e a mquina, mas que sobretudo uma relao entre indivduos, uma relao predominantemente comunicacional. No procure neste trabalho uma avaliao da usabilidade nos stios das televises portuguesas. No a encontrar de modo algum, uma vez que no foi encomendado, no abarca todas as caractersticas principais destes stios, no se apresentam listas hierarquizadas de problemas e respectivos graus de gravidade em cada stio, no inclui qualquer sugesto para a resoluo de problemas detectados. A recolha de informao foi realizada durante a segunda quinzena de Julho. Os dados recolhidos foram tratados no ms de Agosto. A redaco final decorreu nos primeiros dias de Setembro. Dir-se- que um intervalo de tempo demasiado dilatado. Sem dvida que sim. Para produzir resultados prticos, isto , que as sugestes para correco de problemas tivessem utilidade efectiva tudo teria de ser mais clere. Mas aqui, deliberadamente, no existem propostas para corrigir esses problemas. Por outro lado, este intervalo de dois meses serve para, agora, olhar de novo para os 3 stios e verificar se houve alteraes e que sentido assumem tais modificaes. As mais visveis talvez sejam as da RTP e da TVI. No primeiro caso, durante as sesses de avaliao existia uma pgina de entrada onde o utilizador escolhia uma de duas verses possveis (Flash ou HTML). Esta pgina foi retirada. No caso da TVI passou a existir (de vez em quando) uma pgina de entrada que destaca alguma coisa que a empresa considera muito importante. De inovador nada encontrar neste estudo, com a excepo de um aspecto: uma nova proposta para a determinao do ndice de sucesso de tarefas. 5

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

Normalmente contam para este ndice, entre outras variveis, como o tempo gasto para realizar a operao, o nmero de tarefas realizadas com sucesso e o de tarefas no realizadas. Jakob Nielsen utiliza, alm dessas, um quociente previamente estabelecido para tarefas no completamente realizadas. Proponho que se distinga tambm, dependendo da finalidade do stio, a validade da resposta: se certa ou errada. O utilizador ao encontrar a resposta, aquela que ele considera correcta de acordo com a investigao que faz, pode efectivamente estar a ser induzido em erro. Neste caso o utilizador completa a tarefa com sucesso (na sua perspectiva) mas a concluso a que chega no correcta. Como avaliar esta situao? certo que interessa investigar como o stio guia o utilizador para as respostas que procura. Essa conduo, esse encaminhamento o principal objecto da avaliao da facilidade de uso de um stio na Web. Mas como avaliar uma tarefa que foi realizada com xito (o utilizador est consciente que a sua resposta a correcta) quando no final a resposta deveria ser outra? Esta uma discusso que no tenho visto, at agora, abordada na literatura sobre o tema e que por isso carece, penso eu, de mais reflexo. At porque o explosivo crescimento de stios na Web e o consequente aumento do rudo, tornam cada vez mais complexa a tarefa de encontrar, relacionar e sintetizar a informao que conta, til e verdadeira. um tpico que fica para reflexo, que ultrapassa a discusso sobre se as imagens so ou no pesadas, se a combinao cromtica ou no eficaz, se as imagens tm ou no texto ALTernativo. Conto com o seu contributo para esta discusso.

Miguel Santinho Seixal, Setembro 2001

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

II Metodologias
Na linha dos objectivos e caractersticas deste estudo, adoptam-se dois mtodos largamente conhecidos e experimentados para avaliao da facilidade de uso de stios Web: avaliao heurstica e testes com utilizadores. De entre o leque vasto de ferramentas1 para realizar esta avaliao, estes dois mtodos provam ser os que melhor permitem alcanar os objectivos pretendidos.

Avaliao heurstica
Entende-se por avaliao heurstica o processo de estimar o estado da usabilidade de um stio na Web, confrontando-o com regras bem conhecidas. Desse processo resulta uma classificao baseada no cumprimento dessas regras. Este mtodo de avaliao , no interior da comunidade relacionada com a usabilidade, controverso. Robert Bailey, da Human Factors International argumenta, contra a proposta de Jakob Nielsen de esta ser uma forma barata de avaliar a usabilidade de stios Web, que muitos dos problemas identificados pelos avaliadores atravs do mtodo no so de todo problemas. Com base em 3 estudos recentes (1998-1999) sobre a validade deste mtodo, Bailey reala as concluses a que chegaram: (...) of those identified as usability problems 46% were hits and 54% were false alarms (and about 20% were missed altogether). If we round off the numbers, we could conclude that when a heuristic evaluation is conducted about half of the problems identified will be true problems and about half will not be problems. More specifically, for every true usability problem identified, there will be a little over false alarm (1.2), and there will be about one-half of one missed (.6). If this analysis true, heuristic evaluators tend to identify more false alarms and miss more problems than they have true hits. [http://www.humanfactors.com] Bailey constata que os problemas de usabilidade identificados atravs deste mtodo diferem substancialmente dos identificados pelos testes de performance. Parte deste problema, sugere o mesmo autor, deriva de os avaliadores manterem uma lista de heursticas ultrapassada que nunca foi validada. Por isso no h qualquer evidncia que a aplicao destas heursticas, durante o processo de desenvolvimento de um stio Web, melhor de facto essa interface. 7

Consultar, por exemplo, http://www.best.com/~jthom/usability/.

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

Jakob Nielsen, por outro lado, distingue problemas maiores de problemas menores de usabilidade. Defende que o mtodo de avaliao heurstica bom para detectar ambos os tipos de problemas, ainda que os problemas maiores sejam mais facilmente detectados. No entanto, o resultado pode ser uma lista considervel de problemas menores comparativamente aos maiores problemas detectados. Por isso prope que til considerar um ranking de gravidade dos problemas na anlise heurstica, como forma de relativizar os resultados: Even though major problems are easier to find, this does not mean that the evaluators concentrate exclusively on the major problems. In case studies of six user interfaces (Nielsen 1992), heuristic evaluation identified a total of 59 major usability problems and 152 minor usability problems. Thus, it is apparent that the lists of usability problems found by heuristic evaluation will tend to be dominated by minor problems, which is one reason severity ratings form a useful supplement to the method. Even though major usability problems are by definition the most important ones to find and to fix, minor usability problems are still relevant. Many such minor problems seem to be easier to find by heuristic evaluation than by other methods. [http://www.useit.com/papers/heuristic/usability_problems.html] O que Bailey parece identificar como no-problemas Nielsen identifica como problemas menores de usabilidade, classificando-os numa escala de gravidade resultante de 3 factores: 1. A frequncia com que ocorre o problema: 1) raramente 2) quase sempre 3) sempre 2. O impacto do problema e a facilidade para o utilizador o resolver 1) fcil 2) difcil 3. A persistncia do problema: 1) um problema que os utilizadores podem resolver aps a primeira ocorrncia 2) um problema que ocorre repetidamente A partir dessa correlao determina-se ento a gravidade do problema: 0 - No (ou no h acordo entre os avaliadores) de todo um problema de usabilidade 1 - Apenas um problema cosmtico, no precisa de ser corrigido a menos que se disponha de tempo extra 2 - Problema menor: deve ser dada baixa prioridade resoluo deste problema 3 - Problema maior: deve ser dada alta prioridade resoluo deste problema 4 - Catstrofe: a correco deste problema imperativa. 8

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

Nielsen de modo algum invalida a utilidade dos testes com utilizadores. Este o mtodo por excelncia para a deteco e identificao de problemas de usabilidade. Da mesma forma, Bailey considera que a melhor maneira de encontrar verdadeiros problemas de usabilidade no stio Web, numa fase inicial, recorrendo a heursticas baseadas em investigao, e que estas avaliaes devem ser seguidas de bem concebidos e profissionalmente executados testes de performance. A controvrsia entre estes pontos de vista assenta mais no peso relativo dos resultados que na eficcia ou no do mtodo. Por isso Nielsen prope uma forma de relativizar os resultados encontrados, de maneira a que se distingam tipos de problemas ao passo que Bailey simplesmente os considera noproblemas. Neste estudo so definidas 16 grandes heursticas que contm no total 81 caractersticas (pequenas heursticas):
Heurstica 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Visibilidade do sistema Correspondncia entre o sistema e o mundo real Liberdade e controlo do sistema pelo utilizador Consistncia e standards Preveno de erros Reconhecimento em vez memorizao Flexibilidade e eficincia de utilizao Esttica e design minimalista Ajuda para reconhecimento, diagnstico e recuperao de erros Ajuda e documentao Criao de pedaos de informao Estilo de escrita em pirmide invertida Visibilidade da informao importante evitado o uso gratuito de caractersticas As pginas so perscrutveis Baixos tempos de resposta Caractersticas 10 7 4 8 4 4 7 4 4 9 4 2 5 4 3 2

Tabela 1 Esta grelha de anlise resulta da sntese dos trabalhos de Jakob Nielsen, Jared Spool, Mark Pearrow, Bruce Tognazzini, Steve Krug e da Information & Design, da School of Cognitive & Computing Sciences, Society for Technical Communication, mas tambm da reflexo elaborada pela Comisso Interministerial para a Sociedade da Informao. As diferentes caractersticas tm, naturalmente graus de gravidade distintos. mais grave, por exemplo, para corrigir um problema num formulrio o utilizador ser obrigado a reintroduzir todos os dados do que os links grficos no existirem tambm em texto. Da que tenha criado
Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

uma escala de gravidade (0 a 4) para cada pequena heurstica. Neste exemplo, a gravidade mxima do primeiro problema 4 enquanto que a do segundo 2. Para determinar o ndice de gravidade de cada uma das 16 Heursticas proponho a seguinte frmula:

igH =

gr
i =1

Th

g max
i =1

Th

gr= NA i =1

g max

Th
Onde:

igH - ndice de gravidade de Heurstica gr - gravidade registada de heurstica gmax - gravidade mxima de cada heurstica NA - heurstica no aplicvel Th Total de heursticas

Exemplo: A Heurstica 5 (Preveno de erros) tem 4 heursticas, cujos nveis mximos de gravidade so os seguintes:
heurstica 1 2 3 4 Gravidade Mxima 4 4 3 2 Gravidade Registada 3 2 NA 1

10

Tabela 2 Aplica-se a frmula anterior para determinar a gravidade desta Heurstica: igH = 3 + 2 +1 6 = = 2,4 13 3 2,5 4

Assim, neste caso, o ndice de gravidade da Heurstica 5 2. Ou seja, representa um problema menor ao qual deve ser dada baixa prioridade sua resoluo. Ainda assim, esta concluso deve ser cautelosa. Alguns problemas podem ser de facto graves, apesar de no cmputo global ficarem relativamente atenuados.

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

Uma vez que agora no se trata de apresentar propostas para a resoluo dos problemas esse aspecto pouco significativo.

Testes com utilizadores

Com base no trabalho de Jared Spool, tambm neste estudo pedido a cada utilizador que realize um conjunto de tarefas (5) em cada stio. A os utilizadores procuram responder a questes com graus de complexidade distintos, permitindo desse modo aferir a reaco do sistema a diferentes solicitaes. Spool utiliza tipos de questo diferentes: 1. Simple Facts: the simplest type of question is a single fact retrieval, a question for which there is only one correct answer. 2. Comparison of facts: the user must research two or three facts, then compare them to arrive at the answer. 3. Judgment: require the user to decide whether he or she has found enough information to give a satisfactory answer. 4. Comparison of Judgment: involving both comparisons and judgments. Neste estudo adopta-se uma simplificao destes 4 tipos de questo. A complexidade das tarefas diferencia-se, ento, por 4 nveis: 1. Resposta simples A resposta correcta apenas uma e no oferece dvidas Exemplo: Em que dia e horas passa o filme x? 2. Comparao simples A resposta vlida s pode ser uma e a comparao feita entre elementos da mesma pgina Exemplo: Qual o nome do actor que desempenha a personagem y na sria z? 3. Resposta complexa A resposta vlida s pode ser uma mas tem de ser relacionada com o contexto Exemplo: Qual a notcia em destaque na rea x? 4. Comparao complexa S h uma resposta vlida, mas a comparao feita entre

11

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

elementos de vrias pginas. Exemplo: Que centro de emisso regional abarca o distrito w? A determinao do ndice de sucesso de cada tarefa pode ser aferido pela frmula seguinte:

isT =

3 * C + 2 * E + NR nu

Onde:

- isT - ndice de sucesso de Tarefa - C - respostas certas - E - respostas erradas - NR - tarefas no realizadas - nu - nmero de utilizadores

O ndice de sucesso de tarefa varia entre 1 (mnimo) e 3 (mximo). Esta frmula para determinar o ndice de sucesso difere da de Jakob Nielsen, que prope a seguinte: 12

is =

Ts + Tp.q nt.nu

(Total de tarefas realizadas com sucesso mais total de tarefas parcialmente realizadas multiplicado por um quociente previamente estabelecido para tarefas no completamente realizadas a dividir pelo nmero de tarefas multiplicado pelo nmero de utilizadores.) um clculo que toma em considerao tarefas no realizadas completamente. Ter mais utilidade a sua aplicao em stios de comrcio electrnico, por exemplo, onde um processo de compra pode funcionar correctamente at determinado ponto que impede o prosseguimento da tarefa. Com esta frmula pode encontrar-se esse ponto com mais preciso. Neste estudo, o comrcio electrnico no preponderante (apenas o stio da SIC dispe desta funcionalidade). Ao invs, por se tratarem de stios cujo interesse fundamental a pesquisa de informao (sobre grelhas de programao ou informao noticiosa) necessrio distinguir dois tipos de resposta: resposta certa e resposta errada. Em ambos os casos o utilizador encontrou resposta para a tarefa pedida. Mas nem sempre a resposta correcta. Num stio com as caractersticas destes, a exactido da resposta fundamental. Como podia ser possvel avaliar como parcialmente bem sucedida uma tarefa como a que dia e horas passa o filme x?

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

Outro exemplo: 60% dos utilizadores neste teste responderam nada pergunta o que compraria na Loja da SIC para oferecer a uma criana?. Esta resposta resulta do seguinte: na loja da SIC existem algumas imagens com destaques de produtos para beb e criana, que so links para as respectivas lojas. Os utilizadores no perceberam essas imagens como montra, mas como o interior da loja. Esses utilizadores optaram por no escolher qualquer dos produtos mostrados. A ideia com que ficaram foi que a Loja da SIC tem poucos produtos deste gnero. O que manifestamente falso. O utilizador respondeu questo quando julgou estar de posse da informao toda. A tarefa foi concluda com xito. Se o utilizador encontra uma resposta, que lhe parece correcta, e no o , a concluso que o stio, ou pelo menos parte dele, induz o utilizador em erro. E essa induo que importa tambm ter em conta neste estudo. Por economia de tempo e dinheiro, e porque se pretende encontrar os grandes problemas e no a maior parte dos problemas de usabilidade, so realizados testes com 5 utilizadores. Para permitir que as perguntas fossem sempre as mesmas (tendo em conta o tipo de informao que estes stios disponibilizam) estas sesses decorreram num espao de 3 dias. O perfil dos utilizadores o seguinte:
1. 2. 3. Sexo Utiliza a Internet h mais de um ano Utiliza a Internet: Masculino: 60% Feminino: 40% 100% Todos os dias: 80% 3 vezes/semana: 20% Profissional: 60% Divertimento: 20% Acadmico: 20% Modem 33.6Kbs: 40% Modem 56Kbs: 20% Cabo: 40% RTP: 0% SIC: 100% TVI: 40% Televiso: 60% Outro meio: 40% SIC Algumas vezes/ms: 100% - Divertimento: 40% - Notcias: 40% - Programao: 20% TVI Algumas vezes/ms: 40% - Programao: 50% - Divertimento: 50%

13

4.

Finalidade do uso da Internet

5.

Acede Internet atravs de:

J visitou:

7.

Teve conhecimento dos stios atravs de:

8.

Regularidade e finalidade da visita:

Tabela 3
Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

Foram utilizados dois sistemas informticos: 1. Computador PIII (800MHz) com 128 MB Ram, Monitor de 17, ligao Net por Netcabo, com MS Windows2000 Profissional 2. Computador PI (133 MHz) com 32 Mb Ram, Monitor 17, ligao Net por Modem 33.6 Kbs, com MS Windows98 Em ambos foi utilizado o browser Internet Explorer 6.0. Em nenhuma das sesses foram realizados registos udio ou vdeo.. Em todas as sesses o tempo para realizar cada tarefa foi cronometrado e registado centsima de segundo (neste estudo no so usados estes dados). Para aferir a correspondncia entre o que o utilizador diz de cada stio e o que realmente faz, so colocadas 3 questes no final do teste de cada stio. A o utilizador classifica numa escala qualitativa (muito bom, bom, razovel e fraco) os contedos, o design e a facilidade de uso.

14

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

III Resultados
Avaliao heurstica
A tabela 4 representa os nveis de gravidade dos problemas detectados em cada stio por Heurstica.
Heurstica 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Mdia RTP 59,4 57,1 33,3 30,4 46,2 58,3 21 71,4 n/a 11,5 50 n/a 0 72,7 42,8 0 39,5 SIC 46,8 65,2 50 65,2 38,4 25 47,3 54,5 69,2 38,4 10 0 27,7 72,7 14,2 100 45,2 TVI 34,3 34,7 33,3 42,1 53,8 25 52,6 54,5 38,4 7,6 40 0 5,5 + RTP SIC SIC SIC TVI RTP TVI RTP SIC SIC RTP SIC TVI TVI RTP/TVI RTP SIC SIC/TVI RTP SIC/TVI TVI TVI SIC RTP TVI SIC RTP

15

54,5 RTP/SIC 71,4 60 37,9 TVI SIC

Tabela 4 A partir daqui constri-se a tabela 8 que relaciona o nmero de vezes que em cada stio se verificam os problemas mais e menos graves.
RTP SIC TVI

Mais graves

3 8

Menos graves

Tabela 5

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

Ou seja, os ndices de gravidade (mais graves/menos graves) so, por ordem decrescente:

ndice SIC RTP TVI 1,6 1,0 0,4

Mdia 45,2 39,5 37,9

Tabela 6

Testes com utilizadores

Neste estudo no so analisados os dados relativos ao tempo dispendido por cada utilizador na realizao de cada tarefa. Embora essa informao tenha sido recolhida, no tratada neste estudo. Procura-se, deste modo, encontrar outros indicadores relevantes para o sucesso das tarefas alm do tempo medido. Isto , que outros indicadores nos podem fornecer pistas sobre a maior ou menor usabilidade de um stio, numa sesso com utilizadores? Neste estudo releva-se sobretudo a qualidade da resposta que o utilizador d questo que lhe colocada. Por se tratarem de stios cuja funo predominantemente informativa, a avaliao qualitativa das respostas deve ser um factor preponderante. De uma maneira geral, as tarefas pedidas aos utilizadores tiveram um grau de sucesso considervel:
Sucesso das tarefas 61% Bom (resposta certa) 23% Mau (resposta errada) 16% Muito mau (tarefa no realizada)

16

Tabela 7

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

Os utilizadores realizaram com mais sucesso as tarefas no stio da RTP e foram menos bem sucedidos no da SIC, conforme tabela 8:
ndice de realizao das tarefas por stio Bom RTP SIC TVI Frmulas 4.0 2.0 3.4 Mau 0.6 2.2 0.6 Muito Mau 0.4 0.8 1.0

B=

C
np

M =

E
np

Mm =

NR
np

Onde: C nmero de respostas certas E nmero de respostas erradas NR nmero de questes sem resposta np nmero de perguntas: 5 perguntas por stio.

Tabela 8

17

A tabela 8 mostra ainda que o stio da SIC apresenta um ndice maior de respostas erradas que correctas e que esse ndice largamente superior que o dos outros stios. O stio da TVI o que regista maior nmero de tarefas no realizadas. A tabela 9 mostra os resultados dos questionrios opinio sobre cada stio. Revela que o da RTP aquele cujos utilizadores melhor classificam enquanto que o da SIC e da TVI so classificados como razoveis.
Classificao dos stios segundo opinio dos utilizadores RTP P1 1. Muito Bom 2. Bom 3. Razovel 4. Fraco 1 2 2 0 P2 1 2 1 1 P3 1 1 3 0 P1 0 3 1 0 SIC P2 0 3 1 1 P3 0 1 2 3 P 1 0 3 2 0 TVI P 2 0 3 1 1 P 3 0 1 3 1

Tabela 9 P1 Contedos; P2 Design; P3 Facilidade de uso

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

Frmula para determinar a classificao por questo:

Cp = [(Op1.4) + (Op 2.3) + (Op 3.2) + (Op 4 )] 5

Onde: - Cp Classificao por pergunta - Op Opo Escala: Fraco Razovel Bom Muito bom ||||| 0 3.25 7.5 11.25 15 A tabela 10 mostra que os 3 stios analisados, de acordo com as tarefas pedidas, tm o mesmo grau de dificuldade: 13, numa escala que vai de 5 a 25.
Anlise das tarefas por grau de dificuldade RTP Tarefa Grau de dificuldade SIC TVI

T1 T2 T3 T4 T5 T1 T2 T3 T4 T5 T1 T2 T3 T4 T5 1 2 4 3 3 1 3 4 3 2 1 3 3 2 4

18

Onde:

Tabela 10 Pergunta simples = 1 Comparao simples = 2 Pergunta complexa = 3 Comparao complexa = 4

A tabela 11 compara o ndice de sucesso por tarefa e por stio:

ndice de sucesso por tarefa e por stio RTP Tarefas T1 T2 T3 T4 T5 T1 T2 SIC T3 T4 T5 T1 T2 T V I T3 T4 T5

is

2.2

3.0

3.0

2.4

3.0

2.0

2.6

2.0

2.6

2.0

2.8

2.6

2.6

3.0

1.4

gd

4 13.6

4 11.2

3 12.2

Tabela 11

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

Frmula para calcular o ndice de sucesso do stio:

isS =
Onde: - isS ndice de sucesso do Stio - isT ndice de sucesso por tarefa - nT nmero de tarefas

isT
i =1

nT

nT

Assim podemos construir uma tabela que relaciona o ndice de sucesso por grau de dificuldade.
Grau de dificuldade 1 2 3 4 ndice de sucesso 7.0 8.0 7.9 6.4

19 Tabela 12

Pistas para outras investigaes

Aqui no se relacionou, deliberadamente, o tempo para a realizao de cada tarefa com o sucesso dessa mesma tarefa. Que tipo de relao haver entre o tempo dispendido para realizar uma tarefa e a validade da resposta final? Dentro de que limites o factor tempo fundamental para desempenhar com sucesso uma operao? O que ser mais negativo do ponto de vista da usabilidade: demorar 1 minuto a realizar uma tarefa e responder acertadamente ou demorar 19 segundos a realizar a operao e dar uma resposta errada? Se entender que o primeiro caso mais favorvel ento estou a admitir que o tempo pode no ser o factor principal neste tipo de avaliao.

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

IV Discusso dos resultados

1 Tpico
O conhecimento de um stio tem influncia na facilidade de uso desse stio? O stio da RTP que, partida, nenhum dos utilizadores conhecia, o que apresenta o ndice de sucesso mais elevado. Ao contrrio, o stio da SIC, que todos j conheciam, apresenta o ndice de sucesso mais baixo. Neste caso, o facto de j conhecer o stio no teve influncia no sucesso da realizao das tarefas. Ou se teve, essa influncia foi negativa. O stio da SIC parece corresponder a um dos objectivos anunciados por Jos Alberto Carvalho - director editorial da SIC On-line: Aquilo que eu queria que acontecesse o que est a acontecer. As pessoas no conseguem descobrir o site navegando nele meia hora. Tm que l ir muitas vezes, muitos dias, responder a solicitaes diversas. Queramos provocar reaces de surpresa nas pessoas. A pior coisa que pode acontecer criar muita expectativa e depois desvend-la em trs passagens com o rato pelos menus essenciais do site. Isso ali no acontece. Este objectivo o de todos quantos desenvolvem stios para a Web: que o utilizador descubra as enormes potencialidades e vantagens que o stio oferece, ainda que na realidade possa ser um stio modesto, parco em informao original e nica na Web. Aposta-se ento em layouts complexos que dificultam tarefas simples, para mostrar que o stio grande. O resultado dessa ambio pode revelar-se desastroso para o sucesso do stio.

20

2 tpico
A opinio que os utilizadores tm acerca da facilidade de uso de um stio tem correspondncia com a forma como utilizam esse stio? Neste trabalho, a opinio que os utilizadores tm depois de usar um stio, para realizar as tarefas pedidas, corresponde exactamente ao ndice de sucesso, conforme mostra a tabela 13: Relao ndice de sucesso/classificaorelativa facilidade de uso por stio
Relao ndice de sucesso/classificao relativa facilidade de uso por stio is RTP SIC TVI 13.6 11.2 12.2 Classificao Bom Fraco Razovel

Tabela 13
Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

Uma vez que no foram recolhidos dados que permitam aferir a expectativa acerca de cada stio antes de realizar as tarefas, no possvel concluir se a expectativa dos utilizadores coincide com a opinio aps a realizao das tarefas. Contudo, pelas entrevistas realizadas antes e depois de cada sesso, o stio da RTP seria o que, partida, os utilizadores consideravam mais fraco sob todos os pontos de vista. Ou seja, a opinio aps o uso do stio, um uso orientado para tarefas, pode ser um indicador a considerar numa anlise usabilidade de um stio. Ideia contrria parece ser sugerida por Jared Spool: We asked users to pick which site they liked the best. While some people chose the site they were most successful with, others did not. These users liked a site because of its content, rather than the sites ability to help them find information. Mas h uma diferena subtil. Neste estudo a questo colocada no foi qual o stio que prefere, mas sim como avalia o stio quanto facilidade de uso. evidente que a pergunta implica que o utilizador tenha uma ideia sobre o que o fcil ou o difcil de usar. Os contornos dessa ideia sero certamente diferentes entre os utilizadores. Creio, no entanto, que aps a realizao das tarefas, a ideia de facilidade de uso mais ou menos coerente entre todos: mais fcil de usar o stio em que cada um pensa ter cumprido com mais eficincia as vrias tarefas. Provavelmente, se a questo colocada fosse a mesma que Spool refere os resultados seriam muito semelhantes.

21

3 Tpico
Que efeito tm as pginas de entrada (splash pages)? Dos trs stios analisados, apenas o da RTP utilizava (actualmente j no existe) uma pgina de entrada, que mais no era do que a possibilidade de optar por uma verso do stio em HTML ou em FLASH. Nestas 5 sesses nenhum dos utilizadores optou pela verso em Flash e em mdia cada um hesitou cerca de 2 segundos por qual das duas optar. 3 justificaes para no optar pela verso Flash: - no usei a verso em Flash porque estava procura de informao - Porque dizia instalar Flash e eu no queria instalar nada - Porque no sei o que Flash e j ouvi falar em HTML Talvez motivada por observaes deste gnero a RTP eliminou a pgina de entrada, que se mostrava desnecessria e apenas fez perder tempo para realizar a primeira tarefa neste stio. Por outro lado, a verso em Flash era igual verso em HTML. A nica diferena residia em algumas animaes do stio serem realizadas com Flash. A informao era a mesma. Em alguns aspectos (cones com texto, por exemplo) a verso em Flash parecia ser melhor que a verso HTML.

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

Para quem no domina estas terminologias que sentido faz perguntar se quer a verso HTML ou FLASH? Que lhe diz isso? Pura e simplesmente nada. prtica corrente sugerir que a utilizao de Flash deve ser em alternativa. Mas essa alternativa deve ser construda de modo a no criar embaraos ao utilizador com jargo tcnico. Neste estudo a opo pela verso HTML foi de 100%. No parece justificar-se a existncia de uma 2 verso do stio. Agora j no existe essa opo e as duas verses foram sintetizadas, o que, tudo indica, melhora em alguns pontos o uso do stio.

4 Tpico
O design grfico fundamental para facilitar a identificao da informao? Os dois stios com maior elaborao grfica, SIC e TVI, no foram os mais bem sucedidos na realizao das tarefas. Os utilizadores utilizaram predominantemente os links textuais, nos menus dos stios, e no tanto os links nas imagens. No parece haver evidncia, ou pelo menos uma correlao, que o design grfico tenha influncia na pesquisa de informao. Apesar disso, este um aspecto que dever ser aprofundado posteriormente. A essa concluso chegou tambm Jared Spool: But as far as we can tell, graphic design is completely unrelated to success at finding information on web sites. 22

5 Tpico
O facto de os links serem textuais tem influncia na pesquisa da informao? Nos 3 stios os utilizadores sempre clicaram em links textuais, sejam texto ou imagens contendo texto. No stio da RTP onde coexistem cones e texto, separados, os utilizadores tiveram mais dificuldade em , procurar a informao nos primeiros do que nos segundos. Algumas das tarefas que no foram realizadas devem-se m nomenclatura adoptada. Isto , o que representa o link Que Coisa existente no stio da TVI? Era precisamente a que se encontrava a resposta a uma das tarefas, e nenhum utilizador seguiu esse link. Parece, ento, que mais relevante que o link ser imagem ou texto, fundamental que seja explcito, sugestivo, quanto ao que est do outro lado.

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

6 Tpico
O tempo de carregamento das pginas tem influncia na procura de informao? Apesar de os stios da SIC e da TVI serem os que mais tempo demoram a carregar as pginas, no parece ter influenciado os utilizadores. Mas importa distinguir duas situaes: a) quando a pgina demora mais tempo a carregar e o utilizador no est totalmente convicto que a resposta est nessa pgina, cancela o processo e volta atrs, utilizando o back do browser; b) o utilizador espera que a pgina carregue completamente se est convencido que a informao que procura est a. Ento, o tempo de carregamento das pginas parece ter mais relevncia quando o utilizador no tem uma tarefa definida, apenas surfa no stio. Da que a proposta de Jared Spool tenha toda a actualidade.: This implies that sites aimed at information retrieval need to be designed differently from sites aimed at surfing. No se pode concluir, porm, que os stios onde a procura de informao a tarefa predominante possam ter tempos de carregamento das pginas muito longos. O que se conclui que o utilizador est disponvel para esperar mais algum tempo (quanto tempo exactamente um problema que fica por resolver) quando est convencido que a informao est a, do que: 1. quando no est convencido disso; 2. quando passeia pelo stio. 23

7 Tpico
Os mecanismos de pesquisa no stio preciosos auxiliares para encontrar a informao? Dos 3 stios analisados, apenas o da RTP no dispe de pesquisa interna. Nesse aspecto, tendo em conta que este stio revela os ndices mais altos de sucesso na realizao de tarefas, parece no precisar deste tipo de funcionalidade. A utilizao deste mecanismo foi mais frequente no stio da SIC que no da TVI, e os resultados das pesquisas foram os seguintes:
Resultados da utilizao dos mecanismos de pesquisa interna SIC Com sucesso 3 Sem sucesso 4 Com sucesso 0 TVI Sem sucesso 5

Tabela 16
Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

Apesar do mecanismo de pesquisa da SIC ter sido o mais utilizado, o que ter como causa provvel a maior incoerncia da estrutura deste stio, o ndice de sucesso neste caso superior: 0.4, enquanto que no da TVI 0. Estes indicadores tambm reflectem o tipo de erro produzido pelo mecanismo de pesquisa. Um mecanismo de pesquisa interna difcil de configurar correctamente, isto , como fazer para que o primeiro resultado seja o que o utilizador efectivamente procura? A construo destes mecanismos altamente complexa e exige avultados recursos financeiros e tcnicos, que nem sempre esto disponveis. Por outro lado, boas mensagens de erro so preferveis a nenhumas mensagens de erro. Por exemplo, no stio da SIC o utilizador ao pesquisar por O Alquimista depara-se com a seguinte mensagem de erro: Pesquise por palavras com mais de duas letras por favor. Embora, neste caso, a mensagem no faa sentido, porque O Alquimista o ttulo do livro, o utilizador sempre refinou a pesquisa para Alquimista. Neste estudo, os mecanismos de pesquisa da SIC e da TVI contriburam muito pouco para a realizao das tarefas pedidas.

8 Tpico
A utilizao de caixas de seleco para navegao em partes do stio tem influncia na facilidade de uso do stio? vulgar o emprego de caixas de seleco para navegao no stio ou em parte dele, apesar destes elementos servirem predominantemente para introduo de dados durante o preenchimento de formulrios. A utilizao destes mecanismos revelou-se um quebra-cabeas em certas circunstncias, por 2 motivos principais: - o funcionamento incorrecto. A articulao da informao entre as caixas est mal feita; - o utilizador perde a noo do contexto por duas razes: i. as opes no esto todas visveis. A sua visibilidade depende da aco do utilizador. ii. No claro para o utilizador que a pgina que contm a informao mudou na sequncia da sua opo. Neste caso, a soluo menos eficaz foi a da RTP que conjuga 4 caixas de seleco, ao passo que a da , TVI tem duas e a da SIC apenas tem uma. 24

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

9 Tpico
Qual o mtodo mais eficaz para detectar problemas de usabilidade de um stio na Web? Neste estudo, os dois mtodos so complementares. A avaliao heurstica mostrou-se mais eficaz na identificao de maior nmero de problemas e por conseguinte possibilita (se fosse o caso) a sugesto de correces cirrgicas. As sesses com utilizadores foram profcuas na deteco de problemas durante a realizao de tarefas especficas. Alguns tipos de problemas detectados pelos dois mtodos podem ser co-relacionados, como o caso dos mecanismos de pesquisa ou dos links para a pgina principal, entre outros. No caso dos mecanismos de pesquisa, que no existe no stio da RTP utilizando o mtodo heurstico, , detecta-se o seguinte resultado:
Stio SIC TVI Eficincia 42,1% 47,4%

Tabela 14 Esta pequena diferena deve-se a que a hierarquizao dos resultados produzidos pela pesquisa no stio da TVI mais clara do que no da SIC. Apesar disso, ambos tm um grau de eficincia abaixo dos 50%. Se compararmos com os ndices de sucesso das pesquisas realizadas pelos utilizadores temos o seguinte quadro:
Stio SIC TVI Eficincia 42,1% 47,4% ndice de Sucesso 0,4 0

25

Tabela 15 Apesar da relativa contradio entre os resultados produzidos pelos dois mtodos, o que importa reter que ambos apontam para a existncia de problemas nos dois mecanismos de pesquisa. Mas enquanto que possvel sugerir correces a partir da avaliao heurstica - por exemplo, a hierarquizao dos resultados deve ser clara -, j no o a partir dos resultados das sesses. Excepo para a correco de problemas pontuais, como permitir a pesquisa por frases que contenham artigos definidos. No segundo caso, link para a pgina principal, tambm podemos co-relacionar os resultados de ambos os mtodos. Na avaliao heurstica foi detectado que em nenhum dos 3 stios existe uma indicao clara do link para a pgina principal. Por outro lado, durante as sesses com utilizadores, o stio da RTP foi o que recebeu maior nmero de cliques no logtipo como forma de voltar ao incio, seguido pelo da TVI. O stio da SIC apresenta maior inconsistncia no comportamento do logtipo: nem sempre um link para a pgina
Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

inicial. Este stio foi o nico em que 40% dos utilizadores tiveram de recorrer barra de endereo do browser como forma de voltar pgina inicial. Apesar de o logtipo funcionar como link para o incio, deve existir um outro link de forma explcita, que auxilie o utilizador a voltar ao princpio sempre que precise. Tambm neste exemplo os dois mtodos produzem resultados complementares: o que ambos identificam como um problema, o mtodo heurstico permite, alm disso, apontar com mais preciso a origem e uma forma de o resolver. Frank Gaine2 conclui: Expert evaluation looks at the complete system from many perspectives and reveals potential problems such as inconsistency, support for different ways of working, visibility of information and language use. It also enables elements such as error messages to be thoroughly investigated. In a user test, many potential error messages simply do not appear because no users make the error. At que ponto a inconsistncia ao nvel do tipo (fonte) pode ser prejudicial no uso de um stio? Depende certamente da gravidade dessa inconsistncia. Numa avaliao heurstica esse tipo de problema facilmente detectvel. Mas como detectar esse problema numa sesso com utilizadores? No possvel, a menos que seja demasiado evidente. Mas esse tipo de evidncias raro. Ser prefervel distinguir o alcance e utilidade de cada um dos mtodos. O recurso avaliao heurstica necessrio em casos como o aparecimento de um novo concorrente, fraco nvel de vendas, reclamaes de clientes ou monitorizao do stio. Por outro lado os testes com utilizadores, que exigem mais recursos, so preferveis no momento do redesign de um stio, da introduo de novas caractersticas ou, igualmente, em caso de queixas dos clientes ou no processo regular de monitorizao do stio. De uma forma ou de outra, os dois mtodos no produzem resultados iguais. O que um pode indicar com pouca gravidade, outro pode indicar como muito grave, apesar de em alguns casos poder existir uma concordncia entre as observaes. A opo por um ou por outro (ou at por outros mtodos3) deve ser ponderada de acordo com a fase em que se encontra o projecto e com o contexto com que se relaciona.

26

User Testing v Expert Evaluation, May 16, 2001, http://infocentre.frontend.com/servlet/infocentre?access=no&page=article&rows=5&id=153

2 3

The Usability Methods Toolbox, James Hom, http://www.best.com/~jthom/usability/

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

V Concluses Principais
Os dois mtodos, assim comparados, fornecem indicadores teis quanto facilidade de uso de certas reas dos stios analisados. Outras metodologias poderiam ter sido empregues, identificando problemas mais especficos, mas esse trabalho de investigao ficar para uma prxima oportunidade. O esforo de desenvolvimento de projectos para a Web deve incluir, sistematicamente, avaliaes do estado da usabilidade e, dentro das possibilidades, implementar o que dessas anlises surgir como recomendvel. Porm, os prprios mtodos de investigao evoluem constantemente; surgem novas formas de abordagem dos problemas; tipos de problemas que deixam de o ser; problemas geralmente considerados graves que passam a ser problemas menores. Os suportes tecnolgicos tambm se desenvolvem, surgem novos desafios, e tudo isso conta para o enriquecimento da experincia do utilizador. a constante ateno, estudo e experincia que alimenta continuamente a disciplina que investiga um aspecto da relao entre o homem e a mquina, no sentido em que essa relao , afinal de contas, uma relao entre pessoas. Assim sendo, so relativas quaisquer recomendaes que se possam fazer para melhorar um stio na Web. Dependem de vrios factores que apenas se podem fixar para uma anlise terica, mas que na prtica mudam constantemente. Nada deve ser dado por adquirido. O que hoje vlido pode no o ser amanh. Mais: pode at ser prejudicial manter por um tempo longo uma soluo que hoje se confirma como acertada. Mais que quantificar problemas, realizar clculos estatsticos, produzir nmeros, importa relevar aspectos qualitativos dificilmente quantificveis, radicados na sensibilidade e no bom senso. Entendendo estas caractersticas como resultantes de trabalhos de investigao na rea, baseadas quer na experincia individual quer na da comunidade envolvida neste domnio, com uma grande disponibilidade para aprender com os erros e as propostas de outros.

27

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

Anexos

1. Formulrio com tarefas a realizar, disponvel em www.simplicidade.com durante a realizao dos testes. 2. Edio posterior de cada sesso. Introduo das observaes recolhidas durante a sesso. 3. Relatrio com os dados introduzidos pelo utilizador e notas posteriores sobre cada sesso.

28

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

4. Grelhas de avaliao heurstica (pgina 1 de 16) aps observao e registo: SIC, RTP e TVI

29

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

Referncias
Alguns stios sobre usabilidade:
Em portugus www.usabilidade.com www.usabilidade.net mega.ist.utl.pt/~ic-ihm/ www.labiutil.inf.ufsc.br/ Em ingls www.usableweb.com www.hcibib.org/hci-sites/ www.useit.com www.xerox.com www.usablesites.com www.usableweb.com www.humanfactors.com www.uie.com www.microsoft.com/usability/ www.infodesign.com.au/ www.argus-acia.com/ www.ibm.com/ibm/easy/ www.universalusability.org/ degraaff.org/hci/ www.asktog.com/

30

Alguns trabalhos de referncia:

Em portugus SANTOS, Leonel Duarte dos, AMARAL, Lus Alfredo Martins do, A presena das Cmaras Municipais portuguesas na Internet, Universidade do Minho, 2000 E-Government em Portugal, A Oferta Digital do Estado POrtugus, Vector21, www.vector21.pt, 2001 - Em ingls NIELSEN, Jakob, Usability Engineering, San Diego, California, Academic Press, 1993, ISBN 0-12-518406-9

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com

Avaliao Heurstica e Testes com Utilizadores: dois mtodos, dois resultados

NIELSEN, Jakob, Designing Web Usability, New Riders, 1999, ISBN 1-56205-810-X NORMAN, Donald A., The Design os Everyday Things, New York, Double-day Books, 1990, ISBN 0-385-26774-6 NORMAN, Donald A., The Invisible Computer, Cambridge, Massachusetts: MIT Press, 1998, ISBN 0-262-14065-9 RUBIN, J., Handbook of Usability Testing: How to Plan, Design, and Conduct Effective Tests, New York, John Wiley and Sons, 1994, ISBN 0-471-59403-2 SPOOL, Jared, et. al., Web Site Usability: A Designers Guide, New York, Morgan Kaufmann Press, 1997,ISBN 1-558-60569-X FAULKNER, C. The essence of Human-Computer Interaction, Hertfordshire, UK, Prentice Hall Europe, 1998, ISBN 0-13-751975 PEARROW, Mark, Web Site Usability Handbook, Rockland, Massachusetts, InterCity Press, 2000, ISBN 1-58450-026-3 JOHNSON, Jeff, GUI Bloopers, Donts and Dos for Software Developers and Web Designers, San Francisco, California, Morgan Kaufmann Publishers, 2000, ISBN 1-55860-582-7 KRUG, Steve, Dont Make me Think, A Common Sense Approach to Web Usability, Indianapolis, Indiana, Macmillan, 2000, ISBN 07897-2310-7 WARE, Colin, Information Visualization, Perception for Design, San Francisco, California, Morgan Kaufmann Publishers, 1999, ISBN 1-55860-511-8 31

Miguel Santinho | www.simplicidade.com | msantinho@simplicidade.com