Conferncia IADIS Ibero-Americana WWW/Internet 2006

AVALIAO DA USABILIDADE PERCEBIDA: PLATAFORMA DE E-LEARNING MOODLE

Martinha R.F.Piteira
Escola Superior de Tecnologia, Setbal, Portugal

Carlos J. Costa, PhD

ISCTE, Departamento de Cincias e Tecnologias de Informao, Lisboa, Portugal

RESUMO

Este artigo apresenta a avaliao da usabilidade percebida de uma plataforma de e-learning chamada Moodle. Primeiro, so introduzidas algumas consideraes baseadas na reviso da literatura sobre usabilidade e usabilidade percebida no e-learning. Segundo, apresentado um estudo emprico, de avaliao da usabilidade percebida da plataforma Moodle. A avaliao considera aspectos tais como: o Design, Funcionalidades, Facilidade de utilizao, Satisfao e Erros. Os dados da avaliao foram obtidos atravs da aplicao das seguintes tcnicas: questionrios (questionrio de perfil e questionrio de avaliao da usabilidade percebida), anlise de logs e grelha de observao. Finalmente, so apresentados e discutidos os resultados.
PALAVRAS-CHAVE usabilidade percebida, e-learning, avaliao da usabilidade, web.

1. INTRODUO
Nos ltimos anos temos vindo a observar o desenvolvimento de novas tecnologias relacionadas com o ensino colaborativo e distncia. Avanos na performance das redes e no uso alargado da Internet tornou possvel a qualidade do material educacional e a sua disponibilidade a um nmero largo de potenciais utilizadores. Adicionalmente esta tecnologia acelerou o desenvolvimento de materiais educacionais para o ensino distncia oferecido atravs da Internet. Muitas instituies utilizam a web nas suas actividades do dia-a-dia, oferecendo material educacional de diferentes formas para uma audincia extra-muros. Contudo a utilizao da tecnologia no campo da educao vista com cepticismo no que toca eficcia do processo (Fitzelle & Trochim, 1996). A web um ambiente tecnolgico que permite e suporta o processo educacional. Existem muitas razes pelas quais considerada um apropriado ambiente educacional mdio: (i) facilmente acessvel por diferentes grupos de alunos (ii) Suporta mltiplas representaes de material educacional e variadas maneiras de guardar e estruturar essa informao, (iii) poderosa e fcil como sistema de publicao, (iv) Adicionalmente largamente aceite que esta estrutura de hipermdia da web pode suportar o e-learning. Alguns investigadores caracterizam a Web como um ambiente de ensino activo que suporta a criatividade (Becker & Dwyer, 1994). De acordo com (Thuring, et al. 1995) a web encoraja a explorao do conhecimento, comportamento que altamente requerido para o ensino. A organizao associativa da informao na web idntica memria humana e o processo de pesquisa de informao a partir da web apresenta similaridades com as actividades cognitivas. Contudo um espao hipermdia como a web no pode ser considerado, apenas por estas funcionalidades, para ser considerado um ambiente de ensino eficaz. mais apropriado pensar a web como uma poderosa ferramenta que suporta o elearning, se usada de uma forma apropriada (Eklund, 1995; Alexander, 1995), isto porque o processo de aprendizagem depende de outras funcionalidades como a motivao, a experincia anterior, etc.

19

ISBN: 972-8924-20-8 2006 IADIS

O desempenho de qualquer ambiente educacional no pode ser considerado independente destes aspectos. largamente aceite que o ensino eficaz est tambm relacionado com os ambientes educacionais e com as ferramentas que fornecem aos estudantes incentivos para a participao activa no processo de aprendizagem. As caractersticas das ferramentas usadas para suportar a aprendizagem so factores que afectam o processo. Uma das mais importantes caractersticas de qualquer software a usabilidade que permite a eficincia, eficcia e satisfao ao utilizador num determinado contexto de utilizao. Assim a usabilidade de ambientes educacionais est relacionada com o seu valor pedaggico (Kirkpatrick, 1994) e a avaliao da usabilidade parte do processo de modo a estabilizar a sua qualidade. Contudo as tcnicas para avaliao de usabilidade dependem em grande parte das caractersticas do ambiente a avaliar e dos objectivos do estudo de avaliao (Molich et al, 1999). Algumas das tcnicas usadas so a avaliao heurstica, estudos de campo, observao, questionrios, entrevistas, logs, etc. Enquanto existe um largo conhecimento terico e prtico relacionado com o software em geral, no software educacional ainda no esto estabilizadas tcnicas para avaliar o ensino distncia (Squires & Preece, 1994; Avouris, Tselios & Tatakis, 2001). Alguns autores defendem que para alm de tcnicas de avaliao de usabilidade apuradas o que importa avaliar a usabilidade percebida pelo utilizador. Segundo (Amstel, 2004), quando um utilizador realiza uma tarefa eficazmente com satisfao e de uma forma eficiente, pode ser entendido por ele que o sistema usvel, independentemente do tempo de espera para realizar a tarefa. (Villaroel, 2004) refere mesmo que quando a interface de uma pgina web agradvel o tempo de espera parece mais curto, e parece que tudo funciona melhor. Sem dvida que melhora a satisfao do utilizador durante a navegao, o que aumenta a boa predisposio e consequentemente realiza as tarefas melhor, o que faz com que a utilizao da interface seja mais usvel (Manchn, 2002). Norman, (Norman, 2002) afirma que: The surprise is that we now have evidence that pleasing things works better, are easier to learn and produce a more harmonious result. A mente humana est mais predisposta frente s formas mais agradveis. Diversos investigadores (Cheskin, 2000; Nielsen & Norman, 2000; Egger, 2000) destacam que os atributos que caracterizam um sitio web, e mais concretamente o seu grau de usabilidade, incidem de uma maneira significativa nas percepes do consumidor, e por conseguinte no seu grau de confiana. Baseando-nos no antes exposto, relativamente importncia de avaliar a usabilidade percebida pelo utilizador, este artigo apresenta nas seces seguintes a descrio de um estudo emprico de avaliao da usabilidade percebida de um sistema de ensino baseado na Web, chamado de Moodle.

2. OBJECTIVOS DA INVESTIGAO, CONTEXTO E METODOLOGIA APLICADA 2.1 Problemas/Hipteses de Investigao

O presente estudo teve como principal objectivo responder s seguintes hipteses de investigao: A idade afecta a percepo da usabilidade? A experincia computacional afecta a percepo da usabilidade? A experincia profissional afecta a percepo da usabilidade? O desempenho afecta a percepo da usabilidade?

2.2 Contexto do estudo emprico

O teste de avaliao da usabilidade percebida foi realizado no primeiro semestre do ano lectivo 05/06 na Escola Superior de Tecnologia de Setbal. O teste foi realizado com alunos do 1 ano dos cursos de Engenharia: Mecnica Automvel, Mecnica de Produo, Mecnica de Energia e Electrotecnia. A amostra seleccionada foi representativa para os objectivos que se pretendiam alcanar: alunos que no pertencessem rea de informtica e que estivessem menos identificados com a utilizao do computador. O teste de avaliao foi realizado por um total de 37 alunos.

20

Conferncia IADIS Ibero-Americana WWW/Internet 2006

O mesmo realizou-se numa sala de laboratrio, equipada com 12 computadores e acesso Internet. O teste de avaliao decorreu durante uma semana, com os alunos divididos pelos seus respectivos horrios de aulas de laboratrio. Aos alunos apenas foi dito em dias anteriores que iriam realizar um teste de avaliao. Esse teste seria sujeito avaliao e contava para a nota final, e no foram informados de que modo o teste se iria realizar e qual o contedo que iria ser sujeito a avaliao. O teste teve a durao de 2 horas, tempo correspondente durao de uma aula de laboratrio. Antes de iniciarem o teste, foi feito uma introduo aos alunos do que era pretendido, ou seja, que teriam de aceder a um endereo na Internet, e que esse endereo correspondia a uma plataforma de e-learning, e seria atravs dessa plataforma que iriam aprender a nova matria e realizar o teste de avaliao de conhecimentos. Foi fornecido aos alunos o respectivo username e password de acesso. Aps o acesso ferramenta a autora/observadora que estava presente, apenas intervinha o mnimo num limite controlado, de modo a no desvirtuar o objectivo principal, que era simular uma situao real de utilizao de uma plataforma de e-learning. Os alunos no podiam falar verbalmente entre si, apenas o podiam fazer atravs das ferramentas disponveis no sistema, (chat, frum). Foi transmitido aos alunos que no estava estabelecido tempo limite para a realizao da aprendizagem e teste de avaliao, no entanto, o tempo que eles demorassem teria uma influncia directa na nota final. Ou seja, caso demorassem para alm do que seria normal num teste do tipo dado, iria afectar a nota obtida e consequentemente descer essa mesma nota. A matria a aprender consta do contedo programtico da unidade curricular Introduo Informtica. Uma das partes desse contedo o HTML (HyperText Markup Language). A aprendizagem na plataforma foi sobre um dos mdulos do HTML: Tabelas em HTML. Esse mdulo estava disponvel no Moodle, em formato de diapositivo. Os alunos aps efectuarem o seu login no Moodle, tinham de pesquisar o contedo relativo aprendizagem que iriam efectuar, entre vrios contedos, e quando se sentissem preparados deveriam realizar o teste de avaliao de conhecimentos on-line. Esse teste era um teste Quiz, composto por 10 perguntas relativas ao contedo de tabelas em HTML. Se durante a aprendizagem os alunos poderiam interagir entre eles atravs das diferentes ferramentas colaborativas, foram advertidos que enquanto estivessem a realizar o teste Quiz no poderiam utilizar tais ferramentas. Aps a realizao do teste de avaliao de conhecimentos on-line, os alunos deveriam fazer o logout do sistema. No final foram convidados a responder a um questionrio de avaliao de usabilidade percebida, disponibilizado em formato papel.

2.3 Metodologia adoptada

Para a realizao do estudo foram definidas as seguintes etapas, que identificamos na ilustrao 1 abaixo representada:
Recolha de Dados

Caracterizao da Amostra

Teste de Usabilidade (aprendizagem da nova matria e realizao do teste de avaliao)

Questionrio de Avaliao da Usabilidade Percebida

Representao grfica do processo de recolha dados

Os dados do presente estudo foram recolhidos atravs das seguintes tcnicas de avaliao: Questionrio de perfil do utilizador; Grelha de observao, para registar os acontecimentos por sesso; Questionrio de avaliao da usabilidade percebida;

21

ISBN: 972-8924-20-8 2006 IADIS

Anlise das grelhas de avaliao da plataforma, relativamente identificao do desempenho dos alunos no teste Quiz de avaliao de conhecimentos; Anlise de logs da aplicao;

2.3.1 Caracterizao da amostra e perfil de utilizador

Um dos objectivos do presente estudo era a avaliao da usabilidade percebida por alunos que no pertencessem a cursos da rea de informtica. Assim, de acordo com esse pressuposto, a amostra foi constituda por todos os alunos pertencentes aos cursos referidos na seco contexto do estudo emprico. O teste foi realizado por um total de 37 alunos, todos pertencentes ao 1 ano. Para a obteno do perfil foi aplicado um questionrio, de modo a obter informaes tais como: idade, experincia computacional, experincia profissional, entre outros. Baseados no questionrio para caracterizao do aluno, foram definidas as seguintes dimenses: (i) idade, (ii) experincia profissional, (iii) experincia computacional. Para alm das dimenses referidas foi definida mais uma, o desempenho. A dimenso idade permitiu definir dois perfis: alunos mais novos e alunos mais velhos. Para a dimenso experincia profissional foram definidos dois perfis: alunos com experincia profissional e alunos sem experincia. Na dimenso experincia computacional foram definidos os perfis: alunos com menor experincia e os alunos com maior experincia. A dimenso desempenho foi definida em funo do desempenho obtido pelos alunos no teste Quiz de avaliao de conhecimentos, assim, foram definidos dois perfis: alunos com menor desempenho e alunos com maior desempenho.

2.3.2 Descrio do questionrio de avaliao da usabilidade percebida

O questionrio de avaliao da usabilidade percebida foi baseado na literatura existente e composto por 17 questes fechadas, e duas questes abertas, de modo a permitir aos alunos expressar a sua opinio livremente, relativamente aos aspectos considerados positivos e negativos. Essas 17 questes encontram-se agrupadas em seis factores de usabilidade, nomeadamente: (i) Design, (ii) Funcionalidades, (iii) Facilidades de utilizao, (iv) Aprendizagem, (v) Satisfao, (vi) Erros, conforme identificado na tabela 1.

3. ANLISE DE DADOS 3.1 Questionrio de avaliao da usabilidade percebida (questes fechadas)

Para tratamento dos dados foi utilizado o software SPSS (Statistical Package for the Social Sciences). Foram utilizadas diferentes tcnicas estatsticas. Para tratamento dos dados do questionrio de avaliao da usabilidade percebida, foram utilizadas tcnicas de estatstica simples, tais como mdias, desvio padro e erro de desvio padro. De modo a analisar as mdias e encontrar diferenas significativas foi utilizada a tcnica estatstica Student t, que permite efectuar a comparao de mdias para grupos independentes, no caso concreto do estudo emprico, os diferentes perfis de utilizador. Aps anlise das mdias foram identificadas algumas diferenas nas mdias nos diferentes perfis de utilizadores. Na tabela 1, identificamos para cada perfil de utilizadores as mdias com diferenas significativas encontradas.

3.2 Questionrio de avaliao da usabilidade percebida (Questes Abertas)

Nas questes abertas (aspectos negativos e positivos do sistema) foi solicitado aos alunos que identificassem trs de cada que considerassem relevantes. A maioria dos alunos deu resposta a essas questes. Igualmente a maioria desses alunos salientou mais os aspectos positivos que negativos. Apenas alguns alunos listaram aspectos negativos. Nos aspectos positivos muitas das observaes efectuadas podem ser categorizadas em: facilidade de utilizao, interface agradvel e simples de usar, facilidade de compreenso, estrutura da informao, facilidade de aprendizagem e mtodo de estudo. Salientamos algumas das respostas dadas pelos alunos. Respostas relacionadas com a facilidade de utilizao: fcil de utilizar, facilidade de utilizao. Respostas relacionadas com a interface: tem um

22

Conferncia IADIS Ibero-Americana WWW/Internet 2006

aspecto simples e didctico, a interface encontra-se bem apresentada, boa apresentao, interface agradvel. Respostas relacionadas com a Facilidade de compreenso: Fcil compreenso na utilizao do sistema, Fcil compreenso. Respostas relacionadas com a Estrutura de informao: fcil encontrar a informao que necessria, consegue-se encontrar o que necessrio, Informao precisa e concisas. Respostas relacionados com a aprendizagem: Facilidade de aprendizagem, aprendizagem agradvel, aprendizagem eficaz, aprendizagem rpida e flexvel. Por ltimo as respostas relacionadas com o mtodo de estudo:permite aprender a matria em casa, bom mtodo de aprendizagem.
Tabela 1. Identificao das diferenas significativas nas mdias entre perfis de utilizadores.
Experincia Computacional
Questes

Idade Perfil 1 Mais Novos Perfil 2 Mais velhos

Experincia Profissional Perfil 1 Sem 4,00 4,13 Perfil 2 Com 4,83 4,83 5,00

Desempenho Perfil 1 Baixa Perfil 2 Alta

Perfil 1 Menor

Perfil 2 Maior

Gostei de utilizar a interface do sistema A organizao da informao apresentada pelo sistema clara A interface do sistema agradvel de utilizar O sistema tem todas as funcionalidades e capacidades que eu esperava A informao disponvel pelo sistema eficaz na ajuda que d para completar as tarefas O sistema fcil de usar fcil encontrar a informao que preciso A informao como (incluindo mensagens no cran e outra documentao) clara O sistema globalmente fcil de usar fcil aprender a usar o sistema Existe muita documentao que tenho que ler antes de poder utilizar o sistema A informao fornecida pelo sistema fcil de entender Sinto-me confortvel a usar o sistema Consigo completar eficazmente o meu trabalho Na globalidade estou satisfeito com o meu trabalho Quando fao uma seleco errada no sistema, o sistema permite-me voltar atrs e recomear O sistema d mensagens de erros claras que me informam como resolver os problemas

Design

3,92

4,40

4,09

5,00

4,03

Funcionalidades

4,00 4,39 4,83

4,60

Facilidades de Utilizao

4,21

5,00 4,00 4,52

Aprendizagem

2,90

2,13 4,13 4,67 3,92 4,36

Satisfao

4,16 3,68

4,67 4,67

Erros

3,29

4,50

2,92

3,76

Nos aspectos negativos algumas das observaes efectuadas relacionaram-se com o seguinte: as cores, chat e logout do sistema. Algumas das respostas dadas pelos alunos relativamente aos aspectos negativos do sistema: cores utilizadas no sistema em geral, no chat faltam caracteres ou mostra os errados, chat lento, fazer o logout do sistema.

3.3 Anlise aos logs da aplicao

Com a anlise aos logs do sistema pretendemos analisar dois aspectos: que tipo de utilizao os alunos deram

23

ISBN: 972-8924-20-8 2006 IADIS

s ferramentas colaborativas (frum e chat) e qual o mtodo de aprendizagem utilizado. Relativamente ao modo de aprendizagem, verificmos que o mtodo de aprendizagem adoptado foi diferenciado. Parte dos alunos optaram por aprender a matria primeiro, visualizando os diapositivos, e at tomando as suas notas em papel (dado observado presencialmente pela autora/observadora e registado na grelha de observao), e s depois acediam ao teste Quiz de avaliao de conhecimentos, outros, optaram por aceder aos diapositivos e ao mesmo tempo ter a janela do teste Quiz aberta e medida que prosseguiam no estudo da matria iam respondendo s questes relativas matria. Quanto s ferramentas colaborativas, chat e frum, apenas o chat foi utilizado pelos alunos. Nem todos os alunos fizeram utilizao do chat, apenas alguns. O chat foi utilizado pelos alunos, por um lado, para falarem sobre os colegas sobre os mais diversos aspectos, alguns relacionados com a aprendizagem que estavam a realizar, outros de mbito geral e que no estavam ligados aprendizagem. Quanto conversao sobre a aprendizagem, ela consistiu essencialmente em dvidas concretas sobre a matria que estavam a aprender.

3.4 Grelha de observao

A grelha de observao tinha como objectivo registar algum acontecimento observado pela autora relativamente interaco do aluno com o sistema ou alguma dvida colocada. Importa referir que a autora/observadora a partir do momento em que os alunos efectuaram o login no sistema, passou a ter um papel passivo, intervindo o menos possvel. A grelha foi construda tendo em conta os seguintes campos de observao: (i) efectuar o login no sistema; (ii) Pesquisar informao/aprendizagem; (iii) Efectuar o teste de avaliao de conhecimentos; (iv) Efectuar o logout; (v) Comentrios/opinio do observador. Da anlise aos dados da grelha de observao, verificamos que quanto ao ponto (i) todos os alunos registaram com sucesso o login, no se registando nenhuma dificuldade. Quanto ao ponto (ii) e (iii) registmos que alguns dos alunos colocaram questes relacionadas com a matria, assim como, algumas dvidas relativamente navegao entre janelas da aplicao. Quanto ao ponto (iv) foi observado a dificuldade em efectuar o logout. A maioria dos alunos fechou a janela da aplicao e no efectuou o logout. Aps termos inquiridos os alunos, relativamente, ao facto de no fazerem o logout da aplicao, referiram os mesmos que o boto no est visvel e no stio esperado, pelo que entenderam que bastava fechar a janela da aplicao.

4. DISCUSSO DE RESULTADOS
A anlise aos dados foi efectuada de duas formas: (i) anlise usabilidade percebida nas diferentes dimenses e (ii) encontrar diferenas na percepo da usabilidade entre perfis de alunos. Quanto ao ponto (i) os valores das mdias encontradas para cada uma das questes do questionrio e em funo de cada dimenso: idade, experincia profissional, experincia computacional e desempenho, sugerem que a usabilidade percebida da ferramenta Moodle alta. Igualmente as respostas s questes abertas do questionrio sugerem que os alunos tiveram uma boa percepo da usabilidade da ferramenta. Quando analisadas as mdias relativas s respostas fechadas do questionrio, atravs da tcnica student t, verificamos que algumas das diferenas nas mdias so significativas. Assim, para o perfil traado em funo da dimenso idade, verificamos que questo 11 pertencente ao factor: Aprendizagem Existe muita documentao que tenho que ler antes de poder utilizar o sistema, apresenta uma mdia com uma diferena significativa. A mdia encontrada para os utilizadores com menos experincia computacional foi de 2,90, enquanto para os utilizadores com maior experincia computacional foi de 2,13. Pelo que, os utilizadores com menor experincia computacional consideram ter de ler mais documentao antes de poderem utilizar o sistema, enquanto os utilizadores com maior experincia computacional consideram no ser necessrio ler muita documentao para utilizarem o sistema. A diferena significativa de mdia encontrada vai de encontro ao perfil de utilizador em estudo. Os utilizadores com menor experincia computacional esto menos identificados com a utilizao do computador e consequentemente com os recursos por ele disponibilizados. Consideramos assim, que para que os mesmos possam utilizar de forma efectiva o computador e os seus recursos, tenham de antes ler a documentao de suporte utilizao do sistema.

24

Conferncia IADIS Ibero-Americana WWW/Internet 2006

Uma das hipteses em estudo, para este perfil de utilizador, foi: A experincia computacional afecta a percepo de usabilidade? A partir dos resultados obtidos, os mesmos sugerem que a experincia computacional afecta a percepo da usabilidade. Esta concluso validada atravs de estudos realizados com utilizadores e concretamente, com perfis de utilizadores criados em funo da experincia computacional. (Kissel, 1995), no seu estudo The Effect of Computer Experience on Subjective and Objective Software Usability Measures, concluiu que as classificaes relativas avaliao objectiva e subjectiva da performance a maior parte das vezes no correspondiam. Os resultados sugeriram assim, que a experincia computacional dos utilizadores finais podem influenciar a classificao subjectiva do sistema. Relativamente ao perfil traado em funo da idade encontramos diferenas de mdias significativas nas questes 3 e 8; a questo 3 pertencente ao factor Design A Interface do Sistema agradvel de utilizar e a questo 8, pertencente factor Facilidades de Utilizao A informao como (incluindo mensagens no cran e outra documentao) clara. A questo 3 apresenta uma mdia para os utilizadores mais novos de 4,09 enquanto para os utilizadores mais velhos a mdia encontrada foi de 5,00. J a questo 8, apresenta uma mdia de 4,21 para os utilizadores mais novos e 5,00 para os utilizadores mais velhos. Relativamente diferena encontrada entre perfis de utilizadores, mais novos e mais velhos, a mesma validada pelos diversos estudos realizados. (Dias, 2002) concluiu que existem diferenas de desempenho entre os dois perfis de utilizadores. Sendo o desempenho mais baixo nos utilizadores mais velhos. Uma das hipteses em estudo, para este perfil de utilizador, foi: A idade afecta a percepo de usabilidade? A partir dos resultados obtidos, os mesmos sugerem que a idade afecta a percepo da usabilidade. Relativamente ao perfil traado em funo da experincia computacional podemos constatar atravs da tabela 1 que em muitas das questes se encontram diferenas significativas nas mdias. Podemos assim a partir dos resultados, e dando resposta hiptese colocada: A experincia profissional afecta a percepo de usabilidade?, que a mesma se verifica, atendendo a que, a anlise aos dados sugerem que a experincia profissional afecta a percepo da usabilidade. Por ltimo, o perfil traado em funo do desempenho tido pelos alunos, constatamos igualmente pela tabela 1 que foram encontradas diferenas de mdias significativas na quase totalidade dos factores de usabilidade, assim e dando resposta hiptese colocada O desempenho afecta a percepo da usabilidade?, a anlise aos dados sugerem que o desempenho afecta a percepo da usabilidade.

REFERNCIAS
Avouris, N., & Tselios, N., & Tatakis E.C. (2001). Development and Evaluation of a Computer-based Laboratory teaching tool, Journal of Computer Applications in Engineering Education, Vol 9. Becker, D. & Dwyer, M. (1994). Using hypermedia to provide learner control, J. of Educational Multimedia and Hypermedia Dias, Ann., (2002). How Age Affects User Performance on the Web, disponvel em http://hid.fidelity.com/q2202/age.htm Dix, Alan., Finlay, Janet., Abowd, Gregory., Beale, Russel, (2004) , Human-Computer Interaction, Prentice Hall Pearson Fitzelle, G., & Trochim W., 1996. Survey Evaluation of Web Site Instructional Technology: Does it Increase Student Learning? Proc. of Annual Conference of the American Evaluation Association, Atlanta, GA, November 1996 Molich, R., Thomsen, A.D.,Karyukina, B.,Schmidt, L., Ede, M., van Oel, W., & Arcuri, M. (1999). Comparative Evaluation of Usability Tests. Proceedings of ACM CHI99 Conference on Human Factors in Computing Systems, Panels, pp.83-86 Norman, D.A. (2002). User Empowerment and the Fun Factor. Alertbox, July 7, 2002 Squires, D. e Preece, J. (1999). Predicting quality in educational software: Evaluating for learning, usability and the synergy between them. Interacting with Computers. Vol. 11 (1999) 467483. Thuring, M., Mannermann, J., & Haake, J. (1995). Hypermedia and cognition:Designing for comprehension. Communications of the ACM Kirkpatric, D. (1994). Evaluating Training Programs. San Francisco, CA: Berret-Koehler Publisher, Inc. Kissel, G. (1995), The Effect Of Computer Experience on Subjective and Objective Software Usability Measures - artigo disponvel em http://www.sigchi.org/chi95/proceedings/shortppr/gvk_bdy.htm Villiers, R. (2004). Usability Evaluation of an e-Learning Tutorial: Criteria, Questions and Case Study. Proceedings of SAICSIT, pp 284-291.

25