AVALIAO DA USABILIDADE EM AMBIENTES VIRTUAIS DE APRENDIZAGEM: UTILIZANDO UM FRAMEWORK EMPRICO Apesar dos avanos das tecnologias eletrnicas envolvidas

na educao distncia mediada por computador (e-learning1), no existe uma metodologia consolidada de avaliao da usabilidade dos ambientes virtuais de aprendizagem (AVA), utilizados como ferramenta de suporte a estas atividades. O contexto particular destes ambientes onde so considerados aspectos relacionados eficcia pedaggica, a interao e a usabilidade, no permitem a utilizao de apenas um mtodo de avaliao, pois alguns critrios avaliados tratam, por exemplo, da satisfao do usurio ou da sinergia entre usurio e ambiente durante a execuo de tarefas. Neste artigo, apresentam-se os resultados obtidos da utilizao de um framework de metodologias visando avaliar a usabilidade e a satisfao do usurio durante a interao com quatro diferentes ambientes virtuais de aprendizagem. O propsito dos AVA apoiar o processo de aprendizagem e para tanto devem considerar o modelo pedaggico aplicado pelos instrutores e a forma como os treinandos aprendem, com o objetivo de oferecer modelos de interao to naturais quanto possveis, evitando que os usurios gastem mais tempo interpretando a interface do que executando tarefas relacionadas ao processo de ensino-aprendizagem. As caractersticas de usabilidade dos AVA, devem permitir a correta manipulao do ambiente e, principalmente, que tarefas sejam perfeitamente executadas, atingindo objetivos especficos, eficientemente e satisfatoriamente, dentro do contexto do treinamento. Squires and Preece (xxxx), argumentam que deve existir uma sinergia entre o AVA e o processo de ensinoaprendizagem, pois o nvel de compreenso e assimilao de um assunto afetado pela profundidade do contedo, sua organizao e como apresentado e manipulado durante a interao. Segundo Queiroz, (2001) citando Downton, (1991), os mtodos de avaliao de usabilidade podem ser analticos ou empricos. Os mtodos empricos subdividemse em informais (observao do usurio) e formais (ensaios elaborados formalmente, teste de usabilidade (thinks aloud), questionrios e entrevistas). Como terceira possibilidade, citada a avaliao heurstica (inspeo da usabilidade), na qual um avaliador (geralmente especialista) inspeciona a interface do usurio de acordo com um conjunto de atributos de usabilidade. Deve-se considerar quais so as metas do processo de avaliao, diz Queiroz, (2001), se uma avaliao formativa (formative evaluation) ou avaliao somativa (summative evaluation) da interface de usurio. Aplicando os conceitos de Scriven, (1967), ao contexto da interao usurio-computador, uma avaliao formativa visa o aprimoramento da interface como parte de um processo interativo e tem como meta principal a verificao de quais aspectos especficos so satisfatrios ou deficientes e de como tal conhecimento pode implicar a otimizao do projeto da interface, assegura Queiroz, (1996). Em contrapartida, uma avaliao somativa da mesma interface enfocar uma anlise de sua qualidade global, visando uma tomada de deciso ou a emisso de um parecer dentro de um dado ngulo de viso, p.ex., decidir pela compra de um dentre um grupo de produtos ou opinar sobre as chances de competitividade deste produto em um mercado que disponibiliza outros produtos com interfaces com aplicaes "similares".

Outros mtodos de teste incluem a avaliao passo a passo (pluralistic usability walkthrough), investigao contextual (contextual inquiry), percurso informal (informal walkthrough), percurso visual (visual walkthrough), percurso cognitivo (cognitive walkthrough), captura automtica de indicadores quantificveis diretamente da aplicao (automatic logging from application), Focus Group, avaliao da esttica e uso de padres e diretrizes de projeto e tambm, o mtodo GOMS metas, operadores, mtodos e regras de seleo (goals, operators, methods and selection rules). Diferentes mtodos de avaliao revelam diferentes problemas. Usam-se mtodos de inspeo para a familiarizao com o sistema avaliado e para guiar na seleo das tarefas do usurio. Ainda, testes empricos com usurios trazem tona novos problemas que as inspees falharam em encontrar. Inspees, por outro lado, permitem avaliaes mais amplas das interfaces do usurio do que as tarefas prselecionadas. Em suma, os objetivos gerais de qualquer processo de avaliao de interfaces usurio-computador visam: A avaliao das potencialidades do projeto; A avaliao dos impactos causados pelas decises de projeto; O diagnstico de problemas relativos ao projeto. Independentemente do tipo de interface, do hardware e software considerados, do estgio do projeto, da presena ou ausncia de fatores humanos na avaliao, da abordagem metodolgica adotada e do tipo de dados coletados, conforme afirmam Lea, (1998) e Dix, (1998) citados em Queiroz, (2001). No contexto da abordagem de avaliao, uma tcnica ou uma combinao de tcnicas poder ser adotada, a fim de que o processo seja conduzido segundo os interesses do avaliador, afirma Queiroz, (2001). Desta forma recomendvel o uso dos mtodos de inspeo e testes do usurio em conjunto quando possvel. Usabilidade A norma internacional ISO 9241-11, (1998), define usabilidade como a extenso na qual um produto pode ser utilizado por especficos usurios para atingir determinadas metas com eficincia, eficcia e satisfao num contexto especfico de uso. A eficcia significa a preciso e completude com as quais o usurio atinge determinadas metas. Eficincia significa os recursos gastos para atingir a eficcia e satisfao significa livre de desconforto e atitudes positivas no uso do produto. Segundo Queiroz, (2001), a usabilidade de um produto no somente um atributo deste, um atributo da interao com o produto num contexto de uso. Um produto pode, desta forma, ter diferentes nveis de usabilidade quando usado em diferentes contextos, ento o contexto deve ser claramente definido para as avaliaes. O contexto inclui os usurios, suas metas, tarefas e equipamentos, bem como o ambiente fsico e social no qual o produto usado, conforme ilustrado na Figura 1. Figura 1: Avaliao de usabilidade. Fonte: Norma ISO 9241-11 Objetivo Usurio s Tarefa : Ambiente : Equipamento Contexto de uso Eficcia Produt o Eficinci a Satisfa o Medidas de usabilida

Para especificar e mensurar a usabilidade necessrio identificar as metas do produto e dividir eficincia, eficcia e satisfao em atributos verificveis e mensurveis. Usualmente necessrio fornecer pelo menos uma medida para cada componente de usabilidade. Nielsen, (1993) define usabilidade com a ajuda de cinco atributos de usabilidade: [1] Aprendabilidade; [2] Eficincia; [3] Facilidade de memorizao; [4] Preveno aos erros e [5] Satisfao subjetiva. Aprendabilidade significa que novos usurios devem facilmente aprender a usar o sistema. Eficincia significa que o sistema deve ser eficiente ao uso uma vez que o usurio aprendeu a utiliz-lo. Facilidade de memorizao refere-se a no necessidade de um novo treinamento, aps um perodo sem utiliz-lo, para executar as funes disponveis na interface grfica. Preveno de erros significa que o sistema deve ter uma baixa taxa de erros e os usurios devem facilmente recuperar de possveis erros e satisfao considera o conforto e grau de aceitao do sistema por seus usurios e por outras pessoas afetadas pelo seu uso. No modelo de Nielsen, mostrado na Figura 2, a usabilidade parte da utilidade do sistema, o qual parte da aceitabilidade prtica e aceitabilidade do sistema. Figura 2: Framework de Nielsen para usabilidade. Fonte: Nielsen, (1993)

Aceitabilida de social Aceitabilida de do sistema Utilidade Custo Compatibilid ade Confiabilidad e

Utilidade

Aceitabilida de prtica

Usabilidade

Fcil de aprender Eficiente de usar Fcil de relembrar Poucos erros Agradvel

A identificao de problemas de usabilidade em interfaces do usurio no deve ser o objetivo final de uma avaliao, e sim, um sistema redesenhado que contemple os critrios de usabilidade do sistema, permitindo aos usurios alcanar seus objetivos, com satisfao. Objetivos comuns para avaliao de usabilidade incluem, de acordo com Karat, (1997): Testar se os usurios esto abeis para realizar suas tarefas com o sistema; Testar se o sistema atinge metas de usabilidade; Testar, em relao aos concorrentes, a aceitabilidade do sistema; Desenvolver ideias para novos produtos ou novas verses; Encontrar problemas no uso do sistema; Encontrar dificuldades de uso que devem ser explicadas aos usurios no treinamento; Desenvolver as aptides dos projetistas de interface do usurio.

A aplicao de uma variedade de mtodos de avaliao de usabilidade aplicvel no processo de desenvolvimento de um sistema, visto que, usabilidade um conceito multidimensional que deve ser observado de muitas maneiras, afirma Karat, (1997). Diferentes mtodos servem para diferentes propsitos de avaliao 3

e o resultado destas avaliaes deve demonstrar o quo facilmente os usurios conseguem realizar suas tarefas e auxiliar os desenvolvedores no entendimento de porque alguns usurios obtm sucesso na realizao das tarefas e outros fracassam. SELEO DE MTODOS PARA AVALIAO DA USABILIDADE De acordo com a norma ISO-13407, a escolha do(s) mtodo(s) de avaliao depende de restries de tempo, recursos financeiros, o estgio de desenvolvimento do sistema e do domnio da aplicao. Bodker & Madsen, (1998), listam cinco caractersticas que afetam esta seleo: O propsito da avaliao; o Entender o contexto atual e as prticas futuras o Gerar interfaces alternativas para o projeto o Testar uma soluo em particular O conhecimento do contexto de uso; o Artefatos, tempo, ambiente, meios de comunicao, normas da organizao O acesso ao local de trabalho; Os recursos disponveis para a avaliao; o Tempo, pessoas, equipamentos, oramento A disponibilidade de prottipos; o Verso beta, prottipos em papel, descrio conceitual.

Assumindo que os usurios devem participar da avaliao, Wixon & Wilson, (1997), listam algumas perguntas que devem ser respondidas na seleo do mtodo mais adequado avaliao: Quais so as metas dos testes? Qual a importncia de capturar o pensamento do usurio? Qual a importncia de simular o ambiente de trabalho do usurio? Que medidas so necessrias? Que consideraes prticas, tais como tempo, esforo e acessibilidade aos equipamentos precisam ser considerados?

Na bibliografia consultada (colocar as referncias) alguns mtodos de avaliao de usabilidade tm sido freqentemente utilizados quando o sistema avaliado um AVA, entre eles destacam-se: Testes de Usabilidade: so tcnicas etnogrficas (identificam os requisitos), nas quais os usurios interagem com um produto ou sistema, em condies controladas, para realizar uma tarefa, com objetivos definidos, em um determinado cenrio, visando a coleta de dados comportamentais. Nielsen, (1993). Os mecanismos de avaliao mais comumente empregados em testes de usabilidade so: Observaes, Uso de Questionrios, Entrevistas Verbalizao de Procedimentos, Interao Construtiva, Ensaio Retrospectivo, Captura Automtica diretamente da aplicao, Discusses em Grupo, Feedback do usurio. Pluralistic Usability Walkthrough: um mtodo que combina elementos de testes de usabilidade e inspees de usabilidade. As sesses envolvem participantes de trs grupos: usurios representativos, desenvolvedores do produto e profissionais de usabilidade que juntos avaliam a usabilidade do 4

sistema analisando painis impressos (telas) e realizando algumas tarefas definidas com antecedncia. Bias, (1994). Investigao Contextual: Este mtodo permite obter informaes do usurio no contexto da realizao de sua tarefa em seu local de trabalho. O objetivo obter informaes atravs da observao do usurio realizando sua tarefa e depois lhe entrevista. Beyer & Holtzblatt, (1998). Avaliao Heurstica: Mtodo de avaliao informal, onde especialistas em usabilidade comentam a respeito do projeto de uma interface em relao a um conjunto de princpios (heursticas). Estatsticas comprovam que o mtodo encontra 75% dos problemas de usabilidade. Nielsen (1992). Jacob & Nielsen, Molich Avaliao Heurstica Participatria: Muller et al., (1998), ampliaram o mtodo de avaliao heurstica com a adio de heursticas orientadas ao processo e selecionando usurios para atuar como especialistas no domnio da tarefa junto com o grupo de avaliadores, permitindo considerar como o sistema pode contribuir para os objetivos e experincias humanas, nas reas da habilidade, agradabilidade ao uso, interao com o usurio, qualidade do trabalho e privacidade. O processo de avaliao ocorre dentro dos mesmos padres da avaliao heurstica. Cognitive Walkthrough: um mtodo de inspeo de usabilidade focado na facilidade de aprendizagem por explorao, onde o usurio supe o que fazer atravs de pistas que o sistema apresenta. O processo guia o avaliador a considerar o processo mental do usurio em detalhes ao invs de avaliar as caractersticas da interface. Lewis et al., (1990), Polson et al., (1992), Wharton et al., (1994) e Lewis & Wharton, (1997). GOMS Goals, Operators, Methods e Selection Rules: um modelo para previso de desempenho de usurios treinados e experientes, Card et al., (1983), e pode ser utilizado para realizar previses qualitativas e quantitativas de como usurios habilidosos iro utilizar um sistema proposto. John, (1995). Focus Groups: um mtodo apropriado quando o objetivo explorar com maior profundidade as consideraes pessoais dos usurios aps se relacionarem com determinados produtos ou servios. So reunidos, aps os testes de usabilidade os usurios de teste, os avaliadores e especialistas para juntos discutirem as tarefas, as impresses, dificuldades, pontos positivos e negativos do sistema. Serve como atividade de fechamento do processo de avaliao e por seu carter informal-moderado, o mtodo permite obter informaes alm daquelas obtidas nos testes de usabilidade.

Recomendaes para a Seleo de Mtodos de Avaliao de Usabilidade Existem vrios fatores que afetam a seleo de mtodos de avaliao apropriados para certas situaes, pode-se citar: as metas da avaliao, o tipo de sistema, versatilidade dos usurios, funcionalidades do sistema ou seu prottipo e recursos disponveis (financeiros, tempo, disponibilidades de usurios e especialistas). A Tabela XXX, apresenta algumas orientaes para a seleo de mtodos de avaliao de usabilidade em vrias situaes. Tabela XXX: Orientaes para a seleo de mtodos de avaliao de usabilidade
CARACTERSTICAS Objetivos da avaliao Testes de comparao MTODO RECOMENDADO Teste de usabilidade, cognitive walkthrough, GOMS

Gerao de novas ideias Teste de usabilidade, contextual walkthrough

Testes de aprovao Tipo de produto Software

Teste de usabilidade, contextual walkthrough, guidelines review Teste de usabilidade, contextual walkthrough, visual walkthrough, avaliao heurstica, cognitive walkthrough Teste de usabilidade, informal walkthrough, visual walkthrough,, cognitive walkthrough Inspees Pluralistic usability walkthrough Teste de usabilidade Mnimo: Inspees Mdio: Pluralistic usability walkthrough Muito: Testes de usabilidade Inspees, se os especialistas esto disponveis Teste de usabilidade, informal walkthrough, visual walkthrough, cognitive walkthrough Teste de usabilidade Teste de usabilidade, contextual walkthrough, GOMS Todos os mtodos apropriados Testes de usurios

Produto inteligente Funcionalida de do prottipo Recursos disponveis Especificaes Prottipo em papel Prottipo funcional Tempo e dinheiro

Especialistas em usabilidade Atributos avaliados Facilidade de aprendizagem Facilidade de memorizao Eficincia Tratamento de erros Satisfao do usurio

Processo de seleo dos Ambientes Virtuais de Aprendizagem Para a seleo dos AVA, alguns requisitos funcionais e no funcionais foram explicitados e foram utilizados na ferramenta de comparao de caractersticas de AVAs disponvel em http://www.edutools.info/feature_list.jsp para realizar a seleo dos AVAs para o projeto, so elas: Ferramentas de comunicao sncronas e assncronas Ferramentas de apoio produtividade Ferramentas de envolvimento de usurios Ferramentas de administrao do treinamento Ferramentas de desenvolvimento de contedo Ferramentas de avaliao online da aprendizagem Plataforma de software e hardware exigidas Custo de aquisio e licenciamento

A ferramenta Edutools, aps a especificao dos requisitos que sero utilizados na comparao e seleo dos AVAs, realiza automaticamente o processo de comparao e indica qual (is) ambientes virtuais de aprendizagem contemplam os requisitos selecionados. Neste projeto foram indicados os seguintes ambientes virtuais: MOODLE - http://www.moodle.org.br/ CLAROLINE - http://www.claroline.net/ ATUTOR http://atutor.ca/ ILIAS - http://www.ilias.de 6

Estes AVAs foram ento instalados em um servidor previamente preparado e configurados de acordo com as exigncias dos testes de avaliao de usabilidade aos quais foram submetidos. Procedimentos de Avaliao dos AVA Selecionados Os procedimentos adotados neste projeto sero os indicados pelo Protocolo Experimental para Observao da Interao (PEOI), em desenvolvimento no LIHM por Aguiar, (2009b), que fornece um conjunto de etapas para a coleta e anlise dos dados obtidos com a aplicao dos mtodos selecionados. Decidiu-se focar em 3 dimenses dos procedimentos de avaliao: Interface homem-mquina e aspectos de usabilidade, satisfao do usurio e aspectos lingsticos e pedaggicos. Assim os principais objetivos das avaliaes sero: Avaliar a usabilidade da plataforma: Sero utilizadas as tcnicas de Avaliao Heurstica, Teste de Usabilidade e Focus Group, onde o foco ser a satisfao do usurio e as funcionalidades disponibilizadas, atravs da anlise da apresentao da interface do ambiente, o desenvolvimento de tarefas comuns gesto de cursos online, os recursos multimdia e a eficincia e eficcia da plataforma (ajuda ao usurio, exerccios, atividades, feedback, desempenho). Nesta fase a avaliao geral do ambiente ser sob a tica do instrutor e do treinando. Avaliar a satisfao do usurio com a plataforma: Com este objetivo pretende-se avaliar a percepo do usurio final e estimar suas necessidades atravs de comentrios e sugestes. A satisfao do usurio em conexo com todos os aspectos da plataforma nos permitir conhecer as necessidades reais dos usurios em relao tecnologia e os problemas enfrentados para seu efetivo emprego como recurso de suporte ao processo de ensino-aprendizagem online. Avaliar o suporte da plataforma aos aspectos lingsticos e pedaggicos: Nesta dimenso pretende-se avaliar se os recursos tecnolgicos disponibilizados pelo ambiente so adequados para desenvolver programas de capacitao de melhor qualidade, utilizando modelos pedaggicos modernos, que possibilitem alavancar o desempenho final dos treinandos.

O PEOI agrega informaes oriundas dos planos de teste e recomendaes apresentados na literatura, Mayhew, (1999); Dumas & Redish, (1993); Nielsen, (1994), realizando as adaptaes necessrias para avaliao de produtos informatizados. organizado em seis etapas compostas por processos que so detalhados em atividades. Cada etapa est associada a um ou mais objetivos e/ou resultados que devem ser alcanados aps sua execuo. A realizao de uma etapa consiste em executar um conjunto (ou subconjunto) de processos e de atividades que a compe. Segue uma breve descrio das etapas e processos que compem o PEOI, segundo Aguiar, (2009b). Etapa 1: Planejamento do Ensaio de Avaliao: tem por objetivo caracterizar o produto em avaliao, seu contexto de uso e seus usurios, assim como iniciar uma reflexo sobre o processo de avaliao de uma forma geral: equipe de avaliao, mtodos de avaliao, necessidade de treinamento, etc. Esta etapa composta por dois processos que podem ser realizados paralelamente: 7

Processo 1.1: Conhecimento do produto e seu contexto de uso: agrupa atividades de consultar: os clientes, a descrio do produto, os usurios e os especialistas, a fim de obter informaes diversas, considerando aspectos distintos, sobre o produto e seu contexto de uso. Quando possvel, a observao do processo interativo entre o usurio e o produto pode ser considerada uma rica fonte de conhecimento. Processo 1.2: Definio do plano do ensaio de avaliao: rene atividades que direcionam a elaborao de um plano inicial para o experimento, considerando informaes sobre o ensaio de avaliao, a equipe de avaliao, o universo amostral, a tarefa a ser realizada com o produto e aspectos gerais (gerenciais). Algumas atividades associadas a este processo so: definir objetivo do experimento, definir os mtodos de avaliao a serem adotados, identificar os avaliadores e usurios participantes, identificar a necessidade de realizar treinamento, etc.

Na tabela 5, a seguir, a etapa 1 e seus processos so detalhados, visando demonstrar como ocorreram e quais resultados foram obtidos durante processo de avaliao dos AVA. Tabela 5: Descrio da etapa 1 do Protocolo Experimental para Observao da Interao durante o processo de avaliao dos AVA Etapa Planejamento Ensaio Avaliao: 1: Produto a ser avaliado: Ambiente Virtual de do Aprendizagem de Contexto de uso: So softwares que auxiliam na gesto de cursos acessveis via web, que auxiliam instrutores no gerenciamento de contedos para seus treinandos e na administrao do curso, permite acompanhar constantemente o progresso dos treinandos e enquanto ferramenta de EaD, complementa as atividades presenciais. Usurios: Instrutores, treinandos, tutores presenciais e virtuais, administradores de sistemas, gestores. Equipe de avaliao: Especialistas do LIHM. Mtodos de avaliao: Avaliao Heurstica, Teste de Usabilidade e Focus Group. Processo 1.1: Os ambientes virtuais foram instalados no LIHM para os Conhecimento do testes de usabilidade e avaliao heurstica, tambm produto e seu contou-se com a experincia prtica do autor deste contexto de uso relatrio no uso do ambiente Moodle, e ainda, a consulta a diversos artigos cientficos que tratam do assunto de avaliao de usabilidade destes ambientes. Os sites das instituies mantenedoras dos ambientes ofereceram diversas informaes relevantes. Processo 1.2: Objetivo do experimento: Verificar e comparar os Definio do recursos e ferramentas disponibilizadas pelos ambientes. plano do ensaio Avaliar a usabilidade e medir a satisfao dos usurios de de avaliao teste. Mtodos de avaliao: Avaliao Heurstica, Teste de Usabilidade e Focus Group. Avaliadores: Especialistas do LIHM. Usurios participantes: 6 engenheiros eletricistas com experincia docente, 2 especialistas em ambientes virtuais 8

 Etapa 2: Treinamento: quando necessrio, pode-se realizar treinamento com a equipe de avaliao e/ou com o universo amostral, a fim de familiarizar os envolvidos com o produto, seu contexto de uso, ferramentas ou mtodos de avaliao. Sua realizao , portanto, opcional. Esta etapa composta por dois processos, opcionais, que podem ser realizados paralelamente: Processo 2.1: Treinamento da equipe de avaliao: consiste na execuo do treinamento com a equipe de avaliao (necessidade identificada na etapa anterior) de acordo com a estratgia de treinamento estabelecida (tambm na etapa anterior). Processo 2.2: Treinamento do universo amostral: consiste na execuo do treinamento com o universo amostral (necessidade identificada na etapa anterior) de acordo com a estratgia de treinamento estabelecida (tambm na etapa anterior). Na tabela 6, a etapa 2 e seus processos so detalhados, visando demonstrar como ocorreram e quais resultados foram obtidos durante processo de avaliao dos AVA. Tabela 6: Descrio da etapa 2 do Protocolo Experimental para Observao da Interao durante o processo de avaliao dos AVA Etapa 2: Treinamento Processo 2.1: Treinamento da equipe de avaliao Processo 2.2: Treinamento do universo amostral - Durante esta etapa no foi necessria a realizao de treinamentos especficos, pois os avaliadores j possuam conhecimento da utilizao do laboratrio de usabilidade, do protocolo experimental e dos processos que envolvem a realizao de testes de usabilidade. - O autor deste relatrio realizou treinamento especifico visando conhecer os procedimentos para preparao do laboratrio de usabilidade, recebeu orientao na criao dos documentos que norteiam todo o processo de avaliao (plano de avaliao, questionrio pr e psteste, roteiro de tarefas e ficha de observao). Tambm o desenvolvimento de estudo sobre tcnicas de avaliao ajudou no entendimento dos processos. - Os usurios receberam instrues de como os procedimentos de avaliao ocorreriam, quais os objetivos e quais os resultados esperados. Em relao aos AVA, eles no receberam nenhum tipo de treinamento.

Etapa 3 - Elaborao e Validao do Ensaio de Avaliao: objetiva estruturar o ensaio de avaliao e elaborar o material a ser utilizado no ensaio considerando a avaliao com especialista e com os usurios. A estrutura e o material so validados com a realizao do processo 4.2 em carter de teste piloto. Esta etapa pode ser entendida como um refinamento/detalhamento da Etapa 1, sendo composta por trs processos, que devem ser realizados de forma seqencial interativa, ou seja: os processos 3.1 e 3.2 so realizados, ciclicamente , at que se obtenha o material e o plano do ensaio adequados para a realizao do experimento real, s ento, o Processo 3.3 realizado: Processo 3.1: Elaborao do material da avaliao: congrega atividades relacionadas gerao de material para a avaliao com o especialista e com o usurio, para tanto considera a definio da coleta 9

de dados (tipo de dados, meio de coleta, etc.), dos recursos necessrios, entre outros. Processo 3.2: Realizao de teste piloto (validao e ajustes): consiste na realizao do processo 4.2 em carter experimental a fim de validar o material elaborado e o plano do ensaio de avaliao definido. Quando necessrio, ajustes so realizados para adequao do material e plano diante dos resultados obtidos com o teste piloto (processo 3.1). Processo 3.3: Recrutamento de usurios de teste e agendamento das sesses de teste: possui as atividades relacionadas a contatar os usurios de teste e agendar com os mesmos uma data e um horrio para a realizao da avaliao. Na tabela 7, a etapa 3 e seus processos so detalhados, visando demonstrar como ocorreram e quais resultados foram obtidos durante processo de avaliao dos AVA. Tabela 7: Descrio da etapa 3 do Protocolo Experimental para Observao da Interao durante o processo de avaliao dos AVA Etapa 3 - Elaborao e Validao do Ensaio de Avaliao Processo 3.1: Elaborao do material da avaliao Processo 3.2: Realizao de teste piloto (validao e ajustes) Processo 3.3: Recrutamento de usurios de teste e agendamento das sesses de teste Nesta etapa elaboramos os seguintes documentos: - Ficha de observao de tarefas ( duas verses) - Questionrio pr-teste (duas verses) - Questionrio ps-teste ( trs verses) - Roteiro das Tarefas de Teste ( trs verses) - Termo de aceitao das condies de realizao do teste - Termo de Compromisso - Termo de sigilo dos usurios Todos estes documentos foram avaliados e validados por especialistas em testes de usabilidade e no protocolo experimental e encontram-se na verso final, em anexo a este documento. Realizaram-se dois testes pilotos, o primeiro, realizado pelo autor deste relatrio, visando correes no roteiro das tarefas de teste e cronometragem do tempo para realizao das tarefas. O segundo, no laboratrio de testes de usabilidade, com a participao de especialista e do autor e tendo como usurio, profissional docente com formao em cincia da computao, visando correes no roteiro das tarefas de teste e cronometragem do tempo para realizao das tarefas. Foram recrutados 6 engenheiros eletricistas, alunos de doutorado, com experincia docente para atuarem como usurios nos testes de usabilidade e membros do Focus Group. Foram recrutados 4 especialistas em usabilidade do LIHM para a realizao dos testes de Avaliao Heurstica. Etapa 4 - Conduo do Ensaio e Coleta de Dados: consiste na execuo do planejamento do ensaio de avaliao considerando as perspectivas dos especialistas e dos usurios, resultando na coleta dos 10

dados relativos avaliao. Esta etapa composta por dois processos que podem ser realizados em paralelo: Processo 4.1: Avaliao com especialista: rene atividades relacionadas realizao de inspees, avaliaes heursticas, aplicaes de guias, entre outros. Tem por objetivo possibilitar a aquisio de um diagnstico do produto sob o ponto de vista de especialistas. Este processo acontece para cada tcnica (ou padro) definida para a avaliao com o especialista. Processo 4.2: Avaliao com usurio: rene atividades relacionadas realizao de observao de usurios interagindo com o produto em avaliao, sondagem da satisfao do usurio, delineamento do perfil dos usurios, entre outros. Tem por objetivo possibilitar a aquisio de um diagnstico do produto sob o ponto de vista de seus usurios. Este processo acontece para cada usurio participante do experimento (universo amostral). Na tabela 8, a etapa 4 e seus processos so detalhados, visando demonstrar como foram executados durante o processo de avaliao dos AVA.

Tabela 8: Descrio da etapa 4 do Protocolo Experimental para Observao da Interao durante o processo de avaliao dos AVA Etapa 4 - Conduo Os ensaios aconteceram em um mesmo dia onde os do Ensaio e Coleta usurios responderam o questionrio pr-teste, de Dados receberam instrues sobre o processo, realizaram a Processo 4.1: leitura do roteiro de tarefas, realizaram o teste sob Avaliao com observao de dois avaliadores, responderam o especialista questionrio ps-teste e finalmente apresentaram suas Processo 4.2: impresses a respeito do ambiente avaliado. Avaliao com usurio A coleta de dados aconteceu atravs de gravao de vdeo, para posterior verificao dos especialistas, a observao direta no laboratrio de avaliao, atravs do documento Ficha de observao e finalmente os questionrios. A avaliao com especialista aconteceu em um nico dia e utilizou o questionrio ps-teste para nortear o conjunto de atributos que seriam avaliados. Etapa 5 - Tabulao e Anlise de Dados: tem por objetivo estruturar e organizar os dados coletados para posterior anlise a fim de obter informaes sobre caractersticas do produto (e seu contexto de uso) que dificultam o processo interativo e favorecem a ocorrncia de erros humanos ou levam os usurios insatisfao ou desconforto. Esta etapa composta por dois processos a serem realizados seqencialmente: Processo 5.1: Organizao dos dados coletados: consiste em organizar todos os dados coletados ao longo do experimento, considerando a avaliao com especialistas e usurios a fim de facilitar a anlise dos mesmos. 11

 Processo 5.2: Anlise dos dados coletados: agrupa atividades relativas aplicao de tcnicas para anlise dos dados com o propsito de identificar as falhas, inconsistncias, inadequaes, sugerir melhorias, definir uma priorizao na correo das falhas, assim como fornecer um parecer sobre o produto em avaliao. Na tabela 9, a etapa 5 e seus processos so detalhados, visando organizar os dados coletados de forma a permitir sua posterior anlise. Tabela 9: Descrio da etapa 5 do Protocolo Experimental para Observao da Interao durante o processo de avaliao dos AVA Etapa 5 - Tabulao e Anlise de Dados Processo 5.1: Organizao dos dados coletados Processo 5.2: Anlise dos dados coletados Os dados coletados esto distribudos em vdeos gravados durante as avaliaes, nas anotaes realizadas pelos avaliadores na Ficha de observao e tambm nos questionrios pr e ps-testes. Perfil dos usurios: Homens, entre 20 e 45 anos, formados em Engenharia Eltrica com ps-graduao, com experincia no uso de computadores e internet de mdia a alta com frequncia diria. Sem experincia em ambientes virtuais de aprendizagem. Descrio da execuo dos testes: Os avaliadores apresentaram-se tranqilos, concentrados e confortveis, concluram os testes com falha/erro, no solicitaram ajuda externa, no aprovaram o teclado e a conexo via VNC e apontaram algumas correes necessrias nas rotinas das tarefas. Resultados dos testes: Tempo mdio teste Claroline : 4min Consideraes do avaliador1: Aspecto visual do ambiente aceitvel, com razovel facilidade para acessar os recursos instrucionais. O ambiente no apresenta ferramenta de busca ao contedo interno acarretando dificuldade para localizar informaes e comandos, no possui caixa de ferramentas auxiliares, possui ajuda em nvel de operao ou contextual e o projeto visual pode melhorar (combinao de cores). Consideraes do avaliador2: Os pontos positivos ressaltados pelo avaliador foram: O aspecto visual da interface, facilidade em localizar comandos ou informaes, ajuda contextual boa e o ambiente foi considerado til s atividades comuns de ensino e aprendizagem. Os pontos negativos que se destacaram foram: A terminologia dos elementos da interface no so claros, o ambiente no valida dados inseridos, as informaes de ajuda foram consideradas insuficientes, o dilogo do ambiente com o usurio foi considerado inadequado e o nvel de experincia em informtica exigido para utilizar o ambiente foi considerado avanado. 12

Descrio da execuo dos testes: Os avaliadores apresentaram-se tranqilos, concentrados e um pouco ansiosos, concluram os testes com falha/erro, solicitaram ajuda externa, no aprovaram o teclado e apontaram algumas correes necessrias nas rotinas das tarefas. Resultados dos testes: Tempo mdio teste ILIAS: 14min Consideraes do avaliador1: Aspecto visual do ambiente pode melhorar, com razovel dificuldade para acessar os recursos instrucionais, mistura de lngua portuguesa e inglesa na interface, a ferramenta frum confusa, o dilogo entre ambiente e usurio deve melhorar, o ambiente no apresenta ferramenta de busca ao contedo interno acarretando dificuldade para localizar informaes e comandos, o ambiente no valida dados inseridos, no possui ajuda em nvel de operao ou contextual e o projeto visual satisfatrio. Consideraes do avaliador2: Os pontos positivos ressaltados pelo avaliador foram: O aspecto visual da interface, facilidade em localizar comandos ou informaes e o ambiente foi considerado difcil de ser utilizados nas atividades comuns de ensino e aprendizagem. Os pontos negativos que se destacaram foram: A terminologia dos elementos da interface fora do contexto, o ambiente no valida dados inseridos, as informaes de ajuda foram consideradas insuficientes, o dilogo do ambiente com o usurio precisa melhorar e o nvel de experincia em informtica exigido para utilizar o ambiente foi considerado alto. Consideraes do especialista: Ambiente Claroline: Processo de interao e vocabulrio simples, validao dos dados inseridos no existe, as informaes de ajuda so suficientes, razoavelmente fcil encontrar informaes e comandos, aspecto visual adequado, o dilogo ambiente/usurio precisa melhorar, a experincia necessria para utilizar o ambiente foi considerada baixa e foi considerado til para uso como ferramenta de apoio ao processo de ensino-aprendizagem. Ambiente ILIAS: Processo de interao e vocabulrio precisam melhorar, validao dos dados inseridos no existe, as informaes de ajuda so insuficientes, razoavelmente fcil encontrar informaes e comandos, aspecto visual adequado, o dilogo ambiente/usurio precisa melhorar, a experincia necessria para utilizar o ambiente foi considerada alta e foi considerado satisfatrio para uso como ferramenta de apoio ao processo de ensino-aprendizagem, no possui ferramentas de ajuda no prprio ambiente. 13

 Etapa 6 - Apresentao dos Resultados do Ensaio de Avaliao: Objetiva definir a forma, a mdia e o contedo presente no relato do experimento (externo para o cliente; interno para a equipe de avaliao), assim como a elaborao do mesmo. Esta etapa composta por dois processos a serem realizados de forma seqencial: Processo 6.1: Definio da elaborao do relato do ensaio: consiste na identificao de como o relato do ensaio deve ser elaborado em termos de formato, contedo, mdia, etc. Processo 6.2: Preparao dos relatos do ensaio: consiste na elaborao do relato de acordo com o estabelecido no Processo 6.1. Percebeu-se com estes testes que pessoas com baixa experincia em utilizar aplicativos web e algumas ferramentas da web 2.0 como fruns, chat, upload e download de arquivos, no se sentem vontade durante a operao dos ambientes de aprendizagem. Fica provado a necessidade de realizar atividades de treinamento tanto para treinandos quanto para instrutores, antes da utilizao destes ambientes. Tambm ficou claro a necessidade de adequar a linguagem da interface ao domnio dos usurios e tambm fornecer ajuda contextual s operaes comuns da interao. Manuais do usurio e wizards devem existir no ambiente de forma a auxiliar os usurios durante a realizao de suas tarefas. O ambiente deve ter a interface totalmente em lngua portuguesa e o administrador deve utilizar todos os recursos disponveis no ambiente para facilitar a interao. Acredita-se que a utilizao de padres de navegao encontrados nas redes sociais e, em sites de grande popularidade pode ajudar na configurao de ambientes de aprendizagem mais atraentes e fceis de utilizar. A adoo de um padro esttico, de layout e navegao foi comentado pelos usurios de teste como relevantes no processo de aprendizagem do uso do ambiente e na correo das aes durante a interao. As opes de menu oferecidas no ambiente devem ser de acordo com o perfil dos usurios (administrador, instrutor ou treinando), pois houveram momentos nos testes onde os usurios se confundiram e tentaram realizar aes que estavam fora do escopo dos testes e do seu perfil como usurio de teste. Deve ser realizado um estudo sobre as interfaces disponibilizadas pelo ambiente, buscando aproximar e adequar as caractersticas de interao e navegao ao perfil profissional e a experincia em informtica dos usurios, requisitos bsicos para a aceitao ou rejeio do ambiente como ferramenta educacional. Houve comentrios positivos em relao s ferramentas disponibilizadas pelos ambientes, quando os usurios perceberam a utilidade das mesmas no processo de comunicao e troca de contedos entre os participantes do treinamento ( frum, chat, repositrio, vdeo aulas). 8. REFERNCIAS BIBLIOGRFICAS BAILEY, J.E, PEARSON, S.W.; Development of a tool for measuring and analyzing computer user satisfation. Management Science - INFORMS: Institute for Operations Research. Arlington. VA.USA.1983.

14

BASTIEN, J. M. C. & SCAPIN, D. L.; Evaluating a user interface with ergonomic criteria. International Journal of Human-Computer Interaction, 7, 105-121.1995. CARD, S. K.; MORAN, T. P. & NEWELL, A.; The psychology of human-computer interaction. Hillsdale, NJ: Lawrence Erlbaum Associates.1983. CHAN, S.; ROCHA, H. V.; Estudo Comparativo de Mtodos para Avaliao de Interfaces Homem-Computador. Instituto de Computao IC. Relatrio Tcnico IC-96-05 UNICAMP.1996. COX K. & WALKER D.; User Interface Design. Singapore Prentice Hall Ltd.1993. CUOMO, D.L. & BOWEN C.D.; Understanding usability issues addressed by three user-system interface evaluation techniques. Interacting with Computers 6, pp. 86108.1994. DE SOUZA, C.S. et al.; Projeto de Interfaces de Usurio Perspectivas Cognitivas e Semiticas, 1999. [0n-line] Disponvel em http://www.dimap.ufrn.br/~jair/piu/JAI_Apostila.pdf. Acesso em 05/09/2011. DESURVIRE, H. W.; Faster, cheaper!! Are usability inspection methods as effective as empirical testing? In Nielsen, J., & Mack, R. L. (Eds.), Usability inspection methods, 173-202. New York, NY: John Wiley & Sons.1994. DIX, A.; FINLAY, J.; ABOWED, G. & BEALE, R.; Human-Computer Interaction. Prentice Hall Europe, 2 Ed. Hertfordshire, 1998. DOWNTON, A.; Evaluation Techniques for Human-Computer Systems Design. In: Andy Downton (Ed), Engineering the Human-Computer Interface. McGraw-Hill Book Company (UK)Ltd. London, 1991. ERICSSON, K. A. & SIMON, H. A.; Protocol analysis: Verbal reports as data. Cambridge, MA: The MIT Press.1984. HACKMAN, G. S. & BIERS, D. W.; Team usability testing: Are two heads better than one? Proceedings of the Human Factors Society 36th Annual Meeting, 12051209. Santa Monica, CA: HFES.1992. HANSEN, M.; Ten Steps to Usability Testing. Proceedings of the 9th annual international conference on Systems documentation, 135-139. ACM Press. New York. 1991. ISO 9241-11:1998; Ergonomic requirements for office work with visual display terminals (VDTs) -- Part 11: Guidance on usability. KARAT, C.M.; A comparison of user interface evaluation methods. In Nielsen, J., & Mack, R. L. (Eds.), Usability inspection methods, 203-233. New York, NY: John Wiley & Sons.1994. KARAT, C.M.; CAMPBELL, R. L. & FIEGEL, T.; Comparison of empirical testing and walkthrough methods in user interface evaluation. Proceedings of CHI 92, 397-404. New York, NY: ACM.1992.

15

KARAT, J.; User-centered software evaluation methodologies. In M. Helander, T. K. Landauer, & P. Prabhu (Eds.). Handbook of Human-Computer Interaction (pp. 689-704). Elsevier Press: New York. 1997. KENNEDY, S.; Using video in the BNR usability laboratory. SIGCHI Bulletin, 21, 2, 92-95. Reprinted in Baecker, R. M., Grudin, J., Buxton, W. A. S., & Greenberg, S. (Eds.) (1995), Readings in human-computer interaction: Toward the year 2000, 182-185. 2nd ed. San Francisco, CA: Morgan Kaufmann Publishers. (1989). KUNIAVSKY, M.; Observing the User Experience: A Practitioner's Guide to User Research.Paperback. ISBN 1558609237 .2003. LEWIS, C. & WHARTON, C.; Cognitive walkthroughs. In Helander, M. G., Landauer, T. K., & Prabhu, P. V. (Eds.), Handbook of human-computer interaction, 717-732. 2 ed. Amsterdam.1997. LEWIS, C.; POLSON, P.; WHARTON, C. & RIEMAN, J.; Testing a walkthrough methodology for theory-based design of walk-up-and-use interfaces. Proceedings of CHI 90, 235-242. New York, NY: ACM.1990. LEWIS, C.; Using the "thinking-aloud" method in cognitive interface design. IBM Research Report RC 9265. Yorktown Heights, NY: IBM T. J. Watson Research Center.1982. MAYHEW, D.; MANTEI, M.; A Basic Framework for Cost-Justifying Usability Engineering, In: Bias, R., Mayhew, D. Cost-Justifying Usability. Academic Press. pp 9-43. 1994. MCATEER, E.; "Focus Groups", In J. Harvey (Ed) The Evaluation Cookbook [Electronic Resource- pdf], Learning Technology Dissemination Initiative Institute, Edinburgh. 1998. MOSIER, J. N. & SMITH, S. L.; Application of guidelines for designing user interface software. Behaviour and Information Technology, 5, 1, 39-46.1986. MULLER, M. J.; MCCLARD, A.; BELL, B.; DOOLEY, S.; MEISKEY, L.; MESKILL, J. A., SPARKS, R. & TELLAM, D. Validating an extension to participatory heuristic evaluation: Quality of work and quality of work life. CHI 95 Conference Companion, 115-116. New York, NY: ACM.1995d. NETO, S.C.; Dimenses de Qualidade em Ambientes Virtuais Aprendizagem. Tese de Doutorado. PPGADM. USP. So Paulo, 2009. de

NIELSEN, J. & MOLICH, R.; Heuristic evaluation of user interfaces. Proceedings of CHI 90, 249-256. New York, NY: ACM.1990. NIELSEN, J.; Advances in human-computer interaction. Vol. 5. Norwood, NJ: Ablex Publishing. 1995a. NIELSEN, J.; Designing Web Usability: The Practice of Simplicity. New Riders Publishing, Indianapolis. ISBN 1-56205-810-X.2000 . NIELSEN, J.; BUSH, R. M.; DAYTON, T.; MOND, N. E.; MULLER, M. J.; & Root, R. W.; Teaching experienced developers to design graphical user interfaces. Proceedings of CHI 92, 557-564. New York, NY: ACM.1992. 16

NIELSEN, J.; Enhancing the explanatory power of usability heuristics. Proc. ACM CHI'94 Conf. (Boston, MA, April 24-28), 152-158. 1994 d. NIELSEN, J.; Heuristic evaluation. In Usability Inspection Methods. John Wiley & Sons, New York, 2562. 1994. Eds.

NIELSEN, J.; Iterative user-interface design. IEEE Computer, 26, 11, 32-41. 1993b. NIELSEN, J.; Multimedia and Hypertext: The Internet and Beyond. AP Professional, Boston. ISBN 0-12-518408-5. 1995. NIELSEN, J.; Usability testing. In Salvendy, G. (Ed.), Handbook of Human Factors and Ergonomics, Second Edition, John Wiley & Sons. 1543-1568.1997. NIELSEN, J.; Usabilty Engineering. Morgan Kaufmann, Inc. San Francisco, 1993. POLSON, P.; LEWIS, C.; RIEMAN, J.; & WHARTON, C.; Cognitive walkthroughs: A method for theory-based evaluation of user interfaces. International Journal of Man-Machine Studies, 36, 5, 741-773.1992. QUEIROZ, J. E. R.; Abordagem Hbrida para a Avaliao da Usabilidade de Interfaces com o Usurio. Tese de Doutorado. PPGEE/UFCG. Campina Grande,PB. 2001. QUEIROZ, J.E.R DE & TURNELL, M.F.Q.V.; Avaliao de projetos de interfaces Usurio-computador: Proposio de uma estratgia qualitativa adaptativa. Relatrio Tcnico RT00098 COPELE/CCT/UFPB. Campina Grande, Junho 1994. RAVDEN, S. J. & JOHNSON, G. I.; Evaluating usability of human-computer interfaces: a practical method. Chichester, UK: Wiley.1989. RIIHIAHO, S.; Experiences with Usability Evaluation Methods. Licentiates Thesis. Laboratory of Information Processing Science. Helsinki University of Technology. Helsinki, Finland, 2000. ROWLEY, D. E. & RHOADES, D. G.; The cognitive walkthroughs: A fast-paced user interface evaluation procedure. Proceedings of CHI 92, 389-395. New York, NY: ACM.1992. SCHLEMMER, E.; FAGUNDES, L.C.; Uma proposta para avaliao de ambientes virtuais de aprendizagem na sociedade em rede. Informtica na Educao:Teoria e Prtica, Porto Alegre, UFRGS, Faculdade de Educao, PsGraduao em Informtica na educao, v.4, n.2, 2001. SCRIVEN, M.; The methodology of evaluation. In R. W. Tyler, R. M. Gagn, & M. Scriven (Eds.), Perspectives of curriculum evaluation, 39-83. Chicago, IL: Rand McNally.1967. SMITH, S. L. & MOSIER, J. N.; Guidelines for designing user interface software. Report ESD-TR-86-278. Bedford, MA: The MITRE Corporation.1986. TSELIOS N.; AVOURIS N.; DIMITRACOPOULOU A.; DASKALAKI S.; Evaluation of Distance-learning Environments: Impact of Usability on Student 17

Performance International Journal of Educational Telecommunications, 7(4), pp. 355-378. University of Patras, GR. 2001. VAN VIANEN, E.; THOMAS B. & VAN NIEUWKASTEELE, M.; A combined effort in the standardization of user interface testing. In: Jordan P, Thomas B, Weerdmeester B & McClelland I (eds) Usability evaluation in industry. Taylor & Francis, London, p 717. 1996. VIRZI, R. A.; Refining the test phase of usability evaluation: How many subjects is enough? Human Factors, 34, 4, 457-468. 1992. VIRZI, R. A.; Usability inspection methods. In M. Helander, T. K. Landauer, & P. Prabhu (Eds.). Handbook of Human-Computer Interaction (pp. 705-715). Elsevier Press: New York. 1997. WHARTON, C.; BRADFORD, J.; JEFFRIES, R. & FRANZKE, M.; Applying cognitive walkthroughs to more complex user interfaces: Experiences, issues, and recommendations. Proceedings of CHI 92, 381-388. New York, NY: ACM.1991. WHITMYER, C.; GRIMES, G.T.; Comparative Features Analysis of Leading Course Management Software. The University of the Future, LLC. Jan, 2000. WIXON, D. & WILSON, C.; The usability engineering framework for product design and evaluation. In Helander, M. G., Landauer, T. K., & Prabhu, P. V. (Eds.), Handbook of human-computer interaction. 2 ed. Amsterdam, 1997. WRIGHT, R. B. & CONVERSE, S. A.; Method bias and concurrent verbal protocol in software usability testing, in Proc. Human Factors Soc. 36th Annu. Meet., Monterey, CA, 1992, pp. 12201224.1992. www.id2.usu.edu/Papers/5Firstprinciples.PDF ZAHARIAS, P.; Developing a Usability Evaluation Method for E-learning Applications: From Functional Usability to Motivation to Learn. Athens University of Economics and Business. Athens, GR. 2007. ZHANG, Z.; BASILI, V. & SHNEIDERMAN, B.; Perspective-based usability inspection: An empirical validation of efficacy. Proceedings of UPA 98, 281282.1998b. ZHANG, Z.; BASILI, V. & SHNEIDERMAN, B.; Perspective-based usability inspection: An empirical validation of efficacy. Empirical Software Engineering, 4, 1, 43-69.1998c.

18