UNIVERSIDADE ESTADUAL DO CEAR

Centro de Cincias Tecnolgicas - CCT

INSTITUTO FEDERAL DE EDUCAO, CINCIA E TECNOLOGIA DO CEAR

Diretoria de Pesquisa e Ps-Graduao - DIPPG

ANA CLIA BASTOS DE ABREU

AVALIAO DE USABILIDADE EM SOFTWARES EDUCATIVOS

FORTALEZA CEAR 2010

ANA CLIA BASTOS DE ABREU

AVALIAO DE USABILIDADE EM SOFTWARES EDUCATIVOS

Dissertao apresentada ao Curso de Mestrado Integrado Profissional em Computao Aplicada do Centro de Cincias e Tecnologia da Universidade Estadual do Cear e Diretoria de Graduao e PsGraduao do Instituto Federal de Educao, Cincia e Tecnologia do Cear, como requisito para a obteno do grau de Mestre em Computao Aplicada. rea de Concentrao: Informtica Educativa. Orientador: Prof. Dr. Elian de Castro Machado.

FORTALEZA CEAR 2010

A162a

Abreu, Ana Clia Bastos de Avaliao de usabilidade em softwares educativos / Ana Clia Bastos de Abreu. Fortaleza, 2010. 108 p. ; il. Orientador: Prof. Dr. Elian de Castro Machado. Dissertao (Mestrado Integrado Profissional em Computao Aplicada) Universidade Estadual do Cear, Centro de Cincias e Tecnologia, Instituto Federal de Educao, Cincia e Tecnologia do Cear, Diretoria de Graduao e Ps-Graduao. rea de Concentrao: Informtica Educativa. 1. Testes de usabilidade questionrio. 2. Softwares educativos. 3. Usabilidade pedaggica. 4. Usabilidade tcnica. I. Universidade Estadual do Cear, Centro de Cincias e Tecnologia, Instituto Federal de Educao, Cincia e Tecnologia do Cear, Diretoria de Graduao e Ps-Graduao. CDD: 371.334

AGRADECIMENTOS

Ao Senhor, por Suas misericrdias que se renovam a cada manh sobre as nossas vidas, ajudando-nos a superar todos os obstculos! Aos meus amados pais, Raimundo e Graa, que atravs de sua instruo e amor, deram-me a chance de me tornar uma mulher que luta e que acredita em seus sonhos, a minha incansvel gratido. Ao meu mui querido irmo Wilder (in memorian), sem palavras!..., o meu corao cheio de saudades... Aos meus amigos de caminhada, Humberto e Leo, pelo apoio e alegria que me deram quando precisei. Ao Serpro, que patrocinou meus estudos, dando-me a oportunidade de galgar mais um degrau em minha vida acadmica e profissional. Ao meu orientador, Prof. Elian, que acreditou no meu trabalho e me incentivou nos momentos difceis. A meu grande amigo Fernando, que sempre esteve ao meu lado e de minha famlia, minha tambm incansvel gratido, por seu apoio e sabedoria. E por fim, mas de muita importncia, meu esposo e amados filhos. Vocs fazem, juntamente com Jesus, minha vida ter um belo e significativo propsito.

RESUMO

O objetivo deste trabalho disponibilizar para a comunidade de profissionais que trabalham nos laboratrios de escolas municipais uma ferramenta de apoio para a aferio da qualidade das aplicaes instrucionais atravs de um questionrio on-line publicado em um site web. O intuito facilitar o trabalho de seleo e avaliao dos softwares educacionais a serem aplicados aos alunos, por meio de parmetros oriundos da Engenharia de Software e das teorias educacionais, de modo a promover a usabilidade tcnica e pedaggica nos materiais de aprendizagem. Sua utilizao ser simples, podendo ser usada por qualquer professor que no seja especialista em usabilidade. Espera-se com este trabalho contribuir para uma elevao da qualidade e do compartilhamento de informaes em tempo real dos materiais de aprendizagem utilizados entre as diversas escolas do municpio. A ferramenta alm de avaliar os softwares, armazenar os dados destas avaliaes para que outros professores possam ter acesso a tais informaes. A proposta da aplicao vem de encontro s polticas de software livre, provendo uma soluo eficiente e a baixos custos.

Palavras-chave: Testes de Usabilidade, Questionrio, Usabilidade Pedaggica, Usabilidade Tcnica.

ABSTRACT

The objective of this work is to provide for the community of professionals working in the laboratories of public schools a support tool for gauging the quality of educational applications through an online questionnaire posted on a website. The intention is to facilitate the work of selection and evaluation of educational software to be applied to students, using parameters derived from the Software Engineering and the educational theories, in order to promote technical and pedagogical usability in the learning materials. Its use will be simple, and can be used by any teacher who is not an usability expert. It is expected that this work contribute to raising the quality of learning materials used between the various schools of the city, and to sharing information of these materials in real-time. Beyond to evaluate the software, the tool also stores the data from these reviews, so other teachers can access such information. The proposal of this application meets the policies of free software, providing an efficient and low cost solution.

Keywords: Usability Testing, Questionnaire, Pedagogical Usability, Technical Usability.

LISTA DE TABELAS

Tabela 1 Respostas do questionrio (Objeto 1) .......................................... Tabela 2 - Respostas do questionrio (Objeto 2) ........................................... Tabela 3 Valores calculados para os critrios (Objeto 1) ............................. Tabela 4 Valores calculados para os critrios (Objeto 2) .............................. Tabela 5 Valores para mdia aparada (Objeto 1) ....................................... Tabela 6 Valores para mdia aparada (Objeto 2) ........................................ Tabela 7 - Quantidade de erros nos exerccios (Grupo A) .............................. Tabela 8 - Quantidade de erros nos exerccios (Grupo B) ..............................

58 59 60 64 67 67 70 70

LISTA DE FIGURAS

Figura 1 Interao no desenvolvimento de software educacional .................. Figura 2 Conceito de Usabilidade Tcnica e Pedaggica ............................... Figura 3 Resposta do questionrio em escala Lickert ...................................... Figura 4 Tela inicial do SAUSP........................................................................... Figura 5 Tela da funcionalidade Saiba Sobre Usabilidade ............................ Figura 6 Tela da funcionalidade Responder Questionrio ............................ Figura 7 - Apresentao das perguntas no questionrio ................................... Figura 8 - Modelo de Entidade Relacionamento (MER) ..................................... Figura 9 Tela do Wink (frame capturado do objeto 2) ....................................

22 34 40 45 46 50 52 53 69

LISTA DE GRFICOS

Grfico 1 Grfico com resultado das 3 categorias de usabilidade................ Grfico 2 - Grfico com resultado dos critrios de usabilidade tcnica........... Grfico 3 Grfico com resultado dos critrios de usabilidade para sites web.. Grfico 4 - Grfico com resultado dos critrios de usabilidade pedaggica ..... Grfico 5 Critrios de usabilidade geral (Objeto 1) ........................................... Grfico 6 Critrios de usabilidade de sites web (Objeto 1) ............................. Grfico 7 - Critrios de usabilidade pedaggica (Objeto 1) ............................... Grfico 8 - Resultados gerais dos questionrios (Objeto 1) .............................. Grfico 9 - Critrios de usabilidade geral (Objeto 2) ............................................ Grfico 10 - Critrios de usabilidade de sites web (Objeto 2) ............................ Grfico 11 - Critrios de usabilidade pedaggica (Objeto 2) ............................. Grfico 12 Resultado geral da usabilidade (Objeto 2) .................................. Grfico 13 - Evoluo da ocorrncia de erros (mdia) Grupo A ................. Grfico 14 - Evoluo da ocorrncia de erros (mdia) Grupo B .....................

48 48 49 49 61 62 62 63 65 65 66 66 71 71

10

LISTA DE QUADROS

Quadro 1 - Distribuio das questes Ergolist por critrio .......................................

30

11

SUMRIO LISTA DE TABELAS ................................................................................................... 7 LISTA DE FIGURAS ................................................................................................... 8 LISTA DE GRFICOS ................................................................................................. 9 LISTA DE QUADROS ............................................................................................... 10 1. INTRODUO ...................................................................................................... 13 2. TESTE DE SOFTWARE........................................................................................ 19 2.1 Conceito de Usabilidade .............................................................................. 21 2.2 Participantes de uma avaliao de usabilidade ........................................... 22 2.3 Testes de Usabilidade ..................................................................................... 24 2.4 Tcnicas de Avaliao de Usabilidade ............................................................ 25 2.4.1 Tcnicas Objetivas (ou Interpretativas) ..................................................... 25 2.4.2 Tcnicas Prospectivas .............................................................................. 26 2.4.3 Tcnicas Preditivas (ou Diagnsticas) ...................................................... 27 3. FERRAMENTAS DE AVALIAO DA USABILIDADE ......................................... 29 3.1. Ferramentas para Avaliao da Usabilidade Tcnica ..................................... 30 3.1.1 ErgoList .................................................................................................... 30 3.1.2 Questionrio ISONORM ............................................................................ 32 3.1.3 WAMMI .................................................................................................... 32 3.1.4 QUIS ........................................................................................................ 33 3.1.6 SUMI ......................................................................................................... 34 3.2 Ferramentas de Avaliao da Usabilidade Pedaggica ................................. 35 3.2.1 Questionrio de satisfao de Nokelainen ............................................... 36 3.2.2 Questionrio de Ssemugabi ..................................................................... 36 3.2.3 Questionrio de Reitz ............................................................................... 37 4. PROPOSTA E FUNCIONAMENTO DO SAUSP ................................................... 38 4.1 Seleo do Tipo do Tcnica de Avaliao de Usabilidade ............................. 38 4.2 Proposta do questionrio de avaliao desta ferramenta ............................... 39 4.3 Forma de Organizao do Questionrio na Ferramenta................................. 40 4.3.1 Questes relativas Usabilidade Geral ................................................... 41 4.3.2. Questes relativas Usabilidade de Sites para EAD............................... 43 4.3.3 Questes relativas Usabilidade Pedaggica .......................................... 43 4.4 Implementao da ferramenta em um site...................................................... 45 4.4.1 Saiba mais sobre usabilidade ................................................................... 46 4.4.2 Consultar Materiais Avaliados .................................................................. 47 4.4.3 Responder ao Questionrio ..................................................................... 51 4.4.4 Exibio do Resultado da Avaliao ........................................................ 53 4.4.5 Aspectos Arquiteturais Gerais da Ferramenta .............................................. 54 5. VALIDAO DA PROPOSTA ............................................................................... 56 5.1 Estudo Piloto do Uso do SAUSP ..................................................................... 56 5.2 Preenchimento do questionrio de avaliao ................................................. 58 5.3 Resultado das avaliaes dos objetos ............................................................ 61 5.3.1 Avaliao do Objeto 1 .............................................................................. 61 5.3.2 Avaliao do objeto 2 ................................................................................ 64 5.4. Concluso da aplicao do questionrio ........................................................ 68 5.5 Avaliao do Desempenho dos Alunos .......................................................... 69 5.6 Consideraes finais........................................................................................ 73 CONCLUSES ......................................................................................................... 75

12

REFERNCIAS ......................................................................................................... 77 APNDICES.............................................................................................................. 81 APNDICE A - Questionrio de pesquisa ............................................................. 82 APNDICE B - Dados coletados no questionrio de pesquisa.............................. 83 APNDICE C - Questionrio de Satisfao de Uso para Pesquisa ....................... 84 ANEXOS ................................................................................................................... 89 ANEXO A Questionrio de Nokelainen ............................................................... 90 ANEXO B - Questionrio de Ssemugabi ............................................................... 95 ANEXO C Questionrio de Reitz ...................................................................... 102 ANEXO D Objeto de Aprendizagem (Grupo A) ................................................ 105 ANEXO E Objeto de Aprendizagem (Grupo B) ................................................. 107

13

1. INTRODUO

No mundo da sociedade da informao, conhecimento algo de grande valor e que vem cada vez mais sendo aumentado e propagado atravs dos meios de comunicao e, em especial, da internet que oferece diversas aplicaes voltadas ao ensino. Entretanto, vemos a comunidade de usurios utilizar alguns softwares educativos de pouca ou nenhuma qualidade. Esta baixa qualidade pode acontecer tanto pelo contedo das informaes, como pela deficincia na organizao do contedo disponibilizado para o uso de seu pblico-alvo, provocando muitas vezes rejeio do usurio a tais sistemas (SANTOS, 2007). Muitos stios na web so visitados apenas uma vez pelos usurios, devido eles no conseguirem encontrar a informao desejada, e no porque seu contedo seja desinteressante. Localizar uma informao em um site o problema de usabilidade mais comumente encontrado pelos usurios. Quando o site se destina para o comrcio eletrnico, tal situao pode impactar negativamente nas vendas, levando a prejuzos. Destinando-se ao ensino distncia (EAD), pode resultar numa falta de motivao dos alunos, que por se sentirem frustrados no uso da aplicao, tm um mau desempenho, decorrente da usabilidade inadequada, mesmo se utilizadas em laboratrios de escolas, em que exista um mediador (WINCKLER, 2001). No processo de aprendizagem via aplicaes EAD, em que no exista a figura de um facilitador, como um monitor ou professor, este problema obviamente ainda mais crtico. Para resolver este problema, os princpios de qualidade de software devem ser perseguidos pelos desenvolvedores de solues pedaggicas. Dentre estes princpios, temos na usabilidade, o meio pelo qual seus usurios podem ter acesso de maneira facilitada e inteligente ao contedo de um software (NIELSEN, 1994). De nada adianta ter um software educativo de excelente contedo, se sua utilizao to complexa que desestimula quem o est usando.

14

Pela importncia que um usurio d aquisio de conhecimento quando entra em um site instrucional, a usabilidade passa a ser elemento fundamental para que ele atinja seu propsito. Isso acontece, pois a boa usabilidade de um site instrucional facilita a identificao dos objetivos do usurio e sua avaliao, em termos de quantidade e qualidade de contedo, das informaes ali disponibilizadas (KILIAN, 2002). Para a consecuo da boa usabilidade, a comunidade cientfica que estuda os aspectos de qualidade nos softwares, busca alcanar solues para avaliar e testar a qualidade de uso dos softwares educativos. No entanto, apesar de crescentemente tais aspectos inerentes boa usabilidade serem adotados e buscados, ainda existem desenvolvedores que no levam isso em considerao, disponibilizando aplicaes educacionais que no se preocupam com a interao homem-computador, prejudicando seus usurios finais, os alunos. Por outro lado, temos os profissionais da educao que, por desconhecerem os princpios que norteiam a boa usabilidade de um software e no terem ferramentas apropriadas para a aferio da usabilidade, buscam boas ferramentas para o ensino, baseados apenas em sua sensibilidade e experincias positivas e negativas com os softwares e seus alunos (FILENO, 2007). No que diz respeito ao desenvolvimento de softwares educacionais, devemos nos preocupar com duas vertentes que asseguram sua qualidade: os aspectos tcnicos da Engenharia de Software e os aspectos relativos aprendizagem. O desconhecimento de tais aspectos tem levado para a sala de aula softwares instrucionais que propiciam um baixo rendimento na assimilao do contedo oferecido em tais ferramentas. Quanto aos aspectos da aprendizagem, os educadores e projetistas devem estar atentos no sentido de garantir que o computador seja usado de uma forma responsvel e pedagogicamente bem utilizados. O educador deve analisar o software educativo, identificando o conceito de aprendizagem que o orienta, pois para ser educativo deve ser pensado em como o sujeito aprende, como ele se apropria e constri seu conhecimento.

15

Aps entrevistas com profissionais da educao do Ensino Fundamental, foram visualizadas basicamente duas coisas: o desconhecimento de princpios bsicos que so necessrios para que um software tenha algum nvel de qualidade de uso; a necessidade de uma ferramenta para avaliar a usabilidade dos softwares educativos, conforme Apndices A e B. Dos dez professores responsveis por laboratrios de escolas municipais entrevistados, todos foram unnimes em dizer que sentem a necessidade de uma ferramenta para avaliar a qualidade dos softwares e um site que lhes sirva para compartilhar softwares educacionais de qualidade. Para que se possa fazer a mensurao da qualidade de uso, no se pode utilizar uma metodologia para um pblico genrico, pois os resultados obtidos de tal avaliao no sero precisos. Isto acontece, pois a avaliao da usabilidade de um software est relacionada a uma srie de variveis, como: tipo de aplicao em questo, perfil dos usurios, contextos de utilizao e outros (WINCKLER, 2001). Dentro de um contexto educacional, a avaliao da usabilidade no o suficiente. Tambm importante avaliar o projeto pedaggico da aprendizagem baseado na web. Deve-se lembrar que a avaliao do projeto pedaggico no substitui a inspeo da usabilidade. Um ambiente de aprendizagem baseado na web pode ser usvel, mas pedagogicamente no usvel, e vice-versa, mesmo que uma sobreposio dos problemas encontrados possa ocorrer na avaliao (TSELIOS, 2001 apud REITZ, 2009). Existem algumas solues e servios disponibilizados para aferio da qualidade de uso, como as metodologias de Gomes (2009), Santos (2007) e Oliveira Junior (2006), alm dos questionrios de satisfao de usurio j desenvolvidos, mas que no levam em considerao os aspectos pedaggicos nos softwares instrucionais. No entanto, a maioria desses servios no est disponvel livremente para aqueles que a necessitam, ou tem um custo elevado, inviabilizando o uso por parte dos interessados. Reitz (2009), Nokelainen (2006) e Ssemugabi (2006) propuseram metodologia para avaliar a usabilidade, levando em conta os aspectos pedaggicos, mas que precisariam ser adaptadas para serem utilizadas para o contexto do problema abordado neste trabalho e que no esto disponibilizadas como uma ferramenta a ser utilizada por pedagogos ou desenvolvedores.

16

Diante desta necessidade, neste trabalho, proposta uma metodologia de fcil uso e disponibilizada para que desenvolvedores e principalmente os educadores do ensino fundamental possam avaliar a qualidade de uso dos softwares educativos a serem utilizados, por meio de uma ferramenta que ser desenvolvida para execuo de testes de usabilidade. Alm disso, tal soluo prestar-se- a armazenar os resultados das avaliaes feitas pelos profissionais, passando a ser um repositrio de informaes sobre usabilidade pedaggica dos diversos softwares que forem sendo avaliados. Dessa forma, evita-se o re-trabalho que hoje acontece nos laboratrios de informtica das escolas, onde seus responsveis buscam e avaliam aplicaes isoladamente no podendo compartilhar suas informaes em tempo real. Tal ferramenta poder vir a ser utilizada por Secretarias de Educao de Estados e Municpios como forma de disponibilizar um portiflio colaborativo de informaes sobre a qualidade aferida de softwares educativos pelos prprios educadores envolvidos que os utilizam. Por consequncia, propicia-se um ambiente que favorece a elevao no nvel de qualidade das ferramentas computacionais utilizadas nas salas de aula das escolas. O objetivo geral desta pesquisa definir uma metodologia para aplicao de testes de usabilidade em softwares educacionais voltados aos alunos do ensino fundamental, via questionrio de satisfao para auxiliar os profissionais da educao a selecionarem melhor as aplicaes destinadas ministrao de contedo para seus alunos. So objetivos especficos: Analisar o referencial terico de diversos autores sobre a usabilidade e os vrios critrios existentes para avaliao da mesma. Consolidar os diversos critrios de testes da Engenharia de Software com foco na usabilidade e os critrios relativos aos aspectos pedaggicos, propondo uma metodologia que faa a congruncia dos critrios mais significativos e referenciados.

17

Realizar testes de usabilidade em objetos de aprendizagem, de modo a validar a metodologia desenvolvida.

Desenvolver um site que ser utilizado como uma ferramenta de apoio aos educadores para testes de usabilidade dos softwares educativos a serem adotados em sala de aula. Este trabalho est organizado em cinco captulos. No captulo 2, falamos

sobre a importncia da atividade de teste, segundo a Engenharia de Software, voltado para o desenvolvimento de softwares para a educao, mostramos como se devem fazer os testes de usabilidade. Mostrar os diversos tipos de testes de usabilidade existentes que podem e devem ser feitos logo no incio do projeto do software. Apontar para a contribuio destes testes para o software, principalmente quando se destinar educao. J que a tecnologia empregada que precisa ser adequada necessidade do aluno, e no o contrrio. No captulo 3, ainda na fundamentao terica, feita a apresentao dos questionrios de usabilidade mais conhecidos com os seus critrios de usabilidade adotados para testes em aplicaes educacionais, mostrar a existncia de diversas combinaes destes critrios, segundo vrios autores. Mostrar o conjunto de critrios dispostos nos questionrios que serviram de base a esta pesquisa. No captulo 4, faz-se a apresentao da contribuio deste trabalho, pela definio e apresentao dos critrios usados nas questes que compem a base do questionrio desenvolvido neste trabalho de pesquisa. Mostramos as funcionalidades da ferramenta implementada que servir como ponto de apoio aos profissionais da educao para aferio da qualidade dos softwares educacionais a serem utilizados em sala de aula. O resultado das avaliaes poder ser armazenado, poupando esforos na procura de novas ferramentas para sala de aula para outros profissionais da educao, que j encontraro produtos j avaliados. Constituindo-se tambm esta ferramenta em um repositrio de informaes compartilhado sobre softwares educacionais com qualidade de uso para o ensino.

18

No captulo 5, apresentada a validao da proposta deste trabalho, atravs da aplicao do questionrio em dois objetos de aprendizagem, mostrando os resultados atravs dos relatrios gerados pela ferramenta implementada. Finalmente, so apresentadas consideraes sobre a importncia da metodologia aplicada na avaliao de usabilidade de softwares educativos. mencionado, tambm, as contribuies com o desenvolvimento deste trabalho, que aproxima os conceitos da engenharia de software desconhecidos dos profissionais da educao, que ao serem utilizados de forma prtica, por meio desta ferramenta, contribuem em muito para aferio da qualidade dos produtos de software levados para a sala de aula.

19

2. TESTE DE SOFTWARE

O teste de software um dos processos da Engenharia de Software que visa atingir um nvel de qualidade de produto superior. O objetivo por paradoxal que parea mesmo de encontrar defeitos no produto, para que estes sejam corrigidos pela equipe de programadores, antes da entrega final (Pressman,2006, p. 289)

O software ultrapassou o hardware, com relao importncia para o sucesso de muitos sistemas baseados em computador. Seja o computador usado para dirigir negcios, controlar um produto ou capacitar um sistema, o software um fator que diferencia (PRESSMAN, 1995). O seu desenvolvimento vem evoluindo, porm ainda persistem problemas na construo de softwares de qualidade que obedeam a prazos e oramentos planejados. Buscando resolver este problema, surgiu a Engenharia de Software que se destina a prover uma estrutura para a construo de software com alta qualidade (PRESSMAN, 2004). O processo de desenvolvimento de software, pautado na Engenharia de Software, engloba vrias atividades e utiliza tcnicas, mtodos e ferramentas, no entanto erros podem ainda persistir. Para diminuir a quantidade desses erros, a atividade de Garantia de Qualidade de Software, por meio das atividades de VV&T Verificao, Validao e Teste, vem sendo introduzida no processo de

desenvolvimento. Dentre tais atividades, o teste uma das mais utilizadas, de modo a prover evidncias de confiabilidade do software, em conjunto com outras atividades, como as revises formais de especificao e de verificao (MALDONADO, 1991). Uma diferena interessante entre o Teste e as outras disciplinas do RUP Rational Unified Process, que a principal finalidade do Teste localizar e expor os pontos fracos do software. O Rational Unified Process (tambm chamado de processo RUP) um processo de Engenharia de Software. Sua abordagem baseia-se em disciplinas, atribuindo tarefas e responsabilidades em uma organizao de desenvolvimento. Seu objetivo a produo de software de alta

20

qualidade que atenda s necessidades dos usurios dentro de um cronograma e de um oramento previsveis. A disciplina de Testes, para obter o mximo benefcio, usa uma filosofia geral diferente das disciplinas Requisitos, Anlise e Design, e Implementao. Enquanto as outras disciplinas enfatizam a abrangncia, o Teste enfatiza a deficincia. O teste desafia as suposies, os riscos e as incertezas inerentes ao trabalho de outras disciplinas, tratando essas questes por meio de uma demonstrao concreta e uma avaliao imparcial (RUP, 2006). Para grande parte das empresas que produzem software, o teste executado como uma atividade dentro do processo de desenvolvimento, sendo realizado pelos prprios desenvolvedores ou pelos usurios do sistema. Tal prtica apenas garante saber se as especificaes do negcio foram implementadas na aplicao. Em um modelo de garantia de qualidade, estes testes so insuficientes, j que para o desenvolvedor difcil detectar erros naquilo que ele mesmo construiu. Ter uma equipe especializada e capacitada nessa atividade faz toda a diferena se o intuito disponibilizar um software com qualidade (RIOS & BASTOS, 2007). Existem algumas reas de negcio em que a ocorrncia de defeitos na produo pode trazer prejuzos muito maiores. Numa corrida de Frmula 1, um carro parou por um defeito no software que controlava o veculo (RIOS & BASTOS, 2007). Essa falha, causada por uma condio inesperada, obrigou a equipe a sair da corrida na qual vinha tendo bom desempenho. de se imaginar o quanto foram altos os prejuzos oriundos deste erro. Nas aplicaes voltadas para a educao, como nas demais reas, no poderia ser diferente. Ao se pensar em desenvolver um software educacional, em que exista uma preocupao com a qualidade do que vai ser oferecido aos aprendizes, mster investir em um processo de testes bem planejado. Imagine o impacto negativo no aprendizado de um aluno se a aplicao utilizada para o ensino de matemtica est retornando um clculo errado ou respondendo com uma ao inesperada. Se o aluno ou o facilitador no perceber o erro, o aprendiz ir apreender e fixar aquela resposta como uma informao vlida.

21

Com o intuito de criar um modelo de avaliao da qualidade do software, foi criada a ISO 9126 (1998), de modo a buscar alcanar uma qualidade que atinja as necessidades de seus usurios. Ela composta por seis caractersticas: funcionalidade, confiabilidade, usabilidade, eficincia, manutenibilidade e

portabilidade. Neste estudo vamos abordar a importncia da usabilidade, por ser uma caracterstica da qualidade do software que contribui para a habilidade do uso dos softwares instrucionais pelos alunos, permitindo que eles possam concentrar o esforo no aprendizado e no no entendimento do uso da ferramenta.

2.1 Conceito de Usabilidade

Para que possamos escrever sobre testes de usabilidade, faz-se necessrio definir o atributo usabilidade. Dizemos que ela alcanada quando um produto ou servio realmente utilizvel, isto , o indivduo pode fazer o que ele quer da forma como ele espera ser capaz de faz-lo, sem entraves, hesitao ou perguntas. O que faz algo usvel a ausncia de frustrao em us-lo, ser agradvel, de forma que o usurio fique satisfeito ao us-lo (RUBIN & CHISNELL, 2008). A norma ISO 9241-11 (1998) define usabilidade como a capacidade de um produto ser usado por usurios especficos para atingir objetivos especficos com eficcia, eficincia e satisfao em um contexto especfico de uso. Uma pgina web com uma boa eficcia permite que seus usurios alcancem seus objetivos iniciais de interao. Caso o indivduo no consiga atingir seus objetivos, ele entrar em desuso, mesmo que seja agradvel. Quando dizemos que um produto tem eficincia, associamos ideia da quantidade de esforo necessrio para atingir determinado objetivo no menor tempo possvel e com a mnima quantidade de erros. A satisfao relaciona-se qualidade do uso, faz referncia ao nvel de conforto que o usurio sente ao utilizar a interface para alcanar seus objetivos.

22

2.2 Participantes de uma avaliao de usabilidade

Usurio: o sujeito alvo dos testes de usabilidade e prototipagem, prov informaes sobre o negcio; dependendo das experincias dos usurios solues diferentes na interface sero exigidas para o mesmo problema.

Avaliador: a pessoa que planeja e conduz as avaliaes de usabilidade, sendo tambm o responsvel pela anlise dos dados gerados. Ele detm conhecimento na rea de usabilidade para fazer a anlise da interface ou a anlise das atividades do usurio.

Outros

colaboradores:

como

equipe

de

suporte,

gerente

de

TI,

desenvolvedores

Projetista instrucional: tambm chamado de designer instrucional, aquele imbudo da responsabilidade de elaborar o material, tem a responsabilidade de planejar, pesquisar e avaliar o que ser disponibilizado aos aprendizes. (LEE & OWENS, 2004) A elaborao do projeto ou design instrucional uma atividade muito

importante que envolve um cuidadoso planejamento pautado em princpios cientficos de comunicao, aprendizagem e ensino. Definidos os objetivos do design, estes serviro de base para que o analista de requisitos elabore os requisitos da aplicao. No entanto, ter um design instrucional e requisitos bem elaborados no so suficientes por si s para que a aplicao atenda os objetivos de seus usurios. O envolvimento e entrosamento do designer instrucional com outros profissionais facilita alcanar um planejamento e um projeto prximos ao ideal.

23

Figura 1 Interao no desenvolvimento de software educacional

Para que a atividade do projetista instrucional seja mais efetiva bastante recomendvel existirem:

Validao dos requisitos pela equipe de testes de modo a verificar a testabilidade dos requisitos. Isto habilita a equipe de testes a conhecer o negcio envolvido na aplicao desde a fase inicial. O ideal seria, segundo Rios (2009), que os requisitos escritos s sejam entregues ao cliente para aprovao, aps a validao pela equipe de testes.

Reunies com os designers (instrucional e grfico) - para apresentar os roteiros elaborados pelo designer instrucional, antes da implementao de cada roteiro. Os roteiros elaborados pelo designer instrucional so apresentados para verificar o nvel de comunicao do material, para saber at que ponto o que foi planejado pedagogicamente poder ser implementado sem restries, e caso estas existiam, fazer a compatibilizao. Esta reunio fundamental para esclarecer dvidas e evitar grandes reformulaes depois do trabalho de programao j adiantado. Caso, o design grfico no tenha conhecimento na rea de interao humano computador, um especialista nessa rea ser importante. Prottipos de baixa fidelidade podero ser utilizados como: a prototipao em papel, wireframes, entre outros (COELHO, CARVALHO, BELTRO, FERRAZ, 2008). Tais tcnicas ajudam a definir o

24

layout da aplicao. Assim, precocemente a usabilidade j pode ir sendo verificada pela equipe de testes.

2.3 Testes de Usabilidade

termo

teste

de

usabilidade

frequentemente

utilizado

indiscriminadamente para se referir a qualquer tcnica usada para avaliar um produto ou sistema. Na verdade uma das tcnicas de avaliao existentes para aferir a qualidade de uso dos softwares. Um teste de usabilidade um processo que emprega, como participantes do teste, pessoas que representam o pblico-alvo do software em avaliao para avaliar a adequao do produto a critrios de usabilidade. Tal tcnica difere das demais como as avaliaes heursticas, walkthroughs e similares que no exijam usurios representativos como parte do processo (RUBIN e CHISNELL, 2008). O teste de usabilidade uma ferramenta de pesquisa, com suas razes na metodologia experimental clssica, podendo ser aplicada desde testes de grandes tamanhos de amostra e de modelos complexos a estudos qualitativos informais, com apenas um nico participante. Pode-se utilizar abordagens de teste diferentes de acordo com os objetivos, tempo e recursos necessrios. Para que tenhamos uma avaliao de usabilidade mais eficiente importante que ela seja realizada como parte do processo de desenvolvimento de um produto. Assim, caso alguma deficincia no seja percebida em um teste, um outro ciclo de teste oferece a oportunidade para identificar esta deficincia. Partindo disso, Rubin e Chisnell (2008) classificam a avaliao de usabilidade em quatro tipos, de acordo com a etapa do ciclo de desenvolvimento em que a avaliao de usabilidade ser realizada: Teste de Explorao: realizado com o software na fase de definio e design. Seu objetivo avaliar a efetividade do desenho preliminar e conhecer a concepo do usurio ou modelo mental do produto. Este tipo de teste bastante informal, com uma intensa interao entre o usurio e o avaliador.

25

Teste de Avaliao: o mais comum e simples dos testes, podendo ser feito na fase inicial ou no meio do ciclo de desenvolvimento do produto, mas normalmente depois da elaborao do design do produto. Busca avaliar se o conceito foi implementado efetivamente, verificando como um usurio consegue desenvolver tarefas reais, observando deficincias especficas de usabilidade.

Teste de Validao: acontece numa fase mais avanada do ciclo de desenvolvimento, verifica como o produto se enquadra em relao a padres de usabilidade, de performance e histricos definidos no comeo do projeto. Valida tambm a interao entre os componentes do produto, por exemplo, a forma em que a ajuda, a documentao e o software esto integrados entre si. Seu objetivo prever o lanamento de um produto novo no mercado.

Teste de Comparao: no associado a nenhum ponto especfico do ciclo de desenvolvimento. utilizado para comparar diferenas entre estilos de interface, para medir a efetividade de um elemento integrante da interface, para ver como a liberao de um produto atinge um produto concorrente.

2.4 Tcnicas de Avaliao de Usabilidade

As tcnicas de usabilidade podem ser classificadas quanto ao seu objetivo. Para esta classificao, temos trs classes distintas de tcnicas para avaliao de usabilidade (CYBIS, 2003). No entanto, neste trabalho, daremos mais nfase avaliao prospectiva, por meio dos questionrios.

2.4.1 Tcnicas Objetivas (ou Interpretativas)

O avaliador faz uma simulao de uso do aplicativo com os usurios finais, monitorando-os. Aps isso, os dados coletados devem ser interpretados. Podemos citar como exemplo:

26

Teste Emprico Tradicional - consiste em observar e monitorar a interao do usurio com o sistema, em um ambiente parcialmente controlado

(normalmente em um laboratrio), atravs da execuo de uma bateria de atividades de determinada funcionalidade da aplicao BARBOSA, 2003); Protocolo Think-Aloud - durante o teste, o usurio participante realiza uma tarefa da aplicao expressando em voz alta os seus pensamentos, sensaes e opinies enquanto interage com o produto (OLIVEIRA JUNIOR, 2006); Focus Groups - ou discusso em grupo (DG), ajuda a levantar as necessidades das pessoas, desejos, sentimentos, valores, idias..., sempre a partir do que discutido e dito por elas. til na criao ou reformulao de um produto ou servio (AMSTEL, 2004); Teste de Comunicabilidade - como o teste de usabilidade tradicional, deve ser executado em laboratrio, para avaliar a interface com relao qualidade da comunicao do designer para os usurios, coletando as expresses utilizadas pelo usurio na sesso do teste (PRATES & BARBOSA, 2003). (PRATES &

2.4.2 Tcnicas Prospectivas

Faz-se uma prospeco das opinies subjetivas dos usurios, baseadas na aplicao de questionrios ou entrevistas com o usurio para avaliar sua satisfao em relao ao sistema e sua operao. Sua dificuldade que as taxas de devoluo so reduzidas (no mximo 30% de retorno). Questionrios de Satisfao dos Usurios - so teis na avaliao da interao entre o usurio e a aplicao, permitindo conhecer as experincias, opinies e preferncias dos usurios, coletando informaes sobre a qualidade da interface. Tais dados so to (ou mais) importantes quanto a performance do sistema, e s podem ser obtidas perguntando aos usurios

27

(WINCKLER, 2001). No prximo captulo abordaremos com mais detalhes os questionrios de satisfao j desenvolvidos.

2.4.3 Tcnicas Preditivas (ou Diagnsticas)

So realizadas atravs de inspees feitas por especialistas na interface, destinando-se a prever problemas que os usurios possam vir a ter. So mais baratas e fceis para aplicar, pois no h esforo em recrutar usurios. So exemplos desta tcnica: avaliao heurstica, checklists, percurso cognitivo.

Avaliao Heurstica - consiste em um exame de um produto ou sistema feito por um especialista em usabilidade ou em fatores humanos. Foi desenvolvida pelos pesquisadores Jakob Nielsen e Rolf Molich. um mtodo simples, de curta durao e de baixo custo comparado a outros mtodos. Sua eficincia depende da capacidade dos avaliadores de reconhecerem problemas de usabilidade (NIELSEN, 1993).

Checklist - um conjunto mnimo de regras baseadas em recomendaes, que so aplicveis diretamente ao projeto por programadores e analistas, no necessariamente especialistas em usabilidade, no exigem um grande esforo de interpretao como enfatiza Winckler (2001). Nessa tcnica, a qualidade do checklist que faz a diferena no resultado da avaliao. Verses adaptadas ou especializadas de um checklist podem ser feitas, como as de: Matias (1995) com seu checklist para avaliao de interfaces de software em geral, onde foi aplicado em um software editor de textos, e o ErgoList que uma base de conhecimento em ergonomia com um checklist para inspeo ergonmica de interfaces humano-computador. Dentre as tcnicas j mencionadas para avaliar a usabilidade, existe um

atrativo na utilizao de questionrio como ferramenta para avaliao: os achados produzidos pela investigao, independentemente dos sistemas, usurios e tarefas considerados, so passveis de descrio e anlise estatstica (NIELSEN, 1994). Isto torna tal tcnica uma ferramenta para sondagem de aplicao rpida, o que reduz, por conseguinte, os custos envolvidos com a administrao e computao dos

28

resultados. Foi adotado o questionrio como ferramenta apropriada para a soluo do problema explorado neste trabalho, uma vez que sua adoo no exige maiores conhecimentos, especialmente, quando um questionrio on-line em que a tabulao dos dados automatizada.

29

3. FERRAMENTAS DE AVALIAO DA USABILIDADE

Para que possa fazer uma avaliao da usabilidade dos sistemas computacionais, utilizamo-nos de metodologias, tcnicas e ferramentas que melhor se adequem s necessidades da avaliao pretendida. A escolha das tcnicas e ferramentas apropriadas depender da etapa do desenvolvimento do software. Nas situaes em que a aplicao j esteja desenvolvida ou sendo implantada mister que elas passem por verificao de sua qualidade, de modo que o usurio certifiquese que a soluo prestar-se- para os fins que motivaram a sua aquisio. Em casos como esse, em que a soluo j esteja pronta, as tcnicas de avaliao prospectivas como os questionrios e entrevistas so ideais por colherem as opinies e experincias de seus usurios finais a respeito da aplicao desenvolvida sob demanda ou a ser adquirida da prateleira. Muitas empresas de software elaboram e aplicam regularmente questionrio de satisfao a seus usurios, como parte de sua estratgia de qualidade (CYBIS, 2003). Para que a avaliao de um software educativo seja precisa, necessrio empregar critrios para medir no s a usabilidade em um contexto de uso genrico, mas tambm levar em considerao o projeto pedaggico da aprendizagem que est inserido na aplicao voltada ao ensino (SQUIRES & PREECE, 1999). Portanto os questionrios para este tipo de software tambm devem conter critrios pedaggicos em suas formulaes. Elencam-se a seguir questionrios de satisfao do usurio mais apontados em pesquisa bibliogrfica, com suas peculiaridades distintas. Foram encontrados vrios questionrios para medir a usabilidade de softwares de uso geral e de uso especfico para o ensino. A seguir relacionamos alguns mais referendados nas pesquisas (USABILITYNET; SOARES, 2004; OLIVEIRA JUNIOR, 2006). A seguir apresentamos diferentes tipos de questionrios dispostos em dois grupos: um para avaliao de usabilidade tcnica, abrangendo neste tpico

30

tanto aplicaes voltadas ou no para a internet e outro para a avaliao da usabilidade pedaggica.

3.1. Ferramentas para Avaliao da Usabilidade Tcnica

A usabilidade tcnica est relacionada aos critrios que objetivam facilitar o uso e a eficincia das funes, objetos de interao e caractersticas das interfaces (REITZ, 2009). Relaciona-se a fatores como, por exemplo, tempo de download muito lento que pode fazer com que os alunos, usurios de um site destinado educao, desistam de utiliz-lo por sua deficincia. No importa o quo pedagogicamente elaborado um contedo de um site possa ser, se o site impossibilita os alunos de encontrarem o contedo desejado. Nesse sentido, observamos que a usabilidade tcnica serve de base para a usabilidade relacionada ao processo pedaggico. Existem diversos questionrios elaborados avaliar os aspectos da interao com o usurio que precisam estar presentes em qualquer aplicao, independentemente da rea a que se destine.

3.1.1 ErgoList

O questionrio ErgoList um servio disponibilizado via internet composto de uma base de conhecimento em ergonomia, que inspeciona, atravs de um checklist, interfaces homem-computador. Nesse ambiente, o especialista avalia a interface de uma aplicao usando o checklist disponibilizado pelo LabIUtil. Tem uma base de questes bastante completa, cobrindo vrios aspectos da usabilidade do software. Por ser um checklist, deve ser usado por um especialista com conhecimento em ergonomia (ERGOLIST, 2008). Este questionrio leva em considerao os dezoito critrios ergonmicos de Bastien e Scapin (1993). So dezoito checklists disponveis no Ergolist, para cada um destes critrios que determina a ergonomia de uma interface homem-

31

computador, totalizando 194 questes. Abaixo segue a descrio de sua organizao:

Critrio 1.Presteza 2.Agrupamento por localizao 3. Agrupamento/ distino por formato 4. Feedback 5. Legibilidade 6. Conciso 7. Aes Mnimas 8. Densidade Informacional 9. Aes Explcitas 10. Controle do Usurio 11. Flexibilidade 12. Experincia do Usurio Descrio Verifica se o sistema informa e conduz o usurio durante a interao Verifica a distribuio espacial dos itens traduz as relaes entre as informaes. Verifica os formatos dos itens como meio de transmitir associaes e diferenas. Avalia a qualidade do feedback imediato s aes do usurio. Verifica a legibilidade das informaes apresentadas nas telas do sistema. Verifica o tamanho dos cdigos e termos apresentados e introduzidos no sistema. Verifica a extenso dos dilogos estabelecidos para a realizao dos objetivos do usurio. Avalia a densidade informacional das telas apresentadas pelo sistema. Verifica se o usurio quem comanda explicitamente as aes do sistema. Avalia as possibilidades do usurio controlar o encadeamento e a realizao das aes. Verifica se o sistema permite personalizar as apresentaes e os dilogos. Avalia se usurios com diferentes nveis de experincia tm iguais possibilidades de obter sucesso em seus objetivos. Qtde questes 17 11 17

12 27 14 5 9 4 4 3 6 7 9 5 11 12 21

13. Proteo contra Verifica se o sistema oferece as oportunidades para o usurio erros prevenir eventuais erros. 14. Mensagens de erro 15. Correo de erros 16. Consistncia 17. Significados Avalia a qualidade das mensagens de erro enviadas aos usurios em dificuldades Verifica as facilidades oferecidas para que o usurio possa corrigir os erros cometidos. Avalia se mantida uma coerncia no projeto de cdigos, telas e dilogos com o usurio Avalia se os cdigos e denominaes so claros e significativos para os usurios do sistema.

18. Compatibilidade Verifica a compatibilidade do sistema com as expectativas e necessidades do usurio em sua tarefa Quadro 1 - Distribuio das questes Ergolist por critrio

32

Este questionrio utiliza o checklist para avaliao disponibilizado na web. gratuito e bem recomendado, mas no especfico para aplicao web.

3.1.2 Questionrio ISONORM

O ISONORM 9241/10 um modelo de questionrio proposto por Prumper (1993 apud OLIVEIRA JUNIOR, 2006) baseado na Norma ISO 9241. Objetiva avaliar a conformidade dos produtos de software com as recomendaes constantes da parte 10 da norma, possui grau de aplicabilidade bastante satisfatrio, identificando os pontos de melhoria e bastante estvel. Uma vantagem nele que foi limitado a cinco questes para cada principio de modo a reduzir o tempo de preenchimento para, no mximo, 10 minutos, totalizando 34 questes. Ele dividido em 7 sees, conforme os princpios de dilogo da norma ISO 9241 parte 10: Adequao Tarefa, Autodescrio, Controlabilidade, Conformidade com as Expectativas do Usurio, Tolerncia a Erros, Adequao Individualizao e Adequao ao Aprendizado (ISONORM, 2010). Sua avaliao pode ser feita pelos prprios usurios do software a ser avaliado. um questionrio para avaliao de qualidade do software como um todo, sendo de domnio pblico, podendo ser usado abertamente por qualquer pessoa ou entidade. Seus dados tm que ser tabulados manualmente, disponvel apenas para uso em papel, no existindo uma verso em um questionrio on-line.

3.1.3 WAMMI

O WAMMI - Web Analysis and MeasureMent Inventory um questionrio desenvolvido usando tcnicas psicomtricas, com confiabilidade de 90% a 93%, usado para medir a satisfao dos usurios e a facilidade de uso de website. Est disponibilizado para preenchimento on-line, gerando vrios relatrios com: grfico de

33

resultados, mostrando a mdia dos fatores que esto acima ou abaixo do valor de referncias; anlise de sentenas; perfil do website, sendo medida a atratividade do usurio, o grau que o usurio sente que tem no controle da interao, a eficincia do site, o suporte ao usurio e a facilidade do aprendizado. As vinte perguntas do questionrio esto em vocabulrio de fcil entendimento e, por no conterem uma quantidade elevada de questes, permite ser preenchido em pouco tempo. A sua restrio quanto ao custo, pois para ser utilizado no todo ou em parte, a empresa ou instituio precisa pagar (WAMMI, 2010).

3.1.4 QUIS

Questionnaire for User Interaction Satisfaction QUIS um questionrio para medir a satisfao do usurio quanto usabilidade de um modo padronizado, seguro e vlido, a fim de obter informaes precisas em relao reao dos usurios a novos produtos. Foi hierarquicamente organizado em 7 fatores referentes interface:

Fatores relacionados s telas; Terminologia e retorno do sistema; Fatores relacionados ao aprendizado; Capacidade do sistema; Manuais tcnicos; Tutoriais on-line; Multimdia; Foi desenvolvido por Shneiderman, em 1987, onde o registro das opinies

feito atravs de uma escala numrica indo de 1 a 9. Foi modificado muitas vezes

34

para mant-lo atualizado, desde a sua primeira apario. O questionrio projetado para ser configurado de acordo com as necessidades de cada anlise de interface, incluindo unicamente as questes que interessam para a anlise proposta. Ele est disponvel comercialmente para uso. Apesar de ser muito bom e recomendado, tem a desvantagem de no poder ser usado gratuitamente (HCLI, 2010). 3.1.5. SUS

System Usability Scale - SUS um questionrio maduro, desenvolvido por John Brooke (1986). muito robusto e tem sido amplamente utilizado e adaptado. de domnio pblico e no h ningum que tenha publicado nenhum dado de normalizao sobre o assunto. Os dez itens deste questionrio e a forma de calcular suas pontuaes se difere acentuadamente dos demais questionrios, seus resultados so mais gerais, pois no foi desenvolvido para ser aplicado especificamente a softwares. Dessa forma, adaptar suas dez questes, da forma como foram idealizadas por seu autor, ao contexto deste trabalho pode distorcer os resultados a serem esperados. No sendo uma opo razovel a ser utilizada para avaliar a usabilidade geral de uma aplicao educacional.

3.1.6 SUMI

Software Usability Measurement Inventory - SUMI um questionrio para medio da qualidade de um software do ponto de vista do usurio. Foi desenvolvido em 1990 por KiraKowski (2002). Est em constante atualizao e normalizao de sua base e manual. mencionado na norma ISO 9241 como um mtodo reconhecido para testar a satisfao do usurio. Trata-se de um produto comercial completo, com pontuao e software de gerao de relatrio. Ele projetado e vendido pela Human Factors Research Group da Universidade College Cork. composto de 50 questes, com trs nveis de resposta: Concordo, Indeciso e No Concordo. Relaciona-se com cinco aspectos principais: Eficincia, Empatia

35

(apreciao subjetiva), Controle, Ajuda e Aprendizagem. bem recomendado e com resultados precisos, mas no pode ser usado sem nus (SUMI, 2010).

3.2 Ferramentas de Avaliao da Usabilidade Pedaggica

A usabilidade pedaggica est associada aos critrios e recomendaes de usabilidade com a finalidade de satisfazer as necessidades dos alunos para a realizao de tarefas propostas atravs de componentes da interface do material de aprendizagem. Ela definida, conforme classificao de Nielsen (1990), como um sub-conceito de utilidade, enquanto que a usabilidade tcnica um sub-conceito de usabilidade, conforme demonstrado na figura 2. Para Nokelainen (2006), a usabilidade tcnica deve proporcionar facilidade na aprendizagem do uso das principais funes da aplicao e que as mesmas sejam eficientes e convenientes em seu uso. Para o autor, a usabilidade pedaggica deve prover um projeto do material de aprendizagem cujas funes facilitam a aprendizagem deste material e sua distribuio.

Figura 2 Conceito de Usabilidade Tcnica e Pedaggica Fonte: Nielsen (1990), adaptado por Nokelainen (2006), apud Reitz (2009)

36

3.2.1 Questionrio de satisfao de Nokelainen

Nokelainen (2006) props um questionrio para avaliao da usabilidade pedaggica composto de 56 itens (Anexo A) dispostos em uma escala Lickert. Apresenta os seguintes critrios de usabilidade pedaggica: controle do aluno; controle de atividade; aprendizagem colaborativa/cooperativa; orientao de metas; aplicabilidade; valor agregado; motivao; avaliao do conhecimento prvio; flexibilidade e feedback. Estes critrios so decompostos em 51 sub-dimenses da usabilidade pedaggica. Tem uma excelente abordagem das necessidades pedaggicas, mas no aborda os aspectos inerentes usabilidade tcnica e que so necessrios para se atingir um bom nvel de qualidade numa aplicao educacional.

3.2.2 Questionrio de Ssemugabi

Foi elaborado por Ssemugabi (2006) para medir a usabilidade tcnica e pedaggica (Anexo B). Alm das 10 heursticas propostas por Nielsen adotadas neste questionrio para a avaliao geral de usabilidade, existe um conjunto propondo outras 10 heursticas, especficas para avaliao de usabilidade de aplicaes e-learning, tendo por base as heursticas de aprendizado com software (learning with software) propostas por (SQUIRES e PREECE 1999, apud SSEMUGABI, 2006). As 20 heursticas so divididas em 03 categorias:

Categoria 1: Critrio geral de usabilidade de interface, com as 10 heursticas propostas por Nielsen, com pequenas modificaes para o contexto de aplicaes e-learning;

Categoria 2: Critrio especfico para aplicaes web educacionais, com 02 heursticas;

Categoria 3: Critrio especfico sobre design com foco em aprendizado, focando em aprendizado efetivo, com 08 heursticas.

37

Tem uma abordagem muito boa, porm por utilizar as 10 heursticas de Nielsen para medio da usabilidade tcnica, resulta numa quantidade grande de questes s para a medio da usabilidade geral, dificultando a sua aplicao aos usurios. Quando aplicado em um ensaio deste estudo a alguns usurios, estes relataram que a quantidade grande de questes desestimulava o seu

preenchimento.

3.2.3 Questionrio de Reitz

Este questionrio (Anexo C), desenvolvido por Reitz (2009), utiliza as 10 heursticas propostas por Nielsen, como base para avaliao da usabilidade geral, que foram adaptadas pelo trabalho de Ssemugabi (2006), gerando um bom conjunto de questes, mas ainda extenso para ser aplicado a um questionrio on-line. Tendo em vista a necessidade de uma ferramenta que se adeque ao problema apresentado neste trabalho, buscou-se criar uma ferramenta de avaliao da interface de usurio de aplicao educativa web, com o compromisso de simplicidade e gratuidade, uma vez que as ferramentas supramencionadas no se adquam s necessidades do problema a ser resolvido por esta pesquisa.

38

4. PROPOSTA E FUNCIONAMENTO DO SAUSP

O desenvolvimento da metodologia utilizada no SAUSP Sistema Avaliador de Usabilidade em Softwares Pedaggicos objetiva auxiliar professores a avaliar os softwares educacionais a serem utilizados como ferramenta de apoio aprendizagem dos alunos nos laboratrios de informtica das escolas. Destina-se a oferecer um mecanismo a professores de laboratrios de informtica que necessitem mensurar a qualidade de uso de materiais de aprendizagem, levando em considerao os fatores pedaggicos e tcnicos da usabilidade. A ferramenta utilizase de um questionrio de satisfao do usurio para avaliar a usabilidade geral, a usabilidade pedaggica e a usabilidade voltada web.

4.1 Seleo do Tipo do Tcnica de Avaliao de Usabilidade

A escolha do questionrio como tcnica empregada por esta ferramenta, dentre as diversas tcnicas aplicados para avaliao de usabilidade de softwares, justificada pelas seguintes razes (REITZ, 2009; OLIVEIRA JUNIOR, 2006): - tem um custo baixo (VASCONCELOS, 2007); - por colher a opinio de seus usurios finais, uma forma recomendada e prtica de detectar problemas de usabilidade; - oferece uma mtrica para a usabilidade, pois quantitativamente classifica os materiais de aprendizagem em diferentes nveis de usabilidade; - adequada a usurios finais, neste caso, a professores, evidenciada pela quantidade de questionrios por eles respondidos nos trabalhos desta pesquisa e de Reitz (2009); - tem praticidade na deteco de problemas de usabilidade, no exigindo conhecimento de especialista ou um grande esforo para interpretao.

39

Shneiderman (1998, p.132 apud SOARES, 2004) tambm elenca razes que apontam o questionrio de satisfao do usurio como uma tcnica recomendvel para avaliao de usabilidade, por ser uma tcnica de baixo custo e ser um bom complemento para os testes e inspees de usabilidade. Alm disso, til, quando se tem uma grande quantidade de usurios dispersos geograficamente, como o caso dos professores das escolas municipais que trabalham nos 225 laboratrios de informtica nas 324 escolas municipais, em que aproximadamente 175 mil alunos os utilizam (NOGUEIRA, 2010). O questionrio desenvolvido nesta proposta adotou como medida de usabilidade a satisfao do usurio, j que ela, junto com a eficincia e a efetividade, pela definio da International Organization for Standardization (RODRIGUES, 2010), so mtricas de usabilidade que permitem usarmos um produto alcanando seus objetivos especficos em um contexto de uso especfico (ISO 9241-10). Levando em considerao a satisfao, como o sentimento de prazer ou de desapontamento resultante da comparao do desempenho esperado pelo produto (ou resultado) em relao s expectativas do usurio, possvel analisar esse sentimento quantitativamente pelos questionrios (SOARES, 2004). importante ressaltar que, quando um questionrio avalia a satisfao dos usurios de um software, est tambm investigando o grau de usabilidade observado na interao e nos resultados obtidos. Dessa forma, o avaliador acaba tambm aferindo os parmetros relativos eficincia do sistema e de suas interfaces (CYBIS e MEDEIROS, 2000, apud ENDLER, 2000; SANTOS, 2003). Para organizar as respostas, a melhor alternativa para esse tipo de avaliao, disp-las em escalas, para depois que as perguntas terem sido respondidas, serem tabuladas para obteno de dados quantitativos do nvel de satisfao dos usurios (KOTLER, 2003; SANTOS, 2003).

4.2 Proposta do questionrio de avaliao desta ferramenta

Primeiramente, algumas definies no tocante avaliao sero feitas (NASCIMENTO JUNIOR, 2000 apud SOARES, 2004). Um mtodo de avaliao

40

constitudo de vrias tcnicas, j a tcnica de avaliao corresponde a um procedimento de natureza nica. Enquanto que a ferramenta a implementao das tcnicas de avaliao de usabilidade disponibilizadas atravs de recursos computacionais ou no. Para a obteno dos objetivos de uma pesquisa, podemos combinar vrios mtodos, tcnicas e ferramentas j desenvolvidas. Isso bastante positivo, pois essa combinao desses achados amplia a possibilidade de aplicao dos mtodos em situaes de carter mais especfico (SOARES, 2004). Esta ferramenta utiliza: os princpios estabelecidos pela Norma ISO 9241Parte 10 Princpios de Dilogo, baseado nas perguntas do modelo de questionrio proposto por Prumper (1993 apud OLIVEIRA JUNIOR, 2006, p. 21), para medir a usabilidade geral das aplicaes; nos critrios e heursticas de usabilidade pedaggica de Nokelainen (2006) para medir a usabilidade pedaggica e nos critrios de Ssemugabi (2006) para medir a usabilidade voltada web.

4.3 Forma de Organizao do Questionrio na Ferramenta

Para a formulao deste questionrio foi realizada uma pesquisa bibliogrfica sobre o estado da arte, de modo a colher informaes sobre os vrios tipos de questionrios j existentes e validados, para poder selecionar as ideias que melhor pudessem se adequar resoluo do problema proposto. As questes extradas dos questionrios de satisfao encontrados na pesquisa bibliogrfica de Nokelainen (2006), Ssemugabi (2006) e da ISONORM (1993) foram agrupadas e ajustadas em sees, atravs de sntese e adaptao das questes, sendo eliminadas as perguntas semelhantes das fontes diversas ou adaptadas para aplicao ao contexto deste problema, de modo a minimizar a quantidade de questes, contribuindo para reduzir o tempo de preenchimento do formulrio, gerando mais atratividade por seus utilizadores e, por consequncia, um maior nmero de respostas aos questionrios (NIELSEN; MACK, 2001).

41

Antes de sua verso final, foi feito um pr-teste do questionrio pelos usurios, em que foram colhidas suas opinies e dificuldades, onde algumas questes foram eliminadas e outras sofreram ajustes em sua redao para melhor entendimento por seus avaliadores, para enfim chegar-se sua verso final. O questionrio de satisfao de uso desta proposta (ver Apndice C) ser disponibilizado atravs de um questionrio on-line implementado no SAUSP, um site com o propsito de dar suporte mensurao da qualidade em uso das aplicaes educacionais para os professores do ensino fundamental das escolas municipais. Atravs de uma escala, medida a satisfao do usurio com a interface da aplicao educacional e a sua eficincia pedaggica. As respostas so dispostas em uma escala Lickert com pontuao de 1 a 5, indo de Concordo Totalmente (5 pontos) at Discordo Totalmente (1 ponto), conforme a figura abaixo:

Figura 3 Resposta do questionrio em escala Lickert

As perguntas deste questionrio esto organizadas em trs categorias: usabilidade geral, usabilidade de sites para EAD e usabilidade pedaggica, conforme abaixo descrito: - Usabilidade Geral: baseada nas questes do modelo de questionrio ISONORM 9241/10 - Usabilidade para sites de EAD: baseada em Ssemugabi (2006) - Usabilidade Pedaggica: baseada em Nokelainen (2006)

4.3.1 Questes relativas Usabilidade Geral

As questes extradas do questionrio ISONORM so relativas usabilidade geral e relacionam-se a sete grupos, conforme os princpios de dilogo da parte 10 da norma ISO 9241 (RODRIGUES, 2010), uma norma

42

internacionalmente reconhecida, conforme Cybis (2003). Seus princpios so (NOKELAINEN, 2006 apud REITZ, 2009): Adequao Tarefa: uma interface adequada para uma tarefa quando ela d apoio ao usurio de modo que a tarefa seja concluda de forma efetiva e eficiente. Autodescrio: quando os passos do dilogo na interface so imediatamente compreensveis por meio de resposta do sistema ou explicado, sob demanda, ao usurio. Controlabilidade: permite que o usurio inicie e controle a direo e o ritmo da interao at seu objetivo ser atingido. Conformidade com as Expectativas do Usurio: a interface consistente e corresponde s caractersticas do usurio (conhecimento da tarefa, educao e experincia) e s convenes por ele normalmente aceitas. Tolerncia a Erros: se, apesar de erros de entrada do usurio, o resultado da aplicao esperado pode ser obtido com pouca ou nenhuma ao corretiva do usurio. Adequao Individualizao: se capaz de ser modificado para se adequar s necessidades da tarefa, preferncias individuais e habilidades do usurio. Adequao ao Aprendizado: quando guia e d apoio ao usurio para as estratgias em aprender a usar o sistema, permitindo sua compreenso e memorizao. Este questionrio foi escolhido por refletir fielmente aos princpios da ISO 9241/10 e ser de domnio pblico, podendo ser empregado no apenas para uso acadmico, mas tambm disponibilizado livremente para uso profissional, suprindo a necessidade da poltica de informtica de Software Livre, implantada pelo governo municipal nos softwares implantados nas escolas no municpio de Fortaleza (SILVA, 2009).

43

4.3.2. Questes relativas Usabilidade de Sites para EAD

As questes relativas usabilidade para sites de EAD foram baseadas no questionrio de satisfao do usurio de Ssemugabi (2006) de sua segunda categoria (Design especfico para websites educacionais). A escolha dessa parte dos critrios desse autor se deu, pois eles se adequam perfeitamente s necessidades desta pesquisa, no sendo extenso. interessante ressaltar um detalhe nos seus achados. Apesar de sua pesquisa ter sido realizada com 61 alunos, os quatro especialistas em usabilidade pedaggica que tambm foram consultados, detectaram mais problemas que todos os alunos. Ressaltando que esta tcnica se mostrou mais proveitosa para profissionais do ensino do que para alunos, que apesar de serem os usurios alvo dos materiais de aprendizagem, no tiveram maturidade suficiente para ponderar questes importantes do processo cognitivo. As questes foram classificadas em dois grupos: 1. Simplicidade de navegao e estrutura: o site disponibilizar uma estrutura de navegao simples, de modo que seus usurios possam saber sua localizao dentro dele. 2. Relevncia do contedo do site para a aprendizagem: o site apresentar um contedo motivador, relevante e adaptado para o aluno. O contedo oferecido ao aluno pertencer a autores consagrados na literatura.

4.3.3 Questes relativas Usabilidade Pedaggica

As questes relativas usabilidade pedaggica apontam para os dez critrios de usabilidade pedaggica de Nokekainem (2006). A deciso por estes critrios se deu, pois eles se referem aos fatores pedaggicos a serem observados em uma aplicao voltada ao ensino, sendo j adaptados para este contexto e inclusive aplicados a alunos do 5 e 6 ano do ensino fundamental (REITZ, 2009). Outrossim, as perguntas de seu questionrio tem uma grande abrangncia, totalizando 56 perguntas que podem ser usadas para os diversos contextos de

44

aprendizagem, sobrepujando os critrios de Ssemugabi (2006) dispostos nas 39 perguntas do questionrio de seu trabalho ligadas ao design instrucional centrado no usurio. A classificao das questes se aplica para os critrios abaixo: 1. Controle do aluno: observar a sobrecarga da memria do aluno, para evitar que os materiais sejam mal divididos, respeitando o preconizado por John Sweller (2003), em que as pessoas podem ter de cinco a nove itens em sua memria de curto prazo. 2. Atividade do aluno: quando existe uma boa didtica, a atividade individual do aluno pode ser melhorada e, portanto, aumentada. 3. Aprendizagem colaborativa/cooperativa: o aluno poder estudar com outros aprendizes para alcanar as metas de aprendizagem em comum. 4. Orientao a objetivos: deixar evidente para os aprendizes, quais so suas metas e os objetivos de aprendizagem a serem alcanados. 5. Aplicabilidade: o contedo do material deve corresponder s

habilidades que o aluno necessitar de maneira prtica em sua vida. Procurar transferir o conhecimento e as habilidades do aluno a outros contextos. 6. Valor agregado: normalmente adicionado atravs do uso criativo das possibilidades disponibilizadas pelo computador, por meio de udio, imagens, vdeo, de acordo com a necessidade do aluno. 7. Motivao: o material apresentar contedos e funes interativas de modo a manter os alunos motivados, proporcionando-lhes criatividade, pensamento crtico e aprendizagem ativa. 8. Avaliao do conhecimento prvio: respeitar o conhecimento prvio do aprendiz, observando as suas diferenas individuais de conhecimento e habilidades, podendo oferecer a reviso de contedos anteriores necessrios ao aprendizado do contedo atual. 9. Flexibilidade: oferecer facilidade para o usurio operar e manter o sistema

45

10.

Feedback: oferecer ao aluno um feedback incentivador para

aumentar sua motivao e imediato, para ele entender os problemas em sua aprendizagem. A proposta da utilizao dos critrios levantados por essa soluo no avaliar os materiais de aprendizagem, definindo-os como bons ou ruins. O propsito auxiliar seus usurios, os professores, na seleo mais adequada situao de aprendizagem para os alunos. Isso pode ser realizado porque os resultados obtidos da avaliao sero medidos por cada categoria especfica de usabilidade e por cada um de seus critrios. Podendo o professor, atravs dos grficos gerados com os resultados apontados para cada critrio, observar os pontos mais fortes do material de aprendizagem e us-los para a situao de aprendizagem mais adequada. Para exemplificar a ajuda desta proposta, vejamos um determinado objeto de aprendizagem no laboratrio de informtica que tem um elevado nvel de aceitao no critrio Motivao, mas no critrio Aprendizagem

Colaborativa/Cooperativa tem uma baixa avaliao. Primeiramente, vejamos uma situao de aprendizagem em que os alunos precisem interagir com seus colegas. Nessa situao, esse objeto de aprendizagem ser inadequado, pois no atende eficientemente necessidade de cooperao entre os alunos. No entanto, se a situao de aprendizagem for diferente da anterior, onde seja necessrio que os alunos estejam bem motivados no uso do mesmo objeto de aprendizagem, mas que eles no tenham que trabalhar cooperativamente, este objeto de aprendizagem ser o recomendado.

4.4 Implementao da ferramenta em um site

A ferramenta ser destinada a um pblico especfico, aos profissionais da educao interessados em aferir a qualidade dos softwares educacionais a serem usados por alunos do ensino fundamental nos laboratrios de informtica. O usurio que adentrar no site encontrar trs funcionalidades na tela inicial da aplicao (Figura 4). Ter as opes de conhecer um pouco mais sobre

46

Usabilidade, ver que materiais j foram avaliados e responder ao questionrio de avaliao.

Figura 4 Tela inicial do SAUSP

4.4.1 Saiba mais sobre usabilidade

Ao clicar em Saber Sobre Usabilidade, o usurio poder, conhecer sua definio, sua importncia e como avali-la. Consiste em um contedo introdutrio sobre a importncia dos princpios que regem a qualidade dos softwares, dando nfase usabilidade, subdivindo-a em usabilidade tcnica e pedaggica. Um texto resumido ir explicar para o utilizador que a avaliao ser medida em trs categorias da usabilidade, elencando os critrios atinentes a cada uma delas: - usabilidade geral - usabilidade de sites para EAD

47

- usabilidade pedaggica Ser tambm disponibilizada uma relao de links recomendados para leitura, para um maior aprofundamento sobre o tema usabilidade. De modo que a aplicao tenha somente as informaes essenciais para o uso pelos professores (Figura 4)

Figura 5 Tela da funcionalidade Saiba sobre Usabilidade

4.4.2 Consultar Materiais Avaliados

Essa funcionalidade acessa os materiais que j foram avaliados pelos professores atravs do questionrio on-line. Todos os materiais cadastrados e avaliados constaro na base de dados da aplicao, para eventuais consultas por qualquer professor. A consulta ser realizada da seguinte maneira. a) Na tela inicial da consulta constar o campo:

48

- Disciplina: ser um campo do tipo menu de escolha nica, onde constaro como valores as disciplinas do curriculum escolar da rede de ensino. Este campo de preenchimento obrigatrio, com valor default Escolha uma disciplina, para que o professor tenha que selecionar uma opo. Esta condio importante para que, caso o usurio inadvertidamente no preencha este campo, a consulta no venha trazer todos os materiais existentes no banco de dados. Caso o usurio, no preencha esse campo, uma mensagem de erro ser exibida ao lado do campo, informando a necessidade de seu preenchimento. - Consultar: boto de envio (ou submisso), que ao ser acionado verificar o contedo do campo Disciplina relacionada, trazendo todos os registros com os materiais de aprendizagem j avaliados. b) Na tela seguinte, ser exibido o campo: - Nvel: um campo do tipo menu de escolha nica. Nele constaro como valores a escolher: Fundamental I ou Fundamental II . Esse campo de preenchimento obrigatrio, com valor default Escolha um nvel. Ao selecionar um valor nesse campo, a aplicao ir exibir na tela todos os materiais de aprendizagem que atendam a essa consulta. As informaes pertinentes aos materiais de aprendizagem sero: - Nome do material: texto contendo o nome do objeto ou material de aprendizagem - Onde encontro: texto contendo a localizao do material, que poder ser um link ou uma outra descrio, caso esteja disponvel, por exemplo, em CD. - Nvel: texto contendo um dos valores Fundamental I ou Fundamental II. - Ano: texto opcional caso no cadastro do material de aprendizagem, tenha sido preenchido pelo professor. - Avaliao do material: link para exibio dos grficos com os resultados das avaliaes feitas pelo(s) professore(s).

49

c) A tela com a avaliao do material selecionado exibir os dados da avaliao em forma de grfico (Grficos 1, 2, 3 e 4). As figuras mostradas dentro desta seo tem carter apenas ilustrativo, no contendo dados reais. Quadro Geral da Usabilidade

Grfico 1 Resultado das 3 categorias de usabilidade

Usabilidade Geral

Grfico 2 Resultado dos critrios de usabilidade tcnica

50

Usabilidade relativa a sites EAD

Grfico 3 Resultado dos critrios de usabilidade para sites web

Usabilidade Pedaggica

Grfico 4 Resultado dos critrios de usabilidade pedaggica

51

4.4.3 Responder ao Questionrio

Disponibilizar para o professor usurio uma tela (Figura 6) com os seguintes campos:

Figura 6 Tela da funcionalidade Responder Questionrio

- Nome: campo do tipo texto, de preenchimento obrigatrio. Caso o usurio no preencha este campo, uma mensagem ser exibida ao lado da caixa, informando da sua obrigatoriedade. Este campo conter o nome do avaliador. - Escola: campo do tipo texto, de preenchimento obrigatrio. Caso o usurio no preencha este campo, uma mensagem ser exibida ao lado da caixa, informando da sua obrigatoriedade. - Email: campo do tipo texto, de preenchimento obrigatrio. Caso o usurio no preencha este campo, uma mensagem ser exibida ao lado da caixa, informando da sua obrigatoriedade.

52

- Nome do material: Campo do tipo menu de escolha nica, em que constaro como valores os materiais de aprendizagem j cadastrados e avaliados por outros profissionais, conforme os campos anteriormente preenchidos, mais o valor Ainda no cadastrado. Seu preenchimento obrigatrio. Caso o usurio no preencha este campo, uma mensagem ser exibida ao lado da caixa, informando da sua obrigatoriedade. Se o usurio informar o valor Ainda no cadastrado habilitar o campo Novo material, que fica oculto, s sendo exibido nesta situao. Este cuidado foi tomado para que os dados cadastrados estejam normalizados, evitando ambiguidade na nomeao dos materiais informados. - Disciplina: Campo do tipo menu de escolha nica, que constar como valores as disciplinas do curriculum escolar da rede de ensino. Esse campo de preenchimento obrigatrio, com valor default Escolha uma disciplina. - Nvel: Campo do tipo menu de escolha nica, com valores possveis: Fundamental I e Fundamental II. Seu preenchimento obrigatrio. Caso o usurio no preencha este campo, uma mensagem ser exibida ao lado da caixa, informando da sua obrigatoriedade. - Ano: Campo do tipo menu de escolha nica, de preenchimento opcional. Seus valores sero exibidos conforme o preenchimento do campo Nvel. Caso seja Fundamental I, os valores possveis sero: 2 ano, 3 ano, 4 ano ou 5 ano. Caso seja Fundamental II, os valores sero: 6 ano, 7 ano, 8 ano ou 9 ano. - Onde encontro: Campo do tipo caixa de texto, de preenchimento obrigatrio. Caso o usurio no preencha este campo, uma mensagem ser exibida ao lado da caixa, informando da sua obrigatoriedade. O preenchimento desse campo obrigatrio para que outros professores, que venham a consultar a avaliao feita do material, possam tambm encontr-lo e us-los, proporcionando compartilhamento dos materiais. As perguntas do questionrio estaro dispostas na aplicao como campos do tipo botes de Rdio, permitindo ao utilizador selecionar uma entre as cinco opes (Figura 7).

53

Figura 7 Apresentao das perguntas no questionrio

O usurio preencher todas as questes e submeter o formulrio avaliao, atravs do boto Concluir Avaliao. Ele ter a opo de no preencher alguma (s) questo (s) que no se aplique ao material de aprendizagem, pois pode estar avaliando um objeto simples que no envolva todos os critrios utilizados nesta ferramenta de avaliao. No entanto, caso isso seja feito de maneira inadvertida, ele ser informado ao final do preenchimento do formulrio que alguma(s) questo (s) no foi (ram) preenchida(s), e que afetar a preciso dos resultados.

4.4.4 Exibio do Resultado da Avaliao

Antes de exibir os relatrios, uma tela ser exibida com as respostas de todas as questes e acionando o boto Exibir Grficos com Resultado, sero disponibilizados em tela os grficos com os resultados referentes avaliao do professor (Figuras 4, 5, 6 e 7). importante observar que os resultados exibidos nesta tela no sero necessariamente os mesmos dos exibidos na tela da funcionalidade Consulta de Materiais Avaliados, uma vez que esta conter a mdia dos valores atribudos pelas avaliaes de outros profissionais, enquanto que aquela conter o resultado da avaliao do professor logado na aplicao para conferncia e impresso de sua avaliao.

54

4.4.5 Aspectos Arquiteturais Gerais da Ferramenta

O SAUSP ser desenvolvido em Java, verso 6. uma linguagem de programao e uma plataforma de computao executada em mais de 850 milhes de computadores pessoais e em bilhes de dispositivos em todo o mundo, inclusive telefones celulares e dispositivos de televiso. O Java permite criar web sites

dinmicos, possibilitando uma interao com o usurio atravs de formulrios, parmetros da URL e links. A vantagem do desenvolvimento da aplicao por esta tecnologia a sua portabilidade, provendo uma independncia de plataforma o desenvolvedor "escreva uma vez, execute em qualquer lugar" (JAVA, 2010). A aplicao desenvolvida utilizar como banco de dados o MySql verso 5.0, mas outros Sistemas Gerenciadores de Bancos de Dados (SGBD) podem ser utilizados como o Firebird, Oracle, PostgreSQL, SQLServer, dentre outros. Na figura 8, temos o MER Modelo de Entidade Relacionamento que descreve, de maneira conceitual, os dados a serem utilizados em no banco de dados da aplicao.

Figura 8 Modelo de Entidade Relacionamento (MER)

55

A escolha do MySQL como SGBD foi feita devido vantagem de ser gratuito (para boa de suas funcionalidades), seu cdigo fonte ser aberto, leve, rpido, seguro e prtico. Seu desempenho tem sido um ponto bastante relevante em matria de sistemas, principalmente no quesito internet . Quanto segurana, com seus diversos tipos de tabelas, possvel ter um banco de dados bastante seguro e estvel contando com integridade referencial, backup e restore, controle de usurios e acessos, e ainda , se necessrio , verificao e correo de corrompimento de tabelas (MYSQL, 2010). Para que possamos validar a soluo proposta nesta ferramenta, foram submetidos dois objetos de aprendizagem avaliao, por meio do questionrio proposto nesta soluo, pelos professores do ensino fundamental de escolas municipais, para que sejam mensurados os critrios de usabilidade geral, web e pedaggica. Os dois objetos avaliados pela ferramenta sero utilizados pelos alunos para que se possa verificar-lhes o desempenho em cada objeto de aprendizagem, traando um paralelo entre a avaliao de usabilidade apontada pela ferramenta e o nvel de desempenho dos alunos, quando do uso de aplicaes com nveis diferentes de qualidade em uso.

56

5. VALIDAO DA PROPOSTA

O objetivo do questionrio de avaliao implementado nesta ferramenta, como j explicado, no simplesmente apontar um software como bom ou ruim para uso. Seu intuito auxiliar o professor a selecionar o aplicativo educacional mais adequado a uma determinada situao de aprendizagem, apoiado nos resultados das avaliaes nele realizadas. A avaliao realizada atravs do SAUSP foi aplicada, no perodo de 09/12/2010 a 17/12/2010, em dois objetos de aprendizagem, um deles disponvel no endereo (http://a77.com.br/matematica/contas_on_line_adicao_1.php), que

chamaremos a partir deste ponto do texto de Objeto 1. um portal que oferece vrias opes de objetos de aprendizagem, cujo contedo indicado como auxiliar nos processos de ensino e aprendizagem de crianas, jovens e adultos. O outro objeto de aprendizagem est disponvel no portal Junta de Andaluca (http://www.juntadeandalucia.es/averroes/centros-tic/41009470/helvia/aula/archivos /repositorio/0/61/html/datos/05_rdi/U02/01.htm) que contem diversos objetos de aprendizagem para um pblico tambm diverso a semelhana do primeiro apontado, que chamaremos a partir deste ponto do texto de Objeto 2 .

5.1 Estudo Piloto do Uso do SAUSP

Foram convidados para a avaliao, professores de escolas pblicas municipais do ensino fundamental com experincia no uso das tecnologias da informao na educao. Para que pudessem ser aplicadas as avaliaes, as escolas participantes desta pesquisa foram visitadas. Foi realizada uma capacitao dos professores com relao ferramenta e ao conhecimento dos aspectos da qualidade em uso dos softwares educacionais com vistas a despertar-lhes para a importncia da qualidade nos softwares, desenvolvendo seu senso crtico.

57

Os professores acessaram cada um objeto de aprendizagem por vez, explorando todas as suas funcionalidades, de modo a conhec-los bem. Aps esta etapa, foi-lhes solicitado acessar o SAUSP, no domnio

www.humbertocbrasil.com.br/sasp , para efetuarem seus cadastros como usurios e o cadastro da ferramenta a ser avaliada na aplicao. Uma vez cadastrado o objeto de aprendizagem alvo da avaliao, o professor faz a sua avaliao sobre o material com que ele interagiu, respondendo aos itens do questionrio. Foi deixado claro para o usurio avaliador que o que estava sendo avaliado o material de aprendizagem e no a habilidade de seu utilizador. Aps preenchimento do questionrio, os professores foram convidados a verificarem os dados coletados apresentados por meio de grficos gerados pela ferramenta (Figuras 9, 10, 11 e 12 ) . A escolha da exibio dos resultados em forma de grficos deu-se pela praticidade e intuitividade que lhes peculiar. O pedagogo pode fcil e objetivamente observar a pontuao dos nveis dos vrios critrios de usabilidade. Foram convidados 18 pedagogos para avaliar os objetos de

aprendizagem. Responderam o questionrio 11 professores, sendo eles: dois mestres em educao, um mestrando em computao, um mestre em computao aplicada, quatro especialistas em educao e trs pedagogos. Os sete professores capacitados, que no participaram desta pesquisa foram impossibilitados de contriburem, devido suas intensas atividades dentro da escola e fora dela. Os demais professores foram acompanhados dentro e fora de suas respectivas escolas, uma vez que alguns s tinham tempo de participar da pesquisa na escola e outros somente em suas residncias. Em virtude destas dificuldades encontradas, o deslocamento e acompanhamento direto dos professores, aliado a incentivos participao deles nesta pesquisa, oferecendo-lhes kits com materiais de papelaria e chocolates, foram estratgias que contriburam para uma maior adeso dos professores aos questionrios. Para o bom direcionamento da avaliao, foram realizadas tarefas pelos professores nos objetos de aprendizagem: navegao, explorao dos botes e

58

links, preenchimento de campos com dados vlidos e invlidos, para observar o comportamento do objeto e o mesmo poder ser avaliado.

5.2 Preenchimento do questionrio de avaliao

Os professores responderam cada quesito do questionrio de acordo com o objeto de aprendizagem. As perguntas do questionrio foram formuladas para serem aplicadas em vrios tipos de softwares educativos voltados para o ensino fundamental utilizados nos laboratrios das escolas. Como os objetos de aprendizagem so materiais de aprendizagem com simples contedo, algumas questes no foram respondidas, j que no se aplicavam a eles. Tais quesitos no respondidos no foram computados no clculo da mdia, caso contrrio, distorceriam os resultados. Foram obtidas as mdias das perguntas respondidas pelos 11 professores envolvidos na pesquisa, referentes a cada critrio, como demonstrado nas tabelas 01 e 02.

59

Objeto 1 N da questo 1 1 3 2 4 3 5 4 5 5 5 6 5 7 5 8 5 9 3 10 3 11 3 12 4 13 4 14 5 15 5 16 5 17 4 18 4 19 5 20 1 21 22 23 4 24 25 4 26 1 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 3 1 1 4 4 3 3 4 3 3 1 2 4 4 2 3 1 4 4 4 3 4 3 3 1 3 5 4 3 4 1 2 3 2 3 3 4 4 4 5 5 5 4 5 4 5 5 4 5 3 4 3 3 4 3 4 4 3 4 5 5 5 5 5 5 3 4 3 3 4 5 1 1 - - 4 3 - 3 4 1 1 2 1 1 5 4 4 4 3 2 4 1 3 4 5 2 4 1 3 1 1 4 3 3 3 4 4 3 1 4 5 5 2 3 1 Professores avaliadores 4 4 6 7 8 9 2 2 3 2 4 2 5 4 5 4 4 4 4 5 4 5 5 4 4 5 5 4 5 5 5 4 5 5 5 4 5 5 5 5 4 5 4 5 5 5 5 4 5 5 5 4 5 5 2 3 3 2 3 3 3 4 3 3 2 3 4 3 3 4 2 2 5 4 4 5 4 3 4 3 4 5 5 4 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 4 5 4 4 5 4 4 4 3 4 3 4 5 4 5 5 4 5 1 1 1 1 1 1 - - - - - - - - - - 4 5 4 4 5 4 - - - - - 4 5 4 4 4 5 1 1 1 1 1 1 4 2 1 4 4 5 4 3 3 3 1 3 4 4 3 4 1 4 1 1 4 3 4 3 3 2 4 1 3 4 5 3 4 1 3 2 1 3 4 4 3 2 3 3 1 4 4 4 4 3 1 3 1 1 5 5 3 4 3 2 2 1 4 5 5 3 4 1 2 1 1 4 4 3 4 4 3 2 1 5 5 5 2 3 1 4 2 1 4 3 3 3 3 3 3 1 3 5 4 2 3 1 10 1 5 4 4 5 5 5 4 2 2 3 4 5 5 5 5 5 4 5 1 4 5 1 3 1 1 3 4 4 4 4 2 4 1 4 4 5 2 3 1 11 Media 2 2,36 3 4,09 5 4,45 5 4,73 5 4,73 5 4,82 5 4,82 5 4,73 4 2,91 3 2,91 3 3,09 4 4,09 4 4,09 5 5,00 5 5,00 5 5,00 4 4,18 3 3,55 5 4,73 1 1,00 0,00 0,00 5 4,18 0,00 5 4,27 1 1,00 3 2 1 3,09 1,36 1,00 0,00 4,00 3,82 3,64 3,45 3,36 2,73 3,09 1,00 3,45 4,45 4,55 2,55 3,45 1,00

Tabela 1 Respostas do questionrio (Objeto 1)

60

Objeto 2 N da questo 1 1 4 2 5 3 5 4 3 5 5 6 5 7 5 8 5 9 5 10 5 11 4 12 5 13 4 14 5 15 4 16 17 5 18 4 19 5 20 1 21 22 23 5 24 25 5 26 1 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 1 2 3 5 5 5 5 4 4 2 5 5 4 5 5 5 1 5 5 5 5 5 4 3 5 5 5 5 5 5 1 2 4 4 5 3 5 5 4 5 5 5 4 5 5 5 5 5 5 5 1 5 5 1 1 2 2 5 5 5 5 5 4 2 5 4 4 5 5 5 1 Professores avaliadores 3 4 4 6 7 8 9 5 3 4 5 5 4 3 5 5 5 5 5 5 5 5 4 5 5 5 5 5 4 2 3 3 2 3 4 5 4 5 5 4 5 5 5 5 4 5 5 5 4 4 5 4 3 2 4 3 5 5 5 4 5 5 5 5 4 5 5 5 5 4 5 4 5 5 5 4 5 5 3 4 5 4 4 5 5 4 5 5 5 5 4 5 4 5 5 4 5 5 5 5 5 5 5 5 5 5 4 5 5 4 3 3 5 5 5 5 4 4 4 5 4 5 5 4 5 4 5 5 5 5 5 5 5 1 1 1 1 1 1 1 5 5 4 4 5 5 4 4 5 4 4 5 5 4 1 1 1 1 1 1 1 1 3 2 5 5 5 5 4 5 2 5 5 5 5 5 5 1 1 2 3 5 5 5 5 5 5 3 5 5 4 5 5 5 1 1 2 2 5 4 5 5 5 4 3 5 4 4 5 5 5 1 1 2 2 5 5 5 5 5 5 1 4 5 4 5 5 4 1 1 3 2 5 5 5 5 4 5 2 5 5 5 5 5 5 1 1 2 3 5 4 4 5 5 4 2 4 4 5 5 5 5 1 1 2 2 5 5 5 5 5 4 2 5 5 4 5 4 5 1 10 5 5 5 2 5 5 3 4 5 5 5 5 5 5 4 5 4 5 1 5 4 1 1 3 3 5 5 5 5 5 5 1 4 5 4 5 5 5 1 11 Media 4 4,18 4 4,82 5 4,91 3 2,91 5 4,82 5 4,82 3 3,64 5 4,82 5 4,82 5 4,82 5 4,36 5 4,82 4 4,64 5 5,00 4 4,18 0,00 5 4,73 5 4,55 5 5,00 1 1,00 0,00 0,00 5 4,73 0,00 5 4,55 1 1,00 1 2 2 1,00 2,27 2,36 0,00 5,00 4,82 4,91 5,00 4,73 4,45 2,09 4,73 4,73 4,36 5,00 4,91 4,91 1,00

Tabela 2 - Respostas do questionrio (Objeto 2) Nos dois objetos de aprendizagem, os quesitos 16, 21, 22, 24 e 30 no foram respondidos, em virtude de que tais perguntas no se aplicavam a eles. Os

61

quesitos avaliam cada um dos critrios organizados nesta ferramenta. Quando uma pergunta no se aplica a um material de aprendizagem simples, como estes que so alvo nesta validao, a ferramenta considera que a pergunta no respondida no ser computada nos resultados estatsticos da avaliao. Na seo Saiba Sobre Usabilidade do SAUSP, este detalhe informado para os avaliadores. Aps preenchimento do questionrio, o professor ser convidado a verificar os dados coletados pela ferramenta, de modo a observar os pontos fortes, isto , os critrios de usabilidade com pontuao maior.

5.3 Resultado das avaliaes dos objetos

Para que seja calculado um valor para cada critrio a ser exibido em um grfico, feita uma mdia dos valores correspondentes s respostas das questes, conforme a tabela 3.

5.3.1 Avaliao do Objeto 1

Objeto 1
Usabilidade geral
Adequao de tarefas Autodescritivo Controlabilidade Conformidade Tolerancia a Falhas Individualizao Adequao ao aprendizado

Mdia
3,23 4,59 4,77 4,77 2,91 3,09 4,09

Usabilidade sites web

Navegao e Estrutura Relevncia do contedo

Mdia
4,65 2,59

Usabilidade pedaggica
Controle do aluno Atividade do aluno Aprendizagem colaborativa Orientao de objetivos Aplicabilidade Valor agregado Motivao Flexibilidade Feedback Avaliao do conhecimento prvio

Mdia
2,77 4,18 4,27 1,61 2,94 3,48 2,73 3,09 3,00 4,45

Tabela 3 Valores calculados para os critrios (Objeto 1)

62

No tocante usabilidade geral, o critrio que teve uma pontuao menor na avaliao, descrito no grfico 5, foi Tolerncia a falhas. Observou-se que o Objeto 1, apesar de, por definio, s poder receber em seus campos valores numricos, aceita caracteres alfanumricos. Alm do mais, a aplicao no fora o aluno corrigir o valor errado aps a mensagem de erro ser exibida. Pode o usurio preencher outros campos informando novos valores errados. Isso acaba confundindo o usurio que aps ter preenchido vrios campos, pois no saber mais onde est o erro. Os critrios Controlabilidade e Conformidade obtiveram as maiores pontuaes, ficando empatados. O critrio Controlabilidade apontou que o aluno pode fazer as contas de adio na ordem que quiser, pulando de uma pgina para outra, sem nenhuma restrio por parte da aplicao; j o critrio Conformidade apontou que a interface corresponde s expectativas dos usurios, sendo-lhes compreensveis as convenes por ele usadas.

Grfico 5 Critrios de usabilidade geral (Objeto 1)

Com relao usabilidade para sites web, o critrio com menor valor no foi Relevncia do contedo, pois seu contedo no era motivador em relao a outros softwares com a mesma funcionalidade. Por outro lado, o critrio Navegao e estrutura teve uma boa pontuao, por dispor de uma estrutura de navegao simples.

63

Grfico 6 Critrios de usabilidade de sites web (Objeto 1)

No tocante usabilidade pedaggica (Grfico 7), o critrio com menor pontuao foi Orientao de objetivos, uma vez que a aplicao no deixa evidente para os aprendizes quais so suas metas e os objetivos de aprendizagem a serem alcanados com a resoluo dos exerccios. A Avaliao de conhecimento foi o critrio que mais satisfez a avaliao, alcanando 4,45 pontos. Foi relatado nas pesquisas, que este tipo de exerccio simula a forma de se fazer uma conta de adio, numa forma parecida com o que j foi explicado em sala de aula convencional, usando lpis e papel.

Grfico 7 - Critrios de usabilidade pedaggica (Objeto 1)

O grfico 8 apresenta os resultados gerais dos questionrios com a mdia geral de cada um dos critrios relativos usabilidade geral, usabilidade de sites web e usabilidade pedaggica.

64

Grfico 8 - Resultados gerais dos questionrios (Objeto 1)

Os resultados gerais apontam que a usabilidade geral foi a categoria que obteve melhor pontuao, seus usurios no demonstraram dificuldades que inviabilizassem a sua utilizao. No entanto, a usabilidade relativa a sites web e a usabilidade pedaggica tiveram uma menor avaliao, indicando as dificuldades e necessidades observadas nestas duas categorias, conforme j comentado.

5.3.2 Avaliao do objeto 2

A mdia dos valores correspondentes s respostas das questes respondidas pelos professores avaliadores, que alimenta os grficos gerados pela ferramenta, est descrita na tabela 4 abaixo.

65

Objeto 2
Usabilidade geral
Adequao de tarefas Autodescritivo Controlabilidade Conformidade Tolerancia a Falhas Individualizao Adequao ao aprendizado

Mdia
4,50 3,91 4,82 4,23 4,82 4,36 4,73

Usabilidade sites web

Navegao e Estrutura Relevncia do contedo

Mdia
4,68 2,86

Usabilidade pedaggica
Controle do aluno Atividade do aluno Aprendizagem colaborativa Orientao de objetivos Aplicabilidade Valor agregado Motivao Flexibilidade Feedback Avaliao do conhecimento prvio

Mdia
4,86 4,73 4,55 1,66 3,61 4,84 4,45 2,09 4,91 4,36

Tabela 4 Valores calculados para os critrios (Objeto 2)

Na avaliao da usabilidade geral, a pontuao menor foi no critrio Autodescritivo, em virtude do objeto de aprendizagem 2 ter sido desenvolvido no idioma espanhol, dificultando-se a leitura dos termos e a compreenso do udio explicativo. Foram dois, os critrios com maiores pontuaes. O critrio Tolerncia a falhas, pois informa o usurio quando so preenchidos campos com valores incorretos e no permite que sejam informados pelo usurio valores alfanumricos invlidos. O critrio Controlabilidade recebeu tambm a maior pontuao, pois permite o aluno navegar facilmente entre telas e menus da aplicao, apesar de no permitir que as contas de adio sejam feitas na ordem que o usurio quiser, como no objeto 1. No entanto, isso acaba permitindo que o usurio passe de uma atividade para outra sem ter concludo os exerccios com sucesso, no logrando uma boa aprendizagem.

66

Grfico 9 - Critrios de usabilidade geral (Objeto 2)

Para a usabilidade para sites web (Grfico 10), o critrio com menor valor foi o de Relevncia do contedo, pois no informado os contedos mais referenciados, nem os protegidos por direitos autorais. J o critrio Navegao e estrutura teve uma boa pontuao, por dispor de uma estrutura de navegao simples.

Grfico 10 - Critrios de usabilidade de sites web (Objeto 2)

No tocante usabilidade pedaggica, o critrio com menor pontuao foi Orientao de objetivos, uma vez que a aplicao no deixa evidente para os aprendizes quais so suas metas e os objetivos de aprendizagem a serem alcanados com a resoluo dos exerccios. O Feedback foi o critrio que mais satisfez a avaliao, alcanando 4,91 pontos. Caso o usurio informe campos com

67

valores incorretos, a aplicao d um aviso bastante intuitivo do erro. Alm disso, medida que o usurio vai preenchendo os campos, setas e campos vo sendo exibidos, ensinando o usurio como realizar os exerccios. O Controle do Aluno neste objeto foi bem alcanado, pois apresentado ao aluno uma atividade por vez, no sobrecarregando sua memria com muito contedo. O critrio Valor agregado foi ressaltado no resultado das avaliaoes e em comentrios a respeito das imagens, animaes que servem de guia para a concluso com xito das atividades.

Grfico 11 - Critrios de usabilidade pedaggica (Objeto 2)

Na figura 16, temos o grfico com o resultado geral do questionrio. Ele contem a mdia geral de cada um dos critrios relativos usabilidade geral, usabilidade de sites web e usabilidade pedaggica.

Grfico 12 Resultado geral da usabilidade (Objeto 2)

68

Evidenciou-se que o objeto 2 obteve uma melhor avaliao que o objeto 1 em todas as categorias relativas usabilidade, destacando-se a diferena significativa em relao usabilidade pedaggica que no objeto 1 foi de 3,61, e no objeto 2 foi de 4,45, uma diferena de 23,27 %. Na categoria de usabilidade geral, o objeto 1 teve uma mdia de 3,92, e no objeto 2 foi de 4,48, uma diferena de 14,29%. Enquanto que na categoria de usabilidade de sites web, o objeto 1 teve uma mdia de 3,62, e no objeto 2 foi de 3,77, uma diferena de 4,14%.

5.4. Concluso da aplicao do questionrio

Na aplicao do questionrio, como podemos verificar na sua avaliao, a maioria das mdias dos critrios possuem mdia superior a 3 pontos, o que equivale a dizer que estes critrios se aproximam de um nvel ideal de aceitao do usurio. O objeto 2 teve 84,21% de seus critrios superiores a 3 pontos, enquanto que 63,16% dos critrios do objeto 1 foram superiores a 3 pontos. A mdia aparada (Tabela 5) de todos os critrios do objeto 1 foi calculada em 3,50 pontos, enquanto que, para o objeto 2 (Tabela 6), esta mesma mdia registrou 4,26 pontos. Mdias dos critrios (Tabela 5) do Objeto 1, eliminando os valores extremos superiores e inferiores 1,61 e 4,77:
2,59 2,73 2,77 2,91 2,94 3,00 3,09 3,09 3,23 3,48 4,09 4,18 4,27 4,45 4,59 4,65 Mdia aparada = 3,50

Tabela 5 Valores para mdia aparada (Objeto 1)

Mdias dos critrios (Tabela 6) do Objeto 2, eliminando os valores extremos superiores e inferiores 1,66 e 4,91:
2,09 2,86 3,61 3,91 4,23 4,36 4,36 4,45 4,50 4,55 4,68 4,73 4,73 4,82 4,82 4,84 4,86 Mdia aparada = 4,26

Tabela 6 Valores para mdia aparada (Objeto 2)

69

5.5 Avaliao do Desempenho dos Alunos

Nesta seo, feita uma anlise do desempenho dos alunos, usando os objetos 1 e 2, observando a interferncia da usabilidade tcnica e pedaggica sobre a aprendizagem dos alunos. Esta anlise foi feita de modo a comprovar a eficcia da avaliao por meio do questionrio desenvolvido nesta pesquisa. O intuito verificar se os critrios de usabilidade mais pontuados pelo questionrio colaboraram com a performance e aprendizado dos alunos. A anlise foi feita baseada na quantidade de erros cometidos pelos grupos A e B de alunos que utilizaram respectivamente os objetos 1 e 2. Todos os alunos, de ambos os grupos, pertenciam ao terceiro ano do ensino fundamental de escola pblica municipal, com idade e experincia no uso de computador semelhantes, de modo a no interferir nos resultados alcanados. O grupo A era composto de 16 alunos e o grupo B por 18 alunos. Em cada mquina utilizada pelos alunos no laboratrio da escola, foi instalado o aplicativo Wink (Figura 9) . Este programa, disponvel nas verses para Linux e Windows, grava tudo o que usurio fizer em seu computador, desde a execuo de um aplicativo, at o movimento e ao realizados pelo mouse no aplicativo que desejamos salvar. Este programa usado por equipes de testes de s para filmar a execuo de testes para demonstrao dos erros encontrados equipe de desenvolvimento de uma aplicao sob avaliao.

70

Figura 9 Tela do Wink (frame capturado do objeto 2)

As sesses dos testes gravadas foram utilizadas para que fossem contabilizados os erros dos alunos durante a realizao dos 18 exerccios feitos em cada um dos objetos 1 e 2. A quantidade total de erros encontrados na utilizao do objeto 1 foi 234 (Tabela 7), enquanto que a quantidade de erros registrados na realizao dos exerccios do objeto 2 foi 201. A mdia de erros por aluno no grupo A foi de 14,6, enquanto que a mdia do grupo B foi de 11,2. A diferena percentual da quantidade de erros por aluno do grupo A em relao ao grupo B de 20%. Isso evidenciou a vantagem encontrada no objeto 2 apontada na avaliao atravs do questionrio.

71

Exerccios

exerc. 1 exerc. 2 exerc. 3 exerc. 4 exerc. 5 exerc. 6 exerc. 7 exerc. 8 exerc. 9 exerc. 10 exerc. 11 exerc. 12 exerc. 13 exerc. 14 exerc. 15 exerc. 16 exerc. 17 exerc. 18

1 0 2 0 0 6 1 0 1 0 1 0 0 0 1 0 1 0 0

2 1 0 0 2 1 0 0 0 0 4 0 1 1 0 3 0 1 0

3 2 2 0 0 1 2 0 0 1 3 0 0 1 1 0 2 0 0

4 0 2 1 0 0 1 0 0 8 0 0 1 3 3 4 2 0 0

5 0 3 2 3 2 1 0 0 0 1 0 3 0 0 1 0 0 1

6 0 2 0 1 0 0 0 1 0 2 0 0 0 0 0 0 0 0

7 0 6 1 0 1 3 0 1 0 1 0 0 0 1 0 1 0 0

8 2 1 0 3 0 0 0 0 0 5 0 1 1 0 3 0 1 0

9 10 11 12 13 14 15 16 Total 0 0 3 1 1 1 2 2 15 1 3 2 1 0 2 1 1 29 0 1 1 0 0 0 0 0 6 1 2 0 3 0 1 0 0 16 2 0 0 1 0 1 7 0 22 1 7 0 0 4 3 0 1 24 0 0 0 0 0 0 0 0 0 0 0 1 1 0 0 1 1 7 0 1 0 0 6 0 0 0 16 4 3 2 1 0 1 2 2 32 0 0 0 0 0 0 0 0 0 1 0 0 0 1 3 0 0 11 1 1 0 0 3 0 0 0 11 0 1 0 1 3 0 0 0 11 3 0 0 0 4 1 0 0 19 0 2 0 1 2 0 0 0 11 1 0 0 0 0 0 0 0 3 0 0 0 0 0 0 0 0 1 Total de erros: 234

Tabela 7 - Quantidade de erros nos exerccios (Grupo A)

Exerccios

exerc. 1 exerc. 2 exerc. 3 exerc. 4 exerc. 5 exerc. 6 exerc. 7 exerc. 8 exerc. 9 exerc. 10 exerc. 11 exerc. 12 exerc. 13 exerc. 14 exerc. 15 exerc. 16 exerc. 17 exerc. 18

1 5 4 1 0 1 2 0 1 0 1 0 0 0 1 0 1 0 0

2 2 3 2 0 1 0 0 0 0 2 0 1 1 0 0 0 1 0

3 3 4 1 0 0 1 0 0 1 3 0 0 1 1 0 0 0 0

4 2 3 0 3 0 0 0 0 2 0 0 1 2 1 1 0 0 0

5 0 0 0 0 0 1 0 0 0 1 0 2 0 0 1 0 0 1

6 1 0 0 0 3 0 0 1 0 2 0 0 0 0 0 0 0 0

7 4 1 0 0 1 0 0 1 3 0 0 1 1 0 0 0 0 0

8 6 0 3 0 0 0 0 2 0 0 1 2 2 1 1 0 0 0

9 10 0 0 0 0 0 0 0 3 1 0 0 0 0 1 0 0 1 2 0 0 3 0 0 0 0 0 1 0 0 0 0 0 1 0 0 1

11 2 3 2 0 1 0 0 0 0 2 0 0 0 0 0 0 0 0

12 13 3 2 4 4 1 0 0 3 0 0 1 0 0 0 0 0 1 3 1 0 0 0 1 2 1 1 0 1 0 0 0 0 0 0 0 0

14 0 0 0 0 0 1 0 0 0 1 0 0 0 1 0 0 1 0

15 2 5 0 3 0 0 0 0 0 1 2 2 0 0 0 0 0 0

16 17 18 Total 0 1 4 37 0 0 1 32 0 0 0 10 0 0 0 12 0 3 1 12 1 0 0 7 0 0 0 1 1 2 0 8 0 0 4 17 2 0 0 16 0 0 0 6 0 0 2 14 0 0 0 9 1 1 0 9 1 0 0 4 0 0 0 1 0 1 0 4 0 0 0 2 Total de erros: 201

Tabela 8 - Quantidade de erros nos exerccios (Grupo B)

72

Um outro fator que chamou a ateno foi o comportamento da curva da mdia de erros cometidos nos 18 exerccios respondidos por cada grupo de alunos.

Grfico 13 - Evoluo da ocorrncia de erros (mdia) Grupo A

O grfico 13 mostra que ao final da resoluo dos exerccios, os alunos tendem a no mais errar, porm a curva da mdia de erros apresenta oscilaes bruscas. Isso mostrou que caso o aluno no fosse levado a resolver uma quantidade maior de exerccios, teria-se que por volta do exercicio 7, a impresso de que os alunos j teriam entendido o contedo. No entanto, nos exerccios 9 e 10, percebese que a quantidade de erros volta a aumentar consideravelmente.
2,5

1,5 Srie1

0,5

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

Grfico 14 - Evoluo da ocorrncia de erros (mdia) Grupo B

73

O grfico 14 mostra um decrscimo na quantidade de erros do objeto 2 mais linear em comparao com a evoluo dos erros do objeto 1 (Figura 19), nos levando a constatar que os critrios Feedback (usabilidade pedaggica) e Tolerncia a falhas (usabilidade geral), melhor pontuados na avaliao do objeto 2 pelo SAUSP, influenciaram no melhor desempenho dos alunos do grupo B.

5.6 Consideraes finais

O uso do SAUSP como ferramenta de avaliao, apesar de estar sendo submetida validao pela primeira vez para aferir a qualidade de uso de softwares pedaggicos, mostrou-se eficaz na descoberta de problemas de usabilidade nos objetos de aprendizagem. A utilizao de questionrio, como meio de avaliar a satisfao dos usurios, tem a vantagem em ser de rpida aplicao e baixo custo, sendo isto um dos fatores preponderantes para adoo do questionrio como ferramenta para implementar e ser disponibilizada por professores de escolas municipais, cuja plataforma o software livre, sem nus para seus usurios. A avaliao, em resumo, diagnosticou: Na usabilidade geral do objeto 1, o critrio que teve uma pontuao menor foi Tolerncia a falhas. A aplicao aceita caracteres alfanumricos no permitidos, conforme instrues iniciais na tela. Alm do mais, a aplicao no fora o aluno corrigir o valor errado aps a mensagem de erro ser exibida. O critrio com maior pontuao foi Controlabilidade, pois o aluno pode fazer as contas de adio na ordem que quiser, pulando de uma pgina para outra, sem nenhuma restrio por parte da aplicao. Para o objeto 2, a pontuao menor foi no critrio Autodescritivo, por ter sido desenvolvido no idioma espanhol, dificultando a leitura dos termos e a compreenso do udio explicativo. Os critrios Tolerncia a falhas e Controlabilidade ficaram empatados com as maiores pontuaes. O critrio Tolerncia a falhas, informa o usurio quando so preenchidos campos com valores incorretos e no permitindo o usurio informar

74

valores alfanumricos invlidos. O critrio Controlabilidade aponta para a navegao fcil entre telas e menus da aplicao. Na usabilidade de sites web, para os objetos 1 e 2, o critrio de menor valor foi a Relevncia do contedo pois seu contedo no era motivador em relao a outros softwares com mesma funcionalidade. O critrio Navegao e estrutura teve a melhor pontuao, por sua simples estrutura de navegao. Na usabilidade pedaggica, os objetos 1 e 2, tiveram como critrio menos pontuado a Orientao de objetivos, pois a aplicao no deixa evidente para os aprendizes quais so suas metas e os objetivos de aprendizagem a serem alcanados com a resoluo dos exerccios. Para o objeto 1, a Avaliao de conhecimento foi o critrio com melhor avaliao, pois simula a forma de fazer uma conta de adio parecida com a forma j explicado em sala de aula convencional, usando lpis e papel. Para o objeto 2, o critrio com melhor pontuao foi o Feedback, por responder s aes do usurio com animaes que o orientam e ensinam na resoluo correta dos exerccios. O resultado geral do questionrio aponta vantagem para o objeto 2, na maioria dos critrios. Apesar do objeto de aprendizagem ter sido desenvolvido em outro idioma, sua intuitividade em seu uso superou a barreira cultural, sendo mais efetivo para a aprendizagem, conforme avaliao de desempenho dos alunos que apontou que estes conseguiram ter maior nmero de acertos, usando este objeto de aprendizagem. Aps o preenchimento do questionrio, os avaliadores sugeriram melhorias do SAUSP, com respeito quantidade de questes dispostas no questionrio, solicitando um menor nmero de quesitos no questionrio. No entanto, esta sugesto deve ser muito bem avaliada, de modo que o questionrio continue aferindo corretamente os critrios de usabilidade tcnica e pedaggica.

75

CONCLUSES

Em busca de solues, para o problema abordado nesta pesquisa, foram analisados alguns questionrios de usabilidade j desenvolvidos e validados. No entanto, eles no se prestavam proposta levantada neste trabalho, que disponibilizar uma ferramenta gratuita para avaliar os softwares pedaggicos, levando em considerao os aspectos da usabilidade e os aspectos pedaggicos. Os dados oriundos da avaliao proposta neste trabalho no teriam que ser tabulados manualmente como nos questionrios em papel, pois a ferramenta desenvolvida tabula automaticamente os dados do questionrio on line, emitindo grficos para melhor nortear as avaliaes e as escolhas de aplicaes educacionais usadas nas escolas. Observou-se, no desenvolvimento deste questionrio, que a reduo na quantidade de questes beneficiou em uma maior adeso dos participantes da pesquisa, j que eles no teriam que perder muito tempo no preenchimento. Os resultados coletados das respostas do questionrio mostraram que no houve prejuzo na qualidade dos resultados da pesquisa. Evidenciou-se a importncia do estudo e adaptao das tcnicas j existentes, para a produo de uma soluo de avaliao que atenda s especificidades do contexto de uso da aplicao e que seja fcil utilizao, que se adeque realidade e s necessidades de seus utilizadores. Como fruto desta pesquisa, espera-se oferecer uma metodologia para teste da usabilidade de softwares educacionais que poder ser utilizada por professores de escolas, e at mesmo por desenvolvedores de aplicaes pedaggicas. Esta ferramenta, se utilizada por secretarias de educao, propicia um ambiente de colaborao e padronizao dos softwares educativos utilizados nas vrias escolas pblicas. Uma vez que os profissionais da educao que acessem esta ferramenta tanto podem simplesmente consultar e at adotar as aplicaes j avaliadas, como podem cadastrar e avaliar as aplicaes que j tenham acesso,

76

tornando-se um colaborador ativo na avaliao desta ferramenta. Ou ainda cadastrar novos materiais que no passaram por nenhuma avaliao anterior. Como trabalho futuro, em resposta s sugestes dos professores, fazer uma re-anlise das questes de modo enxugar ainda mais a quantidade de quesitos nos questionrios, pois quanto menos quesitos existirem em um questionrio, maior ser a adeso aos questionrios. Uma contribuio futura seria mudar os perfis de acesso ferramenta, de modo que existam usurios com poderes de adaptar um questionrio e envi-lo para ser respondido por outra pessoa, j com as questes pertinentes ao tipo de material de aprendizagem sob avaliao. Este trabalho contribuiu para minha formao profissional tanto para minhas atividades acadmicas, como nas atividades voltadas qualidade de softwares, na equipe de testes em que atuo como projetista de testes. No desempenho de atividades acadmicas como professora, o conhecimento dos aspectos pedaggicos aumentaram minha viso crtica no que envolve o processo de aprendizagem. Nas minhas atividades como projetista de testes, o

aprofundamento no conhecimento do conceito da usabilidade, deram-me a oportunidade de colaborar para a empresa onde trabalho, contribuindo no desenvolvimento de propostas de boas prticas de boa usabilidade e at mesmo de acessibilidade.

77

REFERNCIAS AMSTEL, F. V. Grupo de foco excitante. 2004. <http://www.usabilidoido.com.br>. Acesso em: 05/12/2010 Disponvel em:

BAILEY, R.W. Human Performance Engineering: Using Human Factors/Ergonomics to Achieve Computer System Usability. Englewood Cliffs: Prentice Hall. 1989. BASTIEN, J. M. Christian, SCAPIN, Dominique L. Ergonomic criteria for the evaluation of humam-computer interfaces. Report Technique n. 156, Rocquencourt, France: Institut National de Recherche en Informatique et en Automatique, 1993. BOEHM, B.W. Software Engineering. IEEE Transactions on Computers, vol. 25, no. 12, pp. 1226-1241, Dec. 1976 BROOKE, J. SUS: a quick and dirty usability scale. Taylor & Francis, London, 1996 COELHO, Andrino, CARVALHO, Andr, BELTRO, Mauro, FERRAZ, Carlos. WheeTV: TV Interativa em Dispositivos Portteis. 2008. Disponvel em: <http://tvdilab.inf.pucpcaldas.br/tvdi2008/cd_TVDI2008/pdf/TVDI2008AndreCarvalho. pdf>. Acesso em: 14/06/2010. CYBIS, Walter de Abreu. Engenharia de Usabilidade: Uma Abordagem Ergmica. 2003. Disponvel em: http://www.unoescsmo.edu.br/poscomp/cybis/Apostila_v51.pdf . Acesso em: 09/10/2010. CYBIS, Walter de Abreu. Engenharia de Usabilidade: uma abordagem ergonmica. 2003. Disponvel em: < http://www.labiutil.inf.ufsc.br/hiperdocumento/conteudo.html >. Acesso em: 05/12/2010. ENDLER, A. M. Mtodo do design macroergonmico aplicado ao desenvolvimento de um software corporativo de correio e agenda na web. 2000. Dissertao de Mestrado em Engenharia de Produo Programa de Ps-Graduao em Engenharia de Produo, UFRGS, Porto Alegre. ERGOLIST. Seja bem-vindo(a) ao ErgoList. Disponvel em: <http://www.labiutil.inf.ufsc.br/ergolist/ >. Acesso em: 03/11/2010. FILENO, rico Fernandes. O professor como autor de material para um ambiente virtual de aprendizagem. 2007. 130 p. Dissertao apresentada ao Curso de Mestrado em Educao, do Programa de Ps-Graduao em Educao da Universidade Federal do Paran. GOMES, Albert Schilling. FAVIHC Framework de AValiao da Interao HumanoComputador. 2009. 147 p. Dissertao apresentada ao Curso de Mestrado em Informtica Aplicada da Universidade de Fortaleza (UNIFOR) GOULD, John D. How to Design Usable Systems. Ed. Handbook of Computer Interaction, pp. 757-789, North-Holland, Amsterd, Holanda. 1988.

78

HCIL. QUIS: The Questionnaire for User Interaction Satisfaction. Disponvel em: <http://www.cs.umd.edu/hcil/quis/ >. Acesso em 01/11/2010. ISO 9241-10. Disponvel em : http://www.inf.ufsc.br/~cybis/ine5624/ISO9241parte10.pdf . Acesso em: 03/10/2010. ISONORM. Beteiligungsorientierter Einsatz des ISONORM-Fragebogens. Disponivel em: <http://www.ergoonline.de/site.aspx?url=html/software/verfahren_zur_beurteilung_der/beteiligungsorie ntierter_eins.htm&qu=isonorm >. Acesso em 01/11/2010. JAVA, Saiba mais sobre a tecnologia Java. <http://www.java.com/pt_BR/about/>. Acesso em 01/11/2010. Disponvel em:

KILIAN, C. Como tornar um texto eficaz para a Web. 2002. Disponvel em <http://www.hainet.com.br/kilian/ver.php?id=6>, acesso em 28/09/2009. KIRAKOWSKI, J. Usability Evaluation by Questionnaire. Taylor & Francis, London. 2002 KOTLER, Philip. Marketing de A a Z: 80 conceitos que todo profissional precisa saber. Ed. Campos. So Paulo. 2003. LEE, William W., OWENS, Diana L. Multimedia-Based Instructional Design, Second Edition. John Wiley and Sons, Inc. 2004 Lopes, M.S.S. Avaliao da Aprendizagem em Atividades Colaborativas em EAD Viabilizada por um Frum Categorizado. Universidade Federal do Rio de Janeiro, R.J, 2007. Dissertao de Mestrado. MALDONADO, J. C. Critrios Potenciais Usos: Uma Contribuio ao Teste Estrutural de Software. PhD thesis, DCA/FEE/UNICAMP, Campinas, SP, July 1991. MATIAS, Marcio. Checklist: uma Ferramenta de Suporte Avaliao Ergonmica de Interfaces MYERS, G. J. The Art of Software Testing. Wiley, New York, 1979. MYSQL, Viso Geral do Sistema de Gerenciamento de Banco de Dados MySQL. Disponvel em: http://dev.mysql.com/doc/refman/4.1/pt/what-is.html >. Acesso em: 01/11/2010. NIELSEN, J.Evaluating Hipertext Usability. Berlin: Springer Verlag. 1990. NIELSEN, J. Usability Engineering. San Francisco: Morgan Kaufmann Publishers, 1993. NIELSEN, J. Ten Usability Heuristics. 1994. Disponvel <www.useit.com/papers/heuristic/ heuristic_list.html>, acesso em 01/10/2009. em

79

NIELSEN, J. Why You Only Need to Test with 5 Users. 2000. Disponvel em: <http://www.useit.com/alertbox/20000319.html >. Acesso em: 09/11/2010. NIELSEN, J.; MACK, Robert. Usability Inspection Methods. New York: John Wiley & Sons, 2001. NOGUEIRA, Daniela. Tecnologia vira matria fundamental na escola. O POVO, Fortaleza, 11 Maio 2010. Disponvel em: <http://www.opovo.com.br/www/opovo/fortaleza/982299.html> . Acesso em 01/12/2010. NOKELAINEN, Petri. An emprical assessment of pedagogical usability criteria for digital learning material with elementary school students. Educational Technology & Society, v.9 (2), p. 178 197, 2006. OLIVEIRA JUNIOR, Joo A. Gonalves de. Apoio Avaliao de Usabilidade na Web desenvolvimento do USEWEB. Dissertao de Mestrado Profissional em Computao. Instituto de Computao - Universidade Estadual de Campinas. p. 116. 2006. PRATES, Raquel Oliveira; BARBOSA, Simone Diniz Junqueira. Avaliao de Interfaces de Usurio Conceitos e Mtodos. Disponvel em:http://www.inf.pucrio.br/~inf1403/docs/JAI2003_PratesBarbosa_avaliacao.pdf Acesso em : 03/11/2010 PRESSMAN, R. S. Engenharia de Software. Makron, 1995. PRESSMAN, R. S. Engenharia de Software. McGraw-Hill, 6 edio. 2006 REITZ, Doris Simone. Avaliao do Impacto da Usabilidade Tcnica e Pedaggica no Desempenho de Aprendizes em E-learning. Tese para Doutorado em Informtica na Educao. Centro Interdisciplinar de Novas Tecnologias na Educao Universidade Federal do Rio Grande do Sul. p. 197. 2009. RIOS, Emerson, BASTOS, Base de Conhecimento em Testes de Software. 2007 RIOS, Emerson. MPT Melhoria de Processo de Teste Brasileiro. 2009. Disponvel em: <http://www.riosoft.softex.br/media/MPT%20BR%20Nivel%202%20v%201.0 .pdf> Acesso em 14/11/2009. RODRIGUES, Gelter T. M. Anlise de Usabilidade em Ambientes Virtuais de Aprendizagem: O Ambiente Solar na perspectiva do aluno. Dissertao de Mestrado Profissional em Computao Aplicada do Centro de Cincia e Tecnologia da Universidade Estadual do Cear. p. 118. 2010. RUBIN, Jeff, CHISNELL, Dana. Handbook of Usability Testing - How to Plan, Design, and Conduct Effective Tests. Second Edition. Wiley Publishing, Inc., 2008 RUP Rational Unified Process, 2006. Disponvel em: <http://www.wthreex.com/rup/portugues/index.htm >. Acesso em: 13/07/2010.

80

SANTOS, Robson. Alguns conceitos para avaliar usabilidade. 2003. Disponvel em: <http://webinsider.uol.com.br/vernoticia.php/id/1821>. Acesso em 02/12/2010. SANTOS, Rodrigo Costa dos. Desenvolvimento de uma Metodologia para Avaliao de usabilidade de sistemas utilizando a lgica Fuzzy baseado na ISO. 2007. 115 p. Dissertao de Mestrado Profissionalizante apresentada a Programa de PsGraduao em Administrao das Faculdades Ibmec. SILVA, Maria Auriclia da. Formao e Prtica Docente em Software Livre na Rede Municipal de Ensino de Fortaleza. Dissertao de Mestrado Acadmico em Educao do Centro de Educao da Universidade Estadual do Cear. p. 168. 2009. SILVA, Viviane Pereira. Engenharia de Sofware. Disponvel em: <http://www.webartigos.com/articles/47882/1/Engenharia-de-Software/pagina1.html >. Acesso em 01/12/2010. SOARES, Lenidas Garcia. Avaliao de Usabilidade , por Meio do ndice de Satisfao dos Usurios, de um Software Gerenciador de Websites. Dissertao de Mestrado Profissionalizante em Engenharia nfase em Ergonomia. p. 156. 2004. SOMMERVILLE, I. Engenharia de Software, 8a. edio. So Paulo: Pearson Addison-Wesley, 2007. SQUIRES, D., PREECE, J. Predicting quality in educational software: Evaluation for learning, usability and the synergy between them. Elsevier Science B. V., Interacting with Computers. Vol. 11, p. 467-483, 1999. SSEMUGABI, Samnuel. Usability Evaluation of a Web-based E-learning Application: A Study of Two Evaluation Methods. Dissertao de Mestrado em Sistemas da Informao, University of South Africa, 336 p., 2006. SUMI. What is SUMI?. Disponvel em: < http://sumi.ucc.ie/whatis.html >. Acesso em: 01/11/2010. SWELLER, John. Cognitive Load Theory: A Special Issue of Educational Psychologist. LEA, Inc, 2003. USABILITY NET. Questionnaire resources. Disponvel em: <http://www.usabilitynet.org/tools/r_questionnaire.htm>. Acesso em: 03/11/2010. VASCONCELOS, Liliana. Artigo publicado no X SEMEAD Seminrios em Adnministrao FEA-USP. 2007. Disponvel em: http://www.ead.fea.usp.br/Semead/10semead/sistema/resultado/an_resumo.asp?cod _trabalho=420. Acessado em 01/12/2010. WAMMI. About WAMMI. Disponvel em: <http://www.wammi.com/about.html >. Acesso em: 02/11/2010. WINCKLER, M. Avaliao de Usabilidade de sites Web. In: IV Workshop sobre Fatores Humanos em Sistemas de Computao. Out. 2001, Florianpolis.

81

APNDICES

82

APNDICE A - Questionrio de pesquisa

Forma de trabalho dos professores responsveis por laboratrio de informtica das escolas Nome: ______________________________________________________________ Turma que leciona:____________________________________________________
1. Existe alguma indicao por parte da Secretaria de Educao dos materiais de aprendizagem a serem ministrados nos laboratrios das escolas? ( ) Sim ( ) No 2. Voc observa que existe um retrabalho dos professores responsveis por laboratrio na seleco de bons materiais de aprendizagem? ( ) Sim ( ) No 3. Os profissionais das diferentes escolas podem compartilhar dos bons materiais de aprendizagem utilizados com sucesso em uma escola? ( ) Sim ( ) No Se sim, atravs de que?________________________________________ 4. A tarefa de avaliar o software, em relao a facilidade de uso pelos alunos, feita baseada em alguma mtrica? ( ) Sim ( ) No 5. Existe algum local ou alguma recomendao onde voc pode receber indicao da qualidade do software educacional a ser utilizado em laboratrio pelos alunos? ( ) Sim ( ) No Se sim, indicar o local:________________________________________ 6. Voc considera importante a criao de um site que lhe permita ter acesso a softwares educacionais j avaliados segundo princpios pedaggicos e tcnicos? ( ) Sim ( ) No 7. Voc sente necessidade da criao de uma ferramenta que lhe permita avaliar os softwares a serem utilizados em sala de aula? ( ) Sim ( ) No 8. Quando voc seleciona os softwares educacionais, voc faz essa tarefa baseado no conhecimento que voc tem da engenharia de software ou atravs de sua experincia em sala de aula? ( ) Conhecimento em engenharia de software ( ) Experincia

Desde j, agradeo por sua contribuio a este trabalho!

83

APNDICE B - Dados coletados no questionrio de pesquisa

Pergunta do Questionrio de Pesquisa

Resposta qtde

Q Observaes

1. Existe alguma indicao por parte da Secretaria de Educao dos materiais de aprendizagem laboratrios das escolas? 2.Voc observa que existe um retrabalho dos professores responsveis por laboratrio na seleco de bons materiais de aprendizagem? 3.Os profissionais das diferentes escolas podem compartilhar dos bons materiais de aprendizagem utilizados com sucesso em uma escola? 4.A tarefa de avaliar o software, em relao a facilidade de uso pelos alunos, feita baseada em alguma mtrica? a serem ministrados nos

Sim No

Centro de Refer. do 9 Professor 1

Sim 0 No Sim No

0 Reunies no Centro 8 de Refer. do Professor 2

Sim No 0

0 1

5.Existe algum local ou alguma recomendao onde voc pode receber indicao da qualidade do software educacional a ser utilizado em laboratrio pelos alunos? 6.Voc considera importante a criao de um site que lhe permita ter acesso a softwares educacionais j avaliados segundo princpios pedaggicos e tcnicos? 7.Voc sente necessidade da criao de uma ferramenta que lhe permita avaliar o softwares a serem utilizados em sala de aula?

Sim 0 No Sim 0 No Sim 0 No

0 1 -

0 1 -

0 0 -

8.Quando voc seleciona os softwares educacionais, voc faz essa tarefa baseado no conhecimento que voc tem da engenharia de software ou atravs de sua experincia em sala de aula?

Conhecimento em engenharia de software Experincia 0

84

APNDICE C - Questionrio de Satisfao de Uso para Pesquisa

Ol, colega! As perguntas deste questionrio so destinadas a avaliar a facilidade de uso do software que voc acabou de utilizar. Fique vontade em responder, pois o que est sendo avaliado este material e no voc.

1. Este material tem todas as funes necessrias para voc, disponibilizadas de forma eficiente para as tarefas correspondentes? (Por exemplo: ajuda, impresso, busca, calculadora, etc.)

2. Voc se sente vontade com todas as funes deste material, ou somente algumas lhes so familiares?

3. Voc consegue visualizar bem os recursos disponveis neste material?

4. Voc entende com facilidade as palavras, nomes, abreviaturas ou smbolos que esto neste material?

5. Permite voc alternar facilmente entre os menus ou telas?

6. No impe qualquer interrupo desnecessria em seu ritmo de estudo? (Por exemplo, mensagens explicativas s aparecem quando voc espera que apaream.)

7. As telas deste material com seus textos, botes e figuras tem formato de fcil reconhecimento? (Por exemplo, os botes para cancelar tem um mesmo formato e localizao em todas as telas e oferecem explicao de como utiliz-los?)

8. Voc consegue navegar por todas as telas com seus vrios componentes (textos, botes, etc.) da mesma forma. Existe alguma tela ou funo que ficou mais difcil para voc entender para que serve?

9. O sistema lhe informa imediatamente quando voc digita um valor incorreto? Por exemplo, se num campo era para voc digitar um nmero e voc digita um texto, o sistema informa que naquele campo s so aceitos nmeros e no letras.

85

10. Este material que d instrues especficas para a soluo de problemas?

11. Esse material pode ser entendido e usado por qualquer aluno, com pouca ou muita experincia no uso de computadores?

12. Depois que voc se acostumou a usar este material, no precisa se esforar para se lembrar onde encontrar uma informao ou para que servem os botes?

13. Foi fcil aprender a us-lo? Voc no precisou ficar pedindo muito ajuda ao professor at entender como o sistema funciona?

14. Quando voc clica em um link ou boto, o site direciona voc para onde deveria realmente ir? (Pgina ou documento)

15. Existem links neste material que levam voc a outros tpicos dentro da mesma pgina?

16. As cores dos links so as mesmas usadas nos padres da internet (links no visitados em azul, visitados em verde ou roxo)?

17. Voc acha que o contedo deste material mantem a sua ateno?

18. Voc encontra as informaes importantes no topo da pgina?

19. Para voc visualizar todo o contedo de uma pgina, no necessrio rolar vrias pginas (usando a tecla PgDown) at chegar ltima linha?

20. Este material diz para voc quais so os contedos protegidos por direitos autorais e aqueles que no so? 21. Voc acha que tem controle sobre as tarefas que faz? (O sistema no lhe faz ir simplesmente de um passo para o outro, voc tem controle na ordem para finalizao de suas tarefas)

86

22. Para aprender, voc no usa somente o contedo deste material, mas usa tambm links para vrias outras fontes, as quais tem que usar para aprender?

23. Voc, ao utilizar este material, acabou se aprofundando tanto que sentiu que o tempo passou muito rpido?

24. Quando estuda com este material, voc sente que sabe mais sobre alguns tpicos do que outros? (Voc aprende os outros tpicos, mas acha que se tornou um perito em alguns)

25. agradvel usar este material com outro colega no mesmo computador?

26. Aps ter utilizado este material, voc avisado sobre o que est esperando saber (ou aprender)? (O programa diz: Aps esta lio voc saber fazer perguntas em ingls)

27. Ao iniciar o uso deste material, mostra-se claramente porque til aprendlo? (O programa diz: Esta lio ir ajud-lo a fazer frases interrogativas.) 28. Este material mostra seu progresso (quanto voc j explorou) e desempenho (o resultado/nota de seus exerccios) em seus estudos?

29. Voc encontrou limitaes para tirar suas dvidas neste material? No tem uma dica ou informao a mais para qualquer dvida ou curiosidade?

30. Este material lhe mostra como aplicar o conhecimento aprendido em situaes de sua vida diria? (Por exemplo, calcular quantos metros quadrados tem a sala de sua casa)

31. Este material usa a idia de que melhor aprender fazendo por voc mesmo? ( disponibilizado uma boa quantidade de exerccios)

87

32. Ao usar este material, sente que ele foi projetado para voc? (As tarefas no so muito fceis, nem muito difceis)

33. As imagens deste material ajudam a aprender?

34. As animaes deste material ajudam a aprender?

35. mais til aprender assuntos com este material do que em sala de aula normal? ( melhor do que usar livro de estudos normal)

36. Voc teria interesse de aprender os tpicos deste material mais profundamente? Se voc tivesse mais tempo, iria querer usar mais este material para aprender um pouco mais?

37. Existem caminhos opcionais para voc navegar dentro deste material at chegar a um contedo desejado?

38. Voc s consegue seguir para o prximo tpico, aps ter respondido corretamente todas as questes?

39. Voc acha que rpido aprender um novo tpico ou recapitular um tpico anterior neste material?

40. Quando voc usa este material, sente que tem que lembrar muitas coisas ao mesmo tempo? (s vezes melhor usar papel para escrever algumas anotaes)

41. Voc acha que a quantidade de informaes em cada tpico muito grande? difcil memorizar (aprender) o assunto de um tpico que acabou de ser concludo por voc?

88

42. Voc pode cometer uma certa quantidade de erros neste material, e o programa lhe d um aviso amigvel para soluo de cada erro.

43. Este material lhe d um feedback (resposta ou retorno) motivador? (Voc pode explorar as funes desconhecidas sem medo, porque o programa ir lhe dar todos os avisos que forem precisos)

44. Este material d inicialmente, para os exerccios, um exemplo de soluo correta.

89

ANEXOS

90

ANEXO A Questionrio de Nokelainen

Fonte: Nokelainen (2006) apud Reiz (2009)

1. Quando eu trabalho nesta tarefa eu sinto que eu, no o programa, tenho controle sobre a responsabilidade de minha aprendizagem. (Definio: Eu no repito os mesmos tipos de passos nos meus estudos, mas as tarefas me fazem pensar e alcanar solues diferentes para cada uma), Critrio: CONTROLE DO ALUNO
Resposta: ( ) Concordo totalmente ( ) Concordo parcialmente ( ) Indeciso ( ) Discordo parcialmente ( ) Discordo totalmente

2. Quando eu usei este material senti que tive controle sobre o que realizei e no ao contrrio. (Definio: O programa no me conduz de um passo para outro, mas eu posso controlar sozinho qual a ordem na qual quero finalizar minhas tarefas). Critrio: CONTROLE DO ALUNO 3. Eu tenho que pensar e tomar minhas prprias resolues para aprender este material de aprendizagem. (Definio: Eu tenho que me concentrar no material, eu no posso completar as tarefas simplesmente para com a funo de aprendizagem). Critrio: ATIVIDADE DO ALUNO 4. Este material de aprendizagem tem sido dividido dentro de sees, minha tarefa aprend-Ias em uma ordem pr-definida (e possivelmente responder s tarefas). Critrio: ATIVIDADE DO ALUNO 5. Este material de aprendizagem proporciona questes de aprendizagem sem um modelo pr-definido para a sua resoluo. Critrio: ATIVIDADE DO ALUNO 6. Este material no possui somente o material, mas links para vrias outras fontes, as quais eu tenho de usar para aprender. (Definio: A aprendizagem inicia, por exemplo, com uma dica do professor, o qual conta qual tipo de aes so necessrias para a construo de "algo". Algumas das informaes que voc ir precisar esto no sistema, mas voc ter de procurar a maioria delas em peridicos, livros ou na Internet para fazer sua prpria apresentao). Critrio: ATIVIDADE DO ALUNO 7. Eu me aprofundei tanto neste material de aprendizagem que esqueci tudo o que estava acontecendo ao meu redor e de quanto tempo se passou. Critrio: ATIVIDADE DO ALUNO 8. Quando eu trabalho com este material de aprendizagem sinto que sei mais sobre alguns tpicos do que outros. Eu "sou um perito". (Definio: O material de aprendizagem pode envolver urna informao especfica reunida a uma tarefa, por exemplo, uma entrevista com vizinhos ou a medida da altura da neve no jardim da casa em um perodo de um ms). Critrio: ATIVIDADE DO ALUNO 9. Quando eu trabalho neste material de aprendizagem, eu (ou ns, se um grupo de trabalho) tenho de encontrar solues prprias em a soluo de modelos dos professores ou do programa. Critrio: ATIVIDADE DO ALUNO

91

10. Estou orgulhoso com as minhas solues ou uma soluo realizada com outros para o problema apresentado no material de aprendizagem. (Definio: Eu sinto que eu ou fizemos algo significativo). Critrio: ATIVIDADE DO ALUNO 11.Este material de aprendizagem me deixa conversar com meus colegas (Definio: Por exemplo, as mensagens em chat ou quadro de avisos). Critrio: APRENDIZAGEM COOPERATIVA/COLABORATIVA 12. Eu posso fazer trabalhos em grupo com meus colegas neste material de aprendizagem. (Definio: Se eu quiser, eu posso realizar tarefas junto com meus colegas de aula de modo que ambos utilizem seus prprios computadores). Critrio: APRENDIZAGEM COOPERATIV A/COLABORATIVA 13. agradvel usar o material de aprendizagem com outro estudante no mesmo computador. Critrio: APRENDIZAGEM COOPERA TIVA/COLABORATIVA, MOTIVAO 14. Este material de aprendizagem me permite saber o que os outros usurios tm feito no sistema. (Definio: Por exemplo, quais materiais de aprendizagem mais lidos ou as tarefas mais consagradas). Critrio: APRENDIZAGEM COOPERA TIVA/COLABORATIVA 15. Este material de aprendizagem permite saber o que os outros usurios esto fazendo quando eu estou usando o sistema. (Definio: Por exemplo: a maior parte do material de aprendizagem no momento ou as tarefas com as quais a maior parte das pessoas esto trabalhando). Critrio: APRENDIZAGEM COOPERA TIVA/COLABORA TIVA 16. Este material de aprendizagem oferece programas de utilidade simples, como por exemplo, a calculadora. 17. Este material de aprendizagem oferece programas de utilidade prtica (por exemplo, Tabelas Excel, editor HTML, processador de textos, etc..). 18.Neste material de aprendizagem os programas de aplicaes possuem uma funo fundamental. (Definio: Eu tenho que, por exemplo, editar uma tabela Excel para resolver um problema). 19. Eu posso salvar meu trabalho neste material de aprendizagem e usar ou avaliar o trabalho dos outros. (Definio: Eu posso, por exemplo, explorar ou avaliar o trabalho de outros grupos de trabalho e us-los em meus estudos). 20. Este material de aprendizagem avisa claramente o que estou esperando saber (ou aprender) aps t-lo utilizado. (Definio: As metas de aprendizagem esto claramente definidas, por exemplo, "Aps esta tarefa voc saber como dividir em fraes decimais" ou "Aps estas tarefas voc pode formar perguntas na lngua inglesa"). Critrio: ORIENTAO DE OBJETIVOS 21. Este material de aprendizagem mostra claramente porque til aprend-lo. (Definio: Os objetivos de aprendizagem so justificados, por exemplo, "Esta tarefa ir ajud-lo a fazer frases interrogativas na lngua inglesa"). Critrio: ORIENTAO DE OBJETIVOS

92

22. O material de aprendizagem avalia meus desempenhos com classificaes. (Definio: Por exemplo, o sistema d uma classificao ao final de uma tarefa e mostra a classificao mxima). Critrio: ORIENTAO DE OBJETIVOS 23. Este material de aprendizagem mostra quanto progresso eu realizei em meus estudos. (Definio: Eu sei no que ou experiente ou tenho que aprender mais). Critrio: ORIENTAO DE OBJETIVOS 24. Este material de aprendizagem estritamente limitado. (Definio: Por exemplo, o tpico do material de aprendizagem de matemtica "Clculo do significado"). Critrio: ORIENTAO DE OBJETIVOS 25. Este material de aprendizagem ensina habilidades que necessitarei. (Definio: Eu sou capaz de, por exemplo, converter Euros em dlares, ou ajudar meus pais a escolher entre diferentes tamanhos de pacotes de acordo com seus diferentes preos). Critrio: APLICABILIDADE 26. Eu sinto que estou apto a usar as habilidades e conhecimento que este material de aprendizagem tem me ensinado no futuro. Critrio: APLICABILlDADE 27. Este material de aprendizagem baseado na ideia que "algum aprende melhor fazendo por si mesmo". (Definio: O material oferece mais tarefas do que por exemplo, as apresentaes de Power Point). Critrio: APLlCABILIDADE 28. Eu sinto que este material de aprendizagem ajudar a realizar melhor o teste. (Definio: Eu penso que as tarefas no material so similares s tarefas que ns frequenternente temos nos testes). Critrio: APLICABILlDADE 29. Este material de aprendizagem adequadamente desafiador para mim. (Definio: As tarefas no so to fceis ou to difceis). Critrio: APLICABILIDADE 30. Eu sinto que este material de aprendizagem foi projetado para mim. (Definio: O material satisfaz minhas necessidades e isso no d a sensao de que voc seja muito ou pouco competente). Critrio: APLICABILIDADE 31. Este material de aprendizagem ajusta-se s dificuldades para adaptar-se s minhas habilidades. (Definio: Eu posso praticar algo que difcil para mim at que eu o tenha aprendido e antes de partir para o prximo tpico). Critrio: APLICABILIDADE 32. As imagens neste material de aprendizagem ajudam a aprender. Critrio: VALOR AGREGADO 33. Os sons neste material de aprendizagem ajudam a aprender. Critrio: VALOR AGREGADO 34. As animaes neste material de aprendizagem ajudam a aprender. Critrio: VALOR AGREGADO

93

35. mais til aprender tpicos com este material de aprendizagem do que com mtodos convencionais em uma sala de aula. (Definio: Pense se voc estaria mais disposto a fazer estas tarefas com um computador ou com um livro de estudos normal ou livro de exerccios). Critrio: VALOR AGREGADO 36. Eu tento alcanar uma alta classificao tanto quanto posso neste material de aprendizagem. Critrio: MOTIVAO 37. Eu quero aprender os tpicos deste material de aprendizagem to profundamente quanto posso. Critrio: MOTIVAO 38. Estou interessado nos tpicos deste material de aprendizagem. Critrio: MOTIVAO 39. Este material de aprendizagem requer que eu saiba algo que tem sido pensado em algum outro material de aprendizagem. (Definio: Este material faz referncia a algum outro material de aprendizagem). Critrio: AVALIAO DO CONHECIMENTO PRVIO 40. Eu posso usar meus conhecimentos prvios quando estudo com este material. Critrio: CONTROLE DO ALUNO, APLICABILIDADE, AVALIAO DO CONHECIMENTO PRVIO 41. Este material de aprendizagem rev materiais anteriores antes de iniciar a ensinar um novo tpico. (Definio: Por exemplo, na matemtica, o material primeiro inicia com simples clculos que so necessrios para aprender um tpico mais difcil). Critrio: AVALIAO DO CONHECIMENTO PRVIO 42. Este material de aprendizagem oferece caminhos opcionais para o meu progresso. (Definio: Eu posso escolher diferentes tarefas cada vez que eu uso o sistema). Critrio: FLEXIBILIDADE 43. Este material de aprendizagem no me deixa prosseguir para o prximo ponto antes de ter respondido corretamente a cada questo. (Definio: Por exemplo, em um exerccio de lngua inglesa deve-se ter respondido corretamente a todas as questes, mesmo que com a ajuda do programa, antes de deix-to prosseguir para o prximo tpico). Critrio: CONTROLE DO ALUNO 44. Este material de aprendizagem apresenta muitas similaridades, tarefas consecutivas. (Definio: Por exemplo, uma tarefa de preencher que possui muitas tarefas consecutivas para sentenas do verbo "to be"). Critrio: FLEXIBILIDADE 45. Este material de aprendizagem torna rpido e fcil o aprendizado de um novo tpico ou o recapitular de um tpico anterior. Critrio: VALOR AGREGADO 46. Se eu no posso me lembrar de uma palavra especfica ou conceito enquanto uso este material de aprendizagem posso retomar e verificar seu significado no material anterior. Critrio: FLEXIBILDADE

94

47. Quando uso este material de aprendizagem sinto que tenho de lembrar muitas coisas ao mesmo tempo. (Definio: Eu sinto em alguns momentos que deveria ter usado o papel para escrever algumas anotaes). Critrio: CONTROLE DO ALUNO 48. Este material de aprendizagem apresenta informaes em formato que o toma fcil de aprender. (Definio: A informao apresentada de forma significativa e interconectada e no em partes separadas que so difceis de entender). Critrio: CONTROLE DO ALUNO, APLICABILIDADE 49. Este material de aprendizagem apresenta novos materiais (ou recapitula antigos) em "pores" adequadas para mim. (Definio: No h muitas novas coisas apresentadas de uma s vez, eu tenho tempo de aprend-Ias antes de mover-me para o prximo tpico). Critrio: CONTROLE DO ALUNO, APLICABIUDADE 50. Eu posso fazer certo nmero de erros com este material (por exemplo, respostas erradas em tarefas de clculos). Critrio: FEEDBACK 51. Quando eu erro uma soluo de uma tarefa, o programa me envia um aviso amigvel. Critrio: FEEDBACK 52. Este material de aprendizagem me d um feedback motivador. (Definio: Eu estou querendo pr a prova as funes menos usadas no material de aprendizagem porque eu sei ir me dar todos os avisos que eu preciso). Critrio: FEEDBACK 53. Este material de aprendizagem apresenta um feedback imediato das minhas atividades. (Definio: Quando eu escrevo minha resposta a uma tarefa de clculo, o sistema mostra imediatamente se a resposta correta ou no). Critrio: FEEDBACK 54. Este material de aprendizagem d inicialmente um exemplo da soluo correta. (Definio: Multiplicar com fraes decimais iniciado com um modelo de desempenho, e depois posso calcular por conta prpria). Critrio: APLICABILIDADE 55. Neste material de aprendizagem, eu transporto a responsabilidade para a soluo de uma tarefa em pequenas pores. (Definio: Por exemplo, em uma tarefa de matemtica, ser apresentada primeiro a tarefa e ento o resultado. A seguir, eu vejo a tarefa mas no o resultado, o qual eu tenho de resolver por conta prpria). Critrio: APLlCABILlDADE 56. Eu penso que aprendo mais rapidamente com este material do que normalmente. (Definio: Este material de aprendizagem proporciona o tipo certo de suporte quando preciso). Critrio: APLlCABILlDADE

95

ANEXO B - Questionrio de Ssemugabi

Fonte: Ssemugabi (2006) apud Reiz (2009)

Categoria 1: Projeto interface em geral (Baseado nas heursticas de Nielsen, adaptado por Ssemugab para o contexto de e-Iearning

1 Visibilidade do status do sistema 1.1 O Sistema me mantm informado atravs de feedback: sobre o que est acontecendo.
Resposta: ( ) Concordo plenamente ( ) Concordo ( ) Talvez ( ) Discordo ( ) Discordo plenamente.

1.2 Eu entendo o que significa feedback. 1.3 Eu obtenho o feedback dentro de um tempo razovel. 1.4 Posso ver ou ouvir os resultados de cada ao que eu realizo. 1.5 O sistema no reage de forma que me surpreenda e no faz nada inesperado.

2 Modelo do projetista e modelo do aluno, isto , correlao entre o sistema e o mundo real 2.1 A linguagem usada natural, os termos, frases, conceitos so similares queles usados no meu dia-a-dia ou no ambiente de estudo. 2.2 Eu no fico confuso com o uso dos termos. 2.3 Eu no fico confuso com a forma que os smbolos, cones, imagens so usadas. 2.4 No h jarges usados (jargo significa uma abreviatura ou uma expresso desenvolvida e usada por um grupo de pessoas). 2.5 A metfora usada corresponde aos objetos ou conceitos do mundo-real,por exemplo, o cone para salvar se parece com um disquete. 2.6 As informaes so organizadas em uma ordem natural e lgica. 3 Controle do usurio e liberdade 3.1 Eu controlo o sistema, ao invs deste me controlar. 3.2 O sistema trabalha da forma que eu quero que trabalhe. 3.3 Cada pgina apresenta todos os botes de navegao ou hiperlinks necessrios, tais como, anterior (voltar), prxima e pgina inicial (home). 3.4 Quando eu cometo um erro eu no posso escolher sair do sistema usando um boto de sada de emergncia claramente sinalizado.

96

4 Consistncia e aderncia s normas 4.1 A mesma conveno (normas ou o caminho pelo qual o contedo organizado e apresentado) usado atravs do sistema. 4.2 E fcil de entender as convenes usadas atravs do sistema. 4.3 A conveno usada similar quelas em outros sistemas que utilizei. 4.4 As mesmas palavras, frases, situaes ou aes referem-se s mesmas coisas atravs do sistema. 4.5 As cores so usadas de forma consistente (mesma forma) atravs do sistema. 4.6 Os grficos, cones e imagens so consistentemente usados atravs do sistema. 4.7 H consistncia no Ieiaute do sistema. 4.8 H consistncia no uso dos menus. 4.9 H consistncia no uso do tipo e tamanhos das fontes. 4.10 Os links das pginas so consistentes com os ttulos das pginas as quais esto vinculadas. 5 Preveno de erros, preveno especificamente de erros relacionados

usabilidade perifrica 5.1 O sistema me d suporte de forma que se toma difcil cometer erros graves. 5.2 A qualquer hora que um erro cometido uma mensagem de erro apresentada. 5.3 O sistema lisa uma interface de usurio grfica, tais como, listas suspensas (drop down), com hiperlink ou interfaces baseadas em cones, que podem ser clicadas por mouse, ao invs de baseada em comandos, onde os comandos tm de ser digitados pelo uso de teclado. 5.4 Sou requisitado a confirmar minhas entradas antes de levar adiante aes "potencialmente perigosas" como a de "apagar". 5.5 Acho fcil entrar com as informaes no sistema. 6 Reconhecimento ao invs de evocao 6.1 Esto disponveis instrues de como utilizar o sistema. 6.2 H uma relao bvia entre os controles e suas aes. 6.3 Os objetos usados, como os grficos em barras de ferramentas, so fceis de reconhecer. 6.4 Ao trabalhar em uma tarefa eu no preciso relembrar as informaes de outras tarefas.

7 Flexibilidade e eficincia do uso 7.1 O site oferece diferentes nveis de usurios, desde o novato at o experiente.

97

7.2 Atalhos em forma de abreviaes, questes especiais, macros e comandos escondidos esto disponveis para usurios experientes. 7.3 O site guia os usurios novatos de forma competente. 7.4 H a opo de usar somente o teclado para realizar as tarefas. 7.5 O sistema o bastante flexvel para permitir que os usurios ajustem as configuraes adequando-as, isto , personalizando o sistema.

8 Design esttico e minimalista 8.1 As pginas contm a informao requisitada. 8.2 A informao em cada pgina no muito grande para confundir-me ou distrair-me. 8.3 No h o uso excessivo de grficos e imagens no site. 8.4 As caixas de dilogo proporcionam informaes adequadas ao desempenho das tarefas. 8.5 Menus e listas suspensas possuem as opes exigidas para as escolhas. 9 Reconhecimento, diagnstico e recuperao de erros 9.1 As mensagens de erros so expressas em linguagem simples. 9.2 As mensagens de erros indicam precisamente qual o problema. 9.3 Cada mensagem proporciona um procedimento para a correo do erro. 9.4 O procedimento para 'corrigir um erro especfico, rpido e eficiente. 9.5 Se um erro de digitao (dados) resulta em um erro, no necessrio digitar o comando por inteiro, mas de preferncia reparar somente a parte errada. 9.6 O site proporciona uma rpida mudana de ao pela qual possvel, por exemplo, disponibilizar ambos Desfazer (Undo) e Refazer (Redo). 10 Ajuda e documentao 10.1 Eu acho os recursos de ajuda, tais como ajuda online e o glossrio, teis. 10.2 Os recursos de ajuda so fceis de usar. 10.3 Eu acho fcil procurar pela ajuda solicitada. 10.4 Os links para outras fontes so de g:'.mdc auxlio. Categoria 2: Design especfico para websites educacionais

11 Simplicidade de navegao, organizao e estrutura 11.1 Eu sempre sei onde estou e quais opes seguir, isto , o que conclu e o que ainda devo fazer. 11.2 No h a necessidade de ter o Menu do Curso desde que eu tenha o Mapa do Curso, o qual satisfaz mesma proposta.

98

11.3 O site sempre direciona para os documentos e pginas corretas, 11.4 Eu gostaria de ter Iinks s sees dentro da mesma pgina. 11.5 As cores para os links so consistentes com as convenes Web, isto , links no visitados em azul e os visitados em verde ou roxo. 11.6 Informaes correlacionadas so colocadas juntas. 11.7 Informaes importantes so colocadas no topo da pgina. 11.8 A funo de rolar pginas minimizada, isto , eu no tenho rolar vrias pginas para encontrar as informaes requisitadas. 12 Relevncia do contedo do site para a aprendizagem 12.1 O contedo mantm-me engajado. 12.2 O contedo relevante ao que deve ser aprendido. 12.3 O contedo est no nvel apropriado de meu entendimento. 12.4 Esto definidos quais so os materiais esto protegidos por leis de direito autoral e quais no so. 12.5 O material no site no possui preconceitos raciais ou quanto ao gnero. 12.6 Eu gostaria de ver as gravaes das minhas atividades, tais como, visitas feitas em cada pgina.

Categoria 3: Heursticas de design instrucional centrado no aluno

13 Claridade das metas, objetivos e sadas 1.3.1 Eu conheo os objetivos antes de cada encontro. 1.3.2 As sadas so comunicadas antecipadamente, antes do incio do encontro. 13.3 Eu acho o plano de estudos til. 13.4 Eu obtenho informaes atualizadas no quadro de avisos. 13.5 O calendrio proporciona informaes teis.

14 Aprendizagem colaborativa 14.1 Eu gosto de sites que tenham meios de incentivar atividades em grupo, tais como, um projeto em grupo e a colaborao na resoluo de problemas. 14.2 A colaborao com 'outros alunos, introduzida ou apoiada pelo sistema, permite-me aprender algo. 14.3 Ao colaborar com outros alunos, eu gostaria que o professor agisse como um facilitador, guia, treinador ou mentor, mas no como um controlador. 14.4 Quando colaboro com o professor, gostaria que o professor agisse como um parceiro, no como um controlador.

99

14.5 Embora eu tenha a ferramenta de e-mail proposta pela instituio, eu ainda necessito ter a ferramenta de e-mail dentro de aplicativo. 14.6 Eu gostaria de ter um frum de discusso acadmico com outros alunos usando ferramentas de discusso no site. 14.7 Eu gostaria de ter um frum de discusso acadmico com o professor usando ferramentas de discusso no site.

15 Aplicabilidade do nvel de controle do aluno 15.1 Eu posso decidir o que aprender e o que deixar de lado, dentro do site. 15.2 Quando eu uso o si/e, sinto como se eu estivesse no controle da minha prpria aprendizagem . 15.3 Eu sinto um senso de domnio prprio neste site. 15.4 Eu posso usar meus prprios caminhos para encontrar o que eu quero aprender dentro do site. 15.5 A partir do site eu gosto de acessar a internet para encontrar meu prprio material de aprendizagem.

16 Suporte para abordagens significativas de aprendizagem 16.1 Este site proporciona diferentes estratgias de suporte para a aprendizagem. 16.2 O site usado em combinao com outros meios de instruo para dar suporte aprendizagem. 16.3 O site me permite planejar, avaliar e questionar minhas habilidades de aprendizagem. 16.4 Este site me encoraja a aplicar as habilidades de aprendizagem dentro de situaes do mundo prtico/real.

17 Identificao de erros cognitivos, diagnstico e restabelecimento 17.1 Quando eu obtenho respostas erradas aos problemas proporcionados pelo sistema, as solues oferecidas pelo sistema ajudam-me a aprender. 17.2 Eu acredito que as pessoas aprendem por meio de seus erros. 17.3 O sistema reconhece que como aluno, eu posso estar errado sobre alguns conceitos e que tentar corrigi-Ias parte da aprendizagem. 18 Feedback, orientao e avaliao 18.1 O sistema proporciona feedback em relao as minhas atividades e conhecimentos. 18.2 Eu aprecio a orientao em forma de questes de exemplo e suas solues. 18.3 Eu aprecio o feedback quantitativo como forma de classificar minhas atividades.

100

19 Contexto significativo 19.1 O conhecimento apresentado dentro de um contexto significativo que me ajuda a aprender. 19.2 O conhecimento apresentado nu sentido de que ser autntico, corresponde a como as coisas so na prtica. 19.3 So empregadas tarefas autnticas e contextualizadas (tarefas que se relacionam com as do mundo real), preferivelmente do que instrues abstratas (modelos puramente tericos). 19.4 As representaes simblicas usadas so fceis de entender e os smbolos usados so significativos dentro do contexto da tarefa de aprendizagem.

20 Motivao, criatividade e aprendizagem ativa 20.1 A aplicao fornece motivao prpria (intrnseca) que me faz querer aprender. 20.2 As classificaes (notas) e outros incentivos que eu obtenho so motivaes externas (extrnsecas) e requisitos institucionais consumados. 20.3 A aplicao facilita meu empenho. 20.4 A aplicao mantm minha ateno. 20.5 Eu gosto do visual e da atmosfera deste site. 20.6 Eu prefiro atividades que so subdivididos em partes, tais como jogos e testes, pois estas no consomem muito tempo. 20.7 Eu gosto dos testes/jogos no site. 20.8 Eu gosto de fazer auto-avaliaes neste site. Concluses a. Eu achei o sistema fcil de usar. b. rpido de se trabalhar no sistema. c. O sistema desempenha as tarefas apropriadamente. d. Uma vez que eu aprendi a usar o sistema, ser fcil de us-Ia na prxima vez. e. Eu fiquei satisfeito com o sistema. ( ) Concordo plenamente ( ) Concordo ( ) Talvez () Discordo ( ) Discordo plenamente

f. O quo bem este site trabalha como um suplemento de instruo da aula/disciplina? ( ) Muito boa ( ) Boa ( ) Adequado ( ) Rum ( ) Muito ruim

g. Eu prefiro aprender usando: ( ) Ambiente virtual de aprendizagem ( ) Aula presencial ( ) Ambos

101

h. Qual sua viso geral deste site? ( ) Muito boa ( ) Boa ( ) Adequado ( ) Ruim ( ) Muito ruim

i. O que mais o atrai neste site? (questo aberta) j. O que voc mais gostou neste site? (questo aberta) k. O que voc menos gostou neste site? (questo aberta) l. Use o espao que segue para preencher no mnimo cinco problemas que voc encontrou como os mais problemticos no sistema. (questo aberta)

102

ANEXO C Questionrio de Reitz

Fonte: Reitz (2009)

N Severidade Questo de usabilidade 1. Mdia O material de aprendizagem dividido em partes (sees), minha tarefa aprend-las em uma ordem pr-definida. 2 Mdia As questes para a aprendizagem no seguem sempre o mesmo modelo para suas resolues. Os links para outras fontes so de grande auxlio para minha 3. Baixa aprendizagem. 4. Mdia Esqueci de tudo o que estava acontecendo ao meu redor e de quanto tempo se passou. 5. Mdia Estou orgulhoso das minhas solues para os exerccios apresentados. Sinto que fiz algo significativo. 6 Mdia O material de aprendizagem avalia meus desempenhos com classificaes (notas) de minhas atividades. 7. Baixa E mais til aprender tpicos com este material no computador do que com livros em sala de aula. 8. Baixa E rpido e fcil o aprendizado de um novo tpico ou o recapitular de um tpico anterior. 9. Alta Este material exige que eu tenha conhecimentos de outro material de aprendizagem anterior. 10. Mdia Este material de aprendizagem no me deixa prosseguir para o prximo ponto ou exerccio antes de ter respondido corretamente a cada questo. 11. Mdia Os programas utilizados (calculadora, exerccios, jogos, etc.) so simples e prticos de usar. 12. Baixa Quando erro na soluo de uma tarefa, o programa me envia um aviso amigvel, 13. Alta O feedback (aviso/resposta dado pelo sistema) imediato. 14. Baixa Recebo feedback (aviso) motivador. 15. Mdia A linguagem usada natural. Os termos, frases, conceitos so similares queles usados no meu dia-a-dia ou no ambiente de estudo. No so usados jarges no site (jargo significa uma abreviatura 16. Mdia ou uma expresso tcnica desenvolvida e usada por um grupo de pessoas). 17. Alta No fico confuso com a forma com que os smbolos, cones, imagens so usados. 18. Mdia A metfora usada corresponde aos objetos ou conceitos do mundo real, por exemplo, o cone para salvar se parece com um disquete. 19. Mdia As imagens ajudam a aprender. 20. Baixa Os sons ajudam a aprender. 21. Baixa As animaes ajudam a aprender. 22. Mdia As informaes so organizadas em uma ordem natural e lgica. 23. Mdia Sinto como se eu estivesse no controle da minha prpria aprendizagem ao interagir com o site.

103

24 . 25. 26.

Mdia Alta Alta

27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39.

Mdia Alta Alta Mdia Mdia Mdia Mdia Mdia Baixa Alta Mdia Baixa Alta

40. 41 42. 43. 44.

Baixa Mdia Alta Alta Mdia

45. 46. 47. 48. 49.

Alta Baixa Mdia Alta Mdia

Eu posso usar meus prprios caminhos para encontrar o que eu quero aprender dentro do site. Tenho de lembrar muitas coisas ao mesmo tempo. Gostaria de usar o papel para escrever algumas anotaes. Cada pgina apresenta todos os botes de navegao ou hiperlinks necessrios, tais corno, anterior (voltar), prxima e pgina inicial (homepage). Este material de aprendizagem d inicialmente um exemplo de exerccio com uma soluo correta. Gosto de aprender com questes de exemplo e suas solues. Este material de aprendizagem ensina habilidades e conhecimentos que necessitarei no futuro. A mesma forma de apresentao e organizao do contedo usada em todo site. As informaes so apresentadas em um formato que os torna fcil de aprender. As cores so usadas da mesma forma em todo o site. Os grficos, cones e imagens so usados da mesma forma em todo o site. Os menus so apresentados da mesma forma em todo o site. Os links das pginas correspondem aos ttulos das pginas s quais esto vinculadas. A qualquer hora que um erro cometido urna mensagem de erro apresentada. Sou requisitado a confirmar minhas aes antes de levar adiante aes "perigosas" como a de "apagar". Acho fcil entrar com informaes no sistema. O site guia os usurios experientes atravs de atalhos em forma de abreviaes, questes especiais, macros e comandos escondidos. Este material de aprendizagem apresenta muitas tarefas parecidas e repetitivas. As caixas de dilogo proporcionam informaes adequadas ao desempenho das tarefas. As mensagens de erros indicam precisamente qual o problema. As mensagens de erro indicam um procedimento para a correo do erro. Se um erro de digitao (dados) resulta em um erro, no preciso digitar novamente o comando por inteiro, mas reparar somente a parte errada O site proporciona uma rpida mudana de ao atravs dos comandos de Desfazer (Undo) e Refazer (Redo). A ajuda online e o glossrio (recursos de ajuda) so teis. Os recursos de ajuda so fceis de usar. Sei onde estou e quais opes seguir, isto , o que conclu e o que ainda devo fazer. H links que levam aos tpicos de estudos (sees) dentro da mesma pgina

104

50.

Mda

51 52. 53. 54. 55. 56. 57. 58. 59. 60.

Mdia Baixa Mdia Mdia Baixa Baixa Baixa Mdia Mdia Mdia

61.

Mdia

62. 63. 64. 65. 66. 67.

Baixa Mdia Baixa Mdia Mdia Mdia

68 69. 70. 71. 72.

Alta Mdia Mdia Mdia Baixa

As cores para os links so consistentes com as convenes da Web, isto , links no visitados em azul e os visitados em vermelho ou roxo. As informaes importantes so colocadas no topo da pgina, No preciso rolar (barra de rolagem) vrias pginas para encontrar as informaes que procuro. O contedo mantm minha ateno. O contedo est no nvel apropriado de meu entendimento. Esto definidos quais so os materiais protegidos por leis de direito autoral e quais no so. Obtenho informaes atualizadas no quadro de avisos. O calendrio proporciona informaes teis. Gosto de atividades em grupo, tais como, um projeto em grupo e a colaborao na resoluo de problemas. A colaborao com outros alunos, introduzida ou apoiada pelo sistema, permite-me aprender. Ao interagir com os outros alunos e o professor, eu gostaria que o professor agisse como um parceiro, guia, e no como um controlador. Embora eu tenha a ferramenta de e-mail proposta pela instituio, eu ainda necessito ter a ferramenta de e-mail dentro do aplicativo. Gosto de participar do frum de discusso acadmico com outros alunos. E agradvel usar o material de aprendizagem com outro estudante no mesmo computador. Posso salvar meu trabalho neste material de aprendizagem e usar ou avaliar o trabalho dos outros alunos. O site me permite planejar, avaliar e questionar minhas habilidades de aprendizagem. Este site me encoraja a aplicar as habilidades de aprendizagem nas situaes prticas da vida. Quando eu obtenho respostas erradas aos problemas proporcionados pelo sistema, as solues oferecidas pelo sistema ajudam-me a aprender. So empregadas tarefas autnticas e contextualizadas (tarefas prticas), mais do que instrues abstratas (conceitos tericos). O material de aprendizagem me faz querer aprender, sinto-me motivado. Gosto de fazer auto-avaliaes neste site. Gosto do visual e da aparncia deste site Gosto dos testes e jogos no site.

105

ANEXO D Objeto de Aprendizagem (Grupo A)

106

107

ANEXO E Objeto de Aprendizagem (Grupo B)

108