BOTTENTUIT JUNIOR, Joo Batista; COUTINHO, Clara Pereira (2007) Anlise da Usabilidade de um Laboratrio Virtual de Qumica Orgnica.

Memorias da 6 Conferencia Ibero-americana em Sistemas, Ciberntica e Informtica (CISCI). Pg. 91-95, Vol. 1 Orlando, EUA. Julho.
Anlise da Usabilidade de um Laboratrio Virtual de Qumica Orgnica
Joo Batista BOTTENTUIT JUNIOR Instituto de Educao e Psicologia da Universidade do Minho Braga - Portugal - jbbj@terra.com.br, e Clara Pereira COUTINHO Instituto de Educao e Psicologia da Universidade do Minho Braga - Portugal ccoutinho@iep.uminho.pt pessoas, j que um nico experimento pode ser compartilhado por dezenas de pessoas, estando elas na mesma cidade ou geograficamente dispersas, alm da questo dos custos na utilizao de um laboratrio real que torna em muitos casos bastante oneroso para as empresas ou instituies. A disponibilizao dos laboratrios virtuais geralmente feita atravs da Internet ou atravs de meios fsicos e electrnicos como CD-ROM ou DVD. De acordo [3] os laboratrios virtuais so bons para assimilar a teoria, mas no substituem processos reais, seu modelo apenas uma aproximao que no pode reproduzir todos os aspectos do processo tambm no permite que novos resultados possam ser descobertos, j que todas as experincias so previamente programadas para serem executadas do mesmo modo, e os resultados sero sempre os mesmos. Os laboratrios virtuais tambm so ptimos como recursos pr laboratoriais, ou seja, o aluno antes de ir para o laboratrio real faz todas as experincias de modo virtual, fazendo com que os conhecimentos sejam melhor fixados, evitando tambm possveis inconvenientes que possam ocorrer da m utilizao dos equipamentos ou substncias. Os laboratrios virtuais mostram-se como uma soluo para a educao a distncia mediada por computador, pois oferecem aos alunos a possibilidade de interagir, e praticar o contedo disponvel no curso de uma forma mais viva e enriquecedora comparando-se com o estudo a distncia apenas com contedos fsicos (livros, sebentas, fitas, dentre outros). 3. LABORATRIO VIRTUAL ANALISADO

RESUMO Neste trabalho apresentamos uma anlise da usabilidade de um laboratrio virtual de qumica orgnica na qual pretendemos avaliar questes relativas a eficincia, eficcia e satisfao dos utilizadores. Mostramos os dados e resultados obtidos atravs dos inquritos realizados junto a uma amostra de peritos professores de fsico-qumica e informticos. Palavras Chave: Usabilidade, Laboratrios Virtuais 1. INTRODUO

No desenvolvimento de sistemas interactivos cruzam-se as reas da Interaco Humano-Computador (lHC) e da Engenharia do Software. Estudos tm mostrado que o sucesso de tais sistemas depende, em grande medida, da sua usabilidade. A usabilidade pode ser definida como a qualidade de um sistema relativamente facilidade de aprendizagem, facilidade de utilizao e satisfao dos seus utilizadores Segundo [1], usabilidade medida na qual um produto pode ser usado por usurios especficos para alcanar objectivos especficos com eficcia, eficincia e satisfao em um contexto especfico de uso. Esta norma define eficincia como os recursos gastos em relao acuracia e abrangncia com as quais usurios atingem objectivos, ou seja, como os recursos necessrios e consumidos para atingir o objectivo, eficcia como a acuracia e completude com as quais usurios alcanam objectivos especficos, ou seja, a qualidade com que o utilizador atinge os objectivos e satisfao como a ausncia do desconforto e presena de atitudes positivas para com o uso de um produto. Ou seja, como as sensaes do utilizador durante a utilizao do sistema ou site. A usabilidade de um software condiciona o sucesso ou fracasso do mesmo. Neste artigo vamos apresentar o resultado da avaliao da usabilidade de um laboratrio virtual de Qumica Orgnica concebido para utilizao em aulas de Fsico-qumica do 7 ano de escolaridade. Nesse sentido, definido o conceito de laboratrio virtual, apresentaremos o prottipo que serviu de base ao estudo, o questionrio utilizado na avaliao da usabilidade bem como os resultados obtidos na sua aplicao junto de um grupo de peritos (professores de fsico-qumica e informticos). 2. LABORATRIOS VIRTUAIS

Para esta pesquisa utilizou-se como base, um laboratrio virtual de qumica orgnica desenvolvido pelo professor Andr Arigony Souto da Pontifcia Universidade Catlica do Rio Grande do Sul (PUCRS) que fica situada na cidade de Porto Alegre no sul do Brasil. A interface grfica do sistema pode ser observada na figura 01.

Segundo [2] a criao dos laboratrios virtuais surgiu da necessidade do uso dos laboratrios em tempo real, ou seja, com acesso a qualquer hora do dia e por um grande nmero de

Figura 01: Janela de entrada do laboratrio virtual.

O laboratrio conta com quatro experincias na rea de qumica orgnica que so respectivamente a filtrao, destilao, refluxo e extraco. O acesso a este laboratrio pode ser feito atravs da Internet no endereo http://www.pucrs.br/quimica/professores/ arigony/lab.html. O sistema conta com uma ferramenta de ajuda para guiar todas as experincias. Aps escolhida a opo desejada da experincia virtual, o tutor dever indicar todos os passos a serem seguidos, conforme pode ser visto na figura 02.

Desenvolvimento Curricular. A escolha deste questionrio para a avaliao da usabilidade do nosso prottipo teve a ver com o facto da referida grelha estar direccionada no apenas para as questes tcnicas a que aludimos atrs (caractersticas do sistema e grau de satisfao obtido pelo utilizador), mas tambm para questes pedaggicas que nos interessavam particularmente. Nesse sentido, foram cinco as dimenses abordadas no questionrio de avaliao da usabilidade do laboratrio base: Domnio Tcnico (5 itens) Domnio Pedaggico (8 itens) Domnio Lingustico (2 itens) Domnio da Interface Grfica Grafismo (3 itens) Interactividade (3 itens) Avaliao Descritiva (2 itens)

Figura 02: Passos a serem seguidos nas experincias. No menu principal existe tambm uma opo de ajuda que indica como os objectos devem ser fixados correctamente para que a experincia possa ser concluda. Um outro recurso que o aluno pode contar com o vdeo da montagem em um laboratrio real, uma opo que facilita o entendimento do funcionamento do equipamento a ser montado, conforme pode ser visto na figura 03.

Como referido anteriormente, excepo da Avaliao Descritiva, todos os itens do questionrio eram de questes do tipo escolha mltipla e adoptaram o formato de uma escala de Likert de quatro pontos (1-4): face a cada uma das afirmaes relativas a atributos do software, os avaliadores eram solicitados a atribuir a classificao de 1 se o consideravam Mau, 2 se o consideravam Suficiente, 3 se o consideravam Bom e 4 se o consideravam Excelente. Era ainda facultada a opo NA (no avaliado) para o caso de o avaliador no pretender pontuar uma dada dimenso, como aconteceu efectivamente com alguns itens do Domnio Pedaggico e Lingustico em que os peritos informticos preencheram o item com a opo NA (no avaliado). 4.2 Seleco da amostra de avaliadores

Figura 03: Vdeo com a montagem das experincias. Aps a concluso das experincias hora de conferir os conhecimentos dos alunos, para isto o laboratrio possui com um auto teste composto de diversas questes que devero ser respondidas com base nos contedos aprendidos na componente de ensino e nas experincias que o aluno realizou. Aps a concluso de todas as experincias virtuais e a resoluo das actividades de auto teste, o laboratrio oferece a possibilidade do aluno rever vrios conceitos envolvidos nas experincias estudadas. A ltima opo disponvel no laboratrio a Bibliografia na qual um conjunto de hiperligaes so disponibilizadas para que o utilizador possa consultar informaes sobre a qumica orgnica, outros laboratrios virtuais alm de um conjunto de referncias da rea cientfica da qumica. 4.1 Avaliao da Usabilidade do Laboratrio Virtual

A grelha utilizada para a avaliao da usabilidade do laboratrio virtual acima descrito, compreende um pequeno texto introdutrio onde apresentamos o tema, explicamos os objectivos e onde agradecemos tambm a participao dos inquiridos. A grelha se articula em cinco partes, sendo quatro destas com itens de formato Likert que pretendem avaliar o laboratrio virtual quanto ao domnio tcnico, pedaggico, lingustico e interface grfica. A ltima parte da grelha consiste numa avaliao descritiva e uma apreciao global (itens de resposta aberta) solicitando aos avaliadores sugestes de melhorias para o laboratrio em estudo. A grelha utilizada uma adaptao de uma avaliao de software educativo do Sistema de Avaliao, Certificao e Apoio Utilizao de Software para Educao e a Formao do Ministrio da Educao e Direco Geral de Inovao e

O grupo de sujeitos que participaram na avaliao do prottipo constituiem uma amostra de tipo criterial, ou seja, a escolha deu-se com base num critrio que foi a formao. Nesse sentido, e uma vez que a grelha de avaliao da usabilidade comportava questes tcnicas e pedaggicas decidimos que o seu preenchimento fosse feito por sujeitos com formao em ensino da qumica e tambm por indivduos com formao na rea da informtica. A acessibilidade a esta amostra foi uma tarefa fcil uma vez que constitua parte do ambiente de trabalho de um dos investigadores De facto, os professores de qumica e os informticos que integraram a amostra tinham em comum o facto de frequentarem cursos de mestrado em Educao (qumica para o ensino, educao multimdia) ou cursos na rea das cincias dos computadores na Faculdade de Cincias da Universidade do Porto, onde um dos investigadores frequentava tambm o seu curso de mestrado e desenvolvia a sua dissertao. A grande maioria dos sujeitos da amostra no tiveram contacto directo com os autores, recebendo muitos deles os testes de usabilidade pelas mos de professores do mestrado e/ou de colegas da rea de qumica. A amostra final ficou constituda por 30 (trinta) sujeitos dos quais 53% eram licenciados em qumica e 47% tinham licenciatura em informtica; destes 87% eram professores e apenas 13% exerciam funes noutras reas. 5. APRESENTAO DOS RESULTADOS Os dados foram apurados com base em mtodos estatsticos e o programa utilizado para o efeito foi o Excel, sendo um programa matemtico de manipulao de dados bastante eficaz, que integra o pacote de produtos do Office da Microsoft. Optmos por apresentar os resultados recorrendo a grficos de barras referentes a cada uma das dimenses abordadas no questionrio, uma vez que este formato facilita a visualizao dos resultados.

Foram utilizados trs indicadores estatsticos para a apresentao dos dados: Clculo de percentagens Clculo da mdia ponderada para os itens de formato Likert Clculo do rank mdio (valor da mdia ponderada / (nmero de pessoas da amostra)

5.2 Domnio Tcnico No domnio tcnico procurmos investigar possveis falhas no sistema que pudessem, de alguma forma, comprometer o bom andamento das experincias ou da utilizao do laboratrio. Muitas das variveis bsicas da engenharia de software foram utilizados como, por exemplo, a interface, a navegao, a resoluo e o nvel de ajuda. Todos os itens desta dimenso foram avaliados pelos peritos/avaliadores. No contexto da navegao os avaliadores consideraram-na suficiente, ou seja, no foi um factor que atrapalhou o acesso s vrias janelas. A avaliao da interface tambm foi tida como suficiente, ou seja, no houve dificuldades a assinalar na comunicao entre o utilizador e o sistema. No que toca s instrues a cerca da melhor resoluo do ecr foi uma informao que quase todos detectaram como informao ausente, ou seja, no laboratrio virtual no havia nenhuma informao sobre a melhor forma de visualizar os ecrs o que explica a atribuio de uma classificao de mau a este item. Tanto o nvel de conhecimento informtico exigido quanto as opes de ajuda para aceder aos recursos do laboratrio foram avaliadas como suficiente. A informao sobre o nvel informtico exigido no constava em nenhum momento no sistema, porm, uma vez que se tratava de um software bastante intuitivo esta informao foi irrelevante. Quanto opo de ajuda havia dois tipos de questes: uma sobre o funcionamento do laboratrio e outra ao lado de cada 5.3 Domnio Pedaggico As questes relativas ao domnio pedaggico eram dirigidas a professores e pretendiam obter informao acerca de algumas variveis que integram os softwares construtivistas como por exemplo, o desenvolvimento de competncias pedaggicas, possibilidade do ensino a distncia, o ensino colaborativo, o respeito pelos diferentes ritmos de aprendizagem, a adequao ao nvel e a adaptao aos diferentes nveis de aprendizagem. Como seria de esperar, muitos itens desta dimenso no foram avaliados (opo NA), possivelmente porque os peritos informticos que integravam a amostra no se sentiram aptos a avaliar questes relativas aos objectivos pedaggicos inerentes ao ensino de contedos da qumica. Nesse sentido, e para no desvirtuar a lgica da anlise, para efeitos do clculo do rank mdio apenas tommos em conta as pontuaes da escala de Likert efectivamente expressas pelos avaliadores. Quanto importncia da ferramenta no desenvolvimento de competncias pedaggicas do utilizador o laboratrio teve uma boa avaliao, considerando os avaliadores que, para alm da aprendizagem proporcionada pelas experincias, os alunos ainda podem adquirir competncias, como seja, uma maior facilidade na utilizao do computador e rapidez de raciocnio. O ensino colaborativo uma temtica muito valorizada nos ltimos tempos - saber trabalhar em equipe hoje um dos grandes diferenciais e, nesse sentido, muitos sistemas informticos esto aderindo cada vez mais a essa mais valia. No entanto, a avaliao do prottipo no que respeita a esta varivel foi de mau, uma vez que, para que possa ocorrer o

ensino colaborativo preciso que os alunos acedam a ferramentas (fruns, chat, actividades, webquests) onde possam trabalhar de forma conjunta na construo do saber. No entanto, para a maioria dos avaliadores, o laboratrio proporciona o ensino a distncia uma vez que os alunos podem aceder s experincias em qualquer lugar e aprender assim ao seu ritmo. Quanto ao laboratrio poder ser utilizado em diferentes situaes de aprendizagem foi avaliado como suficiente, ou seja, o laboratrio pode ser utilizado em actividades e contextos pedaggicos muito diversificados (sala de aula, clubes, estudo acompanhado, individualmente ou em grupo, etc). O grfico 2 mostra os resultados obtidos na avaliao do domnio pedaggico da ferramenta

Grfico 2: Questes referentes ao domnio pedaggico. 5.4 Domnio Lingustico No domnio lingustico avaliamos apenas dois pontos que foram a clareza da linguagem e a adequao ao pblico destinatrio. A avaliao dos professores indica que os textos contidos nas experincias estavam suficientemente claros e tambm adequados ao nvel etrio dos alunos. Os valores utilizados neste item referem-se ao nmero de pontuaes efectivas, ou seja, no foram contabilizados os casos de no avaliados (NA). Os resultados podem ser melhor visualizados no grfico 3.

Grfico 3: Questes referentes ao domnio lingustico. 5.5 Domnio da Interface Grfica Quanto ao domnio grfico a avaliao foi realizada em dois nveis que so: grafismo e interactividade que sero apresentados a seguir. Todos os itens desta dimenso foram classificados pelos peritos/avaliadores. 5.5.1 Grafismo Sobre o grafismo, ou seja, sobre as imagens e organizao dos ecrs o professores destacaram uma avaliao satisfatria sobre a qualidade das imagens e adaptao s possibilidades grficas de qualquer computador; tambm foram classificados com suficiente os grficos, desenhos e imagens, porm, a organizao dos ecrs foi avaliada como m por no estar centralizado e no utilizar todos os espaos disponveis

para a demonstrao das experincias. O grfico 4 mostra-nos os resultados obtidos.

Grfico 4: Questes referentes ao domnio da interface grfica grafismo.

5.5.2 Interactividade O ltimo tpico referente ao domnio da interface grfica avaliado foi a interactividade. A este respeito, os avaliadores classificaram como bom o facto dos utilizadores conseguirem interagir com a ferramenta, visto que muitos dos sistemas nem sempre permitem total interaco. As ajudas e mensagens providenciadas ao longo das experincias facilitando a autonomia e a correco dos erros dos utilizadores foram avaliadas como satisfatrias. Todos os itens desta dimenso foram classificados pelos peritos/avaliadores e podem ser visualizados no grfico 5.

Poderia melhorar-se o potencial pedaggico, com a implementao de objectos em 3d (Vrml ou outros), manipulveis. Talvez imersos em um ambiente (laboratrio) virtual, o que faria com que os alunos pudessem se familiarizar com todos os objectos (in loco, virtualmente) utilizados em um laboratrio de qumica. De forma formal geral gostei pois foi a 1 experincia que eu tive no manuseamento de um laboratrio virtual. Em algumas experincias, no fcil compreender como as peas encaixam. Este site utiliza recursos que considero importantes para as aprendizagens dos alunos, tais como o vdeo, as imagens. O texto tambm muito importante e isso que talvez esteja em falta. Deveria possuir links para o aluno aceder e saber mais sobre a experincia em questo. Os recursos interactivos para concluir a experincia so muito bons. um recurso til, intuitivo e de fcil interaco.

5.6.2 Descrio e Avaliao da Relevncia e Potencial Pedaggico do Recurso Em termos de relevncia, acho absolutamente valioso e s vem a acrescentar em termos de aprendizagem com a possibilidade de evoluir em funo das necessidades dos alunos e dos contedos ministrados. uma ferramenta que permite a interactividade e como sabemos e desta forma que o aluno aprende mais informaes. Alm disso, tambm achei muito interessante os grficos apresentados no final, parece-me que dessa forma os alunos podem ter uma percepo mais global da experincia. Os contedos so apresentados de uma forma muito sucinta. Penso faltar alguns links em palavras nucleares para compreenso da matria. Neste campo de pouca ajuda o vdeo til para a aprendizagem. Contedo e linguagem adequada ao pblico-alvo e ao currculo. Pode ser uma ferramenta pedaggica muito til porque permite, atravs da simulao de experincias, ver como estas ocorrem, onde o utilizador/educando controla os passos e v as explicaes de acordo com suas necessidades. O facto do aluno poder observar em vdeo como realizar a experincia e depois aplicar o que aprendemos tentando ele prprio, realizar a experincia, contribuir de forma significativa para a sua aprendizagem. Ele tem vrios recursos ao seu dispor, pode ler, pode observar e pode simular (que contribui para a reteno em 75% dos conhecimentos) ptimo recurso para a realizao de experincias de difcil implementao, materiais raros, materiais dispendiosos, materiais perigosos. 6. CONSIDERAES FINAIS

Grfico 5: Questes referentes ao domnio da interface grfica Interactividade. 5.6 Avaliao Descritiva / Compreenso Na avaliao descritiva foi solicitado aos professores que preenchessem os campos de acordo com a suas percepes dos aspectos globais dos recursos do Laboratrio Virtual de Qumica Orgnica, incluindo aspectos que lhes parecessem relevantes e que poderiam contribuir para uma melhor compreenso das mais valias educativas que estes recursos poderiam ajudar a promover. Pedimos especial ateno aos aspectos e caractersticas pedaggicas do recurso enquanto ferramenta a usar/integrar no currculo e/ou nos processos de ensino e aprendizagem. E por ltimo pedimos que fossem relatadas algumas sugestes de melhorias para o laboratrio virtual. Todas as respostas dadas foram transcritas para efeitos da anlise. 5.6.1 Descrio e Apreciao Global do Recurso Globalmente acho que satisfaz bem, mas pode-se fazer algumas e sem grande esforo tornar o laboratrio virtual em questo, muito bom! No geral est razovel, mas poderia haver mais exerccios resolvidos e talvez mais demonstraes do que devo fazer e o que se no deve fazer, quando utilizamos os utenslios principalmente. Recursos diversificados e teis para a compreenso e realizao das actividades.

Neste artigo apresentamos um laboratrio virtual de Qumica Orgnica desenvolvido pelo professor Andr Arigony Souto da Pontifcia Universidade Catlica do Rio Grande do Sul (PUCRS), que seleccionmos como prottipo experimental para um estudo que estamos a desenvolver e que visa a utilizao destas ferramentas tecnolgicas em contexto de sala de aula. A necessidade de avaliar a usabilidade da ferramenta em termos tcnicos e pedaggicos levou constituio de uma amostra criterial formada por informticos e por professores de Qumica que preencheram um questionrio especificamente concebido

para o efeito. A anlise e discusso dos resultados obtidos no teste de usabilidade, permitem-nos concluir que o laboratrio analisado possui potencialidades a nvel tcnico e pedaggico, porm necessita de melhorias para que possa adequar as exigncias de qualidade de um software pedaggico e usual, gerando uma maior facilidade de manuseamento e capacidade de reteno do conhecimento pelos utilizadores.

7.

REFERNCIAS

[1] ISO 9241: Parte 11 (1998) Ergonomic requirements for office work with visual display terminals (VDTs) Part 11 Guidance on usability. [2] BOTTENTUIT JUNIOR, Joo Batista; Coutinho, Clara (2006) Laboratories Based on Internet: comparative analyses of current experiences and development of a virtual laboratory. Proceedings of IV International Conference On Multimedia And Information And Communication Technologies In Education. 1284-1289, Vol II, Seville. [3] CASINI, Marco; PRATTICHIZZO, Domenico; VICINO, Antonio (2003). E-learning by Remote Laboratories: a New Tool for Control Education Preprints 6th IFAC Symposium on Advances in Control Education, Oulu, Finland, 95-100