Anlise de Log para Avaliao do Comportamento do Aluno em um Ambiente de EAD na Web

Raquel Weirich, Isabela Gasparini, Avanilde Kemczinski Departamento de Cincia da Computao - Centro de Cincias Tecnolgicas CCT Universidade do Estado de Santa Catarina UDESC Campus Universitrio Prof. Avelino Marcante s/n Bairro Bom Retiro Joinville SC Brasil
{dcc6rw,isabela, avanilde}@joinville.udesc.br

Abstract. The increasing use of e-learning demands more and more techniques for elaboration and application to assist in the stages of the use of an environment, also in the time to evaluate the knowledge acquired for the students. In intention to improve the quality of students interaction in a elearning environment intitled AdaptWeb (Teaching-Learning Adaptative Environment at Web), a tool of logs analysis was implemented to get information of the students behavior front the environment. After the implementation of the tool and the incorporation of the same one in the AdaptWeb environment was realized a case study with the log analysis in a group of computer science students of UDESC (State of Santa Catarina University). Resumo. A crescente utilizao da Educao a Distncia (EAD) exige cada vez mais a elaborao e aplicao de tcnicas para auxiliar nas etapas da utilizao de um ambiente, inclusive na hora de avaliar o conhecimento adquirido pelo aluno. No intuito de melhorar a qualidade da interao do aluno em um ambiente EAD intitulado AdaptWeb (Ambiente de EnsinoAprendizagem Adaptativo na Web), uma ferramenta de anlise de log foi implementada para obter informaes referente ao comportamento do aluno frente ao ambiente. Aps a implementao da ferramenta e a incorporao da mesma no AdaptWeb, foi realizado um estudo de caso piloto com a aplicao da anlise de log em uma turma de alunos do curso de Cincia da Computao da UDESC (Universidade do Estado de Santa Catarina).

1. Introduo
A Educao a Distncia (EAD) surgiu como uma alternativa de educao para as pessoas, que pelas mais diversas razes, no podem estar presentes no mesmo local ao mesmo tempo. Atualmente a EAD est sendo amplamente empregada nos mais diversos segmentos, desde cursos de treinamento at cursos de ps-graduao. O AdaptWeb (Ambiente de Ensino-Aprendizagem Adaptativo na Web) (Brunetto et al, 2003) um ambiente que possui como objetivo principal a adequao dos contedos s preferncias individuais do usurio. Para assegurar a qualidade no aprendizado do aluno, torna-se necessrio que o ambiente no qual o aluno vai navegar no tenha problemas de usabilidade, ou seja, o ambiente utilizado deve ser fcil de aprender e utilizar, eficaz, eficiente, seguro, satisfatrio, agradvel, atraente e desafiador.

XVIII Simpsio Brasileiro de Informtica na Educao - SBIE - Mackenzie - 2007 Workshop em Informtica na Educao (sbie) 2007

510

Para verificar a usabilidade dos sistemas existem vrias tcnicas de avaliao da usabilidade que podem ser utilizadas inclusive em diferentes etapas do desenvolvimento de interfaces. A anlise de log uma tcnica de avaliao que alm de apontar problemas de usabilidade pode ajudar a compreender o comportamento dos usurios com relao a interface do sistema (Winckler, 2001). A anlise de log foi implementada seguindo as caractersticas do AdaptWeb, e foi disponibilizada como mais uma ferramenta no ambiente do professor (autoria do ambiente). Este artigo tem como objetivo apresentar a ferramenta de anlise de log desenvolvida para o Ambiente AdaptWeb, que verifica o comportamento do aluno frente ao ambiente, e detalha o estudo de caso piloto realizado com a ferramenta em uma disciplina de graduao (Bacharelado em Cincia da Computao) da UDESC (Universidade do Estado de Santa Catarina). Este artigo est estruturado como segue. A seo 2 explora o ambiente AdaptWeb. A seo 3 explica sobre a tcnica de anlise de log. A seo 4 apresenta a ferramenta de anlise de log implementada no ambiente AdaptWeb. A seo 5 mostra o estudo de caso piloto realizado e por ltimo as consideraes finais so verificadas na seo 6.

2. O Ambiente AdaptWeb
Um dos aspectos mais importantes nos sistemas de EAD encontrar a melhor maneira em que a informao possa ser apresentada aos alunos. Uma alternativa para aumentar a qualidade dos sistemas de EAD via web, a utilizao de Sistemas Hipermdia Adaptativos (SHA), que esto se popularizando nos ltimos anos por serem ferramentas versteis e poderosas para organizao e acesso a informao (Boticario, 2000). SHA so sistemas, arquiteturas, mtodos e tcnicas capazes de promover a adaptao de sistema hipermdia em geral aos objetivos, necessidades, preferncias e desejos de seus usurios (Brusilovsky, 1996). O AdaptWeb um SHA de EAD baseado na web desenvolvido atravs de uma parceria da UFRGS (Universidade Federal do Rio Grande do Sul) e UEL (Universidade Estadual de Londrina) com colaborao do CNPq. Sua finalidade adaptar o contedo, a apresentao e a navegao de acordo com o perfil do usurio. Seu grande diferencial o ambiente para a autoria e apresentao de cursos na web, com condies de adaptabilidade. A sua adaptabilidade suportada pela criao de um modelo flexvel do estudante (modelo do usurio), onde, para cada aluno, so armazenadas informaes sobre o curso, conhecimento, ambiente de trabalho, preferncias e histrico navegacional (Palazzo et al, 2003), (Gasparini, 2003). O objetivo do ambiente permitir a adequao de tticas e formas de apresentao de contedos para alunos de diferentes cursos de graduao e com estilos distintos de aprendizagem, possibilitando diversas formas de apresentao de cada contedo, de forma adequada a cada curso e s preferncias individuais dos alunos participantes (Palazzo et al, 2004). O AdaptWeb composto por um ambiente de autoria, onde o autor organiza e cria a estrutura de contedo de suas disciplinas adaptadas aos cursos e de um ambiente para o aluno, que apresenta o contedo organizado atravs da sistemtica de autoria adaptado ao curso do aluno (Brunetto et al, 2003).

3. Avaliao de Usabilidade e Anlise de Log

A aceitao de um software est diretamente ligada satisfao do usurio durante a

XVIII Simpsio Brasileiro de Informtica na Educao - SBIE - Mackenzie - 2007 Workshop em Informtica na Educao (sbie) 2007

511

utilizao do mesmo. Interfaces ergonomicamente adequadas tendem a aumentar o contentamento do usurio proporcionando maior conforto na operao do sistema. As pesquisas na rea de Interao Humano-Computador (IHC) buscam avaliar a qualidade de um projeto de interface, tanto ao longo do processo de desenvolvimento como quando o software est pronto. Seu objetivo principal a gerao de sistemas com usabilidade, ou seja, facilidade de uso, aprendizagem, satisfao do usurio, eficincia e eficcia (Nielsen, 1993). As atividades da engenharia de usabilidade visam identificar problemas de usabilidade em IHC e contribuir para a sua eliminao. Alguns objetivos apontados por Cybis (2003) a serem atingidos pelas avaliaes so: constatar, observar e registrar problemas durante a interao; calcular mtricas objetivas para eficcia, eficincia e produtividade do usurio na interao com o sistema; diagnosticar as caractersticas do projeto que provavelmente atrapalhem a interao; prever dificuldades de aprendizado na operao do sistema e; conhecer a opinio do usurio em relao ao sistema. So vrias as classificaes para as tcnicas de avaliao de interfaces existentes. Uma das mais conhecidas a classificao de Cybis (2003). Nela as tcnicas so dividas em trs categorias distintas: tcnicas analticas (tambm chamadas de preditivas, diagnsticas ou de inspeo) que so utilizadas sem a participao direta do usurio e tem como finalidade prever os erros de projetos de interfaces; as tcnicas objetivas (ou empricas) que tentam encontrar problemas na interface a partir da observao do usurio interagindo com o sistema; e as tcnicas prospectivas (ou de pesquisa de opinio), que buscam a opinio do usurio sobre a interao com sistema. As tcnicas de avaliao de interface diferem entre si em vrios aspectos. preciso entender as diferentes caractersticas de cada uma, para se definir qual a mais apropriada para se avaliar a interface. As principais diferenas entre as tcnicas so as etapas em que as mesmas podem ser aplicadas, a maneira utilizada para coletar os dados, os tipos de dados coletados, e ainda o tipo de anlise realizada com as informaes obtidas (Preece, 2005). Aps avaliaes anteriores de usabilidade no ambiente AdaptWeb com algumas tcnicas analticas (avaliao heurstica, checklist) e uma tcnica prospectiva (questionrios de satisfao), percebeu-se a necessidade de uma avaliao com usurios a partir da observao da interao com o ambiente. Neste sentido, deu-se incio as pesquisas sobre a tcnica de Anlise de Log. A Anlise de Log uma tcnica onde so analisadas as interaes do usurio atravs de arquivos de log gerados durante a utilizao do sistema (Winckler, 2001). Essa tcnica permite coletar informaes sobre como os usurios usam o sistema, essas informaes ficam registradas em arquivos de log (Prates, 2003). A anlise de log o estudo dos registros da interao do usurio com a interface. A aplicao desta tcnica requer pouco investimento, entretanto, analisar a grande quantidade de informaes no uma tarefa fcil e pode ser bastante custosa para avaliadores (Prates, 2003). Mesmo assim, a utilizao dessa tcnica tem apresentado experincias positivas, como a possibilidade de identificar como as pessoas chegavam ao site, os links mais visitados e locais da interface nunca explorados (Winckler, 1999). A anlise de log pode ajudar a compreender o comportamento dos usurios com relao interface, e a melhorar a qualidade das interaes com o usurio. Uma caracterstica que merece destaque a de ser uma tcnica discreta, uma vez

XVIII Simpsio Brasileiro de Informtica na Educao - SBIE - Mackenzie - 2007 Workshop em Informtica na Educao (sbie) 2007

512

que o usurio nem percebe que est sendo analisado, fato esse que muitas vezes levanta discusses ticas que precisam ser cuidadosamente avaliadas (Preece, 2005). Outro ponto forte o fato de que as informaes obtidas a partir da aplicao dessa tcnica geram dados estatsticos confiveis relativos a vrias questes, tais como padres de uso, usabilidade de produtos, estratgias de integrao e utilidade percebida de produtos que envolvam o uso de sistemas computacionais (Queiroz, 2006) (Winckler, 2001). A avaliao de ambientes educacionais via web deve levar em considerao outros detalhes uma vez que estes ambientes objetivam apoiar o ensino e aprendizado de um contedo, sua interface deve permitir no apenas a interao do usurio com o sistema, mas o aprendizado de um contedo. Assim sendo, mtodos de avaliao para este domnio devem permitir no apenas a apreciao de qualidades de uso da interface, mas tambm se ela consegue atingir com qualidade seus objetivos educacionais (Prates, 2003). Este trabalho optou por aplicar a tcnica de avaliao objetiva (ou emprica) anlise de log no ambiente do aluno no AdaptWeb, pois, a anlise de log pode trazer resultados positivos e inovadores como a avaliao do comportamento do aluno (ou grupos de alunos) frente ao ambiente.

4. A ferramenta de Anlise de Log no Ambiente do Aluno do AdaptWeb

Aps o estudo do ambiente AdaptWeb, das tcnicas de avaliao, e, mais especificamente da tcnica de avaliao anlise de log, foi possvel identificar como a mesma pode ser aplicada para a avaliao do comportamento do aluno durante a utilizao do ambiente AdaptWeb. O ambiente AdaptWeb faz uso de um banco de dados (BD) onde so armazenadas as informaes referentes s disciplinas, aos cursos e aos usurios. Foi identificado que o BD armazena informaes relevantes para a anlise de log principalmente na tabela log_usuario, onde so armazenadas, de maneira dinmica, as informaes referentes a toda navegao feita no ambiente. No ambiente AdaptWeb essas informaes so utilizadas para realizar a adaptao navegacional no ambiente, de maneira a auxiliar o aluno na escolha do melhor caminho navegacional, acelerando assim o processo de aprendizagem. A anlise das informaes contidas na tabela log_usuario possibilitam ao professor analisar a navegao do aluno e descobrir caractersticas sobre o mesmo, como por exemplo, os conceitos mais acessados pela turma, ou o tipo de navegao mais utilizada. Quando o ambiente AdaptWeb foi desenvolvido, os desenvolvedores j almejavam utilizar a tabela log_usuario para gerar relatrios sobre o comportamento da navegao do aluno e suas respectivas avaliaes (Gasparini, 2003). Outros aspectos considerados para a escolha do BD como fonte de dados, o uso na implementao das mesmas tecnologias que foram utilizadas para o desenvolvimento do AdaptWeb, e a facilidade e compatibilidade que isso acarretaria para incorporar a anlise de log ao ambiente. Na literatura encontram-se diversas experincias referentes utilizao da anlise de log, inclusive algumas onde a mesma foi aplicada em ambientes de EAD. Maiores detalhes em (Cybis, 2005); (Druziani, 2004); (Chin, 2002); (Demartini, 2001). Alguns dos resultados atingidos com a aplicao dessa tcnica so as pginas mais acessadas, os locais de maior acesso, os horrios e dias da semana onde o site foi mais solicitado, as palavras mais utilizadas para pesquisa, movimentaes na navegao como, paradas bruscas, paradas longas, acelerao e desacelerao, mudanas bruscas

XVIII Simpsio Brasileiro de Informtica na Educao - SBIE - Mackenzie - 2007 Workshop em Informtica na Educao (sbie) 2007

513

de nveis, retroaes e loopings, o tempo mdio de utilizao do ambiente, o percurso, o total de acessos, o total de pginas acessadas entre outros. Levando em conta os resultados das experincias anteriormente realizadas com a anlise de log bem como a disponibilidade de informaes e a utilidade dos resultados para o professor foram definidas quais as anlises que poderiam ser teis, importantes e viveis em implementar no AdaptWeb. Independente da anlise escolhida pelo professor, alguns parmetros devem ser sempre informados como, por exemplo, o perodo em que a anlise deve ser realizada, a maneira de exibio dos dados e o tipo de grfico. O perodo composto por dois campos de entrada de dados que serviro para delimitar o tempo em que ser realizada a anlise. A maneira de exibio dos dados onde o usurio escolhe como sero exibidos os dados. As possveis opes so apresentadas na tabela 1.
Opes da Ferramenta Dias da semana Dias do ms Meses do ano Horas do dia Agrupar por semana Agrupar por ms Agrupar por ano Descrio a exibio feita agrupando os dados resultantes de acordo com os dias da semana a exibio feita agrupando os dados resultantes de acordo com os dias do ms a exibio feita agrupando os dados resultantes de acordo com os meses do ano a exibio feita agrupando os dados resultantes de acordo com as horas do dia a exibio feita agrupando os dados resultantes de acordo com a semana que ocorreram a exibio feita agrupando os dados resultantes de acordo com o ms que ocorreram a exibio feita agrupando os dados resultantes de acordo com o ano que ocorreram

Tabela 1- Opes da ferramenta Anlise de Log

Os itens curso e disciplina so opes geradas a partir do BD onde so selecionados todos os cursos e disciplinas cadastradas pelo professor. A opo curso possibilita a seleo de um curso especfico criado pelo professor ou mesmo a anlise de todos os cursos em conjunto, de forma idntica funciona a seleo da disciplina. Cabe ao professor escolher aquela que atende melhor a sua necessidade. A tabela 2 apresenta as opes do tipo de anlise disponibilizada na ferramenta de anlise de log.
Tipo de Anlise Quantidade de acessos Tipo de navegao Descrio com essa anlise, sero exibidas as quantidades de acessos aos tpicos de acordo com as especificaes anteriormente definidas. exibe a quantidade de escolhas de cada um dos tipos de navegao tutorial e livre (de uma disciplina especfica ou de todas no geral). Esse item possibilita apenas a exibio atravs do grfico do tipo colunas e tipo linhas. Utilizao de ajuda mostra a quantidade de vezes que os alunos utilizaram a ajuda Utilizao de mapa mostra a quantidade de vezes que os alunos utilizaram a mapa Conceito com mais mostra os cinco conceitos mais acessados pelos usurios. Essa opo, acesso futuramente, pode ser adaptada para permitir que o professor delimite a quantidade de conceitos a serem visualizados. Conceito com menos mostra os cinco conceitos menos acessados pelos usurios. Essa opo, acesso futuramente, pode ser adaptada para permitir que o professor delimite a quantidade de conceitos a serem visualizados.

Tabela 2- Opes do tipo de anlise disponibilizada pela ferramenta

Os tipos de grficos disponveis so trs: pizza, colunas e linha. A opo escolha do tipo do grfico o ltimo item a ser escolhido pelo usurio, uma vez que depende dos parmetros escolhidos pode no ser possvel determinado tipo de grfico. O professor tem ainda a disposio uma ajuda especfica explicando os resultados

XVIII Simpsio Brasileiro de Informtica na Educao - SBIE - Mackenzie - 2007 Workshop em Informtica na Educao (sbie) 2007

514

obtidos com cada anlise, a opo de imprimir e de gerar PDF (Portable Document Format) do resultado da anlise. A interface desenvolvida levou em conta a j existente no ambiente. Primeiramente foi realizada a incluso da opo Anlise de log no ambiente de autoria (professor) e em seguida desenvolvida a interface para a entrada dos parmetros de visualizao dos resultados da anlise de log. A anlise de log no ambiente AdaptWeb constituda pela tela apresentada na Figura 1, onde esto, destacadas pelo pontilhado, as alteraes na interface do ambiente realizadas por este trabalho.

Figura 1- Tela da ferramenta Anlise de Log no Adaptweb

Na tela apresentada na Figura 1, possvel identificar com detalhes como o professor deve fazer a anlise de log. Inicialmente, solicitado que seja indicado o perodo para realizar a anlise, e em seguida, ele deve escolher o tipo de exibio dos dados que deseja utilizar. Depois, ele deve selecionar o curso, a disciplina, o tipo de anlise e o tipo de grfico para exibir os resultados da anlise de log. A ordem de posicionamento de cada elemento na interface foi definida para facilitar a compreenso do usurio, entretanto, no obrigatria a entrada dos valores nessa mesma ordem, uma vez que eles esto sempre ativos na interface. A implementao da anlise de log uma combinao de muitas possibilidades. Fazendo rapidamente um clculo, o usurio pode escolher 7 tipos de exibio de dados, 7 tipos de anlises e 3 tipos de grficos, so mais de 140 possveis combinaes, isso sem considerar a escolha da disciplina e do curso, que dependem da quantidade cadastrada pelo professor. No desenvolvimento foram utilizadas, nas selees do BD, algumas funes padro de data e hora do MySQL e na gerao das imagens utilizadas para construir os grficos exibidos nos resultados foi utilizada uma biblioteca, que j est embutida no PHP (Hypertext Preprocessor) a partir da verso 4.3, chamada GD. A utilizao dessa biblioteca grfica permite que sejam criadas imagens dinmicas que podem ser enviadas diretamente ao navegador sem a necessidade de gravar a mesma em um arquivo.

XVIII Simpsio Brasileiro de Informtica na Educao - SBIE - Mackenzie - 2007 Workshop em Informtica na Educao (sbie) 2007

515

A implementao da ajuda da anlise de log seguiu mesmo padro da ajuda geral existente no ambiente. O sistema de ajuda constitudo basicamente de um ndice de links para textos, e nos textos tem um link que retorna ao ndice. Os textos e imagem utilizados na ajuda visam auxiliar o professor na seleo das opes disponibilizadas para realizar a anlise de log. A ajuda est disponvel na pgina da anlise de log, e pode ser acessada pelo professor, a qualquer momento, atravs do link Ajuda sobre a Anlise de Log. Para implementar a opo Gerar PDF, foi utilizada a biblioteca FPDF, cuja grande vantagem que ela est disponvel, gratuitamente, em forma de uma classe PHP, dessa forma, no necessrio que nenhuma extenso seja instalada e configurada. Basta colocar os arquivos da classe no servidor e inserir uma chamada para ela no incio dos arquivos que configuram o PDF. Esse arquivo gerado dinamicamente de acordo com as opes selecionadas pelo usurio na interface da analise de log. A opo Gerar PDF transforma os resultados que esto sendo exibidos ao professor na tela para um arquivo PDF. Cabe ressaltar que a implementao da anlise de log no ambiente Adaptweb tomou todos os cuidados necessrios aos aspectos ticos envolvidos e para isso os resultados da ferramenta de anlise de log no possibilitam a identificao de nenhum aluno em particular, deste modo as anlises so realizadas em relao a uma turma, ou a vrias turmas ao mesmo tempo. A seguir apresentado o estudo de caso realizado.

5. Estudo de Caso
O estudo de caso piloto para testar as funcionalidades da implementao da anlise de log foi realizado no final do segundo semestre de 2006, com os alunos da disciplina de Fundamentos de Interface Humano-Computador, composta por 28 alunos. Especialmente para o estudo de caso, a professora da disciplina, desenvolveu uma aula, que foi previamente elaborada no ambiente de autoria, com o ttulo Avaliao de Usabilidade. O cadastro dos alunos e a liberao da disciplina foram realizados antecipadamente, para que os mesmos tivessem mais tempo para navegar no ambiente. Ao iniciar a aula os alunos receberam as instrues de como fazer o login no ambiente e aps acessar a disciplina Avaliao de Usabilidade. Durante cerca de duas aulas os alunos navegaram pelo ambiente, eles acessaram os conceitos, exemplos e materiais complementares da disciplina, tinham ainda a disposio o mapa com as informaes da disciplina e a ajuda do ambiente Adaptweb. Os eventos dessa navegao foram registrados na tabela log_usuario e posteriormente utilizados para fazer a anlise de log. Mesmo com restrito registro de dados gravados na tabela log_usuario foi possvel, atravs da anlise de log, chegar a consideraes interessantes. Foi possvel identificar que a maioria dos alunos acessaram o ambiente utilizando o modo de navegao tutorial, que um modo de navegao do ambiente que guia o aluno pelo ambiente baseado nos pr-requisitos definidos pelo autor, conforme pode ser visualizado na Figura 2a, onde exibido o resultado da anlise de log com o tipo de anlise tipo de navegao por dia da semana. Fazendo a anlise da quantidade de acesso por horas do dia possvel observar que todos os acessos dos alunos ocorreram durante o horrio da aula, das 19:00 at as 20:59 (Figura 2b). Entretanto, certamente o tipo de anlise mais interessante desde estudo de caso so os resultados do tipo de anlise conceitos mais e menos acessados. Utilizando o tipo de anlise conceitos mais

XVIII Simpsio Brasileiro de Informtica na Educao - SBIE - Mackenzie - 2007 Workshop em Informtica na Educao (sbie) 2007

516

acessados e o tipo de exibio agrupados por ms, o resultado (Figura 2c), mostra que dentre os conceitos e sub-conceitos da disciplina os cinco mais acessados foram os conceitos 6.1.1 Avaliao Heurstica, 6.1.2 Listas de Verificao (Checklist), 6.1 Tcnicas analticas, 1 Introduo e 6 Tcnicas de Avaliao. Alterando apenas o tipo de anlise do resultado anterior, de conceito mais acessado para conceito menos acessado tem-se um novo resultado referente aos acessos aos conceitos. Na Figura 2d podem ser visualizados os conceitos que menos formam acessados pelos alunos, pode ser observado que o conceito 7 foi acessado uma nica vez. Analisando os conceitos da disciplina utilizada para o estudo de caso, identifica-se que este conceito corresponde as referncias da disciplina. Por se tratar de uma base que foi gerada a partir da navegao dos usurios em apenas um dia, as opes de exibio no apresentaram grande impacto, uma vez que no foi possvel fazer comparaes entre os dias da semana ou do ms, meses ou at mesmo anos. Mas, certamente, essas opes sero de grande utilidade, para a anlise de dados gerados em um perodo maior.

(a)

(b)

(c)
Figura 2: Grficos dos resultados da anlise de log

(d)

Atravs do estudo de caso foi possvel verificar qual o modo de navegao mais utilizado pelos alunos e os conceitos que eles mais e menos acessaram durante a navegao na disciplina. A anlise de log pode auxiliar o professor no desenvolvimento da sua disciplina. Como foi observado no estudo de caso, o professor pode, por exemplo, verificar quais os conceitos esto sendo mais acessados e quais menos e a partir disso adaptar a sua aula para uma melhor navegao do aluno. O estudo de caso tambm foi importante para testar a anlise de log, uma vez que apenas aps o estudo de caso foi identificado que o acesso aos recursos de ajuda e mapa no estavam sendo armazenados na tabela log_usuario.

6. Consideraes Finais
A anlise de log uma tcnica que, na maior parte dos casos, utiliza as informaes referentes s interaes do usurio com o ambiente para gerar dados estatsticos teis no desenvolvimento de estratgias de melhorias constantes na implementao de web sites.

XVIII Simpsio Brasileiro de Informtica na Educao - SBIE - Mackenzie - 2007 Workshop em Informtica na Educao (sbie) 2007

517

 uma tcnica que apresenta um baixo custo na coleta de dados, entretanto, apresenta uma certa dificuldade associada anlise dos mesmos. Os resultados obtidos refletem o comportamento do usurio frente ao ambiente, sendo que as experincias onde a anlise de log foi utilizada apontaram resultados positivos, inclusive s relacionadas a EAD. A incluso da opo de anlise de log no ambiente AdaptWeb possibilita ao professor uma alternativa de verificar a utilizao da sua disciplina. Atravs da anlise de log implementada no AdaptWeb o professor pode verificar: (i) a quantidade de acessos de uma disciplina especfica, ou de todas; (ii) os conceitos que foram mais e menos acessados; (iii) se os alunos esto acessando a aula utilizando o modo de navegao livre ou tutorial, que so os dois modelos navegacionais existentes no ambiente (o primeiro prope a navegao pelo ambiente de forma livre, independente dos pr-requisitos definidos na autoria e o segundo baseado nos pr-requisitos definidos pelo professor, e o aluno s pode acessar um conceito se o seus pr-requisitos j foram vistos); e (iv) quantas vezes os alunos acessaram o mapa, a busca e a ajuda durante a navegao. Todas essas opes, podem ainda, ser exibidas, pelos dias da semana, dias do ms, meses do ano, horas do dia, agrupados por ms, agrupados por semana ou agrupados por ano. A anlise de log disponibiliza ao professor tambm as opes de imprimir e gerar PDF da anlise, bem como o acesso a um sistema de ajuda especialmente desenvolvido para esclarecer dvidas referentes a anlise de log. Na anlise de log do AdaptWeb, so observadas algumas limitaes, como por exemplo: a falta de personalizao por parte do usurio, uma vez que o usurio no pode incluir, retirar, ou adicionar itens na anlise, ou alterar as configuraes do grfico como as cores, o tamanho do ttulo, o texto da legenda entre outras opes que poderiam ser definidas pelo usurio. O sistema de ajuda desenvolvido para auxiliar o professor na anlise de log pode ser melhorado, uma vez que atualmente est bastante focado na definio dos parmetros da anlise e pode ser ampliado para auxiliar tambm na anlise das informaes contidas nos resultados da mesma. A anlise de log, incorporada ao ambiente AdaptWeb, demonstrou ser uma opo til, uma vez que atravs dela o professor pode monitorar uma disciplina, possibilitando que a adequao da mesma leve em considerao esses aspectos. Trabalhos futuros podem vir a melhorar a anlise de log no ambiente Adaptweb. Modificaes no banco de dados otimizariam as informaes que atualmente so apresentadas ao professor para definio do perodo, por exemplo. A incluso de mais tipos de anlises, como a opo de visualizar os acessos aos exerccios, exemplos e material complementar. Outra sugesto importante proporcionar uma maior flexibilidade na anlise de log do ambiente AdaptWeb, possibilitando ao professor a definio de parmetros que atualmente so estticos como, por exemplo, a quantidade de conceitos mais e menos acessados. Estima-se que a implementao da anlise de log possa ser facilmente adaptada e utilizada em ambientes similares de EAD. Todos os materiais produzidos por este trabalho foram entregues ao Grupo de Pesquisa em Informtica na Educao da UDESC, e podero ser consultados e utilizados.

7. Referncias
BOTICARIO, J. G.; GAUDIOSO, E. Towards a Personalized Web-Based Educational System.In: MEXICAN INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE, MICAI, 1, 2000, Acapulco. MICAI 2000: Advances in Artificial

XVIII Simpsio Brasileiro de Informtica na Educao - SBIE - Mackenzie - 2007 Workshop em Informtica na Educao (sbie) 2007

518

Intellignce:proceedings. Berlin: Springer, 2000. p. 729-740. (Lecture Notes in Artificial Intelligence 1793). BRUNETTO, Maria Anglica; PALAZZO M. de Oliveira, J.; PROENA JR, Mrio L; PIMENTA, Marcelo S; RIBEIRO, Cora Helena F P; LIMA, Jos Valdeni de; FREITAS, Veronice de; MARAL, Viviane P; GASPARINI, Isabela; AMARAL, Marlia A. AdaptWeb: um Ambiente para Ensino-aprendizagem Adaptativo na Web. Educao em Revista, Curitiba, 2003. BRUSILOVSKY, Peter. Methods and techniques of adaptive hypermedia. User Modeling and User Adapted Interaction, [S.l.], v.6, n. 2-3, p. 87-129, 1996. Special Issue on adaptive hypertext andhypermedia. CHIN, Lai Yu; Anlise da Navegao Atravs de Log e Estrutura do Site. Trabalho de Diplomao. Universidade Federal do Rio Grande do Sul, 2002. CYBIS, Walter de Abreu; SCAPIN, Dominique; MORANDINI, Marcelo. ErgoManager: Um Sistema Gerenciador de Interfaces Com o Usurio para Sites Web Transacionais. In. CLIHC'05, 2005, Cuernavaca, Mxico. ACM 1-59593-224-0. CYBIS, Walter de Abreu. Engenharia de Usabilidade: Uma Abordagem Ergonmica, 2003. DEMARTINI, Giovani. Autenticao de Alunos e Gerao e Anlise de Log de Acessos em Cursos de Ensino a Distncia. Trabalho de Diplomao em Informtica Aplicada. Universidade Federal do Rio Grande do Sul, 2001. DRUZIANI, Cssio Frederico Moreira et al. Avaliao Apoiada pelo Monitoramento dos Hiperdocumentos em um Ambiente de Ensino-Aprendizagem na Web. Universidade Federal do Rio Grande do Sul. In. WorkComp Sul, Florianpolis, 2004. GASPARINI, Isabela. Interface Adaptativa no Ambiente AdaptWeb: Navegao e Apresentao Adaptativa Baseada no Modelo do Usurio. Dissertao de mestrado, Universidade Federal do Rio Grande do Sul. Porto Alegre, 2003. NIELSEN, Jakob. Usability Engineering. Academic Press, 1993. PALAZZO M. de Oliveira, J.; WARPECHOWSKI, Mariusa; MUSA, Daniela L; BRUNETTO, Maria Anglica; PROENA JR, Mrio L; PIMENTA, Marcelo S; RIBEIRO, Cora Helena F P; LIMA, Jos Valdeni de; FREITAS, Veronice de; MARAL, Viviane P; GASPARINI, Isabela; AMARAL, Marlia A. AdaptWeb : Ambiente de Ensino-Aprendizagem Adaptativo na Web. In: 5 Forum Internacional de Software Livre, 2004, Porto Alegre. Anais, 2004. v. 1. PALAZZO M. de Oliveira, J.; SILVA, Lydia; FREITAS, Veronice de; MARAL, Viviane P; GASPARINI, Isabela; AMARAL, Marlia Abraho. AdaptWeb: an Adaptive Web-based Courseware. In: III Anual ARIADNE Conference, 2003, Leuven, 2003. PRATES, Raquel Oliveira; BARBOSA, Simone Diniz Junqueira. Avaliao de Interfaces de Usurio: Conceitos e Mtodos. In: Anais do XXIII Congresso Nacional da Sociedade Brasileira de Computao, 2003. PREECE, Jennifer; ROGERS, Yvonne; SHARP, Helen. Design de Interao: Alm da Interao Homem-Computador; trad. Viviane Possamai. Porto Alegre: Bookman, 2005. QUEIROZ, Jos Eustquio Rangel de. Abordagem Hbrida para a Avaliao da Usabilidade de Interfaces com o Usurio, IHM material didtico. Cap. 3 Mtodos de Avaliao de Interfaces Usurio-Computador, 2006. WINCKLER, Marco A. A. Avaliao da Usabilidade de Sites Web. Apostila do Minicurso. In: Workshop sobre Fatores Humanos em Sistema Computacionais, Florianpolis, 2001. WINCKLER, Marco A. A. Proposta de Uma metodologia para Avaliao de Usabilidade de Interfaces WWW. Dissertao de mestrado, Universidade Federal do Rio Grande do Sul. Porto Alegre, 1999.

XVIII Simpsio Brasileiro de Informtica na Educao - SBIE - Mackenzie - 2007 Workshop em Informtica na Educao (sbie) 2007

519