Professional Documents
Culture Documents
Resumo
Este trabalho teve como objetivo comparar a eficincia dos ambientes de gesto da aprendizagem:
LMS Amadeus e Moodle com relao execuo de tarefas docentes semelhantes por docentes em
formao inicial, em curso de licenciatura em msica do IFPE Instituto Federal de Pernambuco
Campus Belo Jardim. A metodologia aplicada consistiu na utilizao das recomendaes da
ISO/IEC 9241-11 referentes a usabilidade cujas medidas adotadas foram eficcia, eficincia e satisfao na execuo de tarefas docentes. A anlise da tarefa foi utilizada com a finalidade de identificar as necessidades ou problemas relacionados ao uso dos ambientes. Os resultados preliminares,
mesmo no sendo generalizveis, sugerem que o LMS Amadeus possui melhor eficincia que o Moodle em tarefas de mediao da aprendizagem.
Palavras-Chave: Formao docente, Analise comparativa, Usabilidade, LMS Amadeus, Moodle, ISO/IEC 9241-11
Abstract This paper aimed to compare the efficiency of learning in management environments: Amadeus and
Moodle LMS , related performing of similar teacher tasks, by teachers in initial training in music
degree course at the IFPE Federal Institute of Pernambuco Belo Jardim Campus. The methodology applied consisted in the use of the recommendations of ISO/IEC 9241-11, which usability
measures adopted were efficacy, efficiency and satisfaction in performing teacher tasks. The task
analysis was used in order to identify the needs or problems related to the use of the environments.
Preliminary results for while not generalizable suggest that the LMS Amadeus has better efficiency
than Moodle in mediation of learning.
Keywords: Teacher training, Comparative analysis, Usability, LMS Amadeus, Moodle, ISO/IEC
9241-11
1 Introduo
No Brasil observa-se o crescimento pelo interesse em
cursos na modalidade a distncia e h uma preocupao
dos governos em ampliar a oferta desses cursos para
minimizar as distores observadas entre as regies na
formao da populao. Segundo o Ministrio da Educao do Brasil (MEC), os resultados do Censo da Educao Superiori aferidos pelo INEP (Instituto Nacional de
Estudos e Pesquisas Educacionais Ansio Teixeira) em
2010 evidenciam o crescimento do nmero de cursos e de
matrculas em cursos na modalidade de ensino a distncia. De acordo com o censo, essa tendncia tem-se confirmado e apresenta um total de 14,6% do total de matrculas no ensino superior.
No ensino a distncia ou no blended learning frequente a utilizao de ambientes de gesto da aprendizagem (ou LMS, do ingls Learning Management System).
Este tipo de sistema abrange funcionalidades para armazenar, distribuir e gerenciar contedos de aprendizado, de
forma interativa e gradativa. A utilizao do referido
sistema, tornou possvel registrar e apresentar as atividades do discente, bem como, seu desempenho, alm da
emisso de relatrios, os quais propiciam o aperfeioamento do processo de ensino-aprendizagem, facilitando a
gerncia e o acompanhamento de programas de ensino.
Os LMS so produtos concebidos para o uso na educao, segundo [1], [2] e [3] so desenvolvidos para permitir abordagens didticas que auxiliem a promoo do
ensino e da aprendizagem, em situaes de mediao
virtual ou semipresencial. Atualmente, tambm so utilizados por muitas empresas para realizar treinamentos de
funcionrios e seleo de pessoal.
De acordo com [4], o objetivo primordial dos ambientes LMS apoiar a prtica docente de ensino
mediada por meio dos mesmos, considerando as diversas
modalidades de ensino e aprendizagem, quer seja distncia, quer seja semipresencial, que tambm denominado, Blending ou B-Learning. Este pensamento complementado por [5] que expe que tais ambientes proporcionam e facilitam diversas formas de interao, como: dos discentes entre si, com o contedo e com o docente, alm de terem modificado as relaes de tempo e
espao. Assim, a relao entre discente e docente deixa
de ser restrita sala de aula, visto que esses ambientes
proporcionam interao nos nveis: Aluno/Professor;
Aluno/Contedo; Aluno/Aluno e Aluno/Ambiente.
Na concepo do ensino a distncia as atividades da
prtica docente no ensino a distncia incluem: o planejamento, desenvolvimento, distribuio, exposio, assistncia e avaliao. A Figura 1 uma adaptao das atividades da prtica docente elencadas por [6].
108
109
de design. E, nesta direo, a recomendao ISO 924111 descrita em [22] especifica que a usabilidade de um
produto est associada sua qualidade de uso pelos usurios de forma a atingir determinadas metas com eficincia, eficcia e satisfao, considerando um contexto especfico. Essa norma tem como arcabouo terico, os conceitos definidos pelos principais autores no que tange a
concepo, desenvolvimentos de sistemas interativos.
A ISO 9241-11 define eficincia como a preciso e
completeza que os usurios atingem seus objetivos estando relacionada aos recursos fornecidos para que a meta
definida seja alcanada com preciso e completeza. A
eficcia est relacionada aos recursos gastos em relao
exatido e a abrangncia com as quais os usurios atingem objetivos. A satisfao refere-se aceitabilidade e ao
conforto do usurio com relao ao produto. E, finalmente, esta recomendao define a efetividade de uma interface como sendo composta das dimenses: eficcia, eficincia e satisfao. Cada uma das dimenses pode ser
medida quantitativamente ou descrita qualitativamente.
Nesta pesquisa, para a comparao dos ambientes do
tipo LMS, foram aplicados os princpios de qualidade de
Engenharia de Software conforme descrito na ISO/IEC
9241-11iii. Portanto, a medida da efetividade de uma
interface considerada baseia-se na definio do conceito
de usabilidade especificada no modelo, detalhados na
Figura 2.
110
Critrio de Medio
Percentual de objetivos alcanados.
Eficcia
Eficincia
Satisfao
4 Mtodo
O mtodo deste trabalho apresentado a seguir e tem
como objetivo: comparar a usabilidade eficincia, eficcia e satisfao entre os ambientes de gesto da
aprendizagem Amadeus e Moodle quando usurios executam tarefas docentes.
Inicialmente, a inteno foi adotar um paradigma
quantitativo e qualitativo para permitir identificar diferenas na usabilidade das duas plataformas, assim como,
identificar os fatores que influenciam e determinam essas
diferenas. Contudo, ao longo do experimento tornou-se
invivel a anlise quantitativa por conta do nmero reduzido de participantes, primeiramente 30 (trinta) na seleo prvia porm, tendo sido analisados, os dados resultantes de apenas13 (treze) participantes, o que devidamente explicado ainda nesta seo no item participantes.
Entendendo, pois, que a anlise dos dados seria unicamente qualitativa deu-se prosseguimento ao experimento. Para a medida da usabilidade, procederam-se
avaliaes da usabilidade em suas trs dimenses para em
seguida realizar a comparao entre as plataformas. O
desenvolvimento desta pesquisa partiu da premissa de
que as tarefas propostas seriam mais eficientes no ambiente Amadeus.
para se atingir um grande pblico com projetos de formao a distncia, faz-se necessrio uma combinao de
formas de mediar a apresentao e as interaes com os
contedos das aulas. A interao entre os usurios, e
destes, com o contedo no ambiente permite a execuo
de novas estratgias de ensino e de aprendizagem orientadas por teorias construtivistas ou scio interacionista do
desenvolvimento humano. Para [24], o LMS Amadeus
tem como principal propsito contribuir com o desenvolvimento social pela formao e educao para todos,
reduzindo custos, gerando empregos e negcios, e consequentemente melhorando o atendimento ao cidado, alm
da democratizao do conhecimento.
O LMS Moodle, um sistema de gesto do ensino e
aprendizagem. Por sua vez, trata-se de um software desenvolvido para ajudar os docentes a criar cursos online,
ou suporte online a cursos presenciais com muitos tipos
de recursos disponveis. O termo Moodle, segundo [26],
um acrnimo de Modular Object-Oriented Dynamic
Learning Environment (ambiente modular de aprendizagem dinmica orientada a objetos). De acordo com o
autor o LMS Moodle foi e continua sendo desenvolvido
continuamente por uma comunidade de centenas de programadores em todo o mundo, que tambm constituem
um grupo de suporte aos usurios para o acrscimo de
novas funcionalidades sob a filosofia GNU 1 de software
livre. Uma fundao (www.moodle.org) e uma empresa
(www.moodle.com) fornecem, respectivamente, o apoio
para o desenvolvimento do software e sua traduo para
dezenas de idiomas, e apoio sua instalao.
Tanto o LMS Amadeus quanto o Moodle so plataformas de aprendizagem a distncia baseadas em software livre. Isto quer dizer que estes softwares podem ser
instalados, utilizados, modificados, bem como, distribudos. Possuem caractersticas semelhantes, como o fato de
seus cdigos fonte serem disponibilizados gratuitamente,
e poderem ser adaptados, estendidos, personalizados
pelas organizaes que os adotam.
Por se tratar de uma pesquisa de avaliao de usabilidade de dois produtos de software os nomes dos ambientes so mencionados em ordem alfabtica crescente
durante o decorrer do texto.
Participantes
Os usurios que participaram da pesquisa foram, inicialmente, 30 (trinta) alunos do 1 Perodo do curso de
Licenciatura em Msica do IFPE Instituto Federal de
Pernambuco Campus Belo Jardim. Esses alunos so
oriundos de stios localizados na rea rural, prximos
cidade da Instituio, e, em sua maioria possuem pouca
1
111
Tarefas
As tarefas executadas nos dois ambientes esto enquadradas, segundo [6], na atividade de desenvolvimento
e distribuio do material didtico. As tarefas que foram
propostas aos participantes consistiram de solicitar:
1.
2.
3.
Estas tarefas foram escolhidas de modo que a experincia do usurio docente estivesse em consonncia com
as fases descritas em [6]. E so apresentadas na prxima
seo vide Figura 3.
Materiais
Os recursos incluram 04 (quatro) computadores portteis com acesso off-line aos ambientes Amadeus e Moodle. Justifique-se o uso off-line dos equipamentos ao
fato de garantir a no influncia de possveis problemas
tcnicos relacionados ao acesso internet.
Todas as tarefas propostas na sesso de interao em
ambos os ambientes foram entregues impressas aos participantes e so apresentadas na Figura 3. Sobre as atividades avaliativas que deveriam ser criadas, estes no as
elaboraram, todos as receberam prontas para a execuo
nos dois ambientes, o mesmo ocorreu com o material a
ser disponibilizado nos LMS.
Tarefa 1
112
Subtarefas
Total de
Passos
Amadeus
Total de
Passos
Moodle
1.1
1.2.
1.3
2.1
2.2
3.1
12
10
3.2
3.3
Campus Belo Jardim. A proposta metodolgica aplicada para o desenvolvimento desta pesquisa consistiu na
anlise da tarefa de uma sesso de interao realizada por
cada participante nos dois ambientes. Os participantes da
pesquisa foram alunos do 1 perodo do curso de Licenciatura em Msica da respectiva instituio.
Procedimentos
Os procedimentos adotados consistiram na apresentao dos ambientes Amadeus e Moodle aos participantes
e posterior solicitao para realizarem tarefas prdefinidas. Durante as sesses de interao, os movimentos dos usurios com as duas plataformas foram capturados por software adequado e anotados a parte.
Ao final foi aplicado o Questionrio de avaliao
sobre a execuo das tarefas, e a anlise dos dados coletados foi feita qualitativamente.
As sesses de interao em cada ambiente ocorreram
individualmente por um perodo mximo de 20 (vinte)
minutos. Os participantes foram divididos em grupo de 4
(quatro), de forma que 2 (dois) iniciavam no Amadeus e
os outros 2 (dois) no Moodle. Aps o tempo estabelecido,
os participantes foram convidados a interromper a execuo das atividades propostas, independente de no as
terem concludo.
Na sequncia, houve a permuta entre os dois ambientes, de modo a evitar a influncia da curva de aprendizagem na execuo das atividades no outro ambiente. Todas as aes foram registradas com o software Auto Screen Recorder 3.1.
A Tabela 2 apresenta resumidamente a sequncia dos
procedimentos metodolgicos adotados nesta pesquisa
que compreenderam 4 (quatro) etapas descritas a saber:
Tabela 2 Sequncia dos procedimentos.
Etapa
Atividades
Dias
01
02
02
01
03
Aplicao do Questionrio
de avaliao sobre a execuo das tarefas, este questionrio teve como objetivo
verificar as dificuldades e
facilidades encontradas no
uso dos ambientes pesquisados. Foi aplicado a cada
participante aps a sesso
de interao nos ambientes.
01
04
10
Ambiente
A pesquisa foi realizada no local do curso de formao docente do IFPE Instituto Federal de Pernambuco
1
113
Tarefa 1
A Tabela 3 apresenta o quantitativo de tarefas concludas nos dois ambientes considerando o total de tarefas
propostas descritas na seo anterior. Observa-se que nos
subitens que compe a Tarefa 1 (Tarefas 1.1 1.2 1.3)
que corresponde a criao de um mdulo, insero de
material no mdulo e disponibilizao de um link no
114
Tarefa 2
As Tarefas 2.1 (criar um frum) e 2.2 (postar uma
mensagem no frum) obtiveram uma quantidade de acertos semelhante para os ambientes Amadeus e Moodle,
respectivamente: Tarefa 2.1 5 (cinco) e 4 (quatro) e
Tarefa 2.2 1(um) nos dois ambientes.
Acredita-se que o maior sucesso na resoluo da Tarefa 1 pode ter relao com o fato destas terem alguma
associao com o conhecimento que os participantes
possuem ao tratar com aplicativos, como por exemplo,
editores de texto. Por outro lado, as Tarefas 2.1 e 2.2
apresentam aos participantes um horizonte no qual h a
necessidade de conhecimentos adicionais, como conceitos de funcionalidade tpicas da internet, no caso fruns.
H indcios que tal resultado reflexo do perfil dos parti-
Tarefa 3
As Tarefas 3.1 (criar uma questo de mltipla escolha) e 3.2 (criar uma questo de Verdadeiro ou Falso) foram concludas por 3 (trs) participantes exclusivamente no Amadeus.
As capturas de tela evidenciaram dificuldade dos
participantes em concluir as tarefas. Muitos so os motivos que podem estar relacionados a no completude das
tarefas, como o tempo estabelecido na proposta metodolgica que foi de 20 (vinte) minutos. Desse modo, no
possvel afirmar com preciso que se o tempo no fosse
estipulado, os participantes poderiam ter concludo ou
desistido das tarefas.
Outro aspecto relevante a quantidade de passos necessria concluso das tarefas, conforme descrito na
Tabela 1. Por fim, atravs da anlise das capturas das
suas aes percebe-se a realizao de procedimentos
equivocados pelos participantes nos dois ambientes. Apesar disso, poucos participantes conseguem realizar as
tarefas propostas no Amadeus, e nenhum as finaliza no
Moodle, o que leva a crer uma possvel ausncia efetiva
da comunicabilidade da interface.
um valor mximo de 6 (seis) tarefas concludas por usurio no Amadeus, contra 5 (cinco) tarefas no Moodle.
Este resultado sugere uma possvel relao com a
simplicidade e objetividade das interfaces do ambiente
Amadeus, corroborando com [3] que propem para afirma a inteno de facilitar e viabilizar prticas docentes.
6 Anlise da satisfao
Conforme descrito nos procedimentos seguidos nesta
pesquisa, a aplicao do Questionrio de avaliao sobre
a execuo das tarefas" logo aps a sesso de interao
teve como objetivo verificar as dificuldades e facilidades encontradas no uso dos ambientes pesquisados. A
seguir, os resultados sero apresentados para cada tarefa.
Tarefa 1: criao de um mdulo, insero de material no
mdulo, disponibilizao de um link no mdulo
Considerando a escala de medio utilizada de Um
pouco fcil, Fcil e Muito Fcil, os resultados obtidos para a execuo Tarefa 1 apontam um grau de facilidade no uso que favorece o Amadeus vide Tabela 4
em relao ao Moodle.
Tabela 3 Dificuldades na Tarefa 1.
Do mesmo modo, quando se observa o grau de dificuldade Um pouco difcil, Difcil e Muito difcil
constata-se atravs de suas respostas que o ambiente
Moodle foi considerado mais difcil. Portanto, esta tarefa
foi indicada como sendo de mais fcil realizao no ambiente Amadeus, isso pode estar associado simplicidade
da interface apontada pelos participantes e so apresentadas pelo Quadro 2.
Quadro 2 Falas dos participantes no questionrio de satisfao.
Participante
Falas
O Amadeus por ter o layout mais
simples, no entanto, a pgina onde
fica o login no d para perceber
10
de incio quando a senha est
incorreta. J o Moodle tem o layout mais detalhado, porm o ex-
115
11
12
13
116
7 DISCUSSO
Como evidenciado anteriormente, os resultados inferenciais obtidos no permitem concluir que exista uma
maior eficincia de um ambiente em detrimento do outro,
visto que o nvel de significncia foi superior ao aceito.
No entanto, do ponto de vista qualitativo, os resultados
AMBIENTE
Critrio de Medio
Percentual de objetivos
alcanados Total de
tarefas
propostas
que
foram
completadas
com
sucesso.
Percentual
de
usurios
completando cada tarefa
com sucesso.
Eficcia
Eficincia
Satisfao
Compreende a satisfao
do usurio referente ao
uso de cada ambiente.
Amadeus
Moodle
30%
18%
Os dados apontaram que quando comparado ao Moodle, o Amadeus apresentou-se superior em todos os
quesitos analisados, desde a realizao das tarefas at as
respostas obtidas no questionrio de avaliao.
execuo das tarefas (20 minutos), caso o tempo fornecido para que os participantes executassem as tarefas propostas tivesse sido livre teria feito alguma diferena? Eles
teriam concluindo um maior nmero de tarefas?
8 Consideraes finais
Neste trabalho, foi realizada a comparao da usabilidade dos ambientes Amadeus e Moodle para a realizao de tarefas tpicas da prtica docente, por usurios
docentes. Note que no possvel afirmar que a sutil
diferena identificada da usabilidade do Amadeus em
relao ao Moodle relacione-se ao total mnimo de passos
para a realizao das tarefas propostas nos dois ambientes, visto que a diferena mnima. Pois, para a concluso com sucessos das oito tarefas analisadas so necessrios 48 (quarenta e oito) passos no Amadeus e 49 (quarenta e nove) no Moodle.
Sabe-se que um dos grandes desafios para as entidades que desenvolvem software que estes estejam enquadrados em critrios de qualidade que permitam aos
seus usurios fazer uso e explorar todas suas potenciali-
117
dades. Para tanto, diversos fatores devem ser considerados, desde os associados sua instalao, bem como, se
este executa adequadamente, se confivel, fcil de usar,
eficiente na realizao de atividades propostas, se sua
manuteno impacta em outras funcionalidades do sistema e, por fim, se portvel. Estes fatores esto em consonncia com a ISO/IEC 9126 e podem ser entendidos
como atributos de qualidade de um software. Outro aspecto a ponderar quanto aos atributos de qualidade de
software a usabilidade que especificada na norma
ISO/IEC 9241-11.
Todavia, h evidncias de que a preferncia dos usurios da ordem de 85,7% a favor do ambiente Amadeus
em detrimento do Moodle relacione-se sua simplicidade
como evidenciado pela fala de alguns participantes na
seo da anlise da satisfao. Em relao a varivel
tempo, esta no foi devidamente analisada visto que foi
definido um tempo padro para execuo da seo de
interao em cada ambiente, no caso 20 minutos.
Estes resultados, apesar de mostrarem alguma diferena, so ainda pouco generalizveis. Contudo, sinalizam a hiptese de que o Amadeus possui melhor usabilidade que o Moodle para a prtica de mediao docente
por meio de um LMS. Isso pode ser confirmado ou refutado em trabalhos futuros atravs de inferncias em uma
amostra significativa.
[4]
[5]
[6]
[7]
[8]
[9]
[10]
[11]
[12]
[13]
Referncias
[1]
[2]
[3]
118
[14]
[15]
[16]
[17]
[18]
[19]
[20]
[21]
Disponvel
em:<
http://www.useit.com/alertbox/20030825.html>.
Acesso em: 05 dez. 2012.
[22]
[23]
[24]
[25]
[26]
[27]
119
ii
UXNet uma comunidade que estuda o tema Experincia do Usurio. Tem como objetivo facilitar o acesso a conceitos e especialistas no
tema. Disponvel em:<http://www.uxnet.org/>.
iii Faz-se necessrio ressaltar que a efetividade aqui tratada refere-se a
usabilidade do LMS, e no a efetividade do modelo de e-learning como
tratado nos modelos de avaliao conhecidos como os modelos de:
Kirkpatrick (1975), Hamblin (1978), MAIS (1982), Phillips (1996),
IMPACT (1999), UCB (2001).
120