Professional Documents
Culture Documents
AVALIAO DE SISTEMAS
SUMRIO
UNIDADE 1.
3.1 Introduo
3.2 Contextualizando a Pesquisa
3.3 Reviso Bibliogrfica
3.4 Procedimentos Metodolgicos
3.5 Desenvolvimento da Pesquisa
3.5.1 Primeiro Site da UFPI o de 2000 <www2.ufpi.br>
3.5.2 Segundo Site da UFPI que foi Publicado em 2004 <www.ufpi.br/ufpi2008>
3.5.3 Terceiro Site Analisado foi Publicado em 2007 <www.uapi.ufpi.br>
3.5.4 Site Atual da UFPI Publicado em 2009: <www.ufpi.br>
3.6 Concluses
3.7 Referncias Bibliogrficas
5.1 Introduo
5.2 Ambiente colaborativo de aprendizagem a distncia (e-ProInfo)
5.3 Anlise dos dados da Pesquisa
5.4 Anlise Geral da Pesquisa
5.5 Concluso
5.6 Referncias Bibliogrficas
UNIDADE 6. Roteiro prtico para anlise de Softwares Educacionais (SE)
6.1 Uma Breve Classificao ou Taxionomia de Software
6.2 Um Software Adequado Para Uso Educacional
6.3 Critrios Educacionais Para Anlise de Software
6.4 Um Checklist Recomendado H Bastante Tempo pelo MEC
6.5 Ficha sugesto de avaliao ( Adaptada de Fbia Magali dos Santos Vieira)
para Registro da Avaliao de um Software Educativo
6.6 Referncias Bibliogrficas
UNIDADE 1
UNIDADE 2
PARADIGMAS E AVALIAO DE INTERFACE HUMANO COMPUTADOR:
Evoluo, caracterizao e cones de interface computacional.
Resumo
Nesta unidade apresentamos as principais definies de metforas de
interface para computadores, contextualizando a teoria e a prtica e em seguida
explicitamos a evoluo das interfaces computacionais utilizadas na rea de
processamento de dados. Devido a importncia dos cones na construo de
interfaces, conceituamos e apresentamos as recomendaes para construo dos
mesmos e de interfaces com uma usabilidade adequada. Na sub rea de Interface
Humano Computador, uma usabilidade adequada, normalmente, se refere
simplicidade e facilidade com que uma interface, um sistema de computador ou
um ambiente internet pode ser utilizado por usurios comuns.
No final da unidade listamos de forma geral os principais ttulos a serem
observados para construo de uma interface amigvel, ou seja, uma interface
com aplicao dos princpios de usabilidade. Esta unidade foi retirado do livro
Interface Humano Computador: prtica pedaggica para ambientes virtuais de
aprendizagem do mesmo autor, com o objetivo de subsidiar os exemplos prticos
de avaliao da camada de interface na programao computacional constantes
nas unidades subsequentes.
que
trabalhavam
diretamente
nos
antigos
Ncleos
de
as
metforas
de
interface
humano-computador,
so
elas:
programas
(COOPER, 1995).
essa
diferena
tem
sido
marcante
Metfora
Conhecimento familiar
Ambiente
Operacional
Desktop
Tarefas de escritrio,
gerenciamento de arquivos.
Ambiente de
Hipertexto
Organizao flexvel de
textos estruturados.
CD e Fitas
dos
computadores
pessoais,
equipamentos
que
priorizam
aes fsicas que podem ser executadas pelo usurio, e operaes que podem
ser diretamente observveis. Quando acrescidas dos princpios de usabilidade s
interfaces WIMP podem ser classificadas como interfaces amigveis. Associadas
ao desenvolvimento de interfaces amigveis surgiram muitos critrios e
recomendaes que so seguidos para avaliar interfaces computacionais.
importncia do papel das metforas no design das peas para web, mas uma
metfora de interface que sugere um modelo incorreto ou conflituoso certamente
causar dificuldades para os usurios.
De acordo com Pereira da Silva (1996), os trs cones abaixo podem ser
considerados inconfundveis, pois satisfazem quase todas as recomendaes no
sentido do reconhecimento pelo usurio. Esto em quase todas as culturas e so
usados em quase todos os ramos de atividades dos humanos.
Impressora, imprimir;
Interroga
A imagem associada aos cones deve ser representativa da funo que lhe
atribuda e esta deve ser familiar linguagem do usurio;
Atualmente os princpios que servem como apoio para a maioria das aes
de avaliao de software so as heurstica de Nielsen (1993), os princpios de
Shneiderman (1998), os critrios de Bastien & Scapin, (1992, 1993, 1995) e
Scapin & Bastien (1997) e Scapin (1988), as normas ISO/IEC 9126 e ISO 9241,
que alm de serem bastante aplicados servem de base para construo de outras
heursticas para software especficos. Em nvel nacional pela abordagem
especifica destacamos: Dias (2000), Silva (2002) e Rocha (2003).
Para situar mais ainda o tema, apresentaremos a seguir boa parte dos
ttulos das recomendaes mais utilizadas, que podem ser encontrados na
bibliografia listada como explicitado no item (1.5), nesse item com pequena
modificao:
1 Conduo;
2 Presteza;
3 - Feedback imediato;
4 - Proteo de erros e qualidades das mensagens dos erros;
5 Consistncia;
6 Legibilidade;
7 - Agrupamento;
8 - Carga de trabalho e aes breves;
9 - Controle explcito pelo usurio; e,
10 - Flexibilidade e adaptao ao ambiente.
UNIDADE 3
PRIMEIRO EXEMPLO PRTICO: Avaliao da Usabilidade da Interface
Computacional das Principais Home Page da Universidade Federal do Piau
Resumo
Nesta unidade avaliamos a usabilidade da interface humano computador
nos ambientes virtuais de informao e comunicao da UFPI, comumente
denominados de sites ou home page, implementados e publicados desde o
advento da universidade na internet at os dias de hoje. A pesquisa foi feita
observando tambm a funcionalidade e a utilidade desses ambientes, tanto na
perspectiva tcnica, prtica, quanto no alcance social. Na avaliao da interface
computacional dos ambientes, trabalhamos com usurios prprios da comunidade
dos sites, com conhecimento variando entre mdio, bom e excelente nos
princpios de usabilidade explicitados na bibliografia especializada para essa rea.
Como instrumento da avaliao, usamos 09 usurios envolvidos na
pesquisa e utilizamos um checklist que serviu como roteiro para auferir os
princpios e recomendaes de usabilidade, pois importante que se aplique um
dos muitos mtodos de avaliao de interface computacional constante na
bibliografia especializada. Dentre os muitos resultados alcanados verificou-se
que embora tenha havido uma evoluo dos sites, no quesito usabilidade, muito
ainda pode ser implementado computacionalmente para que o usurio tenha um
rendimento adequado no uso e os sites possam ter uma aparncia agradvel,
incluindo design, cores e links teis, para a maioria dos usurios.
3.1 INTRODUO
definio
constante
na
norma
International
Organization
for
em
fase
de
consolidao,
atendendo
determinados
padres
que
incluem
mtodos
experimentais
ou
empricos,
mtodos
de
engenharia
de
usabilidade
recomendados
na
bibliografia
Pginas analisadas
www2.ufpi.br
site de (2000)
www.ufpi.br/ufpi2008
site de (2004)
Quantidade
de usurios
04
03
www.uapi.ufpi.br
site de (2007)
Definio dos
estratos
Alunos da rea
de computao
Membros da
comunidade
Experincia
/usabilidade
Bom
Mdio
Desenvolvedores
de site em geral
www.ufpi.br
site de (2009)
02
Alto
A combinao das cores verde, azul, roxo, branco e preto, escolhidas para
a criao do site incompatvel, tornou o ambiente escuro e por vezes ilegvel, o
que implica numa drstica queda de usabilidade. O verde da pgina em
combinao com o azul, utilizado no menu lateral, antes de ser acessado a
primeira vez; e com o roxo utilizado no mesmo menu, aps ter sido acessado pelo
menos uma vez, tornou a leitura das opes difcil e impraticvel, mesmo a uma
distncia consideravelmente pequena. As cores do menu superior apresentam
certa homogeneidade, j que so dois tons de verde, dificultando novamente a
leitura das opes que o mesmo traz.
ainda assim, essa parte no deixa de conter imensos espaos sem utilidade
alguma.
notcias que
Diferentemente
do
site
anterior
publicado
em
2004
universidade em si, sobre os cursos, bem como sobre sua estrutura administrativa,
se assemelha mais como um portal de notcias do que como um site corporativo.
O site consistente no quesito informaa: a mesma ao gera sempre a mesma
resposta atendendo assim a heurstica de consistncia recomendada por todos os
autores citados.
Heursticas
Conceito obtido
2 (baixo contraste)
03. Navegabilidades
07. Alinhamento
4 (justificado)
3.6 CONCLUSES
UNIDADE 4
CLASSIFICAO E AVALIAO DE SOFTWARE EDUCATIVO: Classificao
quanto ao uso e a aplicao na educao
I) Tutoriais
III) Programao
IV) Aplicativos
So programas voltados para aplicaes especficas, como processadores
de texto, planilhas eletrnicas, e gerenciadores de banco de dados. Embora no
tenham sido desenvolvidos para uso educacional, permitem interessantes usos
em diferentes ramos do conhecimento. Valente (1998), Valente (1999), defende
que, nos software abertos (linguagem de programao, processadores de textos,
planlias eletrnicas etc.) as aes do aprendiz podem ser analisadas em termos
do ciclo: descrio - execuo - reflexo - depurao (nova)descrio e que
podem contribuir para o processo de construo do conhecimento. Esse crculo
conhecido por quem trabalha com informtica na educao como o crculo DERD.
V) Multimdia e Internet
significativa.
VII) Jogos
ambientes
So softwares teis para apoiar uma proposta pedaggica de ensino aplicada com
auxlio de computadores. Ex. plataforma virtual de aprendizagem, software de
autoria Macromedia Dreamweaver MX, Flash, PawerPoint, editores de textos
grficos; editores de imagem e, softwares com bibliotecas icnicas, etc.
Alguns dos software em virtude da sua diversidade de uso podem at serem
includos em mais de uma das classificaes proposta no item anterior.
As
caractersticas
de
interface
tais
como:
funcionalidade,
usabilidade,
Caracterstica
Funcionalidade
Descrio
Evidencia
que
conjunto
de
funes
que
atende
Confiabilidade
Eficincia
Manutenibilidade
Portabilidade
BASTIEN, J. M. C., & SCAPIN, D. L., Evaluating a user interface with egonomic
criteria. International Journal of Human-Computer Interfaces. 7, 105-121, 1995.
Horton, W. (1994). Designing and writing online documentation: Hypermedia for selfsupporting products. 2nd ed. New York, NY: John Wiley & Sons
MARCUS, A. Graphic design for eletronics documents and user interfaces. New York:
ACM Press and Addison-Wesley Publishing Company, 1992.
NIELSEN, Jacob. Usability engineering. New Jersey: A. P. Professional, 1993.
NORMA ISO 9241. Egronomic requeriments for office work with visual display
terminals part 10: dialogue design, 1997.
NORMA ISO / IEC 9126. Software engeineeiring product quality part 1: quality a
interation, 1999.
PEREIRA da SILVA, C. A. Qualidade da Comunicao Iconogrfica no Ambiente
informatizado de Trabalho, 1996. Tese (Doutorado em Engenharia de produo).
Universidade Federal de Santa Catarina.
SILVA, Cassandra Ribeiro de O. MAEP: Um mtodo ergopedaggico interativo de
avaliao para produtos educacionais informatizados, 2002. Tese (Doutorado em
Engenharia de produo). Universidade Federal de Santa Catarina.
UNIDADE 5
SEGUNDO EXEMPLO PRTICO: Avaliao da Usabilidade de Ambientes
Virtuais de Aprendizagem na Viso de Profissionais de Informtica e de
Profissionais de Educao:
Resumo
O presente trabalho discorre sobre avaliao de usabilidade da Interface Humano
Computador (IHC) de Ambientes Virtuais de Aprendizagem (AVA), por dois grupos
de formao distinta, a saber: profissionais de informtica e profissionais
educadores de outras reas, todos usurios desses ambientes com conhecimento
dos princpios de interface humano-computador e atuao na rea de educao a
distncia. Foram oito os avaliadores selecionados de ambas as categorias
perfazendo um total de 16. Os profissionais de informtica so desenvolvedores
de sistemas, quatro dos quais vinculados UFC e os demais UFPI. Os
educadores so vinculados ao programa EaD da UFPI. Foi aplicado um checklist
contendo 30 itens. Os ambientes avaliados foram Moodle, e-ProInfo e Solar e ao
final foi feita uma anlise comparativa da avaliao.
5.1 Introduo
Assim, o cognome Moodle aplica-se tanto forma como foi gerado como a uma
sugestiva maneira pela qual a criana / o aprendiz / o estudante ou o professor
pode integrar-se, ao estudar, aprender ou ensinar num curso on-line. Na realidade,
o Moodle figura como software com proposta bastante diferenciada: aprender em
colaborao em ambiente on-line, baseando-se na pedagogia socioconstrutivista.
Segundo informaes da prpria pgina, Martin Dougiamas, responsvel pelo
projeto e coordenador de suas novas verses, enfatiza que o Moodle no s trata
a aprendizagem como atividade fundamentalmente social, mas focaliza a ateno
na aprendizagem [...] que acontece enquanto construmos ativamente artefatos
(como textos, por exemplo), para que outros vejam ou utilizem um software que
5.2.1
Para averiguar a usabilidade na interface dos ambientes virtuais de
aprendizagem Moodle, e-Proinfo e Solar foi aplicado um cheklist contendo 30 itens
distribudos em 06 quadros comuns aos grupos de avaliadores, formados por
profissionais de informtica e por um grupo de educadores de outras reas. Esse
cheklist foi construdo baseado nas recomendaes de usabilidade constantes em
Bastian & Scapin (1995), Shneiderman (1998), Nielsen (2000), Silva (2000) e
Guedes(2008). Alis, os aspectos ou atributos da avaliao esto delineados de
acordo com o enfoque em usabilidade e contemplam: Apresentao Geral da
Interface; Navegabilidade; Legibilidade da Interface; Mecanismos de Comunicao
do Ambiente; Meios de Publicao de Contedos na Plataforma e Documentao
On-line do Sistema.
Em cada momento da avaliao, atribudo um conceito segundo os
critrios representados pelo entendimento dos avaliadores variando em: Excelente
(E); Muito Bom (MB); Bom (BM) regular (R); Insuficiente (I), convertidas,
posteriormente, em conceitos numricos (respectivamente, 4; 3; 2; 1 e 0), com o
intuito de calcular a mdia ponderada e o percentual obtidos atravs dos escores
atribudos a cada item avaliado.
Moodle
e-ProInfo
Solar
80,4
53,1
82,8
Legibilidade da interface
68,1
43,1
84,3
Navegabilidade da plataforma
80,2
56,2
90,6
Mecanismos de comunicao
76,2
46,8
70
70
34,3
82,5
76.5
47
37
Moodle
e-ProInfo
Solar
85
59
74
Legibilidade da interface
83
78.8
94
Navegabilidade da plataforma
86,1
67,9
79,6
Mecanismos de comunicao
88,8
84,6
92,6
71,6
76,9
77,7
86,6
81,5
57,7
80,4
85
82,8
80
53,1
60
74
59
Informticos
40
Educadores
20
0
Moodle
e-Proinfo
Solar
educadores, por outro lado o Solar melhor avaliado pelo grupo de informticos.
Quanto ao e-proinfo avaliao prxima uma da outra tanto por informticos
quanto pelos educadores conforme o Grfico 1. O que observamos que h uma
ligeira inverso na avaliao
Navegabilidade da plataforma
Grfico 2 - Navegabilidade
100
80,2
90,6
86,1
79,6
80
67,9
56,2
60
Informticos
40
Educadores
20
0
Moodle
e-Proinfo
Solar
Legibilidade da plataforma
Grfico 3 - Legibilidade
94
100
80
83
84,3
78,8
68,1
60
43,1
Informticos
40
Educadores
20
0
Moodle
e-Proinfo
Solar
quando avaliado pelos educadores. A outra surpresa a boa avaliao dos trs
ambientes pelo grupo de educadores com percentuais de
Mecanismos de comunicao
Quanto aos mecanismos de comunicao, Aqui, os ambientes Moodle, ePrinfo e Solar na avaliao dos informticos conseguem ndices bem abaixo da
avaliao dos educadores, isto , 76,2%
oposio a boa avaliao atribuda pelos educadores que de 88.8, 84.6, 92.5. O
dada pelos
informticos (Grfico 4)
88,8
76,2
80
92,5
84,6
70
60
46,8
Informticos
40
Educadores
20
0
Moodle
e-Proinfo
Solar
educadores, no acontece por parte dos informticos pois, o Solar est abaixo,
perdendo para o Moodle em 6.2% (Grfico 4) talvez por conta de apresentar
melhor as respostas e os comentrios dos fruns, tal como discutido antes, o
Moodle conquista o primeiro lugar no grupo de informticos. So eles condizentes
com os quesitos: hierarquia em que os contedos esto dispostos e chance da
pgina pessoal dos envolvidos no processo de ensino e aprendizagem ser
compartilhada por todos. Isto nos permite afirmar que, no caso dos mecanismos
de comunicao, a diferena pequena entre Moodle e Solar, para os educadores
ainda que bastante acentuada em relao ao e-Proinfo para os informticos.
Afora essas consideraes, os resultados em termos de ordenao, diferem
dos extrados junto ao grupo de educadores, em que o Solar foi melhor que o
Moodle e este melhor que o e-ProInfo, o contrrio ocorre com a avaliao dos
informticos, pois o Moodle foi melhor avaliado que o Solar e este melhor que o eProinfo
70
76,9
71,6
82,5
77,7
60
Informticos
34,3
40
Educadores
20
0
Moodle
e-Proinfo
Solar
86,6
81,5
76,5
57,7
60
47
37
40
Informticos
Educadores
20
0
Moodle
e-Proinfo
Solar
atributos
educadores: Moodle, 86,1%; e-Proinfo, 67,9%; Solar, 79,8%. Quer dizer, mais
uma vez, registramos inverso na ordem dos valores em relao ao Solar e ao
Moodle.
No atributo meios de publicao dos contedos, os AVA recebem avaliao
distinta. Em outras palavras, enquanto que para os educadores, os ambientes
esto com percentuais prximos, quais sejam, Moodle (71,6%); Solar (77,7%) e eProinfo (76,9%) (Grfico 5), para os profissionais em informtica, o Solar se
destaca com valor de 82,5%, bem superior ao do e-Proinfo (34,3%) e tambm
acima do Moodle, com 70%. Neste caso eis outra amostra das diferenas:
enquanto os profissionais educadores avaliam a plataforma e-Proinfo melhor do
que a do Moodle, para os informticos, o Moodle est mais bem avaliado que o eProinfo.
SOLAR.
Sistema
On
line
de
Aprendizagem.
<www.vdl.ufc.br/solar>. Acessado em 22/03/2006.
Disponvel
em:
UNIDADE 6
Roteiro prtico para anlise de Softwares Educacionais (SE)
Resumo
Para a avaliao de software educativo muitos so os autores que abordam esse
tema
nos
Guedes(2008),
diversos
Magali
trabalhos
(2000),
publicados.
Valente
Destacamos
(1997).
Em
Educ.
Silva
(2002),
Rev.,
Belo
- Tem o erro trabalhado e que a partir de um feedback o aluno possa aprender por
meio dele, trabalhando-o na direo da construo do conhecimento.
utilizao?
16. Em relao aos demais recursos didticos, qual o diferencial que o software
apresenta?
20. Qual o tipo de software (jogo, tutorial, exerccio- prtica, autoria, outros)?
Nome do Software:__________________________________________________________
Encontrado em: ____________________________________________________________
l- IDENTIFICAO:
Autor:_____________________________________________________________
Tipo de Software: ( ) FREE
( ) Comercial
Resumo do contedo:
_________________________________________________________________
__________________________________________________________________
__________________________________________________________________
Idioma:_______________________ Tempo de Durao em execuo: _______
Preo em real: ________________
Behaviorista
Justifique:__________________________________________________________
__________________________________________________________________
__________________________________________________________________
Como acontece a interao do ciclo ABCD: Aluno- Board tecnologico-Computado-Docente
Aluno:
Quadro Tecnologico:
Computado (Interface)
Docente:
Aprendiz X Computado
De que forma o "feedback" dado ao
aluno?____________________________________________________________
_________________________________________________________________
_________________________________________________________________
Em relao ao processo de construo do conhecimento do aluno:
- Apresenta mltiplos caminhos para a soluo do problema?
No
Quais?
lll - CLASSIFICAO
Quanto ao tipo:
Tutorial
Exerccios e Prtica
Programao
Aplicativo: Qual o tipo:
Multimdia- Internet:
Pronto
Sistema de Autoria
Simulao
Aberto
Fechado
Modelagem
Jogos
Quanto ao nvel de aprendizado:
Seqencial
Relacional
Criativo
lV - ASPECTOS TCNICOS:
Sim
No
Sim
No
Sim
No
Sim
No
Sim
No
Sim
No
Sim
No
- Funciona em rede
Sim
No
Sim
No
- auto- executvel
Sim
No
Sim
No
Sim
No
V- Concluses:
Processo de
Avaliao:________________________________________________________
__________________________________________________________________
__________________________________________________________________
__________________________________________________________________
Concluses/ Recomendaes/
Sugestes:________________________________________________________
__________________________________________________________________
__________________________________________________________________
__________________________________________________________________
Equipe
avaliadora:_________________________________________________________
__________________________________________________________________
__________________________________________________________________
__________________________________________________________________