Avaliao heurstica da rede social educacional TecCiencia

Jean Rosa, Anna Friedericka Schwarzelmller, Ecivaldo Matos

Departamento de Cincia da Computao Universidade Federal da Bahia (UFBA)

Salvador BA Brasil
{jean.rosa, frieda, ecivaldo}@ufba.br

Abstract. Virtual social networking has taken space in Brazil and left the
country at the top of the indices of research using these technologies.
TecCiencia's proposal is to be an educational environment based on virtual
social networks where students and teachers build knowledge through
collaboration. This paper aims to present the evaluation of the quality of
TecCiencia in regards to human-computer interaction through heuristic
technical evaluation proposed by Nielsen. This method was chosen because it
has synergy with the teaching-learning heuristics. Usability issues have been
identified that can influence teaching and learning interactions. This review
also provides subsidies for the redesign of the environment.
Keywords: Usability; Heuristic Evaluation; TecCiencia; Educational Virtual
Social Networks; Human-Computer Interaction.
Resumo. As redes sociais virtuais tem tomado espao no Brasil, deixando o
pas no topo dos ndices de pesquisas de utilizao dessas tecnologias. O
TecCiencia tem como proposta ser um ambiente educacional baseado em
redes sociais virtuais onde os alunos e professores constroem o conhecimento
atravs da colaborao. Este artigo tem como objetivo apresentar a avaliao
da qualidade da interao humano-computador do TecCiencia por meio da
tcnica de avaliao heurstica proposta por Nielsen. Esse mtodo foi
escolhido por possuir sinergia com as heursticas de ensino-aprendizagem.
Dentre os resultados, foram identificados problemas de usabilidade que
podem influenciar as interaes pedaggicas e, consequentemente, a
aprendizagem. Essa avaliao apresentou subsdios para o redesign de
interao do ambiente.
Palavras-chave: Usabilidade; Avaliao Heurstica; TecCiencia; Rede Social
Virtual Educacional; Interao Humano-Computador

1. Introduo
O Brasil tem se tornado um dos pases com os maiores ndices do uso de internet,
ocupando o 5 lugar em um dos rankings de avaliao de uso da internet, segundo a
ComScore(2014). Pelo estudo, as redes sociais virtuais tem colaborado para o
crescimento do uso da internet por parte dos brasileiros. Os brasileiros esto navegando
na internet cerca de 29,7 horas/ms, deixando o pas em primeiro lugar no ndice de
utilizao da internet na Amrica Latina. No ranking mundial de consumo das redes
sociais virtuais o Brasil ocupa a 2 posio.

Segundo Abreu et al. (2011) redes sociais virtuais so ambientes favorveis para
o aprendizado colaborativo, devido a possibilidade da formao de grupos de comum
interesse para o compartilhamento do conhecimento, uma vez que existe interao e
colaborao entre os alunos e professores para o desenvolvimento do conhecimento
social. Ainda conforme esses autores, os ambientes colaborativos de aprendizagem,
alm de proporcionar a aprendizagem a distncia, servem como extenso da aula
presencial, complementando as atividades de sala de aula.

Dentro desse contexto de uso das redes sociais com objetivos pedaggicos, foi
desenvolvido o TecCiencia (ABDALLA et al. 2012) conforme a Figura 1. Neste texto
apresentamos uma avaliao da interao desse ambiente, com o objetivo de identificar
falhas prejudiciais ao uso efetivo, eficiente e satisfatrio do ambiente para os seus fins.

Figura 1. TecCiencia.

Este trabalho faz parte de um projeto de pesquisa e extenso para uso de

tecnologias interativas e sociais na educao. Tendo em vista a necessidade constante de
adequao tcnico-pedaggica desses tipos de ambiente, este trabalho apresenta
resultados importantes para o processo de redesign dialtico-participativo do ambiente
TecCiencia. Para isso fez-se necessrio analisar, em um primeiro momento, alguns
aspectos de Interao Humano-Computador (IHC). Utilizou-se a usabilidade como
categoria de avaliao, por meio da Avaliao Heurstica (AH), proposta por Nielsen
(1994).
 O texto est organizado em seis sees: a seo 2 dedicada breve
apresentao do TecCiencia; os trabalhos relacionados so objeto da seo 3; na seo 4
ser discutida a metodologia aplicada; os resultados sero apresentados na seo 5. Por
fim, na seo 6 tem-se as consideraes finais e os encaminhamentos para trabalhos
futuros.

2. O TecCiencia

Figura 2. Espao do blog do TecCiencia

O TecCiencia um Ambiente Virtual de Aprendizagem (AVA). Baseado na Web 2.0,

similar s redes sociais virtuais convencionais, mas com foco bem definido: a
aprendizagem colaborativa. A sua concepo considerou que o conhecimento
construdo pelos estudantes no entregue pelo professor, mas construdo
coletivamente com os demais estudantes e professores. Todos trabalham
colaborativamente, contribuindo com questionamentos e respostas, tornando o estudante
um pesquisador e retirando o papel do professor como o nico detentor do saber.

O TecCiencia1 uma rede social educacional utilizada no Projeto Educandow da

Universidade Federal da Bahia uma parceria do Programa Onda Digital2 com a Empresa
Dow Brasil S.A. O ambiente foi desenvolvido com o software Noosfero3, um software
baseado em tecnologia livre para a construo de rede sociais. (ABDALLA et al. 2012)

Segundo Abdalla, Schwarzelmller e Lima (2012) o TecCiencia uma grande

inovao tecnologica (idem, p. 1) para fins educacionais visto que, um AVA onde
alunos e professores podem criar blogs, como na Figura 2, e comunidades para a
construo coletiva de conhecimento, como indicado na Figura 3.

O AVA foi utilizado em algumas escolas baianas de ensino fundamental.

Conforme os autores supra, o TecCiencia obteve bons resultados uma vez que
colaborou com a integrao professor/aluno, aluno/aluno e aluno/UFBA. O foco da rede

1
www.tecciencia.ufba.br
2
www.ondadigital.ufba.br
3
www.noosfero.org.br
social est na aprendizagem atravs da colaborao e cooperao para a construo do
conhecimento4.

Figura 3. Espao das comunidades do TecCiencia

3. Avaliao da usabilidade em ambientes virtuais de educao

A avaliao da Interao Humano-Computador (IHC) visa avaliar a qualidade do uso de
artefatos computacionais interativos. Para isso, a IHC utiliza mtodos, tcnicas e
diretrizes para que os projetistas de interface desenvolvam projetos de alta qualidade.
Deve-se avaliar a interao para que no exista (ou exista o mnimo possvel) de
problemas com a qualidade de uso da interface. Quanto mais cedo for efetuada a
avaliao, menor ser o custo do seu redesign (BARBOSA E SILVA, 2010).

Para Junior e Paola (2014) a adoo de um software educacional deve

contemplar a avaliao segundo critrios de qualidade de uso, uma vez que se o
software estiver inadequado pode comprometer os processos de ensinos e de
aprendizagem. J para Santos e Schneider (2010) ao usurio usar o sistema ele no
aprende como us-lo de uma nica vez, por isso necessrio que o sistema seja fcil de
aprender a usar, dado que o aprendizado acontece no/com o uso do sistema e por isso
softwares educacionais devem passar pela avaliao de interao.

Para esses autores, a usabilidade, enquanto categoria de qualidade da interao,

uma caracterstica indispensvel ao software educacional. Isso porque ele vai ser o
mediatizador nos processos de ensino e de aprendizagem e, por isso, deve passar pelo
processo de avaliao de usabilidade, visto que a ela no colabora somente com a
educao mas tambm com a sade, bem estar, incluso social, entre outras.

A usabilidade segundo Nielsen (1994) est ligada diretamente aos seguintes

atributos: satisfao do usurio, facilidade e memorizao da utilizao do software,
tratamento de erros e a eficincia no uso software. Conforme a norma ISO/NBR 9241-
11 (2002, p. 1) usabilidade a medida na qual um produto pode ser usado por usurios
especficos para alcanar objetivos especficos com eficcia, eficincia e satisfao em

4
ibidem
um contexto especfico de uso. J para Catapan et al. (1999, p. 2) a usabilidade uma
propriedade da interface homem-computador que confere qualidade a um software,
referindo-se qualidade de uso do produto.

Junqueira, Darin e Oliveira (2013) utilizam o mtodo avaliao heurstica,

proposta por Nielsen, para avaliar a usabilidade da rede social educativa Aprender em
Rede. O ambiente foi criado utilizando o software livre Elgg e, utilizado na
Universidade Federal do Cear (UFC). Os autores tambm realizaram avaliao da
sociabilidade do ambiente. Com essas avaliaes foram detectadas falhas de usabilidade
e navegabilidade que foram corrigidas pelos desenvolvedores do sistema. As avaliaes
foram realizadas durante o desenvolvimento da Aprender em Rede.

Franciscato et al. (2008) elaboraram um questionrio com base em trs modelos

de avaliao da usabilidade para avaliar os AVA Moodle, TelEduc e Tidia Ae. Com
base nesse questionrio avaliativo os autores concluram que o Moodle e o TelEduc
produzem mais satisfao nos usurios em relao aos demais, contudo todos os
ambientes so de fcil utilizao e so adequados ao ensino-aprendizagem.

Melo Filho et al.(2014) faz uma comparao entre os AVA Moodle e Amadeus
com base na usabilidade. Os autores aplicam o Questionrio de avaliao sobre a
execuo das tarefas onde so avaliados os atributos eficincia, eficcia e satisfao de
ambos os AVA. Segundo os autores, os ambientes foram avaliados por treze usurios
com pouca experincia com computadores. Como resultado, no foi possvel identificar
qual dos ambientes possui o maior grau de usabilidade devido as anlises demostrarem
uma mnima diferena mas, os autores afirmam que os usurios preferem o Amadeus
devido a sua simplicidade.

Percebe-se a preocupao com a usabilidade nas tecnologias desenvolvidas para

uso educacional. Segundo Coelho e Santoro (2002) a usabilidade um dos fatores
determinantes para o sucesso do processo de ensino-aprendizagem. Junior e Paola
(2014) enfatizam que a avaliao de ambientes educacionais no devem se ater apenas a
fatores pedaggicos, mas tambm tcnicos, como a usabilidade. Matos (2013) defende
em sua pesquisa que a avaliao dialtica, tecnicopedaggica e participativa
fundamental.

4. Metodologia
Devido ao TecCiencia possuir em torno de 1061 usurios e 191 comunidades5,
segundo Lima, Schwarzelmuller e Abdalla (2012) o ambiente j atingiu mais de 20.000
visitas, torna-se indispensvel a avaliao da usabilidade do TecCiencia, visto que de
acordo com Junior e Paola (2014), Catapan et all (1999) e, Coelho e Santoro (2002) a
usabilidade uma das caractersticas determinantes para o sucesso do processo de
ensino-aprendizagem de um software educativo.

A Avaliao Heurstica (AH) um mtodo de inspeo da Engenharia de

Usabilidade, criada por Jacob Nielsen (1994). A AH possui 10 heursticas, conforme o
Quadro 1, juntas elas formam um conjunto de diretrizes empricas criadas a partir de
anlises de 240 problemas de usabilidade por especialistas em IHC. Segundo Nilsen
(idem), a avaliao deve envolver de trs a cinco avaliadores com conhecimento em

5
Fonte: www.tecciencia.ufba.br Acesso: 04 de novembro de 2014
IHC. O mtodo de baixo custo, rpido, fcil e que visa avaliar a usabilidade do
sistema suprindo os requisitos do objetivo da pesquisa (Barbosa e Silva 2010).

Quadro 1. Heursticas de Nielsen, adaptado de (Santa Rosa e Moraes, 2012) e (Nielsen, 1994).

Nmero da
Heurstica Descrio
Heurstica

Os usurios devem ser informados

H1 Visibilidade do estado do sistema constantemente e rapidamente sobre o estado
do sistema
Os conceitos, termos e elementos de interface
Equivalncia entre o sistema e o
H2 devem estar mais prximas do domnio do
mundo real
usurio.
O usurio deve controlar o sistema, tendo a
H3 Controle e liberdade do usurio possibilidade, inclusive, de desfazer aes que
julgar erradas.
Palavras, signos, interaes semelhantes ou
relacionadas devem ter comuns significados
semelhantes ou relacionados (e vice versa).
H4 Consistncia e Padronizao
Caso a plataforma em que o sistema est
rodando tenha padres estabelecidos, a
interface deve adot-los.
A interface do sistema deve informar/sinalizar
claramente ao usurio os efeitos e
H5 Preveno de erros
consequncias de suas aes, para evitar
enganos.
A interface no deve exigir que o usurio
Reconhecimento em vez de decore a forma de acionar o sistema. Deve
H6
memorizao fornecer elementos para rpida identificao
das funcionalidades.
As aes de interface devem ter diferentes
formas de serem acionadas, dispor de
dispositivos de acesso rpido associados a
H7 Flexibilidade e eficincia de uso
elas e tambm deve ser possvel customizar as
interfaces customizar as interfaces para
acionar aes frequentes.
A interface deve ter a quantidade de
informao necessria s o relevante.
H8 Esttica e design minimalista
O layout da interface deve ser agradvel e
leve.
A interface no deve exigir que o usurio
Ajudar os usurios a reconhecer,
decore a forma de acionar o sistema. Deve
H9 diagnosticar e recuperar aes
fornecer elementos para rpida identificao
erradas
das funcionalidades.
O sistema deve oferecer ajuda para o usurio
em todas as aes e atividades. O acesso deve
H10 Ajuda e Documentao
ser claro e rpido, o contedo informativo e
contextualizado.

Tambm faz parte da AH, a atribuio dos graus de severidade para a violao
das heursticas, conforme indicados no Quadro 2. Na execuo da avaliao os analistas
devem atribuir os graus de severidade nas respectivas violaes conforme as
prioridades.
 Na AH busca-se violaes na heurstica, ou seja, se algo na interface no esteja
em conformidade com as 10 heursticas, ento ocorre violao que, deve ser analisada e
atribuda a um grau que corresponda a sua severidade.

Quadro 2. Graus de severidade da Avaliao Heurstica, adaptado de (Santa Rosa e Moraes, 2012).
Grau Severidade Prioridade
1 Problema somente cosmtico Se sobrar tempo

2 Problema menor de usabilidade Baixa prioridade

3 Problema grave de usabilidade Alta prioridade

4 Catstrofe de usabilidade Sua correo imperativa

Segundo Coelho e Santoro (2002) existe sinergia entre a AH e as heursticas de

ensino-aprendizagem principalmente em ambientes colaborativos de aprendizagem ou
groupware (o caso do TecCiencia). Sendo assim, ao avaliar a interao de um AVA
com as heursticas propostas por Nielsen tambm estariam sendo envolvidas questes
educacionais na qualidade do uso do sistema, todavia h entendimentos diferentes,
conforme sinaliza Matos (2013). Todavia, a AH possui uma abrangncia de critrios de
avaliao que permitem seu uso, desde que no seja a nica tcnica/mtodo de avaliao
utilizado em um projeto de software educacional.

Para este estudo foram convidados trs analistas com conhecimento prvio de
IHC e de AH onde separadamente efetuaram num primeiro momento o reconhecimento
do TecCiencia, na segunda etapa foi realizada a busca por eventuais violaes de
heursticas e, no terceiro estgio, os analistas atriburam o grau de severidade nas falhas
encontradas.

Os trs analistas que participaram da avaliao so graduados na rea de

computao e mestrandos em Cincia da Computao. Todos eles participaram da
disciplina Tpicos em Sistemas de Informao e Web IV do Programa de Ps-
Graduao em Cincia da Computao da Universidade Federal da Bahia que no
perodo 2014.2 teve a ementa concernente a Interao Humano-Computador.

Na sintetizao dos dados gerados pelos analistas foram realizadas as seguintes

atividades: caso mais de um analista detectou a mesma violao foi considerado
somente uma ocorrncia; na atribuio dos graus de severidade os graus foram somados
e realizado a mdia geral, se a mdia no gerou um valor inteiro aplica-se o
arredondamento. Na prxima seo teremos os resultados da avaliao.

5. Resultados encontrados
Na avaliao heurstica do TecCiencia foram detectadas as seguintes violaes e
os seus respectivos nveis de gravidade:

H1) Visibilidade do status do sistema: ao editar o cabealho e o rodap do

blog o usurio no tem um retorno se houve sucesso ou insucesso na edio; alm disso,
tambm no existe uma mensagem quando alterado o endereo do blog, deixando
assim o usurio sem o feedback das suas modificaes. Grau de severidade: 3.
 H4) Consistncia e padres: em algumas pginas o link pgina inicial
redireciona para o blog e em outras redireciona para a real pgina inicial; Em painel de
controle, o menu com o nmero de artigos publicados apresentado como 3, porem ao
clicar no link, existe apenas um artigo e uma pasta vazia. Grau de severidade: 2.

H6) Reconhecimento em vez de memorizao: o usurio lida com tantos

elementos e informaes na interface que quando ele desejar acessar algo ser difcil
usar o reconhecimento sendo a sua alternativa tentar memorizar elementos especficos.
Grau de severidade: 3.

H7) Flexibilidade e eficincia no uso: quando os usurios saem da pgina

inicial no existe um link ou boto para o seu retorno assim a volta a pgina inicial
torna-se lenta. Grau de severidade: 4.

H8) Esttica e design minimalista: o ambiente apresenta algumas pginas

sobrecarregadas com muita informao; O TecCiencia possui a interface com uma
enorme quantidade de cores e blocos de informao sem significado aparente. Grau de
severidade: 3.

Figura 4. Violao da heurstica H9

H9) Ajuda os usurios a reconhecer, diagnosticar e recuperar aes erradas: nem

todas as mensagens de erros deixam o problema claro para o usurio, alm disso, em
alguns dos erros apresentados o usurio no tem liberdade para solucionar, por
exemplo, vrios links de contedos; a disciplina de informtica, por exemplo, aparece a
seguinte mensagem Nossa equipe tcnica est trabalhando nele, por favor tente mais
tarde. Perdoe o inconveniente. Isso um problema que usurio no poder solucionar;
Outro problema quando usurio cria uma conta no TecCiencia h um termo que ele tem
que aceitar, no entanto, ao clicar no termo aparece que a pgina no foi encontrada, o
usurio no pode solucionar o problema ele apenas dever aceitar o termo, sem poder
ler; em algumas mensagens de erro os textos esto em ingls e em algumas pginas a
mensagem passa rpido na tela inviabilizando a leitura; alguns textos de erros so de
difcil compreenso; ao tentar criar uma comunidade e no preencher o nome da
comunidade, foi apresentado uma mensagem de erro. No foi possvel gravar
community: 2 erros; Na interface foi mostrado apenas um erro no campo de
formulrio, e o outro erro foi mostrado como Identificador no pode ficar em branco.
O usurio no tem como saber qual o segundo erro, pois isso no informado. Grau de
severidade: 4. A violao dessa heurstica pode ser observada na Figura 4.

H10) Ajuda e documentao: a opo ajuda no contm informaes suficientes para

resolver possveis problemas que usurios venham a ter ao navegar no ambiente. As
pessoas que publicam suas dificuldades e outros usurios tentam auxiliar de modo
colaborativo; no tem um documento de ajuda pronto; o menu de ajuda, como usar,
possui apenas uma opo de ajuda, que a de enviar vdeo. Grau de severidade: 3.

A sntese dos resultados das avaliaes apresentada na Tabela 1 com o

nmero das heursticas de Nielsen, o nvel de severidade e quantidade de problemas
respectivamente. De acordo com o prprio mtodo, apesar de existir algumas heursticas
que no foram detectadas violaes, no podemos atestar que elas no existem.

Tabela 1. Resultado da Avaliao Heurstica

Nmero da Nvel de Quantidade
Heurstica
Heurstica Severidade de Problemas
H1 Visibilidade do estado do sistema 3 2
Equivalncia entre o sistema e o
H2 -- --
mundo real
H3 Controle e liberdade do usurio -- --
H4 Consistncia e Padronizao 2 2
H5 Preveno de erros -- --
Reconhecimento em vez de
H6 3 1
memorizao

H7 Flexibilidade e eficincia de uso 4 1

H8 Esttica e design minimalista 3 2

Ajudar os usurios a reconhecer,
H9 4 6
diagnosticar e recuperar aes erradas
H10 Ajuda e Documentao 3 3
Total: 17

6. Consideraes finais
Este trabalho apresentou a avaliao da interao de uma rede virtual sociopedaggica.
Avaliaes de interao so relevantes no contexto de projeto e uso de software, uma
vez que a qualidade da interao influencia os processos de ensino e de aprendizagem
mediatizados por tecnologias. Buscando identificar problemas de usabilidade, utilizou-
se o mtodo Avaliao Heurstica (AH) proposto por Nielsen. Nesse mtodo as
heursticas possuem sinergia com as heursticas de ensino e aprendizagem.

Foi possvel concluir que o TecCiencia apresenta problemas de usabilidade.

Encontrou-se 17 violaes de heursticas, sendo a heurstica Ajudar os usurios a
reconhecer, diagnosticar e recuperar aes erradas (H9) a mais recorrente. A avaliao
por meio da AH permitiu identificar problemas de usabilidade que podem afetar o
ensino e/ou a aprendizagem mediatizada pelo TecCiencia.
 Ficou claro a necessidade do redesign da interao do TecCiencia. Visando a
continuidade da pesquisa, em trabalhos futuros pretende-se avaliar a interao do
TecCiencia sob a categoria comunicabilidade. A comunicabilidade uma metodologia
de IHC, definida no mbito da Engenharia Semitica, que tem por natureza analisar o
processo de significao (semiose) no contexto de uso social e cultural (BARBOSA e
SILVA, 2010), elementos importantes em um software educacional.

Referncias
Abdalla, D., Schwarzelmller, A. e Lima, A. (2012). Projeto Educandow:
experimentando uso de rede social como apoio ao ensino fundamental. In Simpsio
Brasileiro de Informtica na Educao.
Abreu, J., Claudeivan, L., Veloso, F. e Gomes, A. S. (2011). Anlise das Prticas de
Colaborao e Comunicao: Estudo de Caso utilizando a Rede Social Educativa Redu.
In XXII SBIE - XVII WIE.
Barbosa, S. D. J. e Silva, B. S. (2010). Interaao Humano-Computador. Rio de Janeiro:
Elsevier.
ComScore (2014). Brasil digital future in focus 2014. Acesso em: 12/nov/2014.
Disponvel em: www.comscore.com/por/Insights/Presentations-and-
Whitepapers/2014/2014-Brazil-Digital-Future-in-Focus-Webinar.
Coelho, O. e Santoro, D. (2002). A Sinergia entre as Heursticas de Usabilidade de
Software e as Heursticas de Ensino-Aprendizagem do ponto de vista da Educao
Distncia Mediada pela Web. In Simpsio Brasileiro de Informtica na Educao.
Franciscato, F. T., Ribeiro, P. da S., Mozzaquatro, P. M. e Medina, R. D. (2008).
Avaliao dos Ambientes Virtuais de Aprendizagem Moodle, TelEduc e Tidia - Ae: um
estudo comparativo. Novas Tecnologias na Educao, v. 6.
Junior, O. D. O. B. e Paola, Y. (2014). Anlise de Abordagens Objetivas para Avaliao
de Softwares Educativos. In Simpsio Brasileiro sobre Fatores Humanos em Sistemas
Computacionais.
Junqueira, E., Darin, T. e Oliveira, S. De (2013). Rede Social Virtual para Aprimorar a
Aprendizagem: Processo de Desenvolvimento do site Aprender em Rede. In Nuevas
Ideas en Informtica Educativa TISE.
Lima, A., Schwarzelmuller, A. F. e Abdalla, D. (2012). Uma Persperctiva Didatico-
Pedaggica Atravs da Rede Social para Educaao TecCincia. In II Congresso
Internacional TIC e Educao ticEDUCA2012.
Matos, E. S. (2013). Dialtica da Interao Humano-Computador: tratamento didtico
do dilogo midiatizado. Tese (Doutorado)- Faculdade de Educao, Universidade de
So Paulo (USP), So Paulo.
Melo Filho, I. J., Carvalho, R. S., Gomes, A. S., et al. (2014). Anlise comparativa da
Usabilidade dos Ambientes de Gesto da Aprendizagem Amadeus e Moodle. Revista
Brasileira de Informtica na Educao, v. 22, n. 01, p. 107120.
Nielsen, J. (1994). Usability engineering. Boston, MA: Academic Fress.
Santa Rosa, Jos G. e Moraes, Anamaria de (2012). Avaliao e projeto de design de
interfaces. Terespolis, RJ: 2AB.
Santos, G. A. dos. e Schneider, H. N. (2010). Avaliao de Usabilidade de Ambientes
Virtuais de Aprendizagem. In 3o Simpsio Hipertexto e Tecnologias na Educaao.