Avaliao de jogos educacionais digitais baseada em

Perspectivas
Uma experincia atravs do J ogo-simulador Kimera
J osemeire Dias, Inai Brando
Departamento de Educao
Universidade do Estado da Bahia - UNEB
Salvador, Brasil
josemeiredias@gmail.com, inaiabrandao18@gmail.com
Fabiana Nascimento, Tnia Hetkowski, Tnia Pereira
Departamento de Educao
Universidade do Estado da Bahia - UNEB
Salvador, Brasil
fabi30_nascimento@hotmail.com, hetk@uol.com.br


Resumo Este artigo apresenta um Modelo de Avaliao de
jogos educacionais digitais baseado em "Perspectivas". A
proposta inspirada na tcnica de leitura de software PBR
(Perspective Based Reading - Leitura Baseada em Perspectivas),
desenvolvida por [1] aqui adaptada para o ambiente dos jogos
educacionais digitais. Neste modelo, os avaliadores assumem
diferentes perspectivas com o intuito de melhor avaliar o jogo
educacional e entende-se que com a ateno focada para uma
determinada rea, produz-se resultados mais consistentes. O
modelo apresenta o enquadramento de quatro perspectivas: a)
Especialista na rea cujo conhecimento pedaggico se insere; b)
Sujeitos para os quais o jogo desenvolvido; c) Especialista em
Jogos (tem experincia e joga) e d) Empreendedor na rea de
jogos comerciais. Um cenrio de avaliao apresentado e os
critrios de avaliao distribudos para as perspectivas de
avaliao. O modelo pode ser aplicado em jogos que se
encontram em desenvolvimento ou j finalizados.
Palavras-chaves Avaliao de jogos baseada em
Perspectivas, Avaliao de Jogos Digitais Educacionais,
Qualidade dos jogos educacionais.
I. INTRODUO
O uso de jogos no contexto escolar j no mais uma
novidade, apesar de no fazer parte da realidade de muitas
escolas, principalmente das escolas pblicas, porm algo que
tem chamado a ateno de profissionais, para uso nas suas
prticas, no s na rea educacional, mas tambm de outras
como computao, pedagogia, design, fisioterapia e psicologia.
O grande desafio que se tem transformar os jogos em objetos
de aprendizagem, tornando-os um grande aliado na transmisso
dos conhecimentos inerentes ao currculo. Transformar as
inmeras horas da criana ou do adolescente frente do
computador em valiosas horas de estudo e ao mesmo tempo de
diverso, o sonho de muitos pais e tambm de educadores.
Vale sempre repetir o que nos diz [2]: no se trata de
transformar as salas de aula em lan houses, mas buscarmos
alternativas que proporcionem um aprendizado mais prazeroso
ao aluno e, neste contexto, se encaixam os jogos digitais, mais
especificamente os jogos digitais educacionais, porm o jogo
educacional encontra a barreira da falta de aceitao por ser
considerado na maioria das vezes como um "jogo chato", uma
ideia que encontra ressonncia nos escritos de [3], quando
destaca que vrios jogos educacionais produzidos at a data so
muito chatos quando comparados aos jogos comerciais. neste
contexto, de crena na insero do jogo no ambiente escolar,
ocasionado por trabalhos anteriores de desmistificao dos
jogos quando relacionados com a violncia, a exemplo
novamente do trabalho realizado por [2], e no desejo de maior
aceitao e aproveitamento dos jogos, que surgem trabalhos
focados na avaliao destes produtos, buscando cada vez mais
a sua aceitao no ambiente escolar por professores e alunos,
para os quais o jogo desenvolvido. Apesar de existirem
algumas tentativas de processos avaliativos e criao de
critrios, como os propostos por [4], ainda muito baixo o
nmero de trabalhos com foco na avaliao de jogos, o que nos
motiva criao de um modelo que tem como inspirao a
avaliao baseada em perspectivas dos usurios, uma ideia que
tem origem na tcnica de leitura de software baseada em
perspectivas, que j foi testada atravs de experimentos e que
aqui adaptamos para o universo dos jogos educacionais.
II. AVALIAO DE J OGOS EDUCACIONAIS
Neste projeto, so considerados jogos educacionais, aqueles
que possuem uma proposta pedaggica inserida no seu
contedo, vale a pena trazer esta distino, uma vez que
qualquer jogo pode ser trabalhado em uma proposta
educacional. Durante todo o percurso de elaborao do modelo
de avaliao baseado em perspectivas, adotamos o processo de
desenvolvimento do jogo-simulador Kimera, um jogo-
simulador voltado para o ensino de cartografia, desenvolvido
de forma colaborativa pelo Grupo de Pesquisa em
Geotecnologias e Contemporaneidade - GEOTEC, da
Universidade do Estado da Bahia. O jogo tem como pblico-
alvo alunos da rede pblica de ensino, que cursam a 5 srie do
ensino fundamental e possuem idades de 10 a 14 anos. O lcus
escolhido para estudo, foi a Escola lvaro da Franca Rocha,
localizada no bairro da Engomadeira, na cidade de Salvador,
Bahia. A Escola lvaro da Franca Rocha, uma instituio da
Rede Municipal de Salvador que atende a um pblico
composto por crianas, adolescentes e adultos, do 1 ao 5 anos
e tambm ao SEJ A (Segmento de Educao de J ovens e
Adultos). Trata-se de uma escola, cuja proposta de ensino se
baseia na Pedagogia de Projetos, numa perspectiva de
construo do conhecimento e no que consideramos
fundamental para a relao do grupo de pesquisa e a escola,
que a participao da comunidade nas atividades educativas
dos alunos.
Uma viso mais completa sobre o projeto do jogo-
simulador Kimera pode ser encontrada em [5],[6] e [7].
A avaliao de um jogo educacional tem como objetivo
avaliar o seu funcionamento, o seu efeito junto ao usurio,
identificar possveis problemas e tambm alcanar algum
objetivo de avaliao que pode estar relacionado a
determinados critrios especficos para o jogo. Uma outra
definio tambm adequada para o universo de jogos, pode ser
vista em [8], na qual a avaliao orienta o avaliador a fazer um
julgamento de valor sobre a qualidade do produto em uso e
identificar problemas que prejudiquem a experincia do
usurio durante a interao com o produto. Apesar de
existirem propostas para avaliao de jogos, como a de [9] e
outros sistemas interativos, como Avaliao Heurstica [10],
Avaliao de Consistncia [11], Percurso Cognitivo [11], entre
outros, por ser a avaliao algo complexo, muitos
desenvolvedores realizam apenas validaes
1
ou verificaes
para se certificarem que o produto atende s especificaes e
necessidades dos usurios, sem efetivamente envolver os
sujeitos para os quais o jogo desenvolvido e isso visto por
questes como o custo do envolvimento dos sujeitos e tambm
da criao de um processo de avaliao, que na maioria das
vezes demanda tempo, infraestrutura e recursos para realizao,
pontos que desencorajam a elaborao de um processo de
avaliao que saia das bases de desenvolvimento do jogo.
O desenvolvimento de uma metodologia ou modelo de
avaliao de jogos algo complexo e desafiador, como ressalta
[12], para eles, existem trs grandes desafios para se realizar a
avaliao de jogos educacionais, que so: os critrios de
avaliao, os avaliadores e o processo de avaliao. Destes trs
talvez o processo de avaliao seja o mais difcil, por enfrentar,
como dito anteriormente, a resistncia de profissionais que em
muitos casos desejam apenas finalizar mais uma atividade, sem
se preocupar com as influncias que este trabalho ir gerar
para o seu pblico-alvo.
No caso de um software para produo, duas avaliaes
bsicas poderiam ser realizadas para a sua melhoria, a
avaliao de usabilidade e a avaliao de funcionalidade,
porm no caso do jogo necessrio atentar para um outro
elemento que a jogabilidade. De forma simplificada [13],
definem o significado de usabilidade e jogabilidade em um
jogo da seguinte forma: Um jogo trata de levar um mundo de
um estado A para um estado B, ento a usabilidade do jogo
trata de no existirem desafios no relacionados com o jogo em
ir de A para B, para que o jogador se divirta. No caso da
jogabilidade necessrio que se v de A para B com os
desafios propostos pelo jogo e se divertindo nesta jornada.

1
Validao: Deseja-se saber se est construindo o produto certo para
um determinado universo. Ele adequado aos requisitos do cliente?
Verificao: Deseja-se saber se o produto est sendo construdo de
forma certa. As funes so implementadas de forma correta?

Muitos desenvolvedores no levam em considerao o

processo de avaliao, pois alegam, alm das dificuldades
descritas anteriormente, que o jogo possui especificidades que
no podem ser medidas e neste sentido encontram apoio em
autores como [14], que fala da experincia de jogar como uma
experincia imaginria, uma vez que a mesma vivida por
outra pessoa e por isso no pode ser compartilhada, o autor
destaca que o jogo real, o jogador real, mas a experincia
imaginria, ela pertence ao jogador, o que se passa no
momento do jogo, no poderemos saber. este aspecto do jogo
que parece colocar em dvida as abordagens metodolgicas
que se apresentam com o propsito de avaliar os jogos e
apresentar critrios de avaliao a serem observados e
medidos, mas este aspecto pode ser repensado para que uma
outra realidade em relao ao jogo educacional seja
apresentada, o que nos faz lembrar Paulo Freire, quando em
sua ltima entrevista, ressalta que, nenhuma realidade deve ser
aceita como uma realidade que " assim mesmo", sem
possibilidades de mudana. Toda realidade est ai submetida
possibilidade de interveno, possibilidade da elaborao de
mudanas[15]. E isso, vimos acontecer no universo Web, onde
uma cultura de utilizao de ambientes informatizados passa a
fazer parte do cotidiano das pessoas e o apelo por ambientes
com foco na usabilidade faz crescer a necessidade de avaliao
de produtos e critrios como os observados e propostos por
[10], esses critrios passam a ser utilizados por diversas reas,
de forma intuitiva, quando nem mesmo se sabe que esto
fazendo algum tipo de avaliao, so frase, como: "Este
sistema no tem nenhuma compatibilidade com o mundo real"
ou "Esse sistema no apresenta um Feedback" e tantas outras
que passam a se popularizar e so faladas de forma natural.
Tambm se espera que as avaliaes de jogos cheguem em
um estgio intuitivo, visvel e clara, que as avaliaes no
sofram boicotes, j que seu foco a melhoria do produto, assim
como no mundo Web. Talvez um modelo de avaliao de jogos
educacionais digitais no seja a soluo para o problema, mas
certamente ser uma referncia em relao valorizao do
jogo e a sua insero no ambiente escolar, um esforo que deve
ser continuado e sempre melhorado.
Para avaliar um jogo conveniente seguir um fluxo de
avaliao que vai desde a codificao do jogo, passando pela
avaliao de funcionalidade, usabilidade e a avaliao
especfica para o jogo, como sugere a Figura 1.
Na figura 1, a lateral esquerda apresenta o fluxo bsico de
avaliao e na lateral direita exemplos de atividades que so
realizadas nestas etapas. As atividades que so realizadas vai
depender do foco da avaliao.
A avaliao de funcionalidade - refere-se a um conjunto de
funes que satisfaam as necessidades dos usurios, sejam
elas implcitas ou explcitas. Um pergunta bsica para medir a
funcionalidade de um software : O software faz aquilo que se
prope fazer, para o qual foi desenvolvido?. No caso do jogo
digital, a pergunta estaria relacionada com as narrativas do
prprio jogo, podemos perguntar por exemplo: o jogador
recebe o bnus ao completar o minigame 01?, ao pressionar um
boto o usurio levado ao que o boto se prope?
A avaliao de usabilidade - est relacionada com o
esforo feito pelo usurio para operar o software e uma
pergunta bsica para entender a usabilidade seria: fcil
aprender a usar o sistema?; No caso do jogo digital: fcil
entrar no mundo do jogo?, fcil jogar?, esta ltima no quer
dizer que o jogo seja fcil, pois tal facilidade pode desmotivar
o jogador, fazendo com que ele no queira mais jogar;
A usabilidade pode ser definida, segundo a norma [16],
como a medida na qual um produto pode ser usado por
usurios especficos para alcanar objetivos especficos com
eficcia, eficincia e satisfao em um determinado contexto de
uso. A norma ainda, para melhor compreenso, define eficcia
como a acurcia e completude com a qual os usurios alcanam
os seus objetivos e, a eficincia definida como os recursos
gastos em relao a acurcia e abrangncia com as quais os
usurios atingem objetivos. A norma [16], enumera diversas
propriedades desejveis no produto para que este atinja um
elevado grau de usabilidade e neste sentindo [10], tambm
destaca que a usabilidade de um sistema est normalmente
associada a um dos cinco atributos seguintes:
Facilidade de aprendizado (learnability): o sistema deve
ser fcil de aprender, proporcionando ao usurio um
rpido aprendizado e permitindo que logo de incio ele
j consiga realizar algum tipo de atividade;
Eficincia: Deve possuir uma percentagem de tarefas
concludas com sucesso na primeira tentativa;
Facilidade de relembrar (memorability): o sistema deve
ser fcil de relembrar e no fazer com que o usurio
tenha que reaprender;
Baixa taxa de erros: caso o usurio execute alguma
tarefa indesejada ele deve poder recuperar o seu
trabalho sem maiores problemas e erros catastrficos a
ponto do usurio ter o seu trabalho perdido no devem
ocorrer;
Satisfao de uso: o sistema deve ser prazeroso. O
usurio deve gostar de usar o sistema.
A avaliao especfica do Jogo - esta avaliao possui foco
nas caractersticas especficas do produto, no caso do jogo, da
sua rea de insero, como no caso do jogo-simulador Kimera,
um jogo na rea de ensino de cartografia, o que traduz que
deveremos ter avaliadores com domnio nesta rea, como
gegrafos ou licenciados em geografia.
O modelo proposto, possui foco nesta avaliao especfica,
na busca do que podemos chamar de problemas no jogo, mas
no descarta problemas que podem ser encontrados em outras
fases, que no tenham sido detectadas anteriormente, a
principal questo aqui observada a de que se levarmos um
jogo para avaliao especfica, sem antes pass-lo por
avaliaes consideradas bsicas para um produto de software,
como a avaliao de funcionalidade e avaliao de usabilidade,
estaremos perdendo bastante tempo e de certa forma
inviabilizando a avaliao j que boa parte do tempo ser gasta
com descoberta de problemas considerados simples, que
deveriam ou poderiam ser detectados nestas duas avaliaes.
A importncia das inseres de avaliaes no processo de
construo de um jogo, faz com que a gravidade dos problemas
encontrados seja diminuda a cada avaliao, como traduz a
figura 2, salientando que a avaliao especfica para a rea do
jogo deve ser feita aps as avaliaes mais simples, como j
destacado anteriormente.


Fig. 1. Recomendao para o Fluxo de Avaliao

Fig. 2. Diminuio da complexidade dos problemas medida que
se realizamas avaliaes
O processo de avaliao requer, seja em um jogo ou em um
software de produo, um planejamento para que se possa
obter um resultado satisfatrio. Para [17], apoiado por outros
autores, os fatores determinantes de um plano de avaliao de
interfaces incluem os seguintes itens: estgio do design (incio,
meio, fim); quo inovador o projeto (se bem definido versus
exploratrio); nmero de usurios esperado; quo crtica a
interface (interface mdica ou uma interface de controle de vo
versus interface mais simples); custo do produto e oramento
alocado para teste; tempo disponvel para avaliao e
experincia dos designers e dos avaliadores
III. A AVALIAO BASEADA EM PERSPECTIVAS
As tcnicas de leituras de softwares surgiram para auxiliar
na deteco de defeitos que possam comprometer a qualidade
dos mesmos. O nome "leitura" foi dado, por se parecer com o
processo de entendimento quando se faz a leitura de um texto,
neste caso a leitura do software. A avaliao baseada em
perspectivas, foi pensada por [1] tendo como base a ideia de
que cada avaliador ir avaliar o produto sob um ponto de vista
diferente e que com a ateno focada na sua rea de domnio,
haver uma cobertura mais extensiva dos possveis problemas,
ou seja, a juno do encontrado em cada perspectiva ser maior
e mais importante do que a juno de vrias avaliaes que
contemplam todas as reas do produto. A tcnica de leitura
baseada em perspectivas foi testada em diversos experimentos
de avaliao de software, como em [18], porm no se tem
conhecimento sobre o seu uso na rea de jogos, principalmente
na rea de jogos educacionais, uma constatao que foi feita,
inclusive, com o prprio autor da tcnica[22]. Assim, por
vislumbrarmos a avaliao baseada em perspectivas como uma
das possibilidades para melhoria da qualidade do jogo
educacional, desenvolvemos um modelo, que emprega as bases
desta avaliao, com a ampliao e formatao para o universo
do jogo educacional digital.
IV. O MODELO DE AVALIAO
O modelo de avaliao aqui proposto tem como principal
objetivo a qualidade do jogo educacional digital, tendo como
foco a maior aceitao por parte dos sujeitos para os quais o
jogo desenvolvido, buscando cumprir dois grandes papeis
que so a apresentao do contedo pedaggico e tambm a
diverso no percurso de apresentao deste contedo. Trata-se
de um modelo que pode ser empregado durante o
desenvolvimento do jogo e tambm aps a concluso do jogo,
tornando-o um modelo bastante flexvel, podendo ter as suas
perspectivas alteradas de acordo com as especificidades do
jogo que se deseja avaliar.
A. As perspectivas propostas para o modelo
As perspectivas propostas para avaliao traduzem
diferentes conhecimentos, no caso do jogo-simulador Kimera,
foram propostas quatro perspectivas que do cobertura a uma
vasta rea de atuao do jogo.
a) Especialista na rea cujo conhecimento pedaggico
se insere - No caso do jogo-simulador Kimera, existe
uma equipe de gegrafos que analisam as questes
pedaggicas voltadas para o ensino de cartografia, foco
do jogo. A anlise feita em relao ao processo de
aprendizagem do contedo selecionado, observando se
a forma de apresentao contempla o referencial
solicitado pelo currculo, bem como a sua forma de
apresentao e de constatao da transmisso do
conhecimento. Esta perspectiva pode ser variada a
depender do contedo pedaggico do jogo;
b) Sujeitos para os quais o jogo desenvolvido - O
envolvimento dos sujeitos durante o desenvolvimento
do jogo sempre uma tarefa complexa e dispendiosa, o
que desencoraja os desenvolvedores, mas trata-se de
uma estratgia geradora de pistas que agregam
pensamentos e dvidas sobre qualquer projeto. No caso
do Kimera, o pblico-alvo composto por alunos da
Rede Pblica de ensino, que cursam a 5 srie do ensino
fundamental e possuem idade entre 10 e 14 anos. Uma
turma da 5 srie da Escola Municipal lvaro da Franca
Rocha tem acompanhado o desenvolvimento do jogo,
recebendo quinzenalmente itens desenvolvidos para
serem avaliados, dando um feedback para as equipes de
desenvolvimento do projeto. A metodologia de
abordagem, destes sujeitos, no caso do jogo em
desenvolvimento, ser descrita no item:
"Recomendaes para uso do modelo em jogos que se
encontram em desenvolvimento";
c) Especialista em J ogos (tem experincia e gosta de
jogar) - O alfabetismo visual, como trazido por [10]: "o
que vemos uma parte fundamental do que sabemos, e
o alfabetismo visual pode nos ajudar a ver o que vemos
e a saber o que sabemos", esse trecho importante para
todas as reas de conhecimento, pois traduz de forma
rpida os seus significados sem um aumento da carga
cognitiva, assim tambm no mundo do jogo, onde
grias, cones, sons, entre outros itens so transformados
em mensagens visuais ou sonoras com significados
encontrados j conhecidos do pblico que interage com
o universo dos games. Trazer um usurio (gamer) de
fundamental importncia para um trnsito no jogo, uma
vivncia interativa, independente da rea, para deteco
do distanciamento que certas inseres icnicas podem
ocasionar e consequentemente afetar a jogabilidade do
produto;
d) Empreendedor na rea de Jogos Comerciais - muitos
dos jogos que abordam uma temtica curricular, tidos
como jogos educacionais, so desenvolvidos no
ambiente acadmico e apesar de serem desenvolvidos
por profissionais quase sempre de alto nvel, como
pesquisadores, mestres, doutores, alunos de iniciao
cientfica, que esto cursando graduaes importantes
para a rea de desenvolvimento de jogos, deixam passar
questes importantes que acabam distanciando o jogo
dos seus sujeitos, em muitos casos a forma como o
contedo pedaggico inserido no jogo, acaba
atrapalhando a jogabilidade e em outros o receio em
abordar questes polmicas, como nos jogos
comerciais, acabam fugindo do universo vivido em um
jogo e do que a criana ou adolescente espera encontrar.
O Empreendedor na rea de jogos comerciais entra com
o objetivo de avaliar o distanciamento que o jogo
educacional possui daquele que possui aceitao no
mercado comercial. literalmente uma viso comercial,
apesar de no estarmos assumindo a sua superioridade,
mas no podemos negar que precisamos observar o
diferencial destes jogos para podermos prover o jogo
educacional com um apelo que atraia o aluno para o seu
uso. O avaliador com esta perspectiva estar atento
apresentao da interface, mensagens, adequao ao
pblico-alvo, linguagem utilizada e a prpria
jogabilidade, analisando de que forma o contedo
pedaggico est ou no atrapalhando o jogo. Uma
cobertura sobre esta viso trazida por [20], ao
apresentar 7 princpios relacionados com o que os jogos
de entretenimento tm, que os jogos educativos no
tm. Dos princpios apresentados, um chama bastante a
ateno que o relacionado com o contedo
pedaggico: o contedo deve fazer parte da estrutura do
jogo em prol da diverso, mas o que ocorre na maioria
dos jogos educacionais que estes contedos esto
prejudicando a jogabilidade, exatamente por serem
inseridos no jogo ao invs de fazerem parte da sua
estrutura.
V. COMO UTILIZAR O MODELO EM UM PROCESSO DE
AVALIAO
O modelo, como foi dito anteriormente baseado em
perspectivas, utilizando-se quatro perspectivas, onde ao invs
do avaliador buscar por todo tipo de problema ao mesmo
tempo, como na avaliao heurstica [11], ele foca em um
determinado subgrupo de questionamentos cobertos pela
perspectiva que ele assume durante a avaliao. Cada
perspectiva fornece ao avaliador, uma lista de perguntas para
avaliao e um procedimento para conduo da avaliao. O
modelo tido como instituinte uma vez que parte de perguntas
bsicas enquadradas nas perspectivas, adequadas aos objetivos
da avaliao, e que so complementadas atravs da experincia
do avaliador na sua perspectiva de domnio, gerando pistas que
podem ser formatadas para usos em outras avaliaes de jogos
similares e aumentando a qualidade da avaliao em execuo.
O modelo pode ser utilizado em jogos j finalizados e
tambm em jogos que se encontram em desenvolvimento, no
caso do uso em um jogo j finalizado, subtende-se que muitos
dos problemas encontrados s sero corrigidos em uma outra
verso, pois muito do que se descobre se torna invivel para
correo em um projeto j finalizado. A seguir indicaremos
formas de utilizao do modelo, para jogos finalizados e para
jogos que se encontram em desenvolvimento ou se pretende
desenvolver.
A. Recomendao de uso do Modelo para jogos j finalizados
No caso de um jogo j finalizado, a avaliao se torna mais
simples, mas recomenda-se fortemente que o fluxo de
avaliao seja seguido, como foi mostrado na figura 1,
evitando a perda de tempo. O modelo para o jogos j
finalizados segue o fluxo apresentado na figura 3, sendo assim,
o jogo precisa ter passado pelas avaliaes de funcionalidade e
de usabilidade para ento ser submetido avaliao especfica,
seguindo o modelo baseado em perspectivas.
B. Descrio das etapas do modelo
O jogo codificado e uma verso liberada para
avaliao, neste caso estamos abstrando toda a
complexidade da codificao do jogo, um processo que
contempla, inclusive os objetivos da avaliao que ser
realizada;
A avaliao de funcionalidade realizada e as correes
analisadas e corrigidas;
A avaliao de usabilidade realizada e as correes
analisadas podendo ou no ser corrigidas;
O jogo segue para a avaliao especfica, que ser
baseada em perspectivas;
A equipe de avaliao alocada nas perspectivas de
acordo com os seus domnios, neste caso um fomulrio
pode ser utilizado, caso no se conhea a equipe, com
perguntas que tenham o objetivo de detectar a rea de
conhecimento para enquadrar o avaliador;
Os avaliadores so treinados para fazerem a avaliao.
Este treinamento serve para apresentar os objetivos da
avaliao, os formulrios a serem preenchidos,
formataes e o cenrio que cada um ir receber.

Fig. 3. Fluxo de Aplicao da avaliao baseada emPerspectivas

Cada avaliador recebe um cenrio de avaliao, um
cenrio de avaliao um roteiro que direciona o
avaliador a se situar no processo de avaliao, ele
possui pistas iniciais para avaliao de cada rea, com
perguntas bsicas que se enquadram na perspectiva e
tabelas para relatos das gravidade e abrangncia dos
problemas;
A avaliao realizada e os resultados enviados para
anlise por parte da equipe de desenvolvimento.
O modelo baseado em perspectivas, como exposto neste
trabalho, bem flexvel e pode ser realizado com perguntas
iniciais para cada perspectiva, mas tambm podem ser
utilizados critrios j consagrados na literatura, como as 10
heursticas de [10], os princpios de design trazidos por [21] e
tambm as recomendaes de [13], alm dos critrios
apresentados no trabalho de [4], que nos traz indicadores de
vrios autores que podem ser aproveitados a depender do
contexto do jogo em anlise. O conhecimento destes critrios,
principalmente os de Nielsen e os de Norman, so bastante
importantes, pois eles j so consagrados na rea de avaliao,
podendo ser decompostos ou combinados para a composio
das perspectivas.
C. Recomendaes para uso do modelo em jogos que se
encontram em desenvolvimento
O princpio de utilizao do modelo em jogos que se
encontram em desenvolvimento, deve ser o mesmo, no que
tange o enquadramento dos avaliadores nas perspectivas de
avaliao, o grande diferencial e talvez a parte mais complexa
seja o envolvimento dos sujeitos para os quais o jogo
desenvolvido, j que no se possui uma verso beta para
avaliao. O que levar para o pblico-alvo?. Neste contexto, do
jogo em desenvolvimento, os sujeitos precisam ser inseridos
atravs de outros recursos, no caso do jogo-simulador Kimera,
uma srie de oficinas foram elaboradas, a exemplo da oficina
de Criao de Roteiro, Criao de Personagens, entre outras
que ainda esto acontecendo, cujo principal objetivo colher
informaes para serem inseridas no jogo. No jogo-simulador
Kimera os alunos foram envolvidos desde a ideia inicial
colaborando inclusive com a escolha do nome do jogo.
Atualmente estamos com oficinas que contemplam a
identificao e reconhecimento das construes do mundo
desenvolvido para o jogo. Apresentamos, a seguir, um breve
relato de experincia envolvendo os alunos na construo do
jogo.
D. Relatos de experincia
1) Reconhecimento das construes do jogo
A equipe de design, responsvel pela criao dos cones,
personagens e construes, a serem inseridas no jogo,
desenvolveu uma srie de imagens, que devem existir em uma
cidade, a exemplo de construes relacionadas com sade,
educao, infraestrutura e segurana. Antes mesmo de decidir
por uma determinada construo, uma oficina de desenho foi
realizada com o objetivo de captar o pensamento do aluno - a
opinio do aluno em relao ao que deve existir em uma cidade
e tambm o que ele desejaria que existisse, e nesse caso entram
elementos fantasiosos e imaginrios, contemplando a trade do
argumento do jogo-simulador:
Hibridismo: mistura de diferentes elementos, coisas,
objetos, palavras, lnguas, modos ou formas;
Imaginao: processo humano-criativo, que potencializa
a capacidade mental de relacionar, criar, inventar,
representar ou (re)construir imagens;
Desejo: aspiraes humanas para preencher os
sentimentos de falta ou de incompletude. Possibilidades
de representar um querer, vontades, ambies,
pretenses e/ou propsitos.
O nosso questionamento est relacionado com a
identificao destas construes por parte dos alunos da 5
srie, como eles identificam estas construes j que o jogo lhe
solicitar atividades que esto relacionadas com este
reconhecimento. Para testar os cones, levamos escola, aos
alunos, uma apresentao contendo construes feitas para o
jogo e exemplos reais. Cada construo foi apresentada aos
alunos pedindo que eles identificassem a construo, como na
figura 4, que mostra uma igreja. Para esta construo, todos os
alunos conseguiram fazer a identificao, pois ela se assemelha
bastante s construes encontradas na cidade relacionadas
com igrejas.










Todas as construes do jogo foram apresentadas aos
alunos e apenas trs delas no foram identificadas, a
termoeltrica, a biblioteca e a loja, as figuras a seguir, 6, 7 e 8,
mostram estas construes originais. Os resultados obtidos
retornam para que a equipe de design faa as alteraes, sendo
avaliadas, modificadas a depender do solicitado e em seguida
enviadas para nova avaliao pelos alunos. Especificamente em

Fig. 5. Construo comparada com uma existente (Igreja do
Senhor do Bomfim- Salvador/Bahia)

Fig. 4. Construo apresentada para reconhecimento - todos
acertaram
relao a essas construes, entendemos que a construo loja,
deve fortemente ser redesenhada, mas encontramos
dificuldades para a apresentao da termoeltrica e tambm da
biblioteca, por no termos este alfabetismo, no sabermos
como desenvolver uma construo que represente uma
biblioteca, j que a viso que se tem quase sempre de um
ambiente interno representado por estantes, j a termoeltrica a
dificuldade tambm est por se tratar de uma construo
distante da maioria das pessoas.

As construes no identificadas pelos alunos encontram-se
em nova anlise de similares, para apresentao de uma outra
proposta aos alunos e por isso no foram mostradas.
A tabela a seguir contempla algumas das atividades que
foram realizadas para envolvimento dos alunos:
TABELA 1 ATIVIDADE ENVOLVENDO O PBLICO-ALVO
DESCRIO DAS ATIVIDADES DATAS
Oficina de J ogos: Primeiro contato com os
jogos (jogos digitais e analgicos), atravs da
insero dos alunos no mundo dos jogos e nas
suas diferentes formas.
07/05/2013
Oficina de Roteiro: Apresentao do Roteiro do
jogo simulador Kimera atravs da narrativa
dinmica da histria, representando a mesma
por meio da criao imagtica.
21/05/2013
Oficina de Personagens: Apresentao dos
personagens do jogo a partir da exposio das
histrias dos mesmos. Produo dos
personagens a partir de diferentes recursos.
04/06/2013
Oficina de Criao dos cones do J ogo-
simulador: Pensando a cidade e sua
organizao. Apresentao dos cones do
Kimera e construo de uma maquete
(representao) do jogo - simular Kimera.
18/06/2013
Oficina de Percepo Musical 1: Apresentao
da trilha sonora do jogo-simulador, atravs de
atividades que agucem a percepo atravs da
escuta musical.
09/07/2013
Oficina de Percepo Musical 2: Apresentao
da trilha sonora do jogo-simulador, atravs de
atividades que agucem a percepo atravs do
canto.
23/07/2013

VI. VISO GERAL DE UTILIZAO DO MODELO DE
AVALIAO
A figura 9, apresenta de forma esquemtica o fluxo de
utilizao do modelo de avaliao de jogos educacionais
digitais baseado em perspectivas, que foi proposto neste
trabalho.
VII. CONCLUSO
Este trabalho apresentou um modelo de avaliao de jogos
educacionais digitais baseado em quatro perspectivas de
avaliao: a perspectiva do Especialista na rea cujo
conhecimento pedaggico se insere, Sujeitos para os quais o
jogo desenvolvido, Especialista em J ogos (tem experincia e
joga) e a perspectiva do Empreendedor na rea de jogos
Comerciais. Acredita-se que ao se ter a ateno focada na rea
que se tem domnio possvel se fazer uma avaliao mais
criteriosa, se aproximando dos objetivos propostos pela
avaliao.

Fig. 8. Termoeltrica - alunos no conseguiramidentificar

Fig. 6. Biblioteca - alunos no conseguiramidentificar


Fig. 7. Loja - alunos no conseguiramidentificar
Alm do modelo proposto apresentamos tambm uma
recomendao de fluxo de avaliao, que deve conter
avaliaes bsicas de funcionalidade e usabilidade, antes da
avaliao especfica para o jogo em anlise e evitando
eventuais perdas de tempo com problemas que poderiam ser
detectados em avaliaes mais simples e baratas. Tambm
apresentamos o fluxo de utilizao do modelo para jogos que j
foram finalizados e jogos que se encontram em
desenvolvimento.
O modelo de avaliao j est sendo testado com o jogo-
simulador Kimera, que encontra-se em desenvolvimento, mas
como trabalhos futuros, pretendemos testar o modelo com
outros jogos e tambm com o jogo Kimera aps a sua
finalizao. Alm disso pretende-se testar o modelo atravs de
uma comparao com outros modelos de avaliao.
REFERNCIAS
[1] F. Shull, I. RUS, V.BASILI. How Perspective-Based Reading Can
Improve Requirements Inspections, IEEE Computer, Vol. 33, No. 7,
J uly 2000.
[2] L. Alves. Game Over. J ogos eletrnicos e violncia. So Paulo: Futura,
2005.
[3] J . Mattar. Games emEducao. Como os Nativos Digitais aprendem.
So Paulo: Pearson Prentice Hall, 2009.
[4] R. Savil, C. Von wangenhei, V. ULBRICHT, T. VANZIN. Proposta de
um Modelo de Avaliao de J ogos Educacionais. Revista Novas
Tecnologias na Educao. ISSN 1679-19162010. 2010. Disponvel em
<http://seer.ufrgs.br/renote/article/view/18043>Acesso emjul 2013.
[5] I. Brandao, T. Pereira, F. Nascimento, T. Hetkowski, G. Andrade.
Cenrios possveis para a aprendizagem do Espao. Encontro sobre
jogos e Mobile Learning. Coimbra. 2012. Disponvel em:
<http://www.fpce.uc.pt/encontro.jml/>Acesso em: jul 2013
[6] B. Silva, T. Hetkowski, G. Andrade, J . Dias. KIMERA Cidades
Imaginrias - desenvolvimento de umjogo simulador. Encontro sobre
jogos e Mobile Learning. Coimbra. 2012. Disponvel em:
<http://www.fpce.uc.pt/encontro.jml/>Acesso em: jul 2013
[7] J . Dias, G. Andrade, A. Silva, T. Hetkowski. A Gnese hbrida de um
Design: O Caso do J ogo/Simulador Kimera - Cidades Imaginrias. XI
Simpsio Brasileiro de Games e Entretenimento Digital SBGames.
Braslia. 2012
[8] E. Furtado. (Org.). Qualidade da Interao de Sistemas e novas
abordagens para a avaliao. So Paulo: Editora CRV. 2012
[9] M. Medeiros. Uma abordagem para avaliao de jogos educativos:
nfase no ensino fundamental. III Simpsio Nacional de Ensino de
Cincia e Tecnologia. 2012. Disponvel em:
<http://www.sinect.com.br/2012/selecionados.php>. Acesso emjul 2013
[10] J . Nielsen. Usability Engineering. Boston, MA: Academic Press. 1993.
[11] H. Rocha, C. Baranauskas. Design e avaliao de interfaces humano-
computador. Campinas, So Paulo: NIED UNICAMP, 2003.
[12] H. Mohamed, A. J aafar. Challenges in the evaluation of educational
computer games. Information Technology ITSim2010 - International
Symposium in (Vol. 1, pp. 1-6). Disponvel em:
<http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=5561
336>. Acesso em: 18 jul. 2013.
[13] W. Cybis, A. Betiol, R. Faust. Ergonomia e Usabilidade.
Conhecimentos, Mtodos e Aplicaes. So Paulo: NOVATEC. 2010.
[14] J . Schell. A arte do Game Design: O livro original. Rio de J aneiro:
Elsevier, 2011.
[15] P. Freire. ltima entrevista de Paulo Freire. Parte 1. 1997. Disponvel
em: <http://www.paulofreire.ce.ufpb.br/paulofreire/
Controle?op=detalhe&tipo=Video&id=622>. Acesso em: 20 jul. 2013
[16] ISO 9241 (2002), Requisitos Ergonmicos para Trabalho de Escritrios
comComputadores, Parte 11: Orientaes sobre Usabilidade, ISO 9241-
11, International Organization for Standardization.
[17] B. Shneiderman. Designing the User Interface - Strategies for Effective
Human-Computer Interaction, Addison-Wesley Pub Co, 1998;
[18] J . Dias. Utilizando Estudos observacionais para testar e aperfeioar um
pacote de laboratrio para avaliao de ferramentas de minerao visual
de dados. 2006. 163p. Dissertao(Mestrado em Redes de
Computadores), Universidade Salvador . Salvador. 2006.
[19] D. Dondis. A Sintaxe da LinguagemVisual, So Paulo: Martins Fontes,
1999.
[20] L. Costa. O que os jogos de entretenimento tmque os jogos educativos
no tm. 7 princpios para se projetar jogos educativos eficientes.
Editora PUC-Rio. Rio de J aneiro. 2010.
[21] D. Norman. O Design do Dia-a-dia. Rio de J aneiro: Rocco, 2006.
[22] F. Shull. Opinion in a Project - Perspective-Based Reading - Games
Evaluating. Mensagem pessoal. Mensagem recebida
por<josemeiredias@gmail.com>em23 de jun. 2011.






























Fig. 9. Modelo da avaliao de jogos educacionais baseada emperspectivas