Heuristicevaluationofvirtualrealityapplications

AlistairSutcliffe,BrianGault
1. Introduo:
Vrios estudos tm destacado problemas associados usabilidade em ambientes virtuais (Gabbard
and Hix, 1997), enquanto alguns demonstram a necessidade de conhecimentos dos mtodos de HCI
(Kaur et al., 1996). Outros estudos mostram que os estilos de interao dos ambiente virtuais so
radicalmente diferentes das interfaces de usurio padro (Bowman e Hodges, 1997; Poupyrev e
Ichikawa, 1999).
Em primeiro lugar, este artigo descreve as heursticas e o mtodo de avaliao, e depois de estudos
de caso que ilustram sua aplicao. Em seguida, h a avaliao do mtodo por vrios especialistas
para avaliar a utilidade do mtodo em si. O artigo concludo com uma discusso sobre futuras
pesquisas para avaliar ambientes virtuais.
2. Heursticas para a avaliao dos ambientes virtuais
Inspeo de usabilidade definida como "o nome genrico para um conjunto de mtodos baseados em
ter avaliadores inspecionar ou examinar aspectos relacionados com a usabilidade de uma interface de
usurio" (Nielsen e Molich, 1990). Mtodos baseados em inspeo podero usar orientaes ou
checklists como critrio para descobrir problemas de usabilidade (por exemplo, ISO, 1997, parte 16;
Ravden e Johnson, 1989). Os mtodos de avaliao heurstica so mais rpidos, pois utilizam um
nmero limitado de princpios.
As heursticas utilizadas nestes estudos so derivados de Nielsen (1994) e de um trabalho anterior
sobre os princpios de design (Sutcliffe e Kaur, 2000). Em uma breve explicao, elas so:
1. Natural: A Interao deve aproximar a expectativa do usurio de interao no mundo real, na
medida do possvel. Ao mesmo tempo, o usurio deve estar ciente de que a realidade virtual;
2. Compatvel com as tarefas e o domnio do usurio: deve corresponder, tanto quanto possvel
com a expectativa do usurio de objetos do mundo real, com o seu comportamento;
3. Expresso natural da ao: A representao do eu no ambiente virtual deve permitir ao
usurio agir e explorar de uma forma natural e no restringir aes fsicas normais. Esse
princpio ser limitado pelos dispositivos disponveis. Se a resposta ttil est ausente, expresso
natural inevitavelmente sofre;
4. A representao e o comportamento da representao do usurio no ambiente virtual deve
ser fiel s aes dele. O tempo de resposta entre o movimento do usurio e atualizao do
ambiente virtual de exibio deve ser inferior a 200 ms para evitar problemas enjo;
5. Feedback Realista: O efeito das aes do usurio em objetos do mundo virtual deve ser
imediatamente visvel e estar em conformidade com as leis da fsica e expectativas de percepo
do usurio.
6. Pontos de vista fiis: A representao visual do mundo virtual deve mapear a percepo
normal do usurio e a mudana ponto de vista pelo movimento da cabea deve ser processada
sem demora;

7. Suporte a navegao e orientao: Os usurios devem sempre ser capaz de achar onde eles
esto no ambiente virtual e voltar para locais conhecidos/posies predefinidas;
8. Entrada e sada claros: Os meios de entrar e sair de um ambiente virtual devem ser
claramente comunicados;
9. Partidas consistentes: Quando compromissos do projeto so usados, eles devem ser
consistentes e claramente marcados.
10. Suporte para a aprendizagem: Se necessrio, deve-se explicar e promover a aprendizagem
dos ambientes virtuais.
11. Troca de turno clara: O local onde o sistema iniciado deve ser claramente sinalizado.
12. Sensao de presena: A percepo que o usurio tem de estar em um mundo "real" deve
ser o mais natural possvel.

2.1. Mtodo de Avaliao

O mtodo utilizado neste artigo segue as recomendaes de Nielsen, com algumas diferenas. Os
avaliadores devem se familiarizar com o aplicativo. Em seguida, usar as heursticas para interpretar e
classificar os problemas. A avaliao heurstica depende do avaliador ser capaz de estabelecer um
conjunto de misses de representao. Como os ambientes virtuais so construdos para representar o
mundo real, as tarefas do usurio devem espelhar as aes do mundo real.
Uma vez que o avaliador diagnosticou os problemas, atribuindo-lhes a heurstica correspondente e
apresenta um projeto possvel, a fase final a classificao da gravidade dos erros por heurstica.
Indicaes da gravidade dos problemas so dadas, que vo desde o design pobre com um grave
impacto que provavelmente resultar em falha da tarefa para um problema menor, provavelmente,
curvel por treinamento. criado um ranking do nmero de erros atribudos a cada heurstica com o
julgamento do avaliador sobre a gravidade desses erros, em uma escala de quatro pontos:
1.Severa: O problema encontrado torna impossvel completar a tarefa com xito.
2.Irritante. O problema perturba a tarefa do usurio, mas a maioria dos usurios iria aprender
como superar o erro aps uma explicao, e alguns podem achar uma soluo alternativa com o
tempo.
3.Perturbador. O problema perturba as tarefas do usurio, mas a maioria dos usurios descobrir
como realiz-la em um prazo relativamente curto.
4. Inconveniente. O problema interrompe a tarefa do usurio, mas a maioria deles descobre
como resolv-lo.
3. Casos de Estudo
Dois casos de estudo foram utilizados para testar a eetividades do mtodo de heursticas no ambiente
virtual.
3.1. Avaliao da cena de um crime no ambiente virtual
A ambiente virtual da aplicao utilizada neste estudo foi totalmente imersivo. Representava um
ambiente 3D de uma cena de crime cometido em instalaes de garagem e foi desenvolvido pelo projeto
REVELAR na Universidade de Manchester (Hubbold et al., 1999). O usurio capaz de explorar
oambiente de uma garagem e, assim, reunir informaes sobre a cena do crime. Em vrios pontos

dentro do ambiente virtual, as fotos do ambiente real foram inseridos para ajudar na investigao da
cena do crime. A tarefa era localizar e entrar nas instalaoes da garagem em que o o crime tinha sido
cometido e o observar os detalhes que podem ser importantes para a acusao, por exemplo, vestgios
de sangue, janela aberta, objetos bagunados, etc. A tarefa envolveu o avaliador andando pelo ambiente
virtual vrias vezes, inspecionando detalhes na sala ao lado, junto garagem, e encontrando as
fotografias incorporadas no ambiente virtual.
3.1.1. Auditoria da tecnologia
Os controles do ambiente virtual foram inspecionados durante o perodo de familiarizao quando o
perito explorou o aplicativo para produzir a seguinte anlise da tecnologia:
1. Operao da presena do usurio. A presena do usurio era mnima, pois o movimento do
usurio e ponto de vista controlava toda a rea visualizada. O ponto de vista exgeno sem a
presena do utilizador foi suficiente para tarefas de navegao e de controle;
2. Retorno com vibrao. Uma vez que o aplicativo no requer manipulao de objetos, nenhum
feedback ttil era necessrio, apesar de que seria se os objetos do ambiente virtual fossem
movidos e investigados
3.Tcnicas interativas: O tamanho restrito do ambiente virtual e falta de objetos interativos
significava que instalaes interativas eram necessrias.
A maioria dos problemas encontrados foram causados por um suporte de navegao pobre e pela
limitao tecnolgica que causava atrasos na atualizao da exibio de grficos 3D quando havia
moventos que mudavam o ponto de vista no ambiente virtual.
3.2. Avaliao do ambiente virtual do jogo de xadrez
Na segunda avaliao foi utilizado um jogo de xadrez desenvolvido em um sistema totalmente imersiva
(Cruz-Neira et al., 1992, 1993), equipado com culos para dar aos usurios viso 3D, e luvas para a
manipulao. Foram apresentadas 12 peas de xadrez em um tabuleiro com fundo mnimalista (ver Fig.
2). As tarefas do usurio foram para mover as peas de xadrez a partir de um layout aleatrio para o
arranjo mostrado no display. O feedback ttil para seleo da pea foi substitudo por mudanas de cor.
A tarefa apresentada foi organizar as peas de xadrez inicialmente dispersas em um arranjo ordenado
com peas brancas e pretas colocadas nas posies iniciais corretas para uma partida de xadrez. Esta
foi inicialmente realizada pela interao com uma s mo e, em seguida, repetiu-se, passando peas de
mo em mo, para avaliar a manipulao mais complexa. As tarefas foram concludas em duas
condies diferentes: (i) aplicao do ambiente virtual com a presena da mo virtual; e (ii) aplicao do
ambiente virtual sem a presena da mo virtual. Quando a mo virtual no foi representada, era
necessrio que o usurio para inferisse a diferena entre o lado real e sua posio virtual no CAVE.
3.2.1. Anlise tecnolgica
Durate um perodo de aprendizagem, a operao do ambiete virtual foi investigada, resultando na
seguinte anlise:

1. Operao da presena do usurio. A presena do usurio era uma mo virtual; no entanto, ele no
mostrou quailquer efeitos dos movimentos de aperto de modo que este feedback visual foi limitado.
Apenas o polegar e o dedo reproduziram a operao de pina.
2. A falta de feedback hptico: Retorno com vibrao foi substitudo por mudanas de cor nas
peas de xadrez para indicar que eles eram selecionveis. As mudanas de cor foram
acionados por um algoritmo de deteco de coliso quando a mo virtual do usurio
estava perto da pea.
3. Tcnicas interativas: Os objetos interativos foram manipulados pela operao de
pitada e movido pelo brao/mo ou os movimentos do corpo. A posio da mo do
usurio e da cabea/corpo foram rastreados de forma independente por dispositivos
sonoros. O pequeno tamanho do ambiente virtual no requer nenhum suporte de
navegao.
4. Grficos realistas: O pedido teve uma representao muito escassa das peas de
xadrez e do ambiente mnimo
O ambiente virtual foi claramente limitado pela falta de feedback hptico para suporte interativo, por isso
aconteceram problemas de aderncia e manipulao.
Ocasionalmente houve um desvio da ateno devido efeitos de distoro dentro cantos do CAVE, mas
tais problemas so conhecidos de ambientes em forma forma de cubo e s pode ser resolvido por telas
de exibio CAVE. Renderizao de grficos e atrasos podem ser resolvidos por melhora do hardware ou
algoritmos de processamento mais rpidos. Quando a mo virtual apresetou problemas de percepo,
foram piores, pois a posio da mo virtual no espao grfico 3D no poderia ser mapeada diretamente a
mo real visvel do usurio. Problemas encontrados com o uso da luva de manipular objetos emanaram
uso de alteraes de cor que substituram o feedback hptico.
Em geral, este ambiente virtual recebeu uma avaliao razoavelmente favorvel, considerando as
limitaes tecnolgicas presentes.
4. Anlise com vrios avaliadores
O ambiente virtual utilizado neste estudo foi o mesmo que o do estudo de caso anterior; no entanto, o
designer considerou os resultados da avaliao das primeiras anlises e alterou algumas caractersticas.
Quando a pea foi colocada no tabuleiro, a local em que foi colocada mudou de cor, branco/azul ao
vermelho escuro. Quando o usurio lanou a pea, o local voltou sua cor original. Alm disso, uma
restrio de movimento foi introduzida para evitar partes de xadrez passassem atravs do tabuleiro.
Sete alunos de graduao (6 homens e 1 mulher), da UMIST, participaram do estudo. Todos estavam
cursando HCI avanada, desta forma, eles possuiam conhecimento de tcnicas de avaliao e
heursticas de Nielsen; no entanto, eles s tinham sido introduzidos as heursticas de ambientes virtuais
uma semana antes do experimento e no tinham conhecimento prvio ou familiaridade com ambientes
virtuais.
A tarefa que deveriam realizar era pegar, mover, passar, e substituir uma nica pea de xadrez no
tabuleiro. A lista inicial de problemas encontrados foram:
1. A percepo de profundidade dificultava a jogar em alguns lugares.

2. Problemas na fase de colocao e de manipulao da pea de xadrez.

3. Problemas observados ao passar pea de xadrez de mo em mo, ou seja, dificuldade
para ver a mudana de cor.
4. Atraso intermitente na renderizao de grficos.
5. Ausncia de feedback hptico
Os avaliadores tambm identificaram problemas com o ambiente da aplicao, no qual os comentrios
tpicos incluram: "Os grficos so um pouco distorcidos", "Os grficos so borrados" e "a atualizao
lenta. Em relao luva, os cometrios foram: Pega dura, Lag nas mo foi ruim", e "Achei difcil
coloc-la para funcionar".
4.2. Lies Aprendidas
No inicial, as heursticas provaram ser fceis de interpretar e indicaram as reas problemticas no
projeto; no entanto, heursticas 8 e 9 (entrada/sada pontos, partidas consistentes) foram mais aplicvel
ao ambiente virtual e a aplicaes com recursos GUI para desktop. Isto sugere que as heursticas
precisavam ser filtradas na fase de anlise tecnologica. Houve alguma sobreposio entre as primeiras
trs heursticas, pois todas se referem a diferentes aspectos da interao natural.
No estudo de vrios avaliadores, a necessidade de filtro a aplicabilidade das heursticas tambm era
evidente. . As heursticas devem ser apresentadas como um conjunto bsico para todos os ambientes
virtuais (1-7 e 12), com a adio de heursticas 8 (entrada clara e pontos de sada) e 9 (partidas
consistentes) para desktop, e heurstica 11 (volume de negcios claro tomar) para ambientes virtuais
colaborativos. A importncia do apoio de navegao (heurstica 7) e apoio aprendizagem (heurstica
10) vai depender da complexidade e tamanho do VE. Algumas clasificaes das heursticas 1-3 ir
ajudar a separar as questes de experincia global de engajamento (1), a compatibilidade com as
expectativas dos usurios (2) e controlabilidade de aes.
5. Discusses e Concluses
Os estudos de caso demonstraram que as 12 heursticas so desenvolvidas a partir de um trabalho
anterior (Sutcliffe e Kaur, 1997), que mostrou-se uma ferramenta til. As heursticas aumentaram os
critrios para a rea de trabalho avaliando realidade virtual propostos por Johnson (1998):
e proporcionou satisfao subjetiva, ao fornecer um processo de avaliao mais rpida do que a lista de
verificao recurso usabilidade VRUSE (Kalawsky, 1999). Dos 10 fatores de usabilidade em VRUSE,
dispositivos de entrada e sada so mapeados para a avaliao de tecnologia em nosso mtodo,
enquanto outros (correo de erros, a consistncia, a orientao do usurio) so semelhantes s
heursticas UI , de Nielsen; enquanto apenas dois (simulao de infidelidade e presena) so
explicitamente orientados para aplicaes de RV. No geral, no contexto dos trs estudos, consideramos
que o processo de avaliao heurstica foi um sucesso no qua problemas de usabilidade foram
identificados apenas com pouco esforo.