Design

Mtodos Para a Avaliao da Usabilidade no Design de Produtos

Methods forthe Usability Evaluation inProductDesign
por Tiago Catecati, Fernanda Gomes Faust, Giorgia Amir Longo Roepke, Fernanda Steinbruch Araujo, Deise Albertazzi, Alejandro Rafael Garcia Ramirez e Marcelo Gitirana Gomes Ferreira

RESUMO
Este artigo apresenta uma reviso bibliogrfica dos principais mtodos de avaliao de usabilidade aplicveis a produtos industriais. Inicialmente apresentado o conceito de usabilidade e em seguida, so discutidos os mtodos de avaliao de usabilidade de produtos: os que se baseiam nos usurios e os que se baseiam na avaliao de especialistas. Por fim apresentada uma sistemtica para a seleo dos mtodos de usabilidade, que est sendo aplicado em um projeto de pesquisa em andamento com foco na avaliao da usabilidade de produtos eletro-eletrnicos com o auxlio da tecnologia de realidade aumentada. Palavras-chave Usabilidade; Avaliao; Desenvolvimento de produto

ABSTRACT
Thispaper presentsaliterature reviewof the mainusability evaluationmethods applicable toindustrial products.Initiallyits presented theconcept ofusability, applied to industrial products.Then, its discussed theusability evaluationmethods:the ones basedon the usersof the product andthose basedonevaluationof usability experts.Also, are presenteda systematic for selection of the usability evaluation, that are beingapplied inanongoingresearch projectfocused onevaluating theusability ofelectric and electronic productswith the help ofaugmented reality technology. Keywords Usability; Evaluation; Product Design

564

Mtodos Para a Avaliao da Usabilidade no Design de Produtos

1. Introduo
Ao longo das diversas etapas do seu projeto, um produto costuma ser avaliado sob diversos aspectos complementares: funo, esttica, uso, fabricabilidade, mantenabilidade, impactos scio-ambientais, entre outros. Tais avaliaes se revestem de grande importncia, pois subsidiam e impactam as decises da equipe de projeto. Importa, ento, existirem mtodos e ferramentas que garantam uma avaliao eficaz do produto sob estes aspectos ao longo do projeto. (BAXTER, 2000; ROZENFELD et al., 2006; BACK et al., 2008). Este artigo revisa os principais mtodos de avaliao de usabilidade de produtos. Primeiramente, se discute o conceito de usabilidade aplicado a produtos tangveis. Em seguida, se apresentam os seus mtodos de avaliao. Dentre os mtodos de avaliao que se baseiam em usurios, destacam-se o pensando em voz alta e os testes que objetivam a obteno de dados de natureza quantitativa. Dentre os mtodos de avaliao que se baseiam em especialistas, destacam-se o passo-a-passo cognitivo e a avaliao heurstica. O artigo finaliza discutindo as formas de seleo do mtodo mais adequado para cada produto, considerando os seus usurios e o seu contexto de uso.

2. Usabilidade
De acordo com Tullis e Albert (2008), muitas so as definies encontradas na literatura para o termo usabilidade - praticamente uma para cada profissional que trabalha nesta rea, segundo os autores. Estes identificam que, independentemente da definio a ser adotada, sempre se tem: (1) um usurio envolvido; (2) que desenvolve alguma atividade; (3) utilizando um produto, sistema, ou alguma outra coisa. Inicialmente, Krug (2000) - em seu livro clssico Dont make me think (p.5) - afirma, de forma bastante simples e direta, que: Usabilidade significa to somente garantir que algo funcione bem: que uma pessoa com habilidades e experincias mdias (ou mesmo abaixo da mdia) possam usar a coisa - seja uma pgina na web, um caa a jato, ou uma porta giratria - para o seu propsito, sem ficar irremediavelmente frustrado. Numa perspectiva mais voltada para o processo de desenvolvimento de produtos, a Associao de Profissionais em Usabilidade (UPA) declara que: Usabilidade uma abordagem para o desenvolvimento de produtos que incorpora, de forma direta, o feedback do usurio ao longo do seu ciclo de desenvolvimento de forma a reduzir custos e a criar produtos e ferramentas que atendam as necessidades dos usurios.

565

Mtodos Para a Avaliao da Usabilidade no Design de Produtos

Por fim, a NBR 9241-11 (p.3), de Agosto de 2002, define usabilidade como: a medida na qual um produto pode ser usado por usurios especficos para alcanar objetivos especficos com eficcia, eficincia e satisfao em um contexto especfico de uso. Para o melhor entendimento desta ltima definio, cabe esclarecer o significado dos seguintes termos de acordo com Jordan(1998): Eficcia: se refere extenso na qual uma meta alcanada ou uma tarefa realizada. Eficincia: se refere quantidade de esforo requerido para se atingir uma meta. Quanto menos esforo, maior a eficincia. Satisfao: se refere ao nvel de conforto que os usurios sentem quando utilizam um produto e tambm ao nvel de aceitao do produto pelos usurios para atingir as suas metas. A definio da NBR 9241-11 deixa claro que a usabilidade no uma propriedade intrnseca do produto isoladamente. Depende do seu contexto especfico de uso: quem est utilizando o produto; para que finalidade; em qual ambiente ver Figura 1. Para produtos relacionados ao trabalho, como no caso de um torno mecnico, eficcia e eficincia tendem a ser aspectos mais importantes que satisfao. O inverso ocorre com produtos relacionados ao lazer: um jogo eletrnico, por exemplo.

Figura 1. Estrutura de usabilidade. Fonte: NBR 9241-11(2002)

A importncia do contexto especfico tambm fica evidenciada quando se examina, por exemplo, a usabilidade de uma torneira automtica com sensor infra-vermelho. Bastante encontrada em prdios pblicos, demonstra, nestes locais, boa usabilidade: so fceis de usar e economizam gua. Tambm se mostram bastante higinicas, visto que os usurios no necessitam toc-las, minimizando a necessidade de limpeza. A usabilidade desta mesma torneira pode, no entanto, ser questionada se utilizada no contexto de uma residncia familiar. O seu modo de

566

Mtodos Para a Avaliao da Usabilidade no Design de Produtos

operar no permite o controle de vazo ou temperatura. A experincia de escovar os dentes utilizando este tipo de torneira , por vezes, bastante desagradvel, visto que a aproximao da escova de dente nem sempre suficiente para acion-la.

Figura 2. Torneira automtica DocolTronic Zenit. Fonte: http://www.docol.com.br

2.1. Mtricas De acordo com Jordan (1998), as mtricas utilizadas para a avaliao objetiva da usabilidade de um produto, relacionam-se com os trs aspectos da usabilidade citados anteriormente. Mtricas de eficcia: completeza da tarefa; qualidade do resultado. Mtricas de eficincia: desvios do caminho crtico (o mais eficiente para realizar a tarefa); quantidade ou taxa de erros; tempo para a realizao da tarefa; carga mental (medida de diferentes formas). Mtricas de satisfao: anlise qualitativa da satisfao (por meios de entrevistas e questionrios, por exemplo); anlise quantitativa da satisfao (por meio de escala quantitativa, como a de Likert (LIKERT, 1932) ou do diferencial semntico de Osgood (OSGOOD; SUCI e TANNENBAUM, 1957) 2.2. Componentes da usabilidade Analisando a usabilidade de um produto (ou sistema) - tomando por base a experincia prvia do usurio com o produto - Jordan (1998) prope cinco componentes nos quais a usabilidade deva ser avaliada. 1. Intuitividade (Guessability): eficcia, eficincia e satisfao com as quais determinados usurios conseguem realizar determinadas tarefas com um produto particular quando o utiliza pela primeira vez. 2. Facilidade de aprendizagem (Learnability): eficcia, eficincia e satisfao com as quais determinados usurios conseguem atingir determinados nveis de desempenho em determinadas tarefas com um produto, tendo j realizado estas tarefas anteriormente.

567

Mtodos Para a Avaliao da Usabilidade no Design de Produtos

3. Desempenho de um usurio experiente: eficcia, eficincia e satisfao com as quais determinados usurios experientes conseguem realizar determinadas tarefas. 4. Potencial do sistema: nveis timos de eficcia, eficincia e satisfao com os quais seria possvel realizar determinadas tarefas com um produto. 5. Reusabilidade: eficcia, eficincia e satisfao com as quais determinados usurios conseguem realizar determinadas tarefas depois de t-las realizada, aps um longo perodo de tempo. A Figura 3 apresenta uma representao dos cinco componentes da usabilidade.

Figura 3. Componentes da usabilidade. Fonte: Jordan, 1998, p.16.

3. Mtodos para a Avaliao da Usabilidade

Pode-se dividir os mtodos para a avaliao da usabilidade de produtos em duas classes: as baseadas em observaes e medidas realizadas sobre os usurios e as que se valem do conhecimento de especialistas. Na primeira classe destaca-se o Pensando em Voz Alta (Think Aloud Protocol), do qual derivam uma srie de outros mtodos cujos resultados (mtricas) so de natureza essencialmente qualitativa. De forma complementar, provendo resultados quantitativos tm-se as Avaliaes de Desempenho. J na segunda, destacam-se a Avaliao Heurstica e o Passo a Passo Cognitivo. 3.1 Mtodos Baseado em Usurios Nestes mtodos, usurios tpicos (reais ou potenciais) realizam tarefas cotidianas com o software, produto ou sistema (ou seus respectivos prottipos) e os avaliadores utilizam os resultados dos testes para analisar como a interface suporta estes usurios na realizao das suas tarefas. Para Jordan (1998), no h nada que substitua a possibilidade de ver o usurio tentando utilizar o produto. 3.1.1. Pensando em Voz Alta (e suas Variantes)

568

Mtodos Para a Avaliao da Usabilidade no Design de Produtos

Considerado por Nielsen (1993) o mais valioso dos testes de usabilidade, o mtodo Pensando em Voz Alta (Thinking Aloud Protocol), consiste na narrao por parte de usurios das aes realizadas, das decises tomadas, das suas opinies e seus sentimentos enquanto interage com o produto (ou prottipo) sob avaliao. De acordo com Jasper (2009), este mtodo consiste em dois estgios: (1) a coleta sistemtica das declaraes dos usurios; e (2) a anlise destas declaraes, de forma a se obter um modelo dos processos cognitivos utilizados quando o usurio se defronta com um problema. Nielsen (1993) salienta que o mtodo pode ser realizado tanto individualmente, quanto em grupo, existindo duas variaes: a resposta crtica (critical response) e o relato peridico (periodic report). Na resposta crtica, o usurio reporta as suas aes durante o perodo de execuo da mesma. J no relato peridico a narrativa e expresso das aes no possvel de ser realizada simultaneamente ao desenvolvimento das aes. Como desvantagem a verbalizao da tarefa pode atrasar ou atrapalhar a realizao da tarefa. Diversas variaes do mtodo podem ser encontradas na literatura (VORA & HELANDER, 1997; RUBIN, 2008; NIELSEN, 1993), tais como: a aprendizagem por co-descoberta, teste retrospectivo e protocolo de questionamento. A seguir, so apresentadas algumas destas variantes. 3.1.1.1 Mtodo Coaching Consiste na interao explcita entre o observador e o usurio durante a realizao da tarefa. Diferentemente dos outros mtodos de avaliao, no mtodo coaching, o usurio pode perguntar ao observador - pessoa que aplica o teste - sobre suas dvidas relativas ao produto que ir ser testado. Uma variante, envolve um usurio experiente, enquanto o observador analisa a interao do usurio com o produto e a interao entre o usurio e o coach. De acordo com Nielsen (1993), o propsito desta tcnica descobrir as necessidades dos usurios em termos de informao, proporcionando um melhor treinamento e documentao do produto em desenvolvimento. Tambm pode ser utilizado no reprojeto da interface do produto, evitando questionamentos por parte dos usurios durante a fase de uso do produto. 3.1.1.2 Aprendizagem por Co-descoberta Neste mtodo segundo Nielsen (1993) dois usurios exploram juntos um produto e tentam descobrir como realizar determinada tarefa, enquanto so observados. O observador analisa as verbalizaes dos usurios durante a realizao da tarefa, que ocorre de forma mais natural que no mtodo pensando em voz alta. Como geralmente os usurios testados so amigos ou conhecidos, segundo Dumas & Redish (1999) uma vantagem deste mtodo consiste na informalidade entre os usurios durante a realizao da tarefa, pois estes se sentem menos pressionados ao realizar as aes, explorando o problema de forma mais natural. Para Rubin

569

Mtodos Para a Avaliao da Usabilidade no Design de Produtos

(2008) uma desvantagem do mtodo a possibilidade de distrao e desconcentrao dos participantes durante as verbalizaes do processo, sendo esta tambm uma desvantagem do mtodo pensando em voz alta. 3.1.1.3 Mtodo de Ensino Proposto por Vora e Helander (1995) neste mtodo primeiramente so selecionados usurios que iro interagir com o sistema de tal forma que se familiarizem com o mesmo e consigam realizar tarefas pr-determinadas. Aps este perodo de familiarizao, para cada usurio experiente introduzido um usurio novato, que desconhece por completo o sistema. Cada usurio experiente solicitado a apresentar o sistema ao usurio novato e a ensin-lo a realizar um conjunto pr-determinado de tarefas. De acordo com Vora e Helander (1995), este mtodo capaz de gerar um nmero superior de verbalizaes e facilita a captura dos modelos mentais utilizados pelos usurios, na realizao das tarefas e na resoluo de problemas. Como desvantagem do mtodo proposto, aponta-se um maior tempo necessrio para a sua realizao. 3.1.1.4 Protocolo de Questionamentos Este se diferencia do mtodo Pensando em Voz Alta, pois alm de deixar que o usurio verbalize espontaneamente os seus pensamentos, o avaliador estimula o usurio realizando perguntas diretas sobre o produto - enquanto realiza tarefas com o produto ou um prottipo. Por meio de perguntas o avaliador busca compreender os modelos mentais dos usurios relativos ao sistema e s tarefas. 3.1.1.5 Mtodo Shadowing Nesta variante, um usurio experiente com o sistema senta-se ao lado do avaliador e explica o comportamento do usurio que realiza as tarefas. Esta tcnica utilizada quando no apropriado ou possvel que o usurio fale durante a realizao das tarefas. A confiabilidade das informaes levantadas pode ser reduzida, visto que no so obtidas diretamente do usurio que realiza a tarefa. 3.1.1.6 Teste Retrospectivo De acordo com Nielsen (1993) o Teste Retrospectivo funciona como uma ferramenta complementar ao mtodo Pensando em Voz Alta ou s suas variantes, podendo ser utilizado conjuntamente. Essa tcnica propicia realizar uma anlise mais profunda dos acontecimentos sucedidos, possibilitando um maior esclarecimento dos mesmos. 3.1.1.7 Teste Remoto Esse mtodo, conforme Rex Hartson et.al.(1996), consiste na aplicao do teste de usabilidade onde o observador e o participante esto em diferentes locais ou tempo. Assim, os participantes que esto sendo testados no podem ser observados

570

Mtodos Para a Avaliao da Usabilidade no Design de Produtos

diretamente no processo. Com a maior velocidade da Internet, os aprimoramentos dos recursos e a infinidade de programas de captura de imagem e udio em tempo real possibilitam a execuo de um teste de usabilidade distncia com bom retorno. 3.1.2 Testes para Medio de Desempenho Para Nielsen (1993) e Soken et.al (1993) essa ferramenta aplicada durante a realizao de uma tarefa, possibilitando a medio do desempenho dos usurios, coletando os dados quantitativos dos participantes a partir de parmetros pr-determinados como porcentagem de sucesso dos testes completados, freqncia e tipo dos erros cometidos, tempo necessrio para a realizao da tarefa, frustrao dos participantes, entre outros. Para garantir uma coleta de dados de forma fiel e precisa, evita-se o contato entre o observador e os participantes do teste, sendo que este deve ser realizado em um laboratrio de usabilidade, para minimizar possveis interferncias no processo. necessria a presena de, no mnimo, cinco participantes na realizao deste teste, sendo oito o nmero ideal para a produo de dados fidedignos. Nielsen (1993) descreve trs passos para a realizao de Testes para Medio de Desempenho: (a) definio das metas do teste; (b) conduo dos testes; e (c) anlise dos dados para a obteno das concluses. 3.1.2.1 Definio das Metas do Teste As metas do teste de medio de desempenho devem primeiramente ser definidas em termos dos atributos de usabilidade a serem investigados: facilidade de aprendizagem, eficincia no uso, facilidade de lembrar, poucos erros, prazer proporcionado, entre outros. Tais atributos devem ser avaliados a fim de obter a importncia relativa entre os mesmos. Finalizando a etapa de definio das metas, devem-se buscar medidas que quantifiquem os atributos de usabilidade definidos, tais como: Tempo que o usurio realizao de uma tarefa especfica. Nmero de tarefas (de diversos tipos) que podem ser realizadas em determinado tempo. Relao entre interaes bem sucedidas e erros. Tempo despendido na recuperao de erros. Nmero de comandos ou outros recursos nunca utilizados pelo usurio. Nmero de recursos do sistema no qual o usurio se recorda aps uma seo de utilizao do produto. Freqncia de uso dos manuais e/ou sistema de ajuda e o tempo despendido neste uso. Proporo de usurios que dizem preferir usar o sistema em relao a algum sistema similar.

571

Mtodos Para a Avaliao da Usabilidade no Design de Produtos

Proporo de usurios que utilizam estratgias eficientes de trabalho nos casos em que existem mltiplas formas de realizar as tarefas. 3.1.2.2 Conduo dos Testes Na etapa de conduo dos testes, deve-se assegurar que no haver interrupes, nem fatores que possam perturbar a execuo dos testes: rudos, calor, frio, entre outros. Testes-piloto devem ser realizados para garantir a eficcia das ferramentas e tcnicas de coleta de dados. Quando possvel, recomenda-se que o teste seja gravado em vdeo. Assim, alguns dados podem ser verificados, ou mesmo coletados, aps a realizao dos testes, assistindo s gravaes de vdeo. 3.1.2.3 Anlise dos Dados para a Obteno das Concluses Embora os Testes para Medio de Desempenho objetivem a coleta de dados quantitativos, importante que durante a execuo destes testes se busque coletar dados qualitativos que auxiliem os avaliadores a revelar os processos mentais dos usurios e outras informaes que se escondem por trs dos dados quantitativos. Tais dados de natureza qualitativa devem ser considerados nas concluses a serem tiradas pelos avaliadores. Na etapa final, de anlise dos dados para a obteno das concluses, podem-se comparar os resultados obtidos com um valor de referncia (benchmark), utilizando-se estatstica descritiva (medidas centrais e de disperso). comum realizar comparaes entre os dados obtidos a partir de diferentes projetos (de interface com o usurio), podendo-se utilizar, neste caso, de estatstica inferencial (testes de hiptese). 3.2 Outras Formas de Avaliar a Usabilidade (Baseadas em Usurios) Por meio de observaes e questionamentos, avaliadores obtm informaes sobre o que agrada ou desagrada o usurio e sobre as suas necessidades. Tambm podem compreender o sistema conversando com os usurios, observando-os em seu dia-dia ou pedindo que responda a algumas questes, verbalmente ou por escrito. 3.2.1 Observao em Campo Nesta modalidade de avaliao, o especialista vai a campo observar o usurio em seu ambiente natural de trabalho (ou interao), a fim de entender como eles utilizam o sistema (ou produto) para realizar as suas tarefas e compreender os modelos mentais que os mesmos possuem relativos a estes sistemas. Este mtodo pode ser utilizado nas fases de teste e do desenvolvimento do produto. Nielsen (1993) sugere que a escolha dos usurios a serem observados se d da maneira mais variada possvel, considerando repertrio, localizao, estilo de vida, entre outros quesitos, com o intuito de captar os diversos panoramas da percepo do produto.

572

Mtodos Para a Avaliao da Usabilidade no Design de Produtos

Uma vantagem proporcionada por essa tcnica que o usurio se encontra em seu ambiente natural, portanto as posturas assumidas por ele sero mais verdadeiras e fiis do que as interaes visualizadas em laboratrio. No entanto, as observaes de campo acarretam a desvantagem de uma exigncia maior do tempo, devido a fatores sob os quais o observador no possui controle, como interrupes e rudos do sistema. 3.2.2 Grupos de Foco Grupos de Foco uma tcnica que utilizada para uma avaliao de carter mais subjetivo, consiste em uma reunio de discusso sobre alguma questo em foco onde podem ser abordadas as experincias de uso, exigncias para um novo produto, informaes sobre as tarefas realizadas, problemas de usabilidade em relao a um produto, entre outras necessidades avaliadas nos testes (NIELSEN,1993). A realizao desse tipo de avaliao normalmente acontece na presena de um especialista no assunto que tenha a misso e a habilidade de direcionar o grupo nos debates com um roteiro para determinados tipos de discusses e linhas de raciocnio, mantendo assim o grupo focado. 3.2.3 Entrevistas As entrevistas consistem na aplicao de questes formuladas baseadas nas principais reas de interesse nas quais as informaes necessitam ser levantadas. As entrevistas so realizadas de forma direta, podendo ou no serem estruturadas (NIELSEN,1993). Entrevistas realizadas de maneira no estruturada buscam levantar o mximo de informaes possvel acerca das experincias e expectativas do usurio. Por outro lado, as entrevistas estruturadas apresentam um conjunto pr-determinado de questes que visam guiar e direcionar a entrevista. 3.2.4 Registro do Uso Real Comumente utilizado na avaliao da usabilidade de sistemas computacionais, consiste na coleta automtica - e freqentemente em tempo real - de dados relativos interao do usurio com o sistema/produto. Especial ateno deve ser dada aos recursos que se relacionam a erros freqentemente detectados no sistema e tambm aos recursos relacionados freqentes consultas aos itens de ajuda (helps e FAQs) do sistema. Nielsen (1993) recomenda sempre que possvel, a utilizao simultnea deste mtodo em combinao com outros mtodos em que o usurio pode explicar as suas aes realizadas.

573

Mtodos Para a Avaliao da Usabilidade no Design de Produtos

3.2.5 Estudo de Campo Baseado em Nielsen (1993) esta uma tcnica de grande importncia no desenvolvimento do sistema/produto, pois analisa o usurio e suas interaes com o sistema/produto, observando detalhadamente diversos aspectos que somente so identificados no ambiente e contexto do usurio. Durante um estudo de campo o investigador observa o usurio em seu contexto, identificando as suas necessidades, fazendo anotaes e perguntas aos usurios. Essa observao pode ser realizada de forma direta, quando o observador encontra-se presente durante a realizao das tarefas dos usurios, ou indireta, quando a tarefa acompanhada atravs de uma gravao de vdeo, por exemplo. As observaes em campo so usualmente utilizadas nas fases iniciais do projeto do produto, a fim de coletar o mximo de dados sobre o usurio e guiar o processo de desenvolvimento do produto. Uma possvel desvantagem do mtodo se relaciona com os custos envolvidos para a sua realizao: deslocamentos, gravaes, entre outros. 3.2.6 Questionrios Os questionrios so importantes ferramentas de pesquisa que visam coleta de dados referentes a um grupo representativo da populao. Utiliza-se quando se deseja adquirir mais conhecimento a cerca de determinado assunto, de forma simultnea, economizando tempo do pesquisador e facilitando o levantamento estatstico dos dados. Existem trs tipos de questionrios que podem ser aplicados aos usurios: os fechados, os abertos e os mistos. Todos devem seguir os princpios da clareza e neutralidade. Questionrios fechados: em cada questo a escolha de resposta se d dentro de um conjunto de alternativas disponveis. O usurio seleciona a que melhor representa seu ponto de vista. Questionrios abertos: permitem que o respondente - usurio do produto no caso - elabore suas respostas de acordo com seu ponto de vista e com suas prprias palavras, no precisando se restringir as alternativas pr-definidas pelo pesquisador. Questionrios mistos: deve ser aplicado quando existe a necessidade de questes tanto abertas quanto fechadas, a fim de proporcionar uma coleta de informaes mais completas. 3.3 Mtodos Baseados em Especialistas Nesta categoria de mtodos, especialistas analisam aspectos relacionados com a usabilidade da interface usurio-produto ou sistema. Dois so os principais mtodos de avaliao de usabilidade que se baseiam em especialistas: o Passo a Passo Cognitivo (Cognitive Walkthrough) e a Avaliao Heurstica (Heuristic Evaluation).

574

Mtodos Para a Avaliao da Usabilidade no Design de Produtos

3.3.1 Passo a Passo Cognitivo (e suas Derivaes) No passo a passo cognitivo um avaliador ou um grupo de avaliadores - especialistas em usabilidade, ergonomia, design, engenharia, marketing, entre outros - inspecionam a interface do sistema/produto com o usurio, realizando um conjunto de testes e avaliando a sua facilidade de entendimento e de aprendizagem. Falhas de projeto so costumeiramente identificadas por meio do passo a passo cognitivo. A utilizao deste mtodo, de acordo com Nielsen (1993), mais fortemente recomendada nas fases iniciais do processo de design do produto, quando a interface com o usurio pode tomar a forma de mock-up. Nada impede, entretanto, que o mtodo seja utilizado nas fases posteriores. O mtodo tambm pode ser utilizado em um produto j completamente desenvolvido ou mesmo j lanado no mercado. Torna-se uma poderosa ferramenta para a anlise de um produto concorrente em um benchmark competitivo. Devem ser considerados os repertrios e conhecimentos dos usurios que participam do passo a passo cognitivo, assim como a experincia que os mesmos detm sobre a interface na qual esto trabalhando. Para cada tarefa realizada pelo usurio deve conter uma explicao de como esta deve ser realizada antes do usurio aprender e interpretar a interface. No passo a passo cognitivo so examinadas todas as aes que o usurio realizou para executar determinadas tarefas, e para isso os avaliadores fazem quatro perguntas durante o teste. A primeira pergunta - ser que o usurio conquistou o efeito certo? - diz respeito ao atingimento correto do objetivo, para que desta forma o avaliador analise a interpretao do usurio em cada passo da tarefa. Na segunda pergunta - ser que o usurio perceber que a ao correta est disponvel? - trata da compreenso e da visibilidade da ao correta a ser executada pelo usurio. No terceiro inquirimento - ser que o usurio associa o fato de ter executado determinada funo com o trmino da tarefa? - diz respeito correta interpretao e entendimento do usurio a cerca das funes desempenhadas no decorrer da tarefa. Na ltima pergunta - se a ao correta for executada, ser que o usurio perceber que o progresso est sendo realizado para a soluo da tarefa? - onde o avaliador consegue analisar o feedback que est sendo fornecido pelo sistema aps cada ao desempenhada pelo usurio. 3.3.1.1 Passo a Passo Pluralista O passo a passo pluralista utilizado nos estgios de avaliao inicial do projeto onde um grupo de usurios, projetistas e engenheiros renem-se a fim de discutir e avaliar a usabilidade em um sistema, analisando o cenrio e como cada elemento influencia na execuo da tarefa (BIAS,1994). A grande vantagem desta ferramenta a de fornecer diversas perspectivas para a avaliao de usabilidade do sistema. Aconselha-se a formao de uma equipe com muitos participantes que apresentem diferentes repertrios e conhecimentos, a fim de que diversos problemas relativos usabilidade do sistema possam ser

575

Mtodos Para a Avaliao da Usabilidade no Design de Produtos

identificados. Durante o processo necessrio que uma pessoa assuma o papel de facilitador, que dever esclarecer qualquer dvida que possa impedir os participantes de completarem a tarefa proposta. No passo a passo pluralista todos os participantes envolvidos, usurios, projetistas e engenheiros, recebem regras e instrues de como ser a sesso e de como proceder na mesma, assim como a descrio da tarefa e do sistema em que se encontram. Durante o processo todos os participantes devem assumir o papel de usurios do sistema em questo. Inicialmente o sistema apresentado aos usurios, e aps, todos escrevem como executariam a tarefa, com a maior riqueza de detalhes possvel. Essa etapa ocorre de maneira individual, sem a interferncia de qualquer participante. Aps os participantes escreverem os passos necessrios para executarem a tarefa, discutem estes mesmos passos e os problemas encontrados no decorrer do processo. Aps os usurios terminarem de relatar sua experincia com o sistema, os especialistas relatam suas descobertas ao grupo e depois os projetistas explicam as suas escolhas. Caso o grupo apresente dvidas em como proceder durante o processo o facilitador explica a todos qual a correta seqncia de etapas necessrias para completar a tarefa em questo. Aps todo este processo ocorrer, os participantes respondem um questionrio a cerca da usabilidade da interface em questo. 3.3.2 Avaliao Heurstica Avaliao Heurstica um principio que orienta uma deciso ou reviso de projeto. Para Nielsen (1993) esse tipo de avaliao consiste em verificar os possveis problemas de usabilidade. Um conjunto de avaliadores distintos, ergonomistas ou especialistas em usabilidade, que apresentam pouco ou nenhum envolvimento com o projeto, avaliam o sistema. Esse mtodo no necessita da presena de usurios do sistema em questo. Para a execuo dessa tcnica necessria a presena de no mnimo cinco avaliadores, que iro, individualmente, executar a avaliao e ao final discutir e compilar os resultados. Nielsen (1993) e Jordan (1998) sugerem a utilizao de procedimentos heursticos para auxiliar a avaliao, tais como: Simplicidade e naturalidade de dilogo: As informaes devem ser apresentadas de forma lgica, clara, natural e objetiva. Correspondncia entre a linguagem do sistema e a do usurio: As informaes contidas no sistema devem apresentar um dilogo claro e familiar, no contendo jarges tcnicos do sistema; Minimizar a carga de memria do usurio: A interface deve ser coerente e apresentar linguagem unificada fazendo com que a carga da memria do usurio seja minimizada;

576

Mtodos Para a Avaliao da Usabilidade no Design de Produtos

Consistncia: Deve existir uma consistncia e padronagem dos dados, prevenindo assim que o usurio faa uma errnea interpretao. Para facilitar o reconhecimento pelo usurio do sistema as opes disponveis devem apresentar a mesma formatao. Feedback: necessrio que o sistema apresente um feedback imediato das aes realizadas, mantendo o usurio informado a cerca do sistema; Sadas claramente identificadas: O sistema deve fornecer diversas formas de sadas para qualquer possvel problema que possa vir acontecer, ou seja, devem ser possibilitadas as opes de desfazer ou refazer determinada ao; Atalhos: Os atalhos do sistema servem para otimizar e acelerar o processo de utilizao do mesmo, portanto, usurios experientes ao utilizarem dessa ferramenta, aumentam a velocidade de interao com o sistema. Mensagem de erro: As mensagens de erros devem ser expressas de forma clara e objetiva, indicando precisamente qual o problema e fornecer uma soluo construtiva para o mesmo. Preveno de erros: Ao projetar o sistema deve-se atentar a preveno de possveis erros que possam vir a acontecer durante a realizao de determinadas tarefas. Ajuda e documentao: O sistema deve fornecer ajuda ao usurio quando necessrio, com informaes claras e precisas, focando nas tarefas do usurio em questo. 3.3.3 Inspeo de Caractersticas e Funcionalidades Essa tcnica analisa somente as caractersticas e aspectos utilizados para a realizao de uma determinada tarefa. Cada caracterstica avaliada em termos de requisitos de usabilidade, tais como compreensibilidade, viabilidade, eficcia, entre outros. Essa forma de inspeo consiste basicamente na identificao de todos os aspectos utilizados na execuo de uma ao e de como cada um desses desempenha um papel de importncia para a realizao da tarefa. 3.3.3.1 Inspeo baseada em perspectiva Devido a dificuldade para detectar todos os problemas referentes usabilidade do sistema, este mtodo divide entre os inspetores os aspectos de usabilidade em sub-conjuntos e cada um deles organiza sesses a fim de detectar um maior nmero de problemas no sistema. Dessa forma, cada sesso possui uma perspectiva diferente, coletando assim um maior nmero de informaes necessrias para a otimizao do sistema. Pesquisas mostram que a inspeo baseada em perspectiva detecta cerca de 30% mais de problemas referentes usabilidade. Para Zhang, Basili e Shneiderman (1998)

577

Mtodos Para a Avaliao da Usabilidade no Design de Produtos

o objetivo desta tcnica consiste em determinar um procedimento mais especfico para cada inspetor, direcionando cada vez mais a sesso de inspeo, detectando assim uma porcentagem maior de problemas referentes a esta perspectiva. A combinao de diversas inspees baseadas em perspectivas resulta na descoberta de um maior nmero de problemas do que os identificados em outros tipos de inspees.

4. Seleo do Mtodo de Usabilidade

Ao revisar a literatura, percebe-se a inexistncia de uma sistemtica clara, ou de consenso, a respeito de como selecionar um mtodo de avaliao de usabilidade. No entanto, ao examinar a Figura 1, possvel identificar ao menos dois importantes fatores a serem considerados neste processo: o tipo de produto a ser avaliado e o seu contexto de uso. No que diz respeito ao tipo de produto a ser avaliado, aqueles cuja funo prtica (ou tcnica) predomina uma furadeira ou um caixa eletrnico, por exemplo tendem a ser mais adequadamente avaliados por meio de mtodos que forneam resultados mais quantitativos, tais como os testes e experimentos com o usurio. J os produtos que levam a uma maior experincia de uso aparelhos celulares ou mesmo automveis, por exemplo so usualmente avaliados por mtodos mais subjetivos: entrevistas, focus group, entre outros. O contexto de uso diz respeito ao usurio, tarefa, ao equipamento e ao ambiente em que o produto ser utilizado. Todos esses fatores influenciam na seleo do mtodo de avaliao da usabilidade. Neste sentido, uma mesma bicicleta sendo utilizada a trabalho por um carteiro deve ser avaliada diferentemente de quando utilizada para passeios a lazer.

Figura 4. Seleo de Mtodos. Fonte: Os autores.

578

Mtodos Para a Avaliao da Usabilidade no Design de Produtos

Outro aspecto a ser considerado a fase de desenvolvimento que o produto se encontra. Como ilustrada na figura 4. Por exemplo, na fase conceitual os mtodos baseados em usurio e em especialistas podem ser utilizados, diferente do informacional que baseado principalmente em especialistas. Entre os fatores que podem influenciar o processo de escolha de um mtodo, pode-se considerar tambm o tempo necessrio para realizar um mtodo, o custo de realizao, a confiana na obteno de dados, entre outros quesitos (KARAT, 1994).

5. Concluso
Diante do aumento crescente da complexidade dos produtos e da diversidade de usurios com diferentes conhecimentos e habilidades - que tm acesso aos produtos, observou-se uma maior necessidade e importncia do estudo da usabilidade no desenvolvimento dos produtos. Na reviso bibliogrfica, pode-se perceber que apesar do constante aumento de pesquisadores na rea, a maioria das pesquisas baseiam-se em Jacob Nielsen. Outra questo observada foi em relao aos mtodos de avaliao de usabilidade, onde a maioria so direcionados para softwares e web, havendo uma escassez de mtodos para avaliao de produtos. A presente pesquisa contribui para a sistematizao do conhecimento para o nosso idioma, onde existem poucas referncias para pesquisa voltada para a aplicao de metodologia no desenvolvimento de produtos e tambm para a seleo do mtodo de avaliao a ser aplicado em tais produtos. A escolha do mtodo mais apropriado para a avaliao permite que se obtenham resultados mais satisfatrios e de acordo com os objetivos da avaliao. Esta seleo depende do produto, do contexto de uso, do ambiente no qual ser utilizado, assim como depende de questes como tempo, custo e o conhecimento dos especialistas. A pesquisa tambm contribui para a aplicao prtica do conhecimento (ou competncia, de uma forma mais ampla) no aperfeioamento dos produtos (principalmente eletrnicos, por normalmente terem maior complexidade de uso). Produtos projetados levando-se em conta aspectos ergonmicos de usabilidade tm maiores possibilidades de sucesso no mercado. Melhores produtos geram empresas mais competitivas que, por sua vez, geram empregos e renda.

579

Mtodos Para a Avaliao da Usabilidade no Design de Produtos

Referncias Bibliogrficas
>> ASSOCIAO BRASILEIRA DE NORMAS TCNICAS. NBR 9241-11: requisitos ergonmicos para trabalho de escritrios com computadores: parte 11 orientaes sobre usabilidade. Rio de Janeiro, p.3, 2002. >> BACK, N. ET al. Projeto integrado de produtos: planejamento, concepo e modelagem. Manole, (2008). >> BAXTER, M. Projeto de produto. Edgard Blucher. So Paulo, 2000. >> BIAS, R. G. The pluralistic usability walkthrough: coordinated empathies. In Nielsen, J. and Mack, R. (eds.),Usability inspection methods, John Wiley & Sons, New York, 63-76. 1994. >> CYBIS, Walter, BETIOL, Adriana H., FAUST, Richard. Ergonomia e usabilidade. So Paulo: Novatec, 2007. >> DUMAS, Joseph S.; REDISH, Janice C. A practical guide to usability testing. Intellect, 1999. >> JASPER, Monique W.M. A comparison of usability methods for testing interactive health technologies: Methodological aspects and empirical evidence. International journal of medical informatics. v. 78, n. 5, p. 340353, 2009. >> HARTSON Rex H. et. al., Remote Evaluation: The Network as an Extension of the Usability Laboratory, inCHI96 Conference Proceedings, 1996. >> HELANDER, Martin G., LAUNDAUER, Thomas K., e PRABHU, Prasad V. (editors). Handbook of >> Human-Computer Interaction. Amsterdam. Elsevier Science B. V. 1997. >> JORDAN, Patrick W. What is usability? In: ROBERTSON, S. (Ed.) Contemporary ergonomics. London: Taylor & Francis, 1994. pp. 454-458. >> JORDAN, Patrick W. An introduction to usability. London: Taylor & Francis, 1998. >> KARAT, C. M. A comparison of user interface evaluation methods. Ed. John Wiley & Sons, Inc, p. 203-233, 1994. >> KRUG, Steve. Dont make me think: a common sense approach to web usability. New Riders, 2000, pp.5. >> LIKERT, Rensis. A technique for the measurement of attitudes. Archives of psychology. 140. 1932. pp. 1-55. >> NIELSEN, Jakob. Usability engineering. San Diego (CA): Academic Press, 1993. >> NIELSEN, Jakob; MACK, Robert L. Usability inspection methods. New York: John Willey & Sons, 1994. >> NORMAN, Donald. La psicologia de los objetos cotidianos. Madrid: Nerea,1988. >> OSGOOD, Charles E., SUCI, George J., TANNENBAUM, Percy H. The measurement of meaning. Urbana: The University of Illinois, 1957.

580

Mtodos Para a Avaliao da Usabilidade no Design de Produtos

>> ROZENFELD, H. et al. Gesto de desenvolvimento de produtos: uma referncia para a melhoria do processo. So Paulo: Saraiva, 2006. >> RUBIN, Jeffrey; CHISNEL, Dana. Handbook of usability testing: how to plan, design and conduct effective tests. 2nd ed. Indianpolis: John Wiley & Sons, 2008. >> SOKEN et al, 1993, N.Soken, Reinhart, B., Vora, P., and Metz, S. (1993), Methods for Evaluating Usability (Section 5B), Honeywell. >> USABILITY PROFESSIONALS ASSOCIATION. Whats usability? Disponvel em: <http:// www.upassoc.org/usability_resources/about_usability/index.html>. Acesso em: 11 de maio de 2011. >> VORA, P.; HELANDER, M. A teaching method as an alternative to the concurrent think-aloud method for usablity testing. In: ANZAI, Y.; OGAWA, K.; MORI, H. (Editors) Symbiosis of human and artifact: human and social aspects of human-computer interaction. Amsterdam: Elsevier, 1995. pp.375-380. >> TULLIS, Thomas; ALBERT, Willian. Measuring the user experience: collecting, analyzing, and presenting usability metrics. Burlington: Morgan Kaufman, 2008. >> ZHANG Z.; BASILI V.; SCHNEIDERMAN B. An empirical study of perspective-based usability inspection. Proceedings of the Proceedings of the >> Human Factors and Ergonomics Society 42nd Annual Meeting, Chicago, 1998. Tiago Catecati, Universidade do Estado de Santa Catarina Bolsista tiagocatecati@hotmail.com Fernanda Gomes Faust, Universidade do Estado de Santa Catarina fernandagfaust@gmail.com Giorgia Amir Longo Roepke, Universidade do Estado de Santa Catarina Bolsista giorgiaroepke@hotmail.com Fernanda Steinbruch Araujo, Universidade Federal do Estado de Santa Catarina - Doutoranda em Engenharia de Produo feujo@hotmail.com Deise Albertazzi, Universidade Federal do Paran - Mestranda do Design da UFPR dalbertazzig@gmail.com Prof. Alejandro Rafael Garcia Ramirez, Universidade do Estado de Santa Catarina - Professor Visitante garcia.ramirez@gmail.com Prof. Dr. Marcelo Gitirana Gomes Ferreira, Universidade do Estado de Santa Catarina Coordenador da bolsa | Professor marcelo.gitirana@gmail.com

581