Avaliao da Interface do Sistema Colaborativo Google Groups atravs de testes de usabilidade

Ana Mara de Souza, Fernando Barroso, Josana E. Cordeiro, Jos Vicente de Andrade Jnior e Lincoln F. Macedo Sistemas de Informao - Departamento de Computao Universidade Federal dos Vales do Jequitinhonha e Mucuri(UFVJM) Diamantina MG Brasil
anamara.dtna@gmail.com, nandotijucal@yahoo.com.br, josanacordeiro@gmail.com,jvandrade.junior@gmail.com, lincolnfm@gmail.com

Abstract. This paper aim to analyze the Google Groups system interface, with the purpose of identify eventual improvements on these. The main issues evaluated in the interface were the post of a discuss topic, the view of a discuss topic, the download and upload of a file. The techniques used for this were the users observation e questionnaire. All the evaluation process was oriented by DECIDE framework. The main conclusion of this evaluation work was the usability problems generates by the low interface feedback. Resumo. Este artigo tem como objetivo analisar a interface do sistema Google Groups, com a finalidade de identificar possveis melhorias para a mesma. As principais questes avaliadas na interface foram: a postagem de tpicos de discusses, a visualizao de tpicos de discusses, o download e o upload de arquivos. Para isso, foram utilizadas as tcnicas de observao de usurio e aplicao de questionrio. Todo o processo de avaliao foi orientado pelo framework DECIDE. O principal resultado obtido atravs desta avaliao foi os problemas de usabilidade gerados pelo baixo feedback da interface.

1. Introduo
A chamada Interface Homem Mquina no compreende apenas o que o usurio v na tela, mas tambm os perifricos, os manuais, o local de trabalho, materiais impressos e at suporte tcnicos e treinamentos. Um conjunto de componente de interface traduz as aes do usurio com o sistema. Uma das propriedades que fazem com que uma Interface Homem Mquina seja de qualidade a usabilidade, que permite classificar a interface quanto sua facilidade de uso. Para essa classificao a usabilidade possui os atributos: facilidade de aprendizado, eficincia de uso, eficcia, minimizao de erros e satisfao em um sistema. A partir desta definio, o nosso trabalho tem como objetivo a avaliao de usabilidade da interface do sistema colaborativo Google Groups, cujas funcionalidades permitem aos usurios comunicar, interagir e colaborar uns com os outros atravs de suas interfaces.

O servio de Grupos do Google gratuito para comunidades on-line e grupos de discusso, incluindo postagens de texto e arquivos, alm de vrios recursos que tornam os Grupos do Google uma maneira mais eficiente de se comunicar com grupos de pessoas online1. A diferena entre os grupos do Google dos grupos de contatos que um grupo do Google possui seu prprio endereo de e-mail, para que ele possa ser compartilhado no diretrio de grupos, e um grupo de contatos, no entanto, so apenas para uso pessoal. Os grupos do Google tambm oferecem arquivos de discusso, moderao opcional, entre outros. Neste contexto o Google Grupos pode ser considerado um sistema colaborativo, uma vez que ele permite que os usurios de um grupo se interajam entre si e colabore com seus colegas de trabalho.

2. Trabalhos Relacionados
2.1. Apoiando a Documentao dos Problemas de Usabilidade2
O artigo Anti-patterns Apoiando a Documentao dos Problemas de Usabilidade descreve uma metodologia para documentao de barreiras encontradas em interfaces, a partir de uma avaliao realizada em interface de em sistemas colaborativos. Essa metodologia proporciona aos projetistas de interface uma base de conhecimentos com erros que causaram dificuldades enfrentadas pelos usurios, assim o projetista de interface que estiver criando uma nova interface ter condies de evitar tais erros. O cenrio de teste foi o Google Groups e o Yahoo Groups, e para a avaliao foi aplicado o uso de anti-patterns destinados a comunicar erros no sistema, onde estes so definies de ms prticas de projeto e criao de interface. Os resultados da avaliao com anti-patterns tornaram possvel documentar e comunicar com maior eficincia os problemas existentes nestas interfaces. Nesta avaliao foi possvel detectar no total 141 erros, sendo 43 do Google Groups e 98 do Yahoo Groups.

2.2. Teste com usurios baseados em personas em benefcio da prototipao de sistemas Web3
O artigo Teste com usurios baseados em personas em benefcio da prototipao de sistemas Web uma nova tcnica de avaliao de usabilidade (Teste com Usurios Baseados em Person) e tem o objetivo de facilitar a caracterizao do usurio em prototipos de interface de sistemas Web, demonstrando a necessidade de procedimentos que apiam o projetista em todo ciclo de desenvolvimento de interfaces em sistemas colaborativos na Web. Essa nova tcnica, ela foi utilizada nas interfaces do Yahoo! Grupos e do Google Grupos como forma de avaliao. Com esta avaliao, foi possvel obter quais detalhes dos aspectos da interface esto bons ou ruins, e como ela pode ser modificada, para melhorar sua usabilidade.

Wikipdia

Masiero, A. Wachs, G. Gonalves, Matheus H. P. Aquino Jr., Plinio T. Anti-patterns Apoiando a Documentao dos Problemas de Usabilidade

Gomes, D. R. Pereira, C. A. M. Petreca, T. M.. Aquino Jr., P. T. Teste com usurios baseados em personas em benefcio da prototipao de sistemas Web.
3

3. Metodologia utilizada
A metodologia utilizada neste trabalho seguiu o modelo proposto pelo framework DECIDE, desenvolvido especialmente para ajudar avaliadores a identificar os passos necessrios para um estudo bem-sucedido. Este framework prope um processo avaliativo de 05 etapas: 1 Determine: Determinar as metas a serem cumpridas pela avaliao; 2 Explore: Explorar perguntas especficas a serem respondidas de acordo com a(s) meta(s) identificadas na etapa1; 3 Choose: Escolher o paradigma e as tcnicas de avaliao que respondero s perguntas; 4 Identify: Identificar questes prticas que devem ser tratadas; 5 Decide: Decidir como lidar com questes ticas; 6 Evaluate: Avaliar, interpretar e apresentar os dados; A partir da utilizao deste framework, foi possvel definir a meta principal da avaliao, as questes derivadas desta meta, escolher o paradigma e as tcnicas de avaliao adequadas para o estudo proposto, descritos a seguir: Meta principal: Determinar se a interface do sistema Google Groups fcil utilizao, em relao s seguintes funcionalidades: visualizar uma discusso, postar um tpico de discusso, visualizar arquivos, fazer download de um arquivo e fazer upload de um arquivo. Questes derivadas da meta: 1- Voc considera ter identificado as principais funcionalidades do sistema? 2- Qual o grau de dificuldade encontrado para visualizar todas as discusses postadas no grupo? 3- Qual o grau de dificuldade encontrado para visualizar um tpico especfico de discusso postado no grupo? 4- Qual o grau de dificuldade encontrado para postar um novo tpico de discusso? 5- Qual o grau de dificuldade encontrado para responder a um tpico de discusso? 6- Qual o grau de dificuldade encontrado para fazer upload de um arquivo da sua mquina para o grupo? 7- Qual o grau de dificuldade encontrado para excluir um arquivo do grupo?

8- Qual o grau de dificuldade encontrado para fazer download de um arquivo do grupo para sua mquina? 9- Qual o grau de dificuldade encontrado para excluir um tpico de discusso? 10- Qual o grau de dificuldade encontrado para fazer download do primeiro arquivo postado no grupo? A partir da meta principal e das questes derivadas, o paradigma que mais se mostrou adequado foi o teste de usabilidade, e as tcnicas escolhidas foram observao dos usurios e questionrio, devido a vrios fatores, como: restries de recursos de laboratrio e tempo, boa documentao disponvel na internet, praticidade de uso, etc.

4. O processo de avaliao
Depois de definidos a meta, as questes, o paradigma e as tcnicas de avaliao apropriadas, a avaliao se deu da seguinte forma: os usurios foram selecionados e agrupados de acordo com o nvel de experincia, foram observados durante a realizao de tarefas bem definidas e ento foi aplicado um questionrio, com o objetivo de obter um feedback dos usurios avaliados sobre a experincia. Algumas questes de ordem prtica foram analisadas, tais como: quais equipamentos utilizar, qual a quantidade adequada de usurios para participar da avaliao, questes ticas, etc. Estas questes sero discutidas nesta seo. 4.1. Usurios Foram selecionados 06 usurios para serem submetidos avaliao, divididos em 02 grupos de 03 usurios, de acordo com o nvel de experincia. Inicialmente, foi feita uma rpida pesquisa entre os usurios pr-selecionados, para verificar quais deles j eram usurios do servio, ou j o tinham usado alguma vez. Para efeito de normalizao de dados, os grupos foram divididos com o mesmo nmero de integrantes. 4.2. Questes ticas Antes que o processo de avaliao da interface desse incio, cada usurio recebeu uma cpia do Termo de Livre Consentimento, no qual estavam descritas questes importantes de se tratar em qualquer processo avaliativo, a saber: - A participao dos usurios se daria de livre e espontnea vontade dos mesmos; - Todos os dados dos usurios seriam mantidos em sigilo absoluto; - Os usurios poderiam interromper o processo a qualquer momento e por qualquer motivo; - O processo, por se tratar de uma experincia, poderia trazer alguns danos integridade fsica e psquica dos usurios; Este Termo de Livre Consentimento pode ser encontrado nos anexos deste trabalho.

4.3. Tarefas Para a realizao das tarefas, foi criado um grupo especfico, denominado Avaliao IHC Google Groups, e os usurios selecionados para participar da avaliao foram convidados a participar deste grupo. Cada tarefa foi devidamente cronometrada. Foi explicitado no incio das atividades que, aps a concluso de cada tarefa, os usurios deveriam voltar para a interface principal. Cada tarefa foi projetada de maneira que usurios experientes pudessem complet-las com um tempo aceitvel entre 01 e 45 segundos. O tempo mximo aceitvel para a realizao de tarefas pelos usurios inexperientes foi de 1min30s. O tempo mdio previsto para a realizao de cada tarefa de 01min. Foi apresentada aos usurios uma lista contendo 10 tarefas a serem realizadas individualmente. A primeira tarefa, realizada apenas pelo grupo de usurios inexperientes, consistia no reconhecimento do sistema, de forma livre, durante 10 mim. Nesta tarefa os usurios poderiam navegar livremente pelo sistema, com a nica restrio de no sarem do site. Na segunda tarefa, os usurios deveriam visualizar todos os tpicos de discusses do grupo. A terceira tarefa consistia da visualizao de um tpico especfico. Nas tarefas 04 e 05, os usurios deveriam, respectivamente, postar um novo tpico de discusso e responder a um tpico. As tarefas 06, 07 e 08 consistiam de, respectivamente, fazer upload, excluso e download de um arquivo postado no grupo. Na tarefa 09, os usurios deveriam excluir um tpico de discusso. Foi explicitado no incio da tarefa aos usurios que estes s poderiam excluir um tpico de sua autoria. Por fim, na tarefa 10 e ltima, os usurios tiveram como tarefa fazer download do primeiro arquivo postado no grupo.

5. Resultados
Tabela 1. Dados de desempenho dos usurios comuns
Participa nte Quest o 1 2 3 4 Conclui Dificulda u? de? sim no sim no sim no sim no Motivo da dificuldade Temp Caminho o (s) 600 livre 5 home ->discussions 12 home ->discussions->topic home ->discussions->New 50 Post->Digitou a mensagem->Post Message home ->discussions>Selecionou o posto45 >Reply->Digitou mensagem->Send

sim

no

sim

sim

Falta de Feedback No clicava em Salvar Alteraes depois de excluir arquivo

70

sim

sim

90

sim

no Dificuldade em encontrar a opo remover

25

sim

sim

110

10 1 2 3 4

sim sim sim sim sim

no no no no no

35 600 11 20 65

sim

no

78

sim

sim

Falta de Feedback

130

no

sim

No encontrou opo

290

sim

no

150

sim

sim

Dificuldade em encontrar a opo remover

210

10

sim

sim

o navegador abriu o arquivo em nova aba automaticame nte em vez de sugerir

130

home ->file->upload new file->selecionar arquivo>Definiu caminho do arquivo home ->file->abriu arquivo em nova aba>fechou arquivo->voltou para aba anterior->Renomear e excluir arquivos->Excluir>Salvar alteraes home->file->Selecionou o arquivo->Abriu o arquivo>Usou salvar como do navegador home->discussions>seleciou o tpico->More options->Remove>Confirmou home->file->Selecionou o arquivo->Abriu o arquivo>Usou salvar como do navegador livre home ->discussions home ->discussions->topic home ->discussions->New Post->Digitou a mensagem->Post Message home ->discussions>Selecionou o posto>Reply->Digitou mensagem->Send home ->file->upload new file->selecionar arquivo>Definiu caminho do arquivo home ->file->abriu arquivo em nova aba>fechou arquivo->voltou para aba anterior->home->arquivo>discossions->arquivos>abriu arquivo->desistiu home->file->Selecionou o arquivo->Abriu o arquivo em outra aba->Atualizou>Atualizou->Voltou para aba anterior->Usou salvar como do navegador home->discussions>seleciou o tpico->reply>Discart->View Profile>Home->Selecionou o tpico->Forward->Discart>Show Quoted Text->More options->Remove>Confirmou home->file->Selecionou o arquivo->Abriu o arquivo em nova aba->Atualizou>Voltou para aba anterior>Home->View all files>Clicou na coluna data de envio->Usou salvar como

download

do navegador

1 2 3 4

sim sim sim sim

no no no no

sim

no Falta de Feedback No clicava em Salvar Alteraes depois de excluir arquivo

sim

sim

600 livre 6 home ->discussions 16 home ->discussions->topic home ->discussions->New 36 Post->Digitou a mensagem->Post Message home ->discussions>Selecionou o posto43 >Reply->Digitou mensagem->Send home ->file->upload new 63 file->selecionar arquivo>arquivo selecionado home ->file->Renomear e 84 excluir arquivos->Excluir>Salvar alteraes home->file->Selecionou o arquivo->Abriu o arquivo65 >Usou salvar como do navegador home->discussions>seleciou o tpico->reply74 >Discart->More options>Remove->Confirmou home->file->Selecionou o arquivo->Abriu o arquivo28 >Usou salvar como do navegador

sim

sim

sim

no Dificuldade em encontrar a opo remover

sim

sim

10

sim

no

Tabela 2. Dados de desempenho dos usurios experientes

Participa nte Quest o 1 2 3 4 Conclu Dificulda iu de sim sim sim no no no Motivo da dificuldade Temp o (s) 1 3 13 Caminho home ->discussions->menu discussions home ->discussions->topic home ->discussions->New Post->Preencheu os campos do formulrio de postagem>Postar mensagem home ->discussions>Selecionou o tpico>Reply->Send mensagem>Send home ->file->upload new file->selecionar arquivo>arquivo selecionado home->arquivos>Selecionou o arquivo home->arquivo->seleciou o arquivo->clicou com o botao direito do mouse->salvar link como->salvar

sim

no

15

6 7 8

sim sim sim

no no no

12 10 10

sim

no

20

10

sim

no

18

home->discussoes->escolha do topico->mais opcoes>Remove home->arquivos->data de envio->verificou ordenacao por data -> selecionou o arquivo ->clicou com o botao direito do mouse->salvar link como->salvar home ->discussoes->menu discussoes home ->discussoes->eventos home ->uploadfile->voltar>new post->clique postar>voltar->newpost>cliquepostar home->link post->reply>send home->fazer upload do arquivo->selecionar arquivo home->arquivo->data envio>delete->delete->salvar alteraoes home->arquivos->clicou no arquivo->salvar home->discussoes home->arquivo->ordenar por data->clicou no primeiro arquivo postado ->cancelar>ordenar por data->primeiro arquivo postado home ->discussoes home ->discussoes->eventos home ->discussoes->nova postagem->postar home ->post->reply->send home->upload->selecionar arquivo home->arquivo->renomear arquivo->barra de rolagem>excluir->salvar alteracoes home->arquivos->nome do arquivo->salvar home->discussao->opcao>mais opcao->remove>nome do arquivo>confirmar home->arquivo->clicou no primeir arquivo da lista

1 2 3 4 B 5 6 7 8 9 sim sim sim sim sim sim sim no no no no no no no no sim tarefa muito difcil 1 30 33 19 16 48 27 14

10 1 2 3 4 C 5 6 7 8 9 10

sim

no

45

sim sim sim sim sim sim sim sim no

no no no no no no no no sim no entendeu a pergunta

1 18 42 12 8 18 31 47 20

O principal problema encontrado foi a falta de feedback adequado da interface, que ocorreu em vrias situaes. O momento mais crtico foi no envio (upload) de arquivos, onde o usurio realiza a tarefa e no percebe que ela foi concluda por falta de feedback e em seguida tenta enviar o arquivo novamente e mesmo o arquivo estando presente nenhuma mensagem de erro emitida para o usurio, levando-o a tentar realizar esta

tarefa sucessivamente. O local da interface que o problema ocorre no menu arquivos na opo Fazer upload de arquivo. Outro problema est relacionado com o idioma da interface, o administrador do grupo definiu o portugus como idioma padro, porm, ocasionalmente entre transies de links o idioma alterado sem nenhum aviso prvio do portugus para o ingls e vice versa, o que visivelmente atrapalha a percepo do usurio. Neste caso no existe um local especifico, podendo ocorrer entre qualquer transio de menus do sistema. Dificuldade de encontrar opes bsicas tambm foi um problema recorrente, como por exemplo: a remoo de posts. Para o usurio conseguir chegar opo de remover de um post ele muitas vezes teve que clicar em opes que no tinham nenhuma relao com o objetivo em uma explcita ao de tentativa e erro, muitas vezes frustrando o usurio, levando-o em alguns casos desistir da tarefa. O local da interface que ocorre o problema pode ser acessado pelo menu discusses e escolher uma mensagem postada pelo usurio. Os questionrios comprovaram o que tnhamos percebido com as observaes, nas respostas, os usurios indicaram maior dificuldade nas tarefas onde encontramos problemas com a interface. A maioria indicou dificuldade nas seguintes questes: 6. Qual o grau de dificuldade encontrado para fazer upload de um arquivo da sua mquina para o grupo? 7. Qual o grau de dificuldade encontrado para excluir um arquivo do grupo? 9. Qual o grau de dificuldade encontrado para excluir um tpico de discusso? 10. Qual o grau de dificuldade encontrado para fazer download do primeiro arquivo postado no grupo? No restante das questes os usurios no indicaram ter dificuldades. Alm dos problemas listados, foram encontrados outros sem muita relevncia, como a impossibilidade de enviar arquivo em anexo a partir de uma mensagem postada no grupo, s possvel enviar uma mensagem com anexo usando um cliente de e-mail ou webmail. Podemos concluir que apesar dos problemas listados a interface atende bem aos seus usurios, pois na maioria das vezes eles conseguiram concluir as tarefas propostas em um tempo aceitvel, como pode ser constado nos grfico a seguir. Grfico 1- Quantidade de erros por tarefa
Quant. Erros

Tarefa

Grfico 2- Tempo de concluso de tarefas Usurios Comuns

Tempo (s)

Tarefa

Grfico 3- Tempo de concluso de tarefas Usurios Experientes

Tempo (s)

Tarefa

6. Concluses
Ao combinarmos duas das tcnicas de avaliao (observao e questionrio) foi possvel reunir diversas informaes a cerca da interface avaliada. Deste modo, o uso de tais mtodos revelou ser altamente satisfatrio para levantar as questes de usabilidade em relao interface da ferramenta colaborativa avaliada. As questes de privacidade so gerenciadas pelo administrador por ferramentas incorporadas ao sistema, podendo ser um grupo privado ou publico. Um dos destaques do sistema so as possibilidades de personalizao, o administrador pode definir cores e cones mudando a aparncia da interface, seguindo uma tendncia no mundo das interaes. O Google Groups segue o mesmo modelo de interfaces adotado em outros produtos da Google: limpa, simples e intuitiva, conseguindo comunicar bem para usurio como utilizar as principais funes

sem necessidade de recorrer ao manual. Apesar dos problemas de feedback encontrados a interface cumpre bem seu papel.

7. Referncias
Gomes, D. R. Pereira, C. A. M. Petreca, T. M.. Aquino Jr., P. T. (1995) Teste com usurios baseados em personas em benefcio da prototipao de sistemas Web ,

http://www.iadis.net/dl/final_uploads/200819023.pdf, November.
Masiero,A. Wachs, G. Gonalves, Matheus H. P. Aquino Jr., Plinio T. (1995) Anti-patterns Apoiando a Documentao dos Problemas de Usabilidade , http:// revistaseletronicas.pucrs.br/ojs/index.php/hifen/article/view/4598/3485, November.

http://wikipedia.com