Professional Documents
Culture Documents
Contabilidade
Cincia
da
Braslia - DF
2006
ii
iii
Agradecimentos
Desde o incio de 1999, quando comecei a cursar, ainda como aluna especial, a Psgraduao do Departamento de Cincia da Informao e Documentao da Universidade de Braslia,
at a concluso desta tese, muitas pessoas contriburam para que isso fosse possvel. A todas elas
agradeo pelo apoio e incentivo, essenciais para o dia-a-dia da pesquisa, durante todas as suas
etapas. Gostaria de agradecer, em especial, queles que possibilitaram a realizao desta pesquisa e
queles que nela diretamente participaram, oferecendo parte de seu precioso tempo e fornecendo
informaes cruciais para este estudo:
minha orientadora, Sely Costa, pela ateno, amizade e orientao ao longo deste
trabalho;
Aos gestores dos portais web pesquisados, pelas informaes fornecidas sobre seus
servios de governo eletrnico e pelo apoio realizao da pesquisa de satisfao de
seus clientes;
Aos gestores de portais participantes dos grupos focais e aos milhares de usurios
participantes da pesquisa de satisfao, pelos relevantes subsdios ao trabalho de
pesquisa;
iv
ativamente na avaliao dos resultados do Programa E-Gov brasileiro e dos servios
pblicos eletrnicos selecionados;
Aos especialistas Ernesto Jeger, Joo Batista Simo e Maria Alexandra Viegas Cortez da
Cunha, pela contribuio significativa no planejamento da avaliao dos resultados do
Programa E-Gov brasileiro;
Aos Secretrios de Controle Externo, Cludio Souza Castello Branco e Selma Maria
Hayakawa Cunha Serpa; ao Diretor de Auditoria da Tecnologia da Informao, Daniel
Dias Pereira e sua substituta Roberta Ribeiro de Queiroz Martins; ao Diretor de Gesto
do Ambiente Computacional, Antonio Quintino Rosa; ao Analista, Renato Kanemoto; e ao
Tcnico, Glaudstony Cavalcante Maia da Costa, pelo apoio no planejamento e na
execuo da auditoria em aes do Programa E-Gov brasileiro;
Resumo
O modelo conceitual construdo nesta pesquisa organiza e expe idias da teoria de
comunicao de massa aplicada prestao de servios pblicos via Internet e sugere formas
possveis de avaliao da fidelidade desse processo de comunicao eletrnica, tanto pelo Governo
quanto pelos cidados-clientes desses servios. A partir desse modelo, que traa um paralelo entre
fidelidade do processo de comunicao e qualidade de servios pblicos, como um novo enfoque
para a rea de Comunicao da Informao, esta pesquisa teve, como objetivo geral, definir e validar
mtodo de avaliao dos resultados de programas de governo eletrnico sob a tica dos cidadosclientes.
Para tanto, foi identificada, na literatura, documentao sobre programas de governo
eletrnico, mtodos e mtricas para sua avaliao; elaborados modelos de avaliao de governo
eletrnico, e outros baseados nos mtodos identificados e selecionados na literatura; selecionados o
Programa E-Gov brasileiro e cinco servios pblicos eletrnicos; e, por fim, proposto mtodo de
avaliao de programas de governo eletrnico, o qual foi aplicado e validado ao longo desta
pesquisa. O conjunto de tcnicas desse mtodo englobou, alm do grupo focal e da avaliao
heurstica, vrias das tcnicas e ferramentas de coleta, anlise de dados e de controle de qualidade
geralmente utilizadas em avaliaes de programa: pesquisa documental, entrevista, levantamento
(survey), anlise de grupo de interesse, anlise SWOT, diagrama de verificao de risco, matriz de
planejamento, matriz de achados e painel de referncia. Como contribuies significativas desta
pesquisa destacam-se os modelos de avaliao de governo eletrnico, de avaliao da satisfao e
de avaliao de programas de governo eletrnico; a lista de verificao para portais e servios e-gov
e os instrumentos de coleta de dados, disponveis como apndices; a confrontao do modelo de
avaliao da satisfao desta pesquisa com modelos similares de outros estudos; assim como os
resultados da aplicao do mtodo proposto.
Em suma, para a academia, este trabalho servir como um novo ngulo sobre fidelidade do
processo de comunicao entre governo e sociedade e de qualidade de servios pblicos; como
fonte de consulta bibliogrfica sobre avaliao de e-gov sob a tica do cidado-cliente; como
referncia para a construo de novos instrumentos de coleta de dados; e como fonte de inspirao
para outras pesquisas complementares a esta. Para a comunidade tcnica, esta pesquisa oferece
mtodo de avaliao de governo eletrnico, com lista de verificao para portais e servios e-gov,
instrumentos de coleta de dados validados e procedimentos detalhados, com anlise crtica de
vantagens e desvantagens de cada tcnica, para sua aplicao prtica em avaliao de programas e
servios pblicos eletrnicos, visando a tomada de deciso abalizada para a melhoria desses
programas e servios. A aplicao peridica desse mtodo permitir o acompanhamento e o controle
da qualidade dos servios e-gov oferecidos populao.
Palavras-chave: avaliao de governo eletrnico; qualidade de servios pblicos eletrnicos;
satisfao do usurio; comunicao eletrnica; estudo de usurios.
vi
Abstract
The conceptual model developed by the researcher organizes and shows ideas from mass
communication theory applied to public services delivery through the Internet, and suggests a few
alternatives to evaluate the fidelity of this electronic communication process, from Government and
citizens points of view. From this model, which draws a parallel between communication process
fidelity and public service quality, as a new focus to the field of Information Communication, this
research aimed to define and validate an evaluation method of electronic government program results,
from citizens point of view.
To achieve the research objective, the researcher identified, during literature review,
documents about electronic government programs, methods and metrics for their evaluation;
elaborated electronic government evaluation models, and other, based on methods identified and
selected from literature; selected the Brazilian E-Gov Program and five electronic public services to be
evaluated; and, at last, proposed an electronic government evaluation method, which was applied and
validated during the research. The proposed evaluation method includes, besides focus groups and
heuristic evaluation, many data collection, data analysis and quality control techniques and tools
generally used in program evaluations: document research, interviews, surveys, stakeholder and
SWOT analysis, risk diagram, audit planning and finding matrixes, reference panel.
As significant contributions of this research, one may highlights the electronic government,
satisfaction and program evaluation models; the e-gov portals and services evaluation checklist, and
the data collection tools related to this researchs objectives, available as appendixes; the comparison
between the proposed satisfaction evaluation model and similar models developed by other
researchers; and also the results achieved by applying the proposed method.
In summary, for academy, this research will serve as a new angle on communication process
fidelity between government and society, and public service quality; as bibliographic source about egov evaluation from citizens point of view; as reference to new data collection instruments
development; and as inspiration to other researchers. For technical community, this research offers an
electronic government evaluation method, with e-gov portals and services evaluation checklist,
validated data collection instruments, detailed procedures, and critical analysis about advantages and
disadvantages of each technique, to be applied in real-life programs and electronic public services
evaluation, in order to support decision-making to improve these programs and services. Applying this
method periodically will provide quality control and monitoring of e-gov services offered to citizens.
Keywords: electronic government evaluation; electronic public services quality; user satisfaction;
electronic communication; user study.
vii
Sumrio
LISTA DE SIGLAS E ABREVIATURAS ................................................................... XI
LISTA DE FIGURAS, QUADROS E GRFICOS.....................................................XV
1 INTRODUO ..................................................................................................... 1
1.1
Problema ................................................................................................................................................ 4
1.2
Objetivos ................................................................................................................................................ 4
1.2.1
Objetivo geral.................................................................................................................................. 4
1.2.2
Objetivos especficos....................................................................................................................... 5
1.3
1.4
Justificativa............................................................................................................................................ 6
1.5
2.1
Comunicao ......................................................................................................................................... 9
2.1.1
Processo de comunicao e seus modelos....................................................................................... 9
2.1.2
Comunicao de massa ................................................................................................................. 12
2.1.3
Comunicao efetiva e fidelidade ................................................................................................. 14
2.1.4
Consideraes finais...................................................................................................................... 17
2.2
Governo eletrnico .............................................................................................................................. 18
2.2.1
Caractersticas ............................................................................................................................... 20
2.2.1.1
Canais eletrnicos de comunicao........................................................................................... 21
2.2.1.2
Foco no cliente .......................................................................................................................... 21
2.2.1.3
Processamento em tempo real ................................................................................................... 22
2.2.1.4
Ambiente sem papel .................................................................................................................. 22
2.2.1.5
Processos automticos............................................................................................................... 22
2.2.1.6
Integrao linha de frente retaguarda ..................................................................................... 22
2.2.1.7
Dependncia da tecnologia da informao................................................................................ 23
2.2.2
Potenciais benefcios ..................................................................................................................... 23
2.2.2.1
Melhores servios...................................................................................................................... 23
2.2.2.2
Governo mais eficiente.............................................................................................................. 24
2.2.2.3
Novas relaes entre o governo e a sociedade .......................................................................... 25
2.2.2.4
Outros benefcios para a sociedade ........................................................................................... 25
2.2.3
Setores envolvidos......................................................................................................................... 26
2.2.3.1
Relao do governo com os cidados-clientes (G2C) ............................................................... 26
2.2.3.2
Relao do governo com outros agentes governamentais (G2G).............................................. 27
2.2.3.3
Relao do governo com as empresas (G2B)............................................................................ 27
2.2.4
Estgios ......................................................................................................................................... 27
2.2.4.1
Apresentao de informaes.................................................................................................... 28
2.2.4.2
Busca de informaes................................................................................................................ 29
2.2.4.3
Interatividade limitada............................................................................................................... 29
2.2.4.4
Transao eletrnica.................................................................................................................. 29
2.2.4.5
Integrao e-gov........................................................................................................................ 30
2.2.5
Desafios......................................................................................................................................... 31
2.2.6
Avaliao....................................................................................................................................... 32
2.2.6.1
Classificao em estgios evolutivos e benchmarking.............................................................. 33
2.2.6.2
Comparao da realidade alcanada com seus objetivos estratgicos....................................... 39
2.2.6.3
Prestao de contas ao governo central ..................................................................................... 40
2.2.6.4
Avaliao de programas de governo ......................................................................................... 40
2.2.6.5
Avaliao de aplicaes especficas.......................................................................................... 42
2.2.7
Consideraes finais...................................................................................................................... 43
viii
2.3
Satisfao do cliente de servios pblicos eletrnicos ...................................................................... 44
2.3.1
Setor pblico x setor privado ........................................................................................................ 44
2.3.2
Cidado-cliente ............................................................................................................................. 45
2.3.3
Qualidade de servios.................................................................................................................... 46
2.3.3.1
Qualidade de servios eletrnicos ............................................................................................. 48
2.3.3.2
Padres de qualidade no servio pblico................................................................................... 51
2.3.4
Satisfao ...................................................................................................................................... 53
2.3.4.1
Fatores externos que afetam a satisfao................................................................................... 57
2.3.4.2
Indicadores ................................................................................................................................ 58
2.3.5
Avaliao de servios.................................................................................................................... 61
2.3.5.1
Mtodos..................................................................................................................................... 62
2.3.5.2
Pesquisa de satisfao ............................................................................................................... 65
2.4
Avaliao de programas de governo.................................................................................................. 69
2.4.1
Dimenses para avaliao ............................................................................................................. 71
2.4.2
Tcnicas e ferramentas de coleta de dados.................................................................................... 72
2.4.2.1
Pesquisa documental ................................................................................................................. 72
2.4.2.2
Entrevista................................................................................................................................... 73
2.4.2.3
Levantamento ............................................................................................................................ 73
2.4.2.4
Observao direta...................................................................................................................... 73
2.4.2.5
Consulta a especialista............................................................................................................... 73
2.4.3
Tcnicas e ferramentas de anlise de dados .................................................................................. 74
2.4.3.1
Anlise de grupo de interesse .................................................................................................... 74
2.4.3.2
Anlise SWOT .......................................................................................................................... 74
2.4.3.3
Diagrama de verificao de risco .............................................................................................. 75
2.4.3.4
Anlise RECI............................................................................................................................. 75
2.4.3.5
Mapa de produtos ...................................................................................................................... 76
2.4.3.6
Indicador de desempenho.......................................................................................................... 77
2.4.3.7
Mapa de processos .................................................................................................................... 77
2.4.3.8
Marco lgico ............................................................................................................................. 78
2.4.4
Tcnicas e ferramentas de controle de qualidade .......................................................................... 78
2.4.4.1
Matriz de planejamento ............................................................................................................. 79
2.4.4.2
Matriz de achados...................................................................................................................... 81
2.4.4.3
Painel de referncia ................................................................................................................... 82
3.1
3.2
3.3
3.4
3.5
3.6
Consideraes finais............................................................................................................................ 97
4.1
Abordagem......................................................................................................................................... 101
4.1.1
Justificativa ................................................................................................................................. 101
4.1.2
Limitaes metodolgicas associadas ao estudo de caso ............................................................ 103
4.2
Etapas metodolgicas de pesquisa ................................................................................................... 103
4.2.1
Seleo do Programa E-Gov brasileiro e dos servios pblicos eletrnicos a serem avaliados .. 105
4.2.2
Proposta de mtodo de avaliao de programas de governo eletrnico ...................................... 109
4.2.3
Aplicao e validao do mtodo elaborado ............................................................................... 110
4.3
Tcnicas quantitativas e qualitativas............................................................................................... 110
4.3.1
Tcnica quantitativa .................................................................................................................... 111
ix
4.3.1.1
4.3.1.2
4.3.2
4.3.2.1
5.1
Contexto do Programa Governo Eletrnico ................................................................................... 128
5.1.1
Objetivo do Programa ................................................................................................................. 130
5.1.2
Responsveis e forma de implementao do Programa .............................................................. 131
5.1.3
Legislao pertinente................................................................................................................... 131
5.1.4
Monitoramento e avaliao da prestao de servios pblicos eletrnicos................................. 132
5.2
Avaliao do Programa Governo Eletrnico .................................................................................. 133
5.2.1
Eficcia e qualidade .................................................................................................................... 134
5.2.2
Articulao institucional ............................................................................................................. 137
5.3
Contextos dos servios pblicos eletrnicos selecionados .............................................................. 148
5.3.1
Os servios da Previdncia.......................................................................................................... 148
5.3.2
O Programa Nacional de Estmulo ao Primeiro Emprego........................................................... 151
5.3.3
A Declarao Anual de Isento..................................................................................................... 152
5.4
5.5
5.6
Anlise das tcnicas utilizadas.......................................................................................................... 185
5.6.1
Pesquisa documental ................................................................................................................... 185
5.6.2
Tcnicas e ferramentas de anlise e controle de qualidade ......................................................... 185
5.6.3
Entrevista..................................................................................................................................... 186
5.6.4
Avaliao heurstica e testes de interface .................................................................................... 187
5.6.5
Grupo focal.................................................................................................................................. 188
5.6.6
Questionrio ................................................................................................................................ 189
5.6.7
Triangulao das tcnicas utilizadas ........................................................................................... 191
5.7
5.8
6.1
Discusso e concluses com base nas questes de pesquisa ........................................................... 207
6.1.1
Como avaliar os resultados de programas de governo eletrnico sob a tica do cidado-cliente?
208
6.1.2
H relao direta entre o atendimento aos padres de qualidade adotados e a satisfao do
cidado-cliente com os servios de governo eletrnico? ................................................................................ 213
6.1.3
Outras concluses no associadas diretamente a questes de pesquisa....................................... 215
6.2
Contribuies da pesquisa ................................................................................................................ 219
6.2.1
Contribuies tericas da pesquisa.............................................................................................. 220
6.2.2
Contribuies prticas da pesquisa.............................................................................................. 220
6.2.3
Consideraes finais.................................................................................................................... 222
6.3
6.4
7
8
9
9.1
x
9.2
9.3
9.4
Modelos de diagramas e matrizes de avaliao de programas...................................................... 245
9.4.1
Anlise grupo de interesse (stakeholder) .................................................................................... 245
9.4.2
Anlise SWOT ............................................................................................................................. 245
9.4.3
Diagrama de verificao de risco ................................................................................................ 246
9.4.4
Matriz de planejamento ............................................................................................................... 246
9.4.5
Matriz de achados ....................................................................................................................... 247
9.5
9.6
9.7
Roteiro para realizao de grupo focal com coordenadores de comits tcnicos ........................ 262
9.8
9.9
9.10
9.11
xi
xii
ECSI - European Customer Satisfacion Index
ECT - Empresa Brasileira de Correios e Telgrafos
EFQM - European Foundation for Quality Management
EFS Entidade Fiscalizadora Superior
E-gov Governo eletrnico
E-mail Electronic Mail
ENAP - Escola Nacional de Administrao Pblica
EOQ - European Organization for Quality
E-Ping Padres de Interoperabilidade de Governo Eletrnico
EUA Estados Unidos da Amrica
Expec - Expectativa
FCD - Final Commitee Draft
FIRJAN - Federao das Indstrias do Estado do Rio de Janeiro
G2B Government to Business
G2C Government to Citizen
G2E Government to Employee
G2G Government to Government
GAO - General Audit Office
GOL Government On-Line
GSA - General Services Administration
GT Grupo de Trabalho
HM - Her Majestys
HTML Hypertext Markup Language
IAB - Intergovernmental Advisory Board
ICCS - Institute for Citizen-Centred Service
IEC - International Engineering Consortium
Infoseg - Sistema Nacional de Integrao de Informaes em Justia e Segurana Pblica
INSS Instituto Nacional do Seguro Social
INTOSAI - International Organization of Supreme Audit Institutions
IPEA - Instituto de Pesquisa Econmica Aplicada
xiii
IPPS - Instrumento Padro de Pesquisa de Satisfao
IPVA Imposto sobre a Propriedade de Veculos Automotores
ISO International Organization for Standardization
IT Information Technology
KB - kilobytes
LAN Local Area Network
MCT Ministrio da Cincia e Tecnologia
MP - Ministrio do Planejamento, Oramento e Gesto
MTE Ministrio do Trabalho e Emprego
NAO - National Audit Office
OAG - Office of the Auditor General of Canada
OECD - Organization for Economic Co-operation and Development
OMB - Office of Management and Budget
PNPE Programa Nacional de Estmulo ao Primeiro Emprego
PPA Plano Plurianual
PQSP - Programa da Qualidade no Servio Pblico
Prevcidado Previdncia do Cidado
PTM - Percent to Maximum
QP Qualidade percebida
RECI Responsvel, Executor, Consultado e Informado
Secom Secretaria de Comunicaes da Presidncia da Repblica (nova nomenclatura Subsecretaria de Comunicao Institucional da Secretaria-Geral da Presidncia da Repblica)
Serpro - Servio Federal de Processamento de Dados
SG Satisfao geral
SIBIS - Statistical Indicators Benchmarking the Information Society
Sigplan Sistema de Informaes Gerenciais e de Planejamento
Sine Sistema Nacional de Emprego
Sisg - Sistema de Servios Gerais
Sisp - Sistema de Administrao dos Recursos de Informao e Informtica
SLTI Secretaria de Logstica e Tecnologia da Informao
xiv
SMS Short Message Service
Socinfo Sociedade da Informao
SPSS - Statistical Package for the Social Sciences
SWOT Strengths, Weaknesses, Opportunities and Threats.
TBS - Treasure Board Secretariat
TCU Tribunal de Contas da Unio
TI - Tecnologia da Informao
TIC - Tecnologia da Informao e Comunicao
TNS - Taylor Nelson Sofres
Unb Universidade de Braslia
UNDESA - United Nations Department for Economic and Social Affairs
URL - Uniform Resource Locator
USA United States of America
VAT - Value Added Tax
W3C - World Wide Web Consortium
WAN Wide Area Network
Webaim - Web Accessibility in Mind
xv
20
54
56
58
84
87
90
97
100
148
152
153
166
169
169
95
102
108
117
123
165
166
193
195
197
199
201
201
202
203
204
205
120
135
140
140
141
142
142
144
145
145
155
155
156
156
156
157
157
158
159
160
161
161
xvi
Grfico 23 outros servios eletrnicos usados (q2_7).
Grfico 24 atendimento s normas ou recomendaes (questes 3 a 8).
Grfico 25 facilidade para encontrar o servio e sua disponibilidade (q2_4a e b; q1_4b e 4e).
Grfico 26 acessibilidade e usabilidade (q1_4f; q2_4c a 4g).
Grfico 27 confiabilidade e segurana (q1_4c e 4g; q2_4h e 4i).
Grfico 28 atendimento a dvidas (q2_2).
Grfico 29 atendimento a dvidas e tempo para completar o servio (q1_4d e 4l; q2_4k).
Grfico 30 satisfao ou insatisfao com o atendimento a dvidas (q2_3).
Grfico 31 grau de satisfao (q1_2; q2_1).
Grfico 32 atendimento s necessidades (q1_1).
Grfico 33 padro de qualidade esperado (q1_3).
Grfico 34 atendimento s necessidades e convenincia do meio eletrnico (q1_4a e 4h; q2_4j).
Grfico 35 opinio sobre os servios eletrnicos (q1_5; q2_5).
Grfico 36 subordinao da equipe (questo 35).
Grfico 37 forma de gesto (questo 36).
Grfico 38 funes formalmente estabelecidas (questo 1).
Grfico 39 responsvel pela gerncia do portal (questo 2).
Grfico 40 sexo (q1_9; q2_9).
Grfico 41 idade (q1_10; q2_10).
Grfico 42 grau de escolaridade (q1_11; q2_11).
Grfico 43 habilidade no uso de computadores (q1_12; q2_12).
Grfico 44 freqncia de uso da internet (q1_13; q2_13).
Grfico 45 local de acesso internet (q1_14; q2_14).
Grfico 46 uso do servio eletrnico (q1_7; q2_8).
Grfico 47 participantes da entrevista telefnica por regio.
Grfico 48 relao entre mdia da qualidade percebida e importncia das dimenses.
Grfico 49 relao entre mdia dos padres atendidos e importncia das dimenses.
Grfico 50 relao entre mdia do valor percebido e importncia das dimenses.
162
163
168
171
172
175
175
176
178
178
179
180
181
182
182
182
182
183
183
183
183
183
184
184
184
196
197
200
1 Introduo
1
Os termos tcnicos em ingls relacionados ao tema da pesquisa e que j constam de dicionrio da lngua portuguesa sero
utilizados em seu idioma original, sem grifo, e faro parte do glossrio desta tese (p. 234). Os termos estranhos lngua
portuguesa sero grafados em itlico.
2
A carncia de aprofundamento terico e a abrangncia dos estudos sobre governo eletrnico
foram constatadas por Marcondes & Jardim (2003, p. 6), aps dois anos de pesquisa sobre a
implantao do governo eletrnico na Administrao Pblica Federal brasileira (2001-2002):
Do ponto de vista terico, constata-se uma frgil densidade conceitual em torno
do governo eletrnico, revelada no s na literatura sobre o tema na Cincia da
Informao como nos programas governamentais a respeito no Brasil e em outros
pases. Por outro lado, constata-se que o tema, dada a sua abrangncia, tende a
ser abordado por vrias disciplinas: Administrao, Informtica, Cincia Poltica,
Direito, Cincia da Informao, Engenharia de Produo, etc.
O problema que esta pesquisa se prope a responder - Como avaliar os resultados de
programas de governo eletrnico sob a tica do cidado-cliente? pretende contribuir para o
avano da atividade prtica de avaliao de governo eletrnico, porm com bases cientficas, ao
identificar e validar procedimentos, critrios de avaliao, padres de qualidade e indicadores em um
determinado contexto. claro que este estudo no responde a todas as perguntas, que certamente
so relevantes, sobre avaliao de governo eletrnico. Esta pesquisa escolheu um ngulo da
avaliao para ser aprofundado, esperando que outros pesquisadores, incentivados pelos seus
resultados, se dediquem a explorar outros ngulos complementares.
A comunidade de pesquisa, de um lado, elabora questes de pesquisa direcionadas aos
avanos tecnolgicos, seus aspectos e componentes sem qualquer restrio prtica. A comunidade
tcnica profissional elabora questes operacionais e de implementao da tecnologia em contextos
econmicos e institucionais do mundo real, com todas as suas restries e possibilidades,
concentrando-se em aplicaes disponveis no mercado.
A avaliao de governo eletrnico, tanto na prtica quanto na teoria, deve selecionar o que
ser avaliado, deixando claro o que realmente est includo e o que est excludo da avaliao. Toda
avaliao deixa algo de fora. Por ser uma tecnologia recente, tal como as bibliotecas digitais, e pelo
pouco conhecimento sobre avaliao nesse ambiente, nenhuma avaliao de governo eletrnico
capaz de cobrir todos os seus componentes, nem pode ter a pretenso de fazer isso. Assim como
no h avaliao de bibliotecas digitais (Saracevic, 2000), no h avaliao de governo eletrnico.
possvel realizar, entretanto, avaliaes de alguns elementos envolvidos por essa nova tecnologia,
sob determinado ngulo de viso.
3
Mesmo que no haja qualquer movimento visvel na evoluo da avaliao de governo
eletrnico no mbito formal, a avaliao informal de iniciativas de governo eletrnico continuar
sendo feita pelos gestores, usurios, leigos, tcnicos, especialistas, ou qualquer pessoa ou instituio
envolvida com seus resultados ou efeitos prticos. Tais avaliaes informais podem at ser vlidas e
confiveis, mas tambm podem levar a caminhos equivocados e criar percepes e expectativas
irreais sobre o governo eletrnico. Portanto, preciso que a avaliao formal de iniciativas de
governo eletrnico seja ampliada e incorporada tanto s atividades de pesquisa na rea quanto s
atividades prticas de desenvolvimento e implantao.
Esta pesquisa sobre a avaliao dos resultados de programas de e-gov, ao se preocupar com
a transferncia de informao entre governo e cidados, usando a tecnologia como meio de
comunicao da informao, e abrangendo conceitos tericos advindos da Administrao, da Cincia
da Computao (mais especificamente das reas de Auditoria da Tecnologia da Informao e de
Interao Homem-Computador), e da Cincia da Informao, prope-se a formular um modelo de
avaliao de governo eletrnico sob a tica dos cidados-clientes e vai ao encontro das idias de
Saracevic (1999, p. 1052) sobre a Cincia da Informao:
Primeiro, a Cincia da Informao interdisciplinar em sua natureza;
Segundo, a Cincia da Informao inexoravelmente conectada Tecnologia da
Informao;
Terceiro, a Cincia da Informao , assim como outras reas, um participante
ativo na evoluo da sociedade da informao. A Cincia da Informao tem uma
forte dimenso social e humana, acima e alm da tecnologia.
Com esta pesquisa, pretende-se desenvolver e validar um conjunto de procedimentos e
requisitos para avaliar os resultados de programas de governo eletrnico, considerando aspectos de
avaliao de programas de governo e de portais web. Esse conjunto, denominado mtodo de
avaliao de programas de governo eletrnico, poder ser aplicado por auditores internos e externos
de qualquer pas com programa de governo eletrnico institudo. Os requisitos reunidos nesse
mtodo podero tambm ser utilizados por projetistas de portais de governo eletrnico preocupados
com a acessibilidade e a usabilidade de sua interface, assim como com outros aspectos de qualidade
e segurana de sistemas de tecnologia da informao.
4
A aplicao desse mtodo atestar se foram atingidos, por exemplo, os objetivos de melhoria
dos servios de informao prestados ao cidado, utilizando a Internet como meio de comunicao
de informaes. Este estudo, a partir da tica do cidado-cliente, pretende tambm identificar se
usurios e gestores de servios de governo eletrnico compartilham da mesma opinio ou percepo
sobre a qualidade desses servios. Embora no chegue a testar hipteses sobre esse assunto, usa,
como pano de fundo, a hiptese de oposio formulada por Saracevic (2005, p. 9) no contexto de
bibliotecas digitais: no uso, usurios e bibliotecas digitais, se encontram, com mais freqncia, em
posies antagnicas.
1.1 Problema
A carncia de aprofundamento terico sobre governo eletrnico e de estudos em Cincia da
Informao sobre comunicao para o cidado; a variedade de mtodos de avaliao de governo
eletrnico com enfoques diversos; e a necessidade de medir efetivamente o sucesso, sob o ponto de
vista do cidado-cliente, das iniciativas de governo eletrnico, como uma alternativa de canal de
comunicao do Governo com a sociedade na prestao de servios pblicos, deram origem ao
problema de pesquisa, o qual pode ser expresso em duas questes :
1.2 Objetivos
Para responder s questes desta pesquisa, foram definidos os objetivos geral e especficos
descritos a seguir.
Definir e validar mtodo de avaliao dos resultados de programas de governo eletrnico sob a
tica dos cidados-clientes.
Avaliar aspectos intrnsecos aos usurios e aos ambientes fsicos em que ocorre a interao
homem-computador;
Avaliar custos, eficincia do programa ou servio de governo eletrnico, nem to pouco sua
prestao de contas;
Avaliar de que forma o problema da excluso digital est sendo tratado pelo governo;
1.4 Justificativa
Por ser uma rea de estudo ainda muito recente, e pelo governo eletrnico ter adquirido
2
7
seja para o cidado seja para o prprio governo, pela falta de mtodos de auditoria e mtricas
adequadas. Verifica-se, portanto, a necessidade de pesquisa e desenvolvimento de mtricas e
procedimentos metodolgicos que possam ser adotados por auditores internos e externos, projetistas
de portais e-gov, equipes responsveis pela implantao de programas de governo eletrnico em
qualquer pas, entre outros profissionais envolvidos nessa rea.
Do lado terico, na Cincia da Informao, ao se pesquisar a literatura sobre comunicao da
informao, percebe-se a supremacia de estudos sobre comunicao cientfica, realizados desde os
anos 50, quando o intuito da rea era promover a troca de informao de valor cientfico entre
pesquisadores. Observa-se, tambm, uma quantidade de estudos mais recentes sobre comunicao
de informao tecnolgica e organizacional. Poucas so as pesquisas em Cincia da Informao que
versam sobre comunicao de outros tipos de informao, alm do mbito cientfico, tecnolgico,
organizacional e de negcios.
Uma pesquisa sobre a fidelidade do processo de comunicao do governo com seus
cidados via Internet, ao tratar no da informao cientfica, tecnolgica ou organizacional, mas da
informao para o cidado, trocada na prestao de servios pblicos, com vistas ao exerccio da
cidadania, identificando as barreiras que interferem nessa fidelidade e que devem ser minimizadas,
certamente despertar a ateno de outros pesquisadores para essa categoria de estudo do
processo de comunicao. Para Roberts (1976, p. X), sem dvida, relevante estudar os problemas
de informao de comunidades cientficas, mas no h razo para negligenciar outros grupos
sociais.
Esta pesquisa, portanto, ao propor um mtodo de avaliao de programas de governo
eletrnico, com procedimentos e mtricas validados para medir seus resultados, contribui com
estudos mais aprofundados nas reas de comunicao da informao, auditoria de portais web,
avaliao de programas de governo e de servios pblicos.
2
No Brasil, por exemplo, em 2000, foi publicada a proposta de poltica de governo eletrnico e criado o Comit Executivo de
Governo Eletrnico. Em 2002, o Programa Governo Eletrnico passou a figurar no Plano Plurianual do Governo brasileiro,
como ao prioritria.
Captulo 5 Anlise dos dados apresenta anlise dos resultados da avaliao do Programa de
Governo Eletrnico brasileiro e dos servios pblicos eletrnicos selecionados.
2 Reviso da literatura
Por se tratar de um sistema informatizado de comunicao de massa entre governo e
cidado, por meio da Internet, foi preciso conhecer os conceitos relacionados com o processo de
comunicao da informao, para responder ao problema objeto desta pesquisa. Alm disso, foi
necessrio combinar os conceitos tericos de avaliao de governo eletrnico e da satisfao de
clientes de servios pblicos com a prtica de avaliao de programas de governo de carter
genrico, praticada sistematicamente por entidades fiscalizadoras governamentais.
2.1 Comunicao
De acordo com vrios estudos, ao longo da vida, gasta-se, aproximadamente, 75% de cada
dia em processos de comunicao (ouvindo, falando, lendo e escrevendo). Para Tubbs & Moss
(2003), o ritmo acelerado da vida moderna e a presso de ter de fazer muito em cada vez menos
tempo tm influenciado quantitativa e qualitativamente a comunicao.
O conceito de comunicao tambm tem evoludo ao longo dos anos tornando-se
multidisciplinar e complexo de tal forma que cada rea do conhecimento o estuda de acordo com sua
prpria tica. Diante da variedade de modelos para definir comunicao e seu processo, deduz-se
que no h um conceito nico de comunicao que atenda a todos os propsitos de pesquisa. Nesta
parte da reviso de literatura, pretende-se discorrer sobre o processo de comunicao e seus
elementos, com destaque para a comunicao de massa e a fidelidade do processo de comunicao,
assuntos relacionados ao tema desta pesquisa.
10
entre seus vrios componentes. Como exemplos de modelos, pode-se mencionar os de Lasswell,
Shannon e Weaver, e Tubbs e Moss.
O modelo de Lasswell, cuja frmula do processo de comunicao responde s perguntas:
Quem? Diz o qu? Por meio de que canal? Para quem? Para qu?, adicionou os elementos canal e
efeito, aos elementos bsicos da comunicao: emissor, mensagem e receptor. O emissor, tambm
denominado fonte ou comunicador, quem est comunicando, a pessoa com idias, intenes,
informao e propsitos de comunicao.
A mensagem o que o emissor espera comunicar ao receptor. Para Berlo (1982), pelo
menos trs fatores precisam ser considerados na mensagem: o cdigo, o contedo e o tratamento.
Cdigo um conjunto estruturado de smbolos que tem significado para algum, como por exemplo,
os idiomas. Contedo o material da mensagem, escolhido pelo emissor para exprimir seu objetivo,
e o tratamento o conjunto de decises que o emissor toma para selecionar e dispor tanto o cdigo
quanto o contedo. Essas decises so os meios pelos quais o emissor prefere codificar a
mensagem, selecionando certos elementos de cdigo e contedo, variando tipos grficos, ordem de
apresentao dos contedos, estilo, vocabulrio.
Qualquer situao de comunicao humana compreende a produo da mensagem por
algum, e a recepo dessa mensagem por outra pessoa com quem se est comunicando: o
receptor. Quando algum escreve, algum deve ler o que foi escrito. O receptor da mensagem o
alvo da comunicao (Berlo, 1982, p. 40).
Para esse autor, til falar sobre emissores e receptores separadamente, apenas para fins
analticos, pois no faz sentido supor que se tratem de funes independentes. Chamar um indivduo
de fonte implica em paralisar a dinmica do processo em determinado ponto; cham-lo de receptor
implica que simplesmente cortamos o processo noutro ponto (Berlo, 1982, p. 58).
No processo de comunicao de Lasswell, o emissor tem que escolher um canal, isto ,
algum veculo, suporte, ou condutor no qual transportar sua mensagem. O efeito, por sua vez, diz
respeito ao que se deseja conseguir com a comunicao.
11
Mcquail & Windahl (1993) afirmam que a frmula Lasswell demonstra um trao caracterstico
dos primeiros modelos de comunicao, ao assumir que o emissor tem sempre inteno de
influenciar o receptor, que a comunicao deve ser tratada principalmente como um processo
persuasivo, e ainda que as mensagens sempre tm efeitos, o que nem sempre se verifica. J o
modelo de Shannon e Weaver, essencialmente matemtico, envolve questes tcnicas do canal de
transmisso, preocupando-se com sua eficincia e capacidade de minimizar interferncias ou rudos
no sinal transmitido.
O modelo de Tubbs e Moss (2003), por sua vez, mostra um evento bsico de comunicao
humana e envolve duas pessoas - Comunicador 1 (emissor/receptor) e Comunicador 2
(receptor/emissor). Na verdade, ambos so fontes e receptores de comunicao, pois originam e
recebem mensagens simultaneamente. Nesse modelo, a comunicao um processo contnuo,
iterativo, sem comeo nem fim.
Alguns modelos apontam ainda outros dois elementos: codificador (do lado do emissor) e
decodificador (do lado do receptor). O processo de codificao traduz as idias do emissor para um
conjunto sistemtico de smbolos, para uma linguagem que expresse os propsitos da comunicao e
que seja adequada tanto para os meios de transmisso quanto para os receptores. O resultado do
processo de codificao a mensagem.
Para que o processo de comunicao se complete, a mensagem deve ser decodificada de
modo que seja compreendida pelo receptor. Decodificar se refere re-traduo da mensagem para
captar seu significado. Quanto mais prxima a mensagem decodificada estiver daquilo que pretende
o emissor, tanto melhor ser a comunicao. Por isso importante que a comunicao esteja
orientada para o receptor (Gibson et al., 1981, p. 323).
Por fim, em vrios modelos, o conceito de retroalimentao (feedback) empregado,
referindo-se a qualquer processo ou canal pelo qual o emissor obtm informao para determinar se
a mensagem foi recebida e se produziu a resposta desejada. Esses modelos tradicionais podem ser
aplicados, com as devidas adaptaes, a qualquer tipo de comunicao: cientfica, organizacional,
interpessoal. O contexto desta pesquisa, entretanto, se aproxima mais da comunicao de massa,
tema do prximo item desta reviso.
12
13
A presso ou restrio do canal baseia-se no fato de que mdias diferentes requerem tipos
diferentes de adaptao por parte do receptor. Cada canal tem suas possibilidades e limitaes que
influenciam a maneira com que o receptor se relaciona com ele e afetado pelo contedo nele
transmitido.
A imagem que o receptor tem do canal, por sua vez, provoca certas expectativas em relao
ao contedo transmitido e influencia as escolhas que o receptor faz quanto ao contedo e forma
como pretende interagir e responder a esse contedo. A construo dessa imagem depende
principalmente do prestgio e da credibilidade do canal.
Outros fatores, tais como, a auto-imagem do receptor, criando ou no uma predisposio a
receber comunicao; a personalidade do receptor, mais ou menos suscetvel a influncias de outras
pessoas; o contexto social do receptor, influenciando suas atitudes frente a mensagens contrrias
aos valores do seu grupo social; e o fato do receptor, na comunicao de massa, ser um membro
annimo do pblico, sem o compromisso de responder ou reagir, como acontece na comunicao
interpessoal, podem influenciar essa parte do processo de comunicao. Na parte do processo de
comunicao prxima ao emissor, Maletzke aponta duas variveis importantes: a escolha do
contedo a ser transmitido e da maneira com que o emissor dar forma mensagem.
Na comunicao de massa, o emissor tem, como regra, mais material ou mensagens
potenciais a transmitir do que realmente transmite. preciso, portanto, selecionar uma amostra do
total disponvel, de acordo com alguns critrios. Na formatao da mensagem, o emissor tambm se
depara com situaes de escolha. No modelo de Maletzke, a escolha do contedo a ser transmitido e
da forma como ser transmitido depende de fatores tais como: limitaes relacionadas com o tipo de
contedo e com o tipo de canal; caractersticas do emissor (auto-imagem, personalidade, influncia
do contexto social); dependncia do emissor de outros membros de sua organizao (trabalho em
equipe); polticas e valores da organizao em que o emissor trabalha; presso exercida pelo carter
pblico da comunicao, sujeita inspeo e controle no s do pblico, mas tambm de
associaes profissionais e agncias reguladoras do governo. Esses aspectos sociais e psicolgicos,
abordados por Maletzke, servem tambm para lembrar que o mais importante em qualquer processo
de comunicao efetiva a sua fidelidade.
14
15
limitao da capacidade do emissor/receptor; intruso de mecanismos inconscientes ou parcialmente
conscientes; ausncia de recursos de comunicao; incompatibilidade de esquemas entre emissor e
receptor; presuno no enunciada; distrao; apresentao confusa do contedo.
Para Berlo (1982), as habilidades comunicativas, as atitudes, o nvel de conhecimento e a
posio no sistema sociocultural, como limitaes tanto do emissor quanto do receptor, podem
influenciar a fidelidade da comunicao. As habilidades comunicativas do emissor influenciam a
capacidade de analisar seus objetivos e intenes de comunicao, assim como a capacidade de
codificar mensagens que exprimam o que se tem em mente. O mesmo acontece com o receptor, ao
decodificar mensagens. Alm da atitude quanto a si mesmo e para com o assunto tratado, as atitudes
do emissor para com o receptor, e vice-versa, tambm influenciam a comunicao. Quando a
audincia percebe que o comunicador tem uma atitude positiva em relao a ela, se mostra menos
crtica quanto mensagem, mais propensa a aceitar o que o comunicador diz. O nvel de
conhecimento do emissor sobre determinado tema influencia a mensagem, j que ningum capaz
de comunicar aquilo que no sabe. O conhecimento do receptor sobre o assunto tambm influencia
sua compreenso.
Mecanismos inconscientes ou parcialmente conscientes, tais como, audio seletiva, juzo de
valor e credibilidade da fonte, tambm influem na fidelidade da comunicao. Audio seletiva
definida por Gibson et al. (1981) como a forma de percepo seletiva pela qual tendemos a bloquear
as novas informaes, especialmente se essas novas informaes conflitam com o que acreditamos
(p. 327). Em cada situao comunicativa, o receptor tambm faz julgamentos, atribuindo valor
mensagem antes de receb-la por completo. Os juzos de valor podem estar baseados naquilo que
quem recebe a mensagem pensa de quem comunica, nas experincias prvias que se teve com o
comunicador ou no significado antecipado da mensagem (Gibson et al., 1981). A credibilidade da
fonte, por fim, expressa a confiana que o receptor tem no emissor. O grau de credibilidade atribudo
ao emissor afeta diretamente os pontos de vista e reaes do receptor em relao s palavras, idias
e aes do emissor.
Outro fator que influencia a fidelidade da comunicao, dessa vez impedindo que ela se
realize, a ausncia de meios de contato entre emissores e receptores potenciais. Uma vez que o
meio de comunicao, ou canal, esteja disponvel e acessvel, existem ainda problemas de
16
incompatibilidade de esquemas entre emissor e receptor. Indivduos diferentes podem interpretar a
mesma mensagem de maneiras diferentes, dependendo de suas experincias anteriores. Quando os
processos de codificao e decodificao so semelhantes, a comunicao mais eficaz. Quando
so diferentes, a comunicao falha (Gibson et al., 1981, p. 326). Podem ocorrer ainda problemas
de semntica, quando as mesmas palavras tm significados inteiramente diferentes para pessoas
diferentes. Como a compreenso est no receptor e no nas palavras, o emissor deve escolher um
cdigo para a mensagem conhecido pelo receptor. Ao tratar a mensagem, o emissor deve considerar,
de antemo, a anlise das habilidades de comunicao (decodificao) do receptor, de suas atitudes,
conhecimentos e posio no contexto sociocultural.
Para Parry (1972), a causa mais comum dos mal-entendidos na comunicao diria a
presuno no enunciada, quando o emissor supe que o contedo transmitido no precisa ser
explicitado. Essa suposio pode se referir ao significado de uma palavra ou frase, informao
implcita numa proposio, ou ao conhecimento de uma rea de discusso.
Como uma das barreiras comunicao humana, a distrao inclui fatores que interferem na
fidelidade da recepo da mensagem, independentemente de seu contedo, tais como, tenso
ambiental (temperatura, umidade, ventilao, vibrao, rudo e ofuscao no ambiente em que ocorre
a recepo), tenso subjetiva (insnia, m sade, efeitos de drogas, privao sensorial e variaes
de estado de esprito do receptor), ignorncia do meio (quando receptor e emissor no esto
familiarizados com o canal de comunicao), e estmulo competidor, relacionado, principalmente, com
a forma de apresentao do contedo (excesso de informaes, poluio visual, apresentao de
contedo suprfluo, e outros aspectos que perturbam a percepo da essncia da mensagem).
Por fim, a apresentao confusa de contedo pode levar o receptor a extrair uma noo
diferente do que se espera que ele compreenda, ou a demorar a compreender o verdadeiro sentido
da mensagem. Tal dificuldade de compreenso, provocada pela apresentao confusa, est
relacionada no s a aspectos que distraem a ateno do receptor, j mencionados, mas tambm ao
abuso de construes gramaticais excessivamente elaboradas, tais como dupla negao e sentenas
condicionais ligadas entre si, que exigem do leitor malabarismos mentais desnecessrios. Segundo
Gibson et al. (1981), a linguagem complexa a principal barreira para a comunicao efetiva. O
emissor deve resistir tentao de dizer muita coisa ao mesmo tempo, para no confundir o receptor:
17
o princpio fundamental de toda apresentao diagramtica bem sucedida reside na simplicidade do
plano e na ausncia de pormenores capazes de gerar confuso (Parry, 1972, p. 126).
Outro fator, relacionado apresentao confusa, que dificulta a comunicao efetiva o uso
de frases ou vocabulrio especfico, por grupos profissionais e sociais, cujo significado s inteligvel
aos seus membros (jarges tcnicos, por exemplo). Tal linguagem especial pode facilitar a
comunicao interna, mas seu uso pode provocar falhas de comunicao com pessoas externas ao
grupo.
18
19
habilidades com intuito de melhorar os servios pblicos e os processos
democrticos, e fortalecer o suporte s polticas pblicas. (Commission of the
European Communities, 2003, p. 7).
Governo eletrnico a troca on-line de informaes e a prestao de servios
por parte do governo aos cidados, empresas e outras agncias governamentais.
(Intosai - Standing Committee on IT Audit, 2003, p. 5).
Para Ronaghan (2002), a interpretao popular de governo eletrnico aquela que o define
como uma atividade exercida exclusivamente na Internet que melhora o acesso do cidado s
informaes, servios e conhecimentos especializados do governo para garantir a participao e a
satisfao do cidado com o processo governamental. De acordo com a pesquisa do UNDESA
(2003), o governo, ao aplicar a tecnologia da informao e comunicao (TIC) na administrao
pblica para otimizar suas funes internas e externas, prov ao cidado, s empresas e ao prprio
governo, um conjunto de ferramentas que potencialmente transformaro o modo em que as
interaes acontecem, os servios so prestados, o conhecimento usado, a poltica desenvolvida
e implementada, os cidados participam na governana, os objetivos de boa governana e
administrao pblica so atingidos. O governo eletrnico pode tambm ser encarado sob quatro
perspectivas diferentes (Lenk & Traunmller, 2001):
adequados,
governamentais.
do
conhecimento
gerado
acumulado
nos
rgos
20
Nessa mesma linha, o modelo de Barbosa et al. (2004) considera as relaes do e-gov
contidas em diferentes contextos, como mostra a Figura 1. No contexto externo - foco no cidado
destacam-se a eficcia e a qualidade dos servios pblicos, o desenvolvimento da sociedade da
3
Eficincia operacional
Desintermediao
Transparncia
Desburocratizao
Controle social
Incluso digital
Sociedade da informao
2.2.1 Caractersticas
Esta seo apresenta elementos que do, ao governo eletrnico, carter especial, quando
comparado a outros sistemas de informao baseados em tecnologia digital ou outras formas de
relacionamento do governo com a sociedade.
Controle social pressupe a participao da populao na gesto pblica, no processo de definio, implementao e avaliao da ao
pblica, e a possibilidade do cidado em controlar instituies e organizaes governamentais para verificar o bom andamento das decises
21
mensagens (SMS ). Um exemplo do uso de outros canais eletrnicos para prestao de servios egov foi implementado pelo governo australiano que permite aos motoristas localizarem os postos de
combustveis com preos mais baratos na rea em que costumam trafegar, a partir de uma variedade
de canais de comunicao, dentre eles o SMS (Eurosai IT Working Group, 2004).
22
Essa mudana de viso tem conseqncias significativas para o governo j que, na maioria
das vezes, as necessidades dos clientes no se encaixam tradicional subdiviso da administrao
pblica. H um certo consenso de que os servios e-gov devem ser organizados segundo eventos do
ciclo de vida das pessoas e dos negcios, ao invs de se basear em estruturas internas
governamentais. Com relao habitao, por exemplo, provvel que o cidado tenha que lidar
com mais de um rgo governamental, de diferentes esferas de governo, para ser atendido. O
mesmo acontece com outros temas de interesse da sociedade.
23
informaes e servios propriamente ditos so produtos dos sistemas de retaguarda (back-office),
onde todo o processamento de dados e informaes ocorre. Por isso, deve haver uma perfeita
integrao entre esses dois ambientes para que o e-gov seja mais do que uma mera interface
agradvel e moderna, e proporcione informaes e servios teis, corretos e atualizados sociedade.
Melhores servios;
servios e informaes a qualquer hora e lugar, a partir de um nico ponto de acesso portal de
servios do governo), economia de tempo, qualidade e consistncia do atendimento ao cliente,
confiabilidade e completeza da informao, usabilidade da interface de acesso, e possibilidade de
escolha do canal de atendimento.
24
Os clientes dos servios e-gov esperam servios eficientes prestados quando e onde
necessitarem. Um estudo feito pelo Momentum Research Group (2000) concluiu que os cidados
percebem, como principais benefcios do e-gov, a convenincia, a rapidez e a economia de tempo.
Spears et al. (2003) observaram que os clientes e cidados canadenses usurios de servios
pblicos esperam receber, do governo, servios melhores do que aqueles prestados pelo setor
privado. Embora as expectativas tenham sido altas nesse estudo, muitos participantes consideraram
que os servios recebidos no satisfazem suas necessidades, no so de boa qualidade e no
trazem benefcios significativos. Melhorar tais resultados um desafio para o governo eletrnico.
25
mais salta aos olhos da administrao pblica. De acordo com Mechling & Vincent (2001), servios
operados pelos prprios clientes (self-service), maior confiabilidade, menor necessidade de
interveno humana e bases de dados compartilhadas supostamente deveriam diminuir os custos
das transaes, aumentar a produtividade e produzir melhores servios em um ambiente mais
seguro.
26
fazerem negcios com o governo, assim como a promoo turstica de uma regio via Internet,
propiciadas pelo e-gov, podem impulsionar o desenvolvimento econmico no s das empresas mas
tambm dos residentes da localidade.
com outros agentes governamentais; e G2B - relao do governo com as empresas. Esses setores,
certamente, tm motivaes e objetivos prprios, porm guardam algumas metas comuns, tais como
a busca por mais eficincia, confiabilidade e qualidade dos servios por eles prestados ou recebidos.
8
Barbosa et al. (2004) identificam ainda um quarto tipo de relacionamento no e-gov: G2E relao do governo com os servidores pblicos. Como as operaes G2E so efetuadas no mbito
interno das instituies governamentais, pode-se considerar essa interao como um subconjunto do
G2G.
5
No Brasil, entende-se governo como qualquer instituio dos Poderes Executivo, Legislativo e Judicirio das esferas federal,
estadual e municipal.
6
Cidado-cliente cidado de um pas e/ou usurio de servios pblicos prestados pelo governo desse pas.
Abreviaturas das expresses inglesas Government to Citizen, Government to Government e Government to Business.
27
certificados e benefcios via Internet, sejam mais fceis e rpidas, para o cidado-cliente, do que o
seriam se fossem utilizados os canais tradicionais de prestao de servios pblicos (atendimento
pessoal na agncia do governo, solicitao por telefone, fax ou carta). Outros objetivos das iniciativas
G2C so melhorar o acesso informao pblica por meio de portais web e quiosques, e integrar a
prestao de servios pblicos, em geral dispersa por vrias agncias governamentais, em um nico
portal web, levando em considerao as necessidades do cidado-cliente e no a estrutura
hierrquica da administrao pblica.
2.2.4 Estgios
Embora as iniciativas de governo eletrnico sejam diferentes de um pas a outro, ou de uma
esfera de governo a outra, pode-se dizer que todas tm o objetivo de utilizar a tecnologia da
informao e comunicao para mudar o governo de uma perspectiva centrada em sua estrutura
hierrquica, com capacidade limitada de prestao de servios, para outra centrada no cidado,
automatizada, capaz de prestar informaes e servios aos cidados-clientes, s empresas e s
outras agncias governamentais durante 24 horas por dia, sete dias por semana. Por essa razo,
28
possvel usar um esquema padronizado para classific-las no s de acordo com os setores
envolvidos, mas tambm com o nvel ou estgio de desenvolvimento em que se encontram, j que,
por uma variedade de razes tcnicas, econmicas e polticas, tais iniciativas levam tempo para
implementarem toda a sua capacidade.
Diferentemente das definies dos setores envolvidos no governo eletrnico G2B, G2G e
G2C, ainda no se chegou a uma classificao comum, na literatura, quanto aos seus estgios de
evoluo. Entretanto, observa-se que os mais citados so os modelos de governo eletrnico
propostos pelo Gartner Group (Baum & Di Maio, 2000), dividido em quatro fases (presena, interao,
transao e transformao); pela Unio Europia (Commission of the European Communities, 2003),
composto de quatro estgios (informao, interao unidirecional, interao bidirecional e transao);
e pelas Naes Unidas (UNDESA, 2003), constitudo de cinco estgios (presena emergente,
avanada, interativa, transacional e em rede). Por serem semelhantes em alguns aspectos, e
complementares em outros, prope-se, como resultante da anlise desses modelos, a classificao
das iniciativas de e-gov em cinco estgios evolutivos:
Apresentao de informaes;
Busca de informaes;
Interatividade limitada;
Transao eletrnica;
Integrao e-gov.
29
30
No estudo feito pelas Naes Unidas em 2001 (Ronaghan, 2002), a capacidade de conduzir
transaes on-line, em que o cidado efetivamente utiliza a Internet para solicitar benefcios ou pagar
taxas e impostos, foi identificada em apenas 17 de seus 190 pases membros (9%). J o estudo da
Accenture (2003), feito com apenas 22 pases, dentre eles o Brasil, observou que metade deles
(Singapura, Estados Unidos, Dinamarca, Austrlia, Finlndia, Hong Kong, Reino Unido, Blgica,
Alemanha, Irlanda e Frana) se encontra neste estgio de maturidade.
do relacionamento com o cliente (CRM ) e novos mtodos de prestao de servios, alterando por
completo o fluxo de informaes e as relaes entre cidados, empresas pblicas e privadas,
governos locais, estaduais e federais. Em outras palavras, o e-gov integrado procura remover as
barreiras organizacionais que promovem solues centradas na hierarquia governamental,
substituindo-as por solues centradas no cliente.
Tambm neste estgio que o governo envolve a sociedade em um dilogo mais
democrtico e participativo, ao dar a oportunidade, via Web, de manifestao dos cidados em
pesquisas de opinio; referendos; consultas sobre polticas pblicas, elaborao de leis, tomadas de
deciso, gastos pblicos; e outros mecanismos on-line de participao da sociedade como
consumidores dos servios pblicos, contribuintes do Estado e cidados. At 2003, existiam poucos
exemplos desse tipo de iniciativa, em parte por limitaes administrativas, tcnicas e fiscais
(Accenture, 2003; Seifert, 2003). Para Baum & Di Maio (2000), nesse nvel mais avanado, espera-se
que o e-gov reorganize, combine e/ou elimine instituies governamentais existentes, substituindo-as
por organizaes virtuais.
possvel dizer, assim, que cada estgio representa um aumento de capacidade do governo
em prover informaes e servios on-line cada vez mais interativos. importante destacar,
31
entretanto, que as iniciativas de e-gov no precisam, necessariamente, passar por todos os estgios.
Algumas podem comear em estgios mais avanados e outras podem deixar de implementar
estgios intermedirios, por exemplo. Da mesma forma, possvel que uma instituio
governamental administre mltiplos portais em diferentes fases de desenvolvimento. Por exemplo, um
departamento da Receita Federal pode estar no estgio Transao eletrnica, recebendo
declaraes de imposto de renda dos contribuintes via Internet, enquanto outro departamento pode
apenas apresentar, em seu portal, seu endereo e horrio de funcionamento caractersticas do
primeiro estgio.
2.2.5 Desafios
Tanto adeptos quanto crticos do governo eletrnico reconhecem que h uma srie de
oportunidades e desafios envolvidos com a implementao das iniciativas de e-gov. Algumas das
possveis oportunidades so a criao de novos servios, substituio de processos baseados em
papel por processos eletrnicos, consolidao de processos e sistemas redundantes, maior
participao da sociedade no governo, melhoria da infra-estrutura informacional do pas, dentre
outros.
Seus principais desafios, por outro lado, so a privacidade e a segurana de informaes, a
conquista da confiana da populao nos servios eletrnicos, as disparidades no acesso da
populao informtica, a completa compreenso da questo da acessibilidade na Web, e a correta
gesto dos recursos financeiros necessrios para sua implementao. Apesar de seus benefcios, na
teoria, serem numerosos, a experincia global indica que a taxa de insucesso das iniciativas de e-gov
tem se mantido na faixa de 60 a 80% (UNDESA, 2003). Para reverter essa situao, preciso que as
organizaes governamentais se espelhem nas iniciativas bem sucedidas, adaptando-as sua
realidade e prioridades, alm de resolver uma srie de questes relacionadas a estratgias e
polticas, tecnologia, processos e recursos humanos:
provvel que as polticas, leis e regras existentes sejam inadequadas para as novas
formas de relacionamento internos e externos providas pelo governo eletrnico, como por
exemplo a legislao sobre direitos autorais e de cpia, e os mecanismos de distribuio
do oramento pelas diferentes instituies e esferas de governo;
32
Devem ser reforadas as polticas de ampliao do acesso da populao a servios online, j que vrios dos benefcios proporcionados pelo e-gov no podem ser reproduzidos
nos canais tradicionais de prestao de servios pblicos, excluindo, assim, aqueles que
no tm acesso Internet;
confiana
da
populao
nesse
novo
canal
de
comunicao
e,
2.2.6 Avaliao
Para atingir seus objetivos, uma instituio deve ter conscincia de sua situao atual e que
fatores internos e externos influenciam positiva e negativamente suas aes na busca de tais
objetivos. A avaliao ajuda a visualizar com mais clareza se a direo escolhida pela instituio
compatvel com suas aes e se h necessidade de mudana de curso para atingir sua meta final.
Por meio de avaliaes tambm possvel controlar o progresso de um projeto, e seus responsveis.
Para demonstrar seu real valor sociedade e ao prprio governo, o governo eletrnico deve
ser avaliado por ticas diferentes. Qualquer definio de sucesso deve ser mais ampla do que
simplesmente atingir objetivos e metas, ou contabilizar a quantidade de servios pblicos disponveis
33
on-line. Para Mechling & Vincent (2001), o sucesso do e-gov conseguido quando os servios certos
esto disponveis por meio dos canais certos de tal forma a maximizar o bem-estar social.
Os responsveis pelas iniciativas de e-gov devem medir seus resultados, impactos e
benefcios, com intuito de justificar o apoio poltico e os recursos financeiros recebidos. A avaliao
deve ser realista, feita a intervalos de tempo razoveis para que sejam teis aos tomadores de
deciso governamentais.
Partindo do princpio de que a avaliao importante, o e-gov tem o desafio de definir um
conjunto de indicadores e padres de medida comuns de desempenho, sob as perspectivas do
cidado, das empresas e do prprio governo, que possa ser utilizado por todos os agentes
governamentais. Esse conjunto serviria como parmetro de comparao das inmeras iniciativas e
permitiria que cada agente gerenciasse, da melhor maneira possvel, os servios, processos e
recursos empregados na execuo de sua atividade. Na anlise das avaliaes de e-gov
pesquisadas na literatura especializada, foi possvel distinguir cinco tipos, os quais so descritos a
seguir.
- assinalam a natureza de
transformao dos servios pblicos eletrnicos e sugerem que no basta ao e-gov oferecer uma
massa de servios on-line desconexos; preciso faz-lo de tal forma a alterar os fundamentos das
relaes entre governo, sociedade e empresas, tendo como meta o atendimento das expectativas da
sociedade e a integrao de servios traspassando estruturas hierrquicas governamentais. Tais
modelos, como representaes simplificadas do caminho a ser percorrido desde a presena passiva
10
34
na Internet at a total transformao dos servios pblicos eletrnicos, no devem ser considerados
como medidas precisas de sucesso, mas sim como indicadores da fase em que o e-gov se encontra
em relao a seus objetivos.
Um exemplo de estudo comparativo que classificou as iniciativas de e-gov de acordo com seu
estgio de evoluo foi o realizado pelas Naes Unidas (Ronaghan, 2002). Nesse estudo, dentre os
190 pases membros, 169 usavam a Internet para prestar informaes e servios pblicos, mas
apenas 17 ofereciam algum tipo de transao on-line. Nenhum pas, quela poca, conseguiu atingir
o ltimo estgio de total integrao dos servios on-line independentemente da estrutura fsica
hierrquica. Duas metodologias foram utilizadas nesse estudo. Primeiramente foi feita anlise de
contedo dos portais nacionais dos governos participantes, a fim de verificar a disponibilidade de
servios que provavelmente seriam teis ao cidado comum e identificar certas caractersticas que os
11
classificariam em um dos estgios do modelo terico adotado . Em segundo lugar, foi feita anlise
estatstica comparando a infra-estrutura tecnolgica e de recursos humanos de 144 pases membros
e, por fim, foi gerado um ndice de e-gov para fins comparativos. Os Estados Unidos atingiram o
maior ndice enquanto o Brasil obteve a 18 colocao nesse estudo.
Outro exemplo desse tipo de avaliao foi o quarto estudo comparativo da Cap Gemini Ernst
& Young (2004), realizado em outubro de 2003, o qual mediu a quantidade de servios pblicos
bsicos
12
Noruega e Sua, classificando-os de acordo com seu grau de sofisticao. Considerando esse
indicador, os quatro pases que se destacaram foram Dinamarca, ustria, Sucia e Irlanda. Quase
todos os pases participantes apresentaram avanos em relao ao estudo anterior, de 2002,
13
11
O modelo terico das Naes Unidas conta com cinco estgios: presena emergente, avanada, interativa, transacional e
em rede.
12
A Comunidade Europia definiu 20 servios pblicos bsicos: 12 desses servios tm, como pblico-alvo, os cidados
(pagamento de impostos, busca de emprego, benefcios sociais, documentos pessoais, registro de automveis, solicitao de
alvar de construo, declarao para a polcia, bibliotecas pblicas, certides de nascimento e casamento, matrcula em
curso superior, aviso de mudana de endereo e servios relacionados com a sade), enquanto que para oito deles, as
empresas so o foco (contribuio social dos funcionrios, impostos corporativos, imposto sobre valor agregado Value Added
Tax - VAT, registro de uma nova empresa, submisso de dados agncia estatstica governamental, declarao alfandegria,
certides relacionadas com o meio ambiente, e licitao pblica).
13
Respectivamente, segundo e terceiro estgios da classificao de e-gov usada pela Unio Europia (Commission of the
European Communities, 2003).
35
nesse estudo foi subdividida em quatro mdulos: pesquisa survey junto a especialistas de governo
dos 18 pases para conhecimento da estrutura governamental responsvel pelos 20 servios pblicos
bsicos; amostragem sistemtica e estratificada das instituies prestadoras desses servios;
identificao dos endereos eletrnicos dos portais das prestadoras de servios on-line da amostra;
anlise de contedo e classificao dos portais web da amostra visitados pela equipe de pesquisa.
Outra firma de consultoria, Accenture, tambm tem realizado estudos classificatrios e
comparativos peridicos. Os resultados da sua edio de 2003 mostram o Canad como o nico pas
examinado a atingir o quinto e ltimo estgio de transformao de servios. O Brasil, nessa
14
classificao, ficou no segundo estgio de capacidade bsica , junto com Mxico, Portugal e frica
do Sul (Accenture, 2003). A metodologia quantitativa de avaliao da qualidade e maturidade dos
servios on-line prestados englobou a anlise dos portais nacionais de 22 pases, feita por
pesquisadores da prpria consultora, em relao a 201 servios de 11 setores de atividade
governamental: agricultura; defesa; e-democracia; educao; servios sociais; imigrao; justia e
segurana; servios postais; licitaes pblicas; controle e participao social; receita e alfndega; e
transportes. A anlise quantitativa foi complementada com entrevistas telefnicas conduzidas com
executivos de agncias governamentais de 15 pases e com informaes documentais sobre o
processo de implantao dos 22 programas de governo eletrnico pesquisados.
A simples quantificao dos servios pblicos on-line disponveis tambm realizada,
regularmente, pelos governos do Reino Unido, da Austrlia e dos Estados Unidos, para citar apenas
alguns. Seu intuito controlar o progresso feito pelas agncias governamentais em direo meta do
governo de ter todos os seus servios pblicos on-line em uma determinada data.
O Reino Unido, mais especificamente o National Audit Office NAO, desde 1999, tem
conduzido avaliaes comparativas peridicas de suas iniciativas de governo eletrnico que vo alm
da verificao da disponibilidade de servios pblicos. Em seu relatrio de 2002 (United Kingdom
NAO, 2002), foram mencionados, alm de dois estudos de caso de aplicaes de e-gov especficas
e da anlise da poltica central de e-gov do Reino Unido, um censo de todos os portais do governo
central, cobrindo 381 agncias e examinando 121 variveis objetivas; um censo de todos os portais
36
dos governos locais, cobrindo 388 conselhos e examinando 171 variveis relacionadas com as
principais reas de servios, complementado por entrevistas com representantes de sete conselhos
locais; anlise de trfego nos portais web de 26 departamentos governamentais; e, por fim, anlise
comparativa do contedo web do governo britnico com o de outros quatro pases: Estados Unidos,
Austrlia, Nova Zelndia e Holanda.
Diferentemente dos exemplos de avaliao j citados, cujo enfoque a oferta de servios,
sua disponibilidade e grau de sofisticao, o relatrio do projeto Sibis (Statistical Indicators
Benchmarking the Information Society), custeado pela Comunidade Europia (Graafland-Essers &
Ettedgui, 2003), se concentra na avaliao da demanda do e-gov, enfocando no s o uso mas
tambm as percepes e barreiras sua utilizao. Para tanto, foram realizadas duas pesquisas
survey: uma com cidados dos Estados membros da Unio Europia, Estados Unidos e Sua; e
outra com empresas da Finlndia, Frana, Alemanha, Grcia, Itlia, Espanha e Reino Unido. Foram
observadas, alm de suas preferncias e preocupaes, as vises que cidados e empresas tm do
e-gov quando comparado aos modos tradicionais de interao com o governo, apontando os
principais fatores que os levam a usar ou no um servio eletrnico via Internet. Por esse estudo, os
cidados dinamarqueses so os que tm atitude mais positiva em relao ao e-gov; os do Reino
Unido, a mais negativa.
De forma anloga, o estudo comparativo Top of the Web (Europe - Directorate General
Information Society, 2003), a partir das respostas de pouco mais de 28 mil usurios europeus de
servios pblicos, participantes de pesquisa survey on-line sobre a qualidade e o uso dos servios
pblicos on-line, concluiu que a economia de tempo e a flexibilidade de escolha de canal de interao
com o governo so os benefcios do e-gov mais citados, enquanto a dificuldade de encontrar o portal
web certo e, nele, o servio certo, so os principais problemas. Nessa pesquisa, a qualidade dos
servios pblicos on-line teve, como indicadores, satisfao geral, usabilidade (facilidade de
localizao do portal, facilidade de localizao do servio, facilidade de uso do servio, linguagem,
velocidade de acesso) e benefcios (economia de tempo, flexibilidade, mais e melhores informaes,
melhor atendimento, rapidez na concluso do servio, controle sobre o processo, economia de
14
Caractersticas desse estgio: ampla presena on-line, infra-estrutura de segurana e certificao em desenvolvimento,
plano centralizado e estrutura legislativa estabelecida.
37
dinheiro). O uso dos servios on-line, por sua vez, foi medido a partir da quantidade de usurios e de
transaes on-line.
Outro estudo comparativo europeu, realizado pela empresa de pesquisa Taylor Nelson Sofres
(TNS) em 2001, 2002 e 2003 (Dalziel, 2004), por meio de entrevistas telefnicas com
aproximadamente 30 mil pessoas de 30 pases em cada ano, classificou os diferentes tipos de
interao dos cidados com o governo em seis categorias:
Provedores - pessoas que usam a Internet para prover informaes pessoais ao governo;
Usurios de transaes - pessoas que usam a Internet para pagar por servios ou
produtos do governo por meio de dbito em conta corrente ou de carto de crdito;
Nesses trs anos em que essa pesquisa se realizou, os pases escandinavos (Dinamarca,
Noruega e Finlndia) foram os que mais utilizaram o e-gov de uma maneira geral e, dentre as
categorias de usurios, os buscadores de informaes foram o grupo que mais se destacou com 24%
das interaes. No estudo de 2003, apenas 25% dos entrevistados (8.000 pessoas) consideraram
segura a troca de informaes com o governo on-line.
Como exemplo de benchmarking interno, pode-se citar o estudo de Stowers (2002) que
examinou todos os 148 portais web do governo executivo federal americano quanto presena ou
no de facilidades tais como servios on-line, ajuda on-line, servios de navegao, apresentao
visvel das polticas adotadas, e grau de acessibilidade. Outro estudo interno americano (West, 2004),
similar ao de Stowers, realizado por cinco anos consecutivos, de 2000 a 2004, analisou 1.629 portais
dos governos estaduais e federal em relao presena de facilidades tais como publicaes, bases
de dados e servios on-line, traduo para idiomas estrangeiros, indicadores de polticas de
privacidade e segurana, assinatura digital, nvel de legibilidade, acessibilidade, pagamento via carto
38
de crdito, diferentes formas para contato com o governo, personalizao de interface. No estudo de
2004, o estado do Tennessee e o portal Firstgov foram os que atingiram melhor classificao a nvel
estadual e federal, respectivamente.
No relatrio Government on the Web II (United Kingdom - NAO, 2002), o governo britnico
apresentou os resultados de dois estudos de caso realizados nos portais web do Departamento de
Transportes, Governo local e Regies, e do HM
15
dados foram utilizados anlise de documentos oficiais, estatsticas de uso dos portais web, custos e
contedo dos portais, alm de entrevistas com pessoas do alto escalo dessas instituies e de
outras do setor privado, da mesma rea de atuao.
No Brasil, a Federao das Indstrias do Estado do Rio de Janeiro (Firjan, 2002) usou, como
critrios na avaliao comparativa de 26 portais web de estados brasileiros, incluindo o Distrito
16
15
Her Majestys.
16
39
Educao Especial do Ministrio da Educao, do Instituto Nacional de Pesquisas da Amaznia, do
Programa Estadual de Defesa do Consumidor seo Rio Grande do Sul e da Prefeitura Municipal
de Porto Alegre. Tais estudos aplicaram mtodos de avaliao heurstica, e de avaliao baseada em
normas internacionais de usabilidade, recomendaes para acessibilidade de contedo web do W3C
e critrios ergonmicos.
40
18
19
as aes podem levar realizao de seus objetivos. Com esse modelo, a organizao pode isolar
aes, sadas e resultados, escolhendo que pontos do modelo seriam mais significativos na medio
do progresso e/ou sucesso do programa. Embora tal metodologia seja til para determinao do
sucesso de um programa, h o desafio de identificar que pontos so os mais importantes a serem
medidos, especialmente quando os resultados do programa dependem de esforos de colaborao
externos.
17
18
Programas sociais idealizados com a meta de melhorar as condies de vida de uma populao (Weiss, 1992).
Bens ou servios produzidos pelo programa, sob escopo gerencivel pelo responsvel pelo programa, descritos em termos
de metas fsicas e temporais (quantidade, qualidade e prazo). (Pfeiffer & Cunha, 2000).
41
O governo do Canad, por exemplo, em sua avaliao do GOL (Government On-Line), em
2001, decidiu no medir atividades e processos internos, j que tais itens seriam avaliados, quanto a
seu escopo, oramento e cumprimento de prazos, individualmente a nvel de atividade (Mechling &
Vincent, 2001). Tambm decidiu excluir a medio de seus resultados sociais, pois seria difcil isolar a
contribuio do programa GOL para tais resultados. A avaliao do e-gov, portanto, enfocou os
resultados, e as sadas necessrias para atingir esses resultados, a nvel de departamento, sob a
tica do cliente, em relao a seis objetivos: capacidade de resposta rpida a dvidas e reclamaes,
convenincia, usabilidade, interatividade, segurana e privacidade.
Como outro exemplo de avaliao de programas, pode-se citar a efetuada junto ao Treasure
Board Secretariat (TBS) pelo Office of the Auditor General of Canada (Canada - OAG, 2003). Nessa
avaliao verificou-se, entre outros itens, se os planos e estratgias para atingir os objetivos do GOL
para 2005, e mecanismos de controle e de acompanhamento do progresso do programa tinham sido
estabelecidos pelo governo. Em seu relatrio de auditoria, o OAG concluiu que o plano estratgico
para o GOL no estabeleceu, especificamente, que resultados so esperados das iniciativas de e-gov
em 2005, para que o objetivo final de total integrao e transformao de servios seja atingido.
Concluiu ainda que no foram elaborados planos detalhados de como determinar as taxas de adoo
do canal eletrnico de prestao de servios pblicos, como integrar os inmeros sistemas de
informao e desenvolver novos processos de negcios.
Outro exemplo de anlise da poltica central de governo eletrnico foi realizada pelo NAO
(United Kingdom - NAO, 2002), por meio de entrevistas, enfocando no s as iniciativas, mas
tambm os procedimentos do Office of the e-Envoy para influenciar a tomada de deciso de outros
departamentos centrais do governo britnico em relao prestao de servios on-line. Outra
entidade fiscalizadora superior que realizou avaliaes de programa e-gov foi o Australian National
Audit Office ANAO (Australia ANAO, 2003/2004; 2004/2005), que se preocupou em identificar
aes de monitoramento e avaliao de servios e-gov por parte das agncias governamentais
australianas.
19
Benefcios esperados em funo de um novo comportamento ou prtica; efeitos desejados, que explicitam o propsito do
programa, mas que fogem do controle e da responsabilidade direta da gerncia (Pfeiffer & Cunha, 2000).
42
43
Como exemplo de avaliao de produtividade de iniciativas de governo eletrnico, pode-se
citar a realizada pela provncia canadense de Ontrio no servio on-line de registro de uma nova
empresa. Tal avaliao conseguiu observar a reduo do tempo de processamento de seis semanas
para 20 minutos, grande parte em razo da reduo da taxa de erros (Mechling & Vincent, 2001).
Quanto avaliao de custos, o governo estadual do Texas, nos Estados Unidos, aplicou, em
estudo piloto em cinco agncias, no ano de 2001, um mtodo de rastreamento dos recursos diretos e
indiretos associados prestao de servios on-line. Esse estudo sugeriu, por exemplo, que a
substituio do servio de atendimento ao cliente do Departamento de Transportes por um sistema
on-line acarretaria uma reduo de custos de mais de US $240.000,00 por ano (Mechling & Vincent,
2001). Como anlise de retorno de investimento, o estado americano de Iowa estima custos e
benefcios da prestao de servios on-line associados a fatores mais difceis de serem medidos, tais
como riscos sade dos cidados, impactos na segurana, tempo e esforo necessrios dos
cidados durante o processo (Mechling & Vincent, 2001).
44
estudos comparativos (benchmarking) para identificao das melhores prticas nacionais e
internacionais.
2.3
45
de eqidade diferentes daqueles dos servios do setor privado, que visam ao lucro e colocam, por
vezes, certos usurios acima de outros.
O setor pblico oferece o mesmo nvel de servio a todos os cidados, assegurando, assim, a
obedincia aos valores democrticos, aos princpios de justia e igualdade, independentemente de
raa, cor, credo, estado civil, nvel de escolaridade, provenincia. Por conseqncia, tanto os meios
como os fins do setor pblico so diferentes daqueles do setor privado. Uma m experincia
vivenciada pelo usurio de um servio pblico pode diminuir sua confiana na capacidade de gesto
do governo e at afetar seus sentimentos de cidadania. Segundo Pollitt (1990) no basta tratar os
usurios de servios pblicos como meros consumidores, ignorando a dimenso da cidadania
envolvida.
No setor privado, as necessidades, prioridades e expectativas dos clientes so identificadas
por meio de diferentes mtodos: desde tendncias de compras at pesquisas de mercado e de
satisfao de clientes. Certamente, o governo pode aplicar alguns desses mtodos, com as devidas
adaptaes, para compreender as necessidades, prioridades e percepes dos usurios de seus
servios.
2.3.2 Cidado-cliente20
O governo atua como representante de seus cidados, detentores de direitos e obrigaes
em uma comunidade democrtica. De certo modo, os cidados so os clientes do governo e se
relacionam com ele de diversas maneiras: como beneficirios diretos dos servios pblicos, como
partes afetadas pelas aes do governo, e ainda como pagadores de impostos preocupados com a
forma com que os recursos pblicos so gastos. Alm disso, o governo por vezes presta servios a
no cidados: turistas, imigrantes, instituies estrangeiras.
Cliente algum que necessita diretamente de um provedor de servios ou produtos. Pollitt
(1990) procura traar uma distino entre cidado e cliente, ponderando que cidadania envolve
conceitos de justia, representao, participao e igualdade de oportunidades, conceitos que no
constam das inmeras definies de cliente.
20
46
Qualquer organizao governamental que pretende incorporar a participao dos usurios na
avaliao dos servios pblicos que oferece deve encar-los no s como clientes, mas tambm
como cidados, portadores de direitos, dentre eles o direito aos servios pblicos e participao em
sua gesto. A prestao de servios pblicos deve ter seu foco no cidado por trs razes (Canada
TBS, 2001). Primeiro, o servio deve ser concebido e executado tendo em mente as necessidades,
perspectivas e satisfao dos cidados. Em segundo lugar, muitos dos clientes do governo so
clientes involuntrios, cujo relacionamento com o governo, durante a prestao do servio, deriva de
suas obrigaes como cidados. Por fim, os prestadores de servios pblicos devem sempre
considerar que a qualidade da prestao de servios do governo pode e deve contribuir para
fortalecer o exerccio da cidadania, e as relaes de confiana entre os cidados e seus governos.
47
2. Os consumidores de servios no avaliam sua qualidade apenas em funo do produto final.
Sua avaliao incorpora, tambm, sua opinio sobre o processo de fornecimento do servio.
3. Os nicos critrios realmente importantes na avaliao da qualidade de servios so aqueles
definidos pelos consumidores. Apenas os consumidores podem julgar a qualidade; todos os
demais julgamentos so irrelevantes.
A partir dessas constataes, esses autores desenvolveram um modelo de cinco dimenses
da qualidade de servios percebida por consumidores:
Garantia - adequado conhecimento dos executores dos servios para bem realiz-los, aliado
cortesia e habilidade em seu desempenho, inspirando responsabilidade e conquistando a
confiana dos usurios. Inclui as dimenses competncia, cortesia, credibilidade e
segurana.
48
Outro fator preocupante na prestao de servios pblicos a privacidade de informaes,
principalmente quando feita por meios eletrnicos de comunicao. As instituies que atuam no
comrcio ou governo eletrnicos, ou ainda aquelas que utilizam a Internet para conduzir alguma
transao com seus clientes, tm investido na contratao de servios de segurana para proteo
tanto de seu acervo eletrnico quanto da privacidade de informaes sobre seus clientes e/ou
cidados, esperando lhes propiciar um ambiente confivel de negociao ou prestao de servios.
Para Shneiderman (2000), aumentar a percepo dos usurios quanto segurana e privacidade de
informaes, e inspirar sua confiana so fatos decisivos para a sustentao do comrcio e governo
eletrnicos.
49
Na avaliao de servios web, sob a tica do cliente, por vezes considerada apenas a
qualidade tcnica da interface web, em termos de usabilidade e acessibilidade, sem levar em conta
os aspectos da prestao de servios em si. Nesses casos, a avaliao da qualidade se presta mais
apresentao de recomendaes aos projetistas dos portais do que propriamente melhoria do
servio.
A primeira norma que definiu o termo usabilidade foi a ISO/IEC 9126 (1991) sobre qualidade
de software. Sua abordagem claramente orientada ao produto e ao usurio, pois considera a
usabilidade como um conjunto de atributos de software relacionado ao esforo necessrio para seu
uso e para o julgamento individual de tal uso por determinado conjunto de usurios.
O conceito de usabilidade evoluiu e foi redefinido na parte 1 da norma ISO/IEC Final
Commitee Draft (FCD) 9126-1, em 1998, incluindo, nessa oportunidade, as necessidades do usurio.
Essa norma define ainda outras caractersticas de qualidade de software, como funcionalidade,
confiabilidade, eficincia, possibilidade de manuteno e portabilidade. Considerando mais o ponto
de vista do usurio e seu contexto de uso do que as caractersticas ergonmicas do produto, a norma
ISO 9241-11 Guidance on Usability (1998) definiu usabilidade como a capacidade de um produto ser
usado por usurios especficos para atingir objetivos especficos com eficcia, eficincia e satisfao
em um contexto especfico de uso.
Um sistema interativo considerado eficaz quando possibilita que os usurios atinjam seus
objetivos. A eficcia a principal motivao que leva um usurio a utilizar um produto ou sistema. Se
um sistema fcil de usar, fcil de aprender e mesmo agradvel ao usurio, mas no consegue
atender a objetivos especficos de usurios especficos, ele no ser usado, mesmo que seja
oferecido gratuitamente.
O segundo elemento da usabilidade a eficincia, normalmente definida quantitativamente
por tempo de resposta, tempo total para realizar uma tarefa especfica ou ainda quantidade de erros.
O terceiro elemento, a satisfao do usurio, refere-se a percepes, sentimentos e opinies dos
usurios a respeito de um sistema, normalmente mapeados a partir de questionamentos escritos ou
orais feitos aos prprios usurios.
50
A usabilidade pode ser considerada uma qualidade de uso, isto , qualidade de interao
entre usurio e sistema, que depende das caractersticas tanto do sistema quanto do usurio. Em
outras palavras, o mesmo sistema pode ser excelente para algumas pessoas e inadequado ou
inaceitvel para outras.
A acessibilidade, por sua vez, no contexto de informtica, freqentemente associada
capacidade de um software padro ser acessado e usado por pessoas com necessidades especiais,
mesmo que a forma de uso no seja idntica para todos. Um software considerado acessvel a
algum se essa pessoa, mesmo deficiente, conseguir us-lo, realizar as mesmas funes e atingir os
mesmos resultados que outras pessoas, no deficientes, com conhecimentos e treinamento
semelhantes. Em outras palavras, acessibilidade a habilidade de um indivduo acessar e usar um
produto de modo eficaz e eficiente, atingindo resultados equivalentes por meios diversos.
Por definio, acessibilidade uma categoria de usabilidade. Um software ou pgina web que
no acessvel a uma determinada pessoa to pouco pode ser considerado eficaz, eficiente ou
mesmo agradvel a essa pessoa. Assim como os fatores de usabilidade, a acessibilidade est
relacionada ao contexto de uso, isto , ao ambiente operacional de uso e s tarefas, necessidades e
preferncias dos usurios tpicos.
Acessibilidade na Web significa que qualquer pessoa, usando qualquer tipo de tecnologia de
navegao (navegadores grficos, textuais, especiais para cegos ou para sistemas de computao
mvel) deve ser capaz de visitar e interagir com qualquer portal web, compreendendo inteiramente as
informaes nele apresentadas. Apesar de ser uma mdia de informao, muitos projetistas ainda
tratam a Web como uma mdia puramente visual. O problema da acessibilidade na Web no afeta
apenas os usurios deficientes. Ao utilizarem as mais novas tecnologias, sem considerar sua
acessibilidade, os projetistas web constroem barreiras que excluem no s os deficientes, mas
tambm as pessoas que utilizam computadores e sistemas mais antigos ou dispositivos mveis para
acesso Web, como telefones celulares e computadores portteis. perfeitamente possvel produzir
um design dinmico e atrativo que seja inteiramente acessvel. Portais web projetados de maneira
inteligente beneficiam a todos no apenas aos deficientes.
51
Na verdade, existem inmeras listas com recomendaes tcnicas para projetos de portais
web mais acessveis e amigveis. Entretanto, tais listas provm de fontes diversas com graus de
confiabilidade e validade tambm diversos, muitas vezes conflitantes, de tal forma que no h
garantia de que, ao serem aplicadas, realmente proporcionaro maior usabilidade e acessibilidade.
Com isso em mente, Vanderdonckt (1998), produziu um conjunto de diretrizes para projeto de portais
web, a partir de listas de recomendaes existentes poca, as quais foram categorizadas,
selecionadas e empiricamente validadas. Esse conjunto de recomendaes dividido em trs partes:
21
diretrizes para portais web textuais, grficos e com frames . Essas diretrizes tratam do projeto do
portal web como um todo; componentes, tamanho, verso para impresso/gravao e contedo de
22
21
22
52
apresentadas no exclui a necessidade da medio direta do desempenho da organizao em
relao aos padres de qualidade previamente definidos. Os padres de qualidade de servio
geralmente so expressos em cartas de servio que incluem, em linguagem clara e objetiva,
descrio do servio e dos benefcios dele provenientes, as principais metas da prestao do servio,
seus custos, os nveis de qualidade de servios que os clientes podem esperar receber, e os
mecanismos disponveis aos clientes para fazer reclamaes, sugestes.
Vrios pases, tais como Austrlia, Espanha, Estados Unidos, Itlia e Reino Unido, tm
adotado cartas de servio como recurso para definir um padro de qualidade de atendimento para os
servios pblicos. No Brasil, os padres de qualidade de atendimento do governo federal, de acordo
com as diretrizes do Decreto n 3.507 (Brasil, 2000), so compromissos assumidos publicamente por
cada instituio do governo com seus cidados-clientes e devem especificar:
53
Esse sistema gerenciado pela Secretaria de Gesto do Ministrio do Planejamento, Oramento e
Gesto, a qual cabe a formulao de critrios, metodologias e procedimentos adotados pelo Sistema.
Faz parte do Programa Qualidade no Servio Pblico que aborda trs linhas principais de atuao:
alterar as caractersticas vigentes do atendimento prestado pelo setor pblico populao, criar
mecanismos para conhecer a percepo do usurio sobre a qualidade do atendimento e mobilizar as
organizaes pblicas para a adeso ao processo de melhoria contnua da qualidade dos servios
prestados ao cidado.
2.3.4 Satisfao
No modelo do ndice americano de satisfao de clientes (American Customer Satisfaction
Index ACSI), proposto por Fornell et al. (1996), a satisfao de clientes ligada, em relaes de
causa e efeito, a expectativas, qualidade e valor percebidos, reclamaes e lealdade dos clientes
(Figura 2, p. 54). As expectativas incluem as experincias prvias do cliente com o produto ou
servio, e informaes recebidas por meio de campanhas publicitrias, contato com pessoas
responsveis pelo produto ou servio e com outros clientes do mesmo produto ou servio. As
expectativas influenciam a avaliao da qualidade e antecipam como o produto ou servio se sair
aos olhos do cliente. Supe-se que as expectativas tenham efeito positivo sobre a qualidade
percebida e, em decorrncia, sobre o valor percebido e a satisfao geral.
Os clientes esperam que os produtos e servios estejam disponveis da forma como foram
anunciados, e s ficaro satisfeitos se os receberem exatamente assim. Se um cliente recebe um
subsdio com valor abaixo do que ele sabe que teria direito, no ficar satisfeito, mesmo que o
atendimento seja corts e rpido.
54
Qualidade
percebida
Reclamaes do
cliente
Valor
percebido
Expectativas
do cliente
Satisfao
do cliente
Lealdade do
cliente
55
avaliao dos servios pelos cidados a ouvidoria, instituda para receber reclamaes sobre
servios, solicitaes no atendidas e problemas j notificados e no resolvidos.
Outra conseqncia da satisfao a lealdade do cliente, medida por questes relacionadas
com as intenes do cliente em comprar os produtos e servios de uma instituio, e em indic-los a
outros clientes. A satisfao do cliente influi positivamente na lealdade, porm a magnitude dessa
influncia varia de uma instituio a outra.
O modelo ACSI serve para medir a satisfao tanto com produtos quanto com a prestao de
servios, apesar das diferenas entre eles. A partir de um questionrio com 17 questes estruturadas,
com escala de 10 pontos, e oito questes demogrficas (Fornell et al., 1996), so medidas 15
variveis relacionadas com as variveis latentes de expectativas do cliente (trs variveis), qualidade
percebida (trs variveis), valor percebido (duas variveis), reclamaes do cliente (uma varivel),
lealdade do cliente (trs variveis) e o prprio ndice de satisfao do cliente (trs variveis). Dois
estudos brasileiros se propuseram a validar o modelo ACSI em contextos diferentes: Urdan &
Rodrigues (1999) testaram o modelo com clientes da indstria automobilstica, enquanto que Moura &
Gonalves (2005) o validaram no mbito do setor de telefonia mvel.
J o modelo conceitual denominado Service Gap Model, de Blythe & Marson, citado no
documento Brasil Enap (2001), considera como ponto de partida em uma pesquisa de satisfao,
cujo objeto especificamente a prestao de servios pblicos, o reconhecimento da diferena entre
a expectativa dos cidados e clientes a respeito dos servios pblicos e o servio efetivamente
recebido. Tal modelo composto por quatro atividades:
1. Conhecer as expectativas dos cidados e clientes quanto prestao de servios;
2. Aumentar a capacidade das organizaes pblicas no fornecimento daqueles servios
desejados pelos cidados;
3. Utilizar um conjunto adequado de ferramentas de melhoria de gesto para reduzir a lacuna de
servios; e
4. Medir o progresso na reduo da diferena entre expectativas de servio e o servio
recebido, assegurando a devida responsabilizao pelos resultados.
Compreender quo importantes so as caractersticas da prestao do servio para seus
clientes ajuda a organizao a escolher reas de melhoria que sejam significativas para eles. As
56
caractersticas da prestao de servios com menores ndices de satisfao (as maiores lacunas) no
sero necessariamente aquelas eleitas pelos clientes como prioritrias para melhoria. Dados sobre a
importncia, combinados com avaliaes de satisfao, fornecem, organizao, informaes para a
tomada de deciso.
Alta
Satisfao
Redirecionamento
de recursos??
Pontos fortes
Oportunidades
Prioridades para
melhoria
1
2
Baixa
3
Importncia
5
Alta
57
clientes. Relacionando essa matriz com o modelo ACSI, possvel inferir que enquanto a satisfao e
a importncia apontam que caractersticas precisam de melhoria, as expectativas exprimem o que o
termo melhoria significa para o cliente.
58
Expectativas de servio:
comunicaes
necessidades pessoais
experincias passadas
com servios
Caractersticas
servios prestados:
dos
Percepes a respeito
de servio pblico e
servidores pblicos:
tangvel X intangvel
voluntrio X involuntrio
direto X indireto
princpios e valores:
eqidade e
processamento
apropriado
Percepo dos
servios
governamentais
Percepes a respeito das
polticas e dos polticos:
nveis de confiana
desempenho percebido
contaminao poltica
Caractersticas dos
receptores de servios:
Prestao de servios:
idade,
sexo,
histrico.
nmero e durao
de contatos
custos
comunicao
atitude
conhecimento do
atendente
Figura 4 Fatores que influenciam as avaliaes dos servios pblicos (Brasil - Enap, 2000).
2.3.4.2 Indicadores
No caso da prestao de servios, diversos indicadores de qualidade podem ser usados para
medir a satisfao do cliente. A escolha desses indicadores varia de acordo com o servio em
questo e com as metas da instituio. Por exemplo, uma unidade organizacional da Previdncia
Social que presta o servio de concesso de benefcios est mais preocupada com o tempo que
demora a atender a um determinado usurio do que com a parcela da populao que no tem acesso
previdncia social. Esse aspecto uma preocupao mais ampla que diz respeito rea de
formulao de polticas pblicas do Ministrio da Previdncia Social. A seguir, alguns indicadores de
qualidade relativamente usuais, distribudos em cinco dimenses:
1. Acesso e instalaes - localizao conveniente; acesso fsico ao edifcio; conforto dos
escritrios e locais de espera; estacionamento adequado; horrio de expediente; aparncia,
nitidez e localizao das placas de sinalizao; possibilidade de escolha dentre vrios modos
de acesso.
59
2. Equipe de servio simptica, gentil, prestativa, respeitosa e flexvel; hbil, competente e
justa; com acesso a informaes atualizadas; capaz de proteger a confidencialidade das
informaes fornecidas pelos clientes.
3. Comunicao - disponibilidade e consistncia de informaes; linguagem simples e clara.
4. Capacidade de resposta - entrega pontual do servio; nmero de contatos at o cliente ser
atendido; tempo de espera.
5. Confiabilidade - atendimento s necessidades; cumprimento das polticas e padres; taxa de
erro.
Ainda que haja possibilidade de variao da importncia de cada uma dessas dimenses e
indicadores em funo da natureza do servio analisado, a dimenso da confiabilidade, segundo
Zeithaml et al. (1990), a mais importante para os consumidores dos servios, enquanto a dimenso
da aparncia das instalaes a menos valorizada e paradoxalmente, aquela em que os servios
tendem a ser melhor avaliados. Identificando os fatores-chave que explicam por que as pessoas
consideram ou no satisfatria sua experincia com o servio, os gestores podem concentrar seus
esforos em aprimorar aqueles elementos que iro fazer maior diferena aos olhos de seus usurios.
O Citizens First, pesquisa feita desde 1998 com cidados canadenses, revelou que cinco
fatores so determinantes nas avaliaes da qualidade do servio por seus usurios (Dinsdale &
Marson, 1999; Spears & Seydegart, 2001; Spears et al., 2003):
1. Rapidez
Esse fator se refere satisfao com o tempo que se leva para receber o servio.
Dependendo de sua natureza, deve-se reconhecer que nem sempre possvel acelerar a prestao
de um servio de governo. Por exemplo, para alguns servios, as questes de justia, igualdade de
oportunidades e a devida prestao de contas dos atos do governo podem limitar a rapidez com que
possvel oferecer o servio.
2. Conhecimento/competncia da equipe
O segundo mais importante fator identificado foi o conhecimento e a competncia da equipe
executora do servio, cujo desempenho pode ser ainda melhorado se houver uma boa poltica de
recursos humanos, plano de treinamento de pessoal, apoio gerencial, infra-estrutura tecnolgica.
60
3. Cortesia
O terceiro fator mais importante, identificado pela pesquisa Citizens First, foi a cortesia da
equipe e o conforto por ela proporcionado aos clientes.
4. Tratamento justo
Esse fator se refere ao sentimento dos clientes quanto forma justa ou injusta com que so
tratados no processo de prestao do servio. No fcil, entretanto, determinar o que justo ou
no. Para os funcionrios do governo, ser justo respeitar a legislao e as normas. Para os
cidados, principalmente em relao aos servios sociais, o tratamento recebido, mesmo que dentro
da legalidade, pode lhes parecer injusto, caso algum benefcio lhes seja negado.
5. Resultado
O ltimo fator identificado na pesquisa, em ordem de importncia, foi o resultado do servio,
isto , se o cliente recebeu ou no o que necessitava. Nem sempre o cidado atendido plenamente
pelo governo, especialmente quando se trata de servios que envolvam recursos escassos. Aqueles
a quem o subsdio ou auxlio foi negado certamente avaliaro o resultado do servio como
insatisfatrio.
Embora esses fatores tenham sido identificados como os mais importantes nessa pesquisa,
no h um conjunto padronizado de fatores para todos os servios. Cada tipo de servio deve tentar
identificar, junto a seus clientes, que fatores so os mais importantes, quais esto sendo oferecidos
satisfatoriamente, quais precisam melhorar, quais so prioritrios para diminuir a lacuna entre os
resultados reais atingidos e as expectativas dos clientes.
No caso de servios pblicos prestados por meio eletrnico, essa mesma pesquisa
canadense identificou, em 2000, que esses fatores so bem diferentes daqueles observados nos
canais tradicionais de prestao de servios, mencionados anteriormente. Para a prestao de
servios via governo eletrnico, os fatores mais importantes foram: navegao, resultado, apelo
visual, capacidade de informar e, por ltimo, rapidez. Levando esses fatores em considerao, para o
programa Government On Line (GOL) canadense, foram escolhidos 11 indicadores de sucesso:
convenincia, acessibilidade,
confiabilidade,
massa
crtica
de
servios,
taxa
de
adoo,
61
inovao. Em geral, os aspectos navegao e apelo visual so medidos por meio de estudos de
usabilidade de portais web. J na pesquisa com usurios de informao da Internet, realizada por
Gomez et al. (2004), os atributos que mais proporcionaram satisfao foram: a rapidez com que a
informao encontrada e exibida ao usurio; a freqncia com que a informao atualizada na
Internet; a forma de apresentao da informao no portal web; e a confiabilidade das informaes
veiculadas.
Antes da popularizao da Internet, entretanto, j existiam instrumentos para medir a
satisfao dos usurios de sistemas informatizados, tais como os desenvolvidos por Bailey & Pearson
(1983), Chin & Lee (2000), Davis (1989) e Doll & Torkzadeh (1988), os quais envolvem indicadores
tais como qualidade e acurcia das informaes geradas pelo sistema; formato, facilidade de uso,
disponibilidade, utilidade e velocidade do sistema.
62
2. Onde nossos clientes gostariam que estivssemos?
Neste estgio, a organizao estabelece onde seus clientes gostariam que ela estivesse no
futuro. Antes de mais nada, preciso que a misso da organizao inclua viso voltada para a
prestao de servios (passo 3). Para atingir esse estado futuro, a organizao deve decidir,
previamente, como melhorar a satisfao de seus clientes, estabelecendo prioridades (passo 4),
padres de qualidade e metas a alcanar (passo 5).
3. Como chegaremos l?
A organizao determina, neste estgio, como chegar a esse estado futuro por meio de um
plano de melhoria de servios (passo 6).
4. Como faremos para que acontea?
No estgio final, a organizao deve garantir a execuo de seu plano (passo 7) por meio de
monitoramento contnuo (passo 8). O servio deve ser avaliado no s por clientes, mas tambm por
funcionrios da organizao. Os resultados dessas avaliaes so, ento, analisados e utilizados
para ajustar o plano de implementao de melhorias. Finalmente, aconselhvel que a organizao
estabelea um programa de valorizao de sua equipe, reconhecendo e recompensando o trabalho
por ela realizado (passo 9).
Para implementar os passos um e dois dessa metodologia canadense, isto , a avaliao do
estado atual da satisfao dos clientes, incluindo suas expectativas e prioridades, preciso escolher
mtodos e instrumentos capazes de aferir tais elementos e acompanhar, ao longo do tempo, o
progresso conquistado na busca da satisfao dos clientes.
2.3.5.1 Mtodos
Existe um conjunto de instrumentos que permite a expresso direta da opinio do cidado,
muitas vezes associada a uma reclamao ou pedido de auxlio para resolver situaes nas quais os
canais normais de atendimento no puderam ser eficazes. Nessa categoria pode-se incluir tanto os
instrumentos tradicionais de contato (livros e caixas de sugestes, centrais telefnicas de
atendimento ao cliente, ouvidorias, avaliaes de reao aplicadas imediatamente aps a prestao
do servio, cartas-resposta enviadas aos clientes) quanto a utilizao da Internet e quiosques
eletrnicos para recebimento de reclamaes, sugestes e elogios sobre os servios pblicos.
63
medida que mais pessoas tenham acesso Internet, as pesquisas via correio eletrnico ou
desenvolvidas em formulrios web podem se tornar meios significativos de coleta de opinio de
usurios, clientes e cidados.
Em uma outra vertente, enquadram-se os instrumentos de avaliao mais direcionados pelas
necessidades de informao da prpria organizao, desde pesquisas de satisfao com maior grau
de preciso (questionrios enviados pelo correio, entrevistas presenciais ou por telefone) at outras
formas mais abrangentes de consultas aos cidados, como grupos focais, fruns de debate,
encontros de usurios, relatrios de auditoria. Apesar de apresentarem informaes valiosas para a
organizao, alguns desses mtodos so circunstanciais e podem ser tendenciosos j que as
pessoas que se dispem a gastar seu tempo preenchendo cartas-resposta ou comparecendo a
encontros promovidos pelo governo podem no ser representativas da clientela dos servios sob
avaliao. Esses mtodos podem captar comentrios de pessoas dispostas a reclamar,
negligenciando outras igualmente insatisfeitas, porm menos propensas a exporem, verbalmente,
suas crticas. Portanto, a estratgia de avaliao deve contemplar tanto mtodos qualitativos, mais
ricos em detalhes, quanto mtodos que reflitam com mais exatido, sob o ponto de vista estatstico, a
satisfao dos clientes, tais como pesquisas de massa feitas por telefone, pelo correio ou por meios
eletrnicos.
O documento brasileiro Padres de qualidade do atendimento ao cidado: estabelecendo
padres de qualidade do atendimento (Brasil MP, 2000) sugere o desenvolvimento de metodologia
para monitorar sistematicamente o desempenho das instituies governamentais em relao a
padres, e exemplifica alguns procedimentos que nela poderiam ser adotados:
Contratao de usurios simulados (ou clientes ocultos) mtodo utilizado para monitorar o
desempenho da organizao em relao a padres sobre diversos aspectos dos servios, a
saber, tempo de espera para ser atendido, preciso das informaes recebidas, facilidade de
entender a sinalizao visual, tempo para conseguir resposta a consultas por telefone ou por
correspondncia, adequao das instalaes, ateno e cortesia no tratamento recebido
etc. (p. 10). O usurio simulado, pessoa contratada para exercer essa atividade, sem
qualquer vnculo com a organizao, nem mesmo como usuria de seus servios, registra os
resultados obtidos em sua avaliao ao utilizar o servio, e transmite-os organizao,
permitindo que ela identifique os problemas existentes e implemente as aes necessrias
para solucion-los.
64
65
66
desempenho comparando-o a outros tambm aconselhvel. Sem a anlise comparativa, pode ser
difcil determinar quo positiva uma avaliao com o conceito bom, por exemplo. Uma nota 70
boa, mdia ou ruim? Na ausncia de um ponto fixo de referncia para fazer comparaes, difcil
atribuir significado real a tais resultados.
Deve-se atentar tambm para o fato de que uma dada avaliao pode ser considerada boa
para um tipo de servio, mas ruim para outro. Quaisquer que sejam os motivos que os cidados
tenham para avaliar certos servios acima de outros, o fato que eles o fazem, e, a fim de gerar
parmetros vlidos, apenas organizaes semelhantes devem ser comparadas entre si. Mesmo
assim, nem sempre essas organizaes usam o mesmo instrumento de coleta de dados, tm as
mesmas escalas de pontuao ou realizam avaliaes visando os mesmos objetivos, o que
representam fatores adicionais que dificultam a comparao de resultados.
importante lembrar, no entanto, que a utilidade da avaliao de satisfao deve ser
entendida como um processo necessrio para a melhoria da qualidade do servio. Seus resultados
no devem ser utilizados para a hierarquizao de organizaes segundo o nvel de avaliao de
satisfao que atingirem. Para Dinsdale & Marson (1999), trs abordagens parecem facilitar, em
diferentes graus, comparaes confiveis entre servios similares e o desenvolvimento de parmetros
normativos:
2.3.5.2.1
67
pesquisas de satisfao de cidados administradas em 40 estados americanos. Talvez a questo
no seja tanto a converso dos resultados de uma escala para outra, mas at que ponto o enunciado
da pergunta pode influenciar as respostas negativa ou positivamente (Dinsdale & Marson, 1999, p.
43).
2.3.5.2.2
Os ndices podem ser utilizados para comparar a satisfao dos usurios entre organizaes
diferentes, ou de uma mesma organizao ao longo do tempo, possibilitando monitorar a sua
evoluo. Entretanto, devem servir a comparaes de ordem mais relativa que absoluta, pois no
oferecem informaes sobre como os usurios avaliam a importncia de determinados servios ou o
que consideram como sendo prioritrio para melhoria.
O American Customer Satisfaction Index (ACSI), por exemplo, elaborado pela parceria entre
a University of Michigan Business School, Arthur Andersen, Claes Fornell International (CFI) Group e
American Society for Quality, um indicador nacional da qualidade dos bens e servios disponveis
nos Estados Unidos da Amrica (EUA). Utilizado desde 1994 para medir a satisfao do usurio com
servios prestados pelo setor privado, a partir de 1999, esse instrumento foi adotado pelo setor
pblico para avaliar o padro de qualidade de seus servios. O ACSI calculado com base em
informaes coletadas junto aos usurios, por meio de entrevistas via telefone, a respeito de suas
expectativas e satisfao com bens e servios fornecidos por agncias governamentais e empresas.
Na pesquisa de 2002, pela primeira vez, o ACSI incluiu a avaliao de portais web do governo
eletrnico americano.
O European Customer Satisfacion Index (ECSI), por sua vez, desenvolvido em 1998 como
projeto conjunto da European Organization for Quality (EOQ), European Foundation for Quality
Management (EFQM) e Customer Satisfaction Index (CSI) University Network, com apoio da
Comisso Europia, adotado em 12 pases europeus (Instituto Portugus da Qualidade): Blgica,
Dinamarca, Espanha, Finlndia, Frana, Grcia, Islndia, Itlia, Portugal, Reino Unido, Sucia e
Sua. O ECSI difere do ACSI apenas por acrescentar a varivel Imagem como mais uma varivel
antecedente ou determinante da satisfao do cliente. Essa varivel pretende integrar todas as
associaes que os clientes fazem ao nome da marca ou da empresa.
68
Alm do ACSI e do ECSI, existem outros ndices, tais como o Barmetro Sueco de Satisfao
do Cliente, desenvolvido em 1989, e o Deutsche Kundenbarometer, ndice alemo introduzido em
1992. De acordo com Urdan & Rodrigues (1999), outros pases, como Nova Zelndia e Formosa,
esto desenvolvendo ndices semelhantes.
2.3.5.2.3
Experincia brasileira
69
insero, na pauta do gestor pblico, da avaliao da percepo do cidado a respeito da qualidade
do servio pblico prestado.
poca dessa pesquisa, foi desenvolvido o Instrumento Padro de Pesquisa de Satisfao
(IPPS), questionrio de pesquisa de opinio padronizado que investiga o nvel de satisfao dos
usurios de um servio pblico, e que pode se adequar a qualquer organizao pblica. Tal
instrumento combina, com as devidas adaptaes s necessidades e especificidades brasileiras,
elementos das principais metodologias internacionais de medio da satisfao do usurio: American
Customer Satisfaction Index, da Universidade de Michigan; Common Measurements Tool, do Centro
Canadense de Gesto; e SERVQUAL, desenvolvido por Zeithaml, Parasuraman e Berry. O mdulo
geral do IPPS mede cinco dimenses genricas para qualquer tipo de prestao de servio:
confiabilidade, responsividade (sic), garantia, empatia e aspectos tangveis (Brasil MP, 2001). Tal
mdulo contm ainda trs medies independentes: a expectativa em relao ao servio, a avaliao
propriamente dita do servio e o valor/importncia de cada dimenso do servio. Os elementos mais
prioritrios so identificados a partir do clculo de um ndice, denominado Gap/i.
Para possibilitar a implementao da avaliao de satisfao com baixo custo sem prescindir
de conhecimento tcnico apurado na rea de pesquisa social e estatstica, foi desenvolvido, tambm,
um software de auxlio ao processo de pesquisa e anlise dos resultados do IPPS. Esse software
tem, como propsitos, facilitar a adaptao do questionrio do IPPS s necessidades de cada
organizao brasileira, ajudar a calcular a amostra e a planejar o trabalho de campo, auxiliar a
entrada de dados, evitando os erros mais comuns dessa fase, e facilitar a anlise dos resultados.
70
especficas que se realizam, foram realizadas ou se realizaro, com o propsito
de produzir efeitos e resultados concretos; comprovando a extenso e o grau em
que se deram essas conquistas, de forma tal que sirva de base ou guia para uma
tomada de decises racional e inteligente entre cursos de ao, ou para
solucionar problemas e promover o conhecimento e a compreenso dos fatores
associados ao xito ou ao fracasso de seus resultados.
Para Weiss (1992), o propsito da avaliao de programas medir os efeitos de um
programa em relao a seus objetivos, como uma maneira de contribuir para a subseqente tomada
de deciso sobre o programa e melhorar o processo de planejamento de programas futuros. Os
efeitos relacionam-se com a satisfao dos beneficirios individuais e a comparao dos benefcios
com os objetivos do programa (W. K. Kellogg Foundation, 2001), podendo ser de curto (1 a 3 anos)
ou longo (4 a 6 anos) prazos. De acordo com a Intosai Auditing Standards Committee (2004, p. 23):
Avaliaes de programa so estudos sistemticos individuais conduzidos para
verificar se um programa est funcionando adequadamente. Avaliaes de
programa tipicamente examinam uma gama maior de informaes sobre o
desempenho do programa e o contexto do que vivel monitorar em bases
correntes. Assim, uma avaliao de programa permite fazer uma ampla
verificao do funcionamento do programa e do que pode ser feito para melhorar
os seus resultados.
A avaliao tambm um meio de comunicao entre os responsveis por um projeto, seus
patrocinadores e as pessoas por ele afetadas. possvel reportar linha gerencial superior os
resultados de seus investimentos. A avaliao de programas, como prtica profissional, tem como
origem a constatao de que no h verba suficiente para realizar tudo que necessrio
sociedade. Sendo assim, preciso decidir o que vale a pena ser feito. O propsito da avaliao de
programas , portanto, subsidiar os tomadores de deciso de informaes suficientes para essa
escolha.
H que se fazer a distino entre duas atividades da avaliao de programas: uma delas a
avaliao propriamente dita e a outra o monitoramento. Enquanto o monitoramento a coleta
sistemtica de informaes com o objetivo de fornecer indicativos sobre como um programa ou
servio executado, a avaliao diz respeito formulao de questes sobre o desempenho (por
exemplo, sobre efetividade e eficincia), de modo a obter respostas que auxiliem os gestores a
melhor gerenciar e aperfeioar a prestao de servios e promover a responsabilizao por resultado
71
(Australia - ANAO, 2003/2004). Monitoramento, portanto, est relacionado a ciclos mais curtos e a
problemas mais imediatos (erros no acesso, dificuldades de navegao, impossibilidade de tirar
dvidas, mensurao da quantidade de acessos), enquanto que a avaliao ocorre em ciclos mais
longos e mais abrangente, podendo utilizar os resultados do monitoramento sistemtico.
72
avaliao da efetividade pretende verificar a ocorrncia de mudanas na populao-alvo que se
poderia atribuir s aes do programa. Exemplo: o programa mdico de famlia redundou na
reduo da mortalidade infantil?
Outras dimenses, como eqidade e articulao institucional, tm sido objeto de avaliao de
desempenho de programas por Entidades Fiscalizadoras Superiores (EFS) europias, assim como
pelo Tribunal de Contas da Unio a EFS brasileira. O princpio da eqidade reconhece que os
indivduos so diferentes entre si e, portanto, merecem tratamento diferenciado que elimine (ou
reduza) a desigualdade. Neste caso, os indivduos pobres, por exemplo, necessitam de mais recursos
pblicos que os indivduos ricos (Medeiros, 1999, p. 4). Considerando que as principais fontes de
desigualdade esto relacionadas com renda, gnero, raa, etnia, idade, escolaridade, localidade
(rural ou urbana), de acordo com analistas do TCU, para avaliar a eqidade, deve-se investigar, em
cada caso especfico, at que ponto as desigualdades afetam a distribuio de recursos do programa,
o acesso a bens e servios ofertados e a apropriao dos benefcios e resultados gerados pelo
programa.
A articulao institucional, por sua vez, relaciona-se com a coordenao necessria entre
rgos e/ou esferas de governo, responsveis por uma ao ou programa, para que os objetivos
dessa ao ou programa sejam atingidos. Considerando que a descentralizao administrativa uma
prtica disseminada nos modelos de gesto governamentais, avaliar a articulao institucional tornase um aspecto importante na avaliao de programas de governo.
73
desenvolver ou atualizar seu conhecimento sobre o tema escolhido. Na fase de execuo, por sua
vez, a pesquisa documental serve para dar suporte aos achados (desde que as evidncias tenham
sido validadas) e complementar ou confirmar dados coletados de diversas fontes. So fontes de
pesquisa documental em avaliaes de programa: bases de dados pblicas, relatrios de outros
estudos ou auditorias, documentos, normas e bases de dados do programa.
2.4.2.2 Entrevista
Na fase de planejamento da avaliao de programas, as entrevistas, individuais ou em grupo,
so utilizadas para obter informaes detalhadas que auxiliam na compreenso do objeto da auditoria
e na identificao de temas relevantes. Servem tambm para confirmar fatos ou auxiliar no
desenvolvimento das recomendaes de auditoria.
2.4.2.3 Levantamento
Essa tcnica, tambm denominada survey, em ingls, utilizada para coletar informaes
quantitativas ou qualitativas de uma ampla populao; conhecer a opinio e o ponto-de-vista de
beneficirios ou executores de programas; identificar a freqncia de um determinado evento (no
caso de amostra representativa da populao); testar hipteses ou investigar relaes causais. Seu
instrumento de coleta de dados o questionrio, composto de perguntas fechadas, em sua maioria. A
ocorrncia de perguntas abertas em questionrios de avaliao de programas feita com parcimnia.
74
24
programa so: anlise de grupo de interesse , anlise SWOT , diagrama de verificao de risco,
25
anlise RECI , mapa de produtos, indicadores de desempenho, mapa de processos e marco lgico.
Essas tcnicas e ferramentas so comentadas nos prximos itens.
23
24
Acrnimo formado pelas palavras inglesas: Strengths (foras), Weaknesses (fraquezas), Opportunities (oportunidades) e
Threats (ameaas).
25
75
a atingir ou exceder as metas planejadas, como por exemplo, novos clientes, novos canais de
distribuio e divulgao. As fraquezas, por sua vez, so caractersticas negativas internas (ausncia
de capacidades e/ou habilidades crticas) que podem inibir ou restringir o desempenho da
organizao, enquanto as ameaas so caractersticas do ambiente externo, no controlveis pela
organizao, que podem impedi-la de atingir as metas planejadas, como por exemplo, surgimento de
produtos equivalentes, restries oramentrias, novos concorrentes no mercado, disperso
geogrfica do pblico-alvo.
No caso da avaliao de programas, a anlise SWOT til para identificar os pontos
negativos (fraquezas e ameaas) que podem ser melhorados e transformados em foras ou
oportunidades, a partir da concretizao das recomendaes feitas pela equipe de avaliadores. Tais
pontos devem ser identificados, preferencialmente, com a participao da equipe responsvel pela
gerncia do programa, pois so as pessoas que melhor conhecem o ambiente em que o programa
atua.
76
R - quem responsvel (quem detm a responsabilidade final, com poder de veto; quem arcar com
o nus pelo eventual insucesso do programa);
E - quem executa (quem encarregado de desenvolver a atividade; quem responsvel pela
implementao);
C: quem consultado (quem deve ser consultado antes que as decises ou aes sejam
implementadas);
I: quem informado (quem que deve ser informado depois que a deciso ou ao for implementada).
Com essa anlise, a equipe de avaliadores compreende melhor como o programa funciona e
pode identificar retrabalho, duplicidade de atribuies, relaes de poder e estruturas pouco
eficientes.
77
O mapa de produtos utilizado na fase de planejamento da avaliao de programas com
intuito de conhecer os principais objetivos do programa; representar as relaes de dependncia
entre produtos; identificar os responsveis pelos produtos crticos; e, por fim, subsidiar a construo
de indicadores de desempenho.
78
79
Questes descritivas - do tipo Quem? Onde? Quando? O qu? Como?. Exemplo: como
funciona o programa?.
Questes normativas - aquelas que tratam de comparaes entre o desempenho atual e aquele
estabelecido em norma, padro ou meta, tanto de carter qualitativo quanto quantitativo.
Exemplo: o programa tem alcanado as metas previstas?.
Fsica - dados coletados a partir da observao direta, podendo ser representados por
fotografias, mapas, grficos ou outras representaes pictogrficas;
Oral - declaraes geralmente obtidas por meio de entrevistas ou levantamentos com usurios ou
beneficirios da iniciativa governamental, bem como com especialistas, gestores ou membros da
equipe tcnica encarregada;
80
Documental - dados registrados em papel ou meio magntico (em geral, os mais empregados em
trabalhos de auditoria);
b)
c)
Caso crtico: examina uma situao especialmente relevante ou serve como teste-crtico para
afirmaes feitas sobre o programa;
d)
e)
f)
Cumulativo: rene descobertas provenientes de vrios estudos de caso para responder a uma
questo de auditoria descritiva, normativa ou de causa-e-efeito.
O delineamento experimental, por outro lado, uma estratgia metodolgica que visa testar
hipteses, cuja concepo bsica corresponde aos experimentos realizados em laboratrio. Essa
estratgia empregada em avaliaes de programa quando se deseja verificar a relao causal entre
as variveis do domnio do programa e os efeitos observados. Para verificar se um programa a
causa de determinado efeito, selecionam-se dois grupos de unidades de pesquisa (pessoas, escolas,
hospitais): o grupo experimental ou de tratamento, que ser exposto ao programa; e o grupo de
controle, que no ser exposto. As diferenas observadas nos resultados obtidos por esses grupos,
com algumas qualificaes, podero ser atribudas presena do programa. O procedimento exposto
81
acima, para ser considerado um experimento em sentido estrito, requer que as unidades de pesquisa,
em ambos os grupos, sejam selecionadas de forma aleatria. Isto , qualquer unidade deve ter a
mesma chance de pertencer a um ou a outro grupo.
A realizao do delineamento experimental envolve dificuldades de ordem prtica e tica,
como por exemplo, excluir do programa um grupo de beneficirios em potencial para que operem
como grupo de controle. Por essa razo, foram desenvolvidas estratgias metodolgicas alternativas.
Os delineamentos quase-experimentais mais citados na literatura sobre avaliao de programas so:
grupos no-equivalentes com pr e ps-testes; sries temporais com grupo de controle; sries
temporais sem grupo de controle. Muitas vezes impossvel utilizar at mesmo delineamentos quaseexperimentais. Nesse caso, os delineamentos no-experimentais mais usuais so: antes-e-depois;
somente depois com grupo de comparao. A fragilidade inerente a esses delineamentos est no fato
de que no h controle sobre explicaes alternativas, ou seja, as mudanas observadas podem ter
sido causadas por variveis no associadas ao programa.
Na matriz de planejamento tambm so citados os mtodos de coleta e anlise de dados
utilizados. Os mais comuns em avaliaes de programa foram mencionados nos itens 2.4.2 (p. 72) e
2.4.3 (p. 74) desta reviso de literatura. A coluna limitaes da matriz est relacionada com
restries inerentes estratgia metodolgica adotada (por exemplo, possibilidade ou no de
generalizao dos resultados do estudo), s caractersticas das informaes que se pretende coletar
(por exemplo, dificuldade de acesso aos dados, falta de confiabilidade das informaes) e s
condies operacionais para a realizao dos trabalhos (por exemplo, disponibilidade de recursos
humanos e materiais). Por fim, a coluna o que a anlise vai permitir dizer da matriz de planejamento
esclarece precisamente quais concluses ou resultados se pretende alcanar com a estratgia
metodolgica adotada.
82
Alm das questes de auditoria, copiadas da matriz de planejamento para a matriz de
achados e j mencionadas no item 2.4.4.1 (p. 79), so relacionados os principais achados, ou seja,
constataes mais relevantes que respondem a questo de auditoria correspondente e situaes,
adequadamente evidenciadas, que apresentam oportunidade de melhoria para o desempenho do
programa. Os mtodos e tcnicas de anlise de dados empregados so mencionados na coluna
anlises e evidncias, enquanto que os fatos ou situaes que deram origem ao baixo desempenho
observado so apresentados na coluna causas. Integram ainda a matriz, os efeitos (as
conseqncias relacionadas com as causas e os achados correspondentes), as boas prticas
eventualmente identificadas ao longo do trabalho, as recomendaes dos avaliadores, e os
benefcios esperados aps sua implementao.
83
84
Internet
Governo
Servio
Fonte/receptor
Mensagem
Cidado
cliente
Receptor/fonte
Canal
Monitoramento
e avaliao
Normas,
regras,
recomendaes
e boas prticas
Fidelidade
Pesquisa de
satisfao
Padres de
qualidade
85
heterognea, amplamente dispersa e annima, concordando, assim, com as caractersticas tpicas da
comunicao de massa (item 2.1.2, p. 12). Por ser um membro annimo do pblico, o cidado-cliente
no tem o compromisso de responder ou reagir, como acontece na comunicao interpessoal. A
credibilidade do canal Internet, como j constatado em algumas avaliaes de governo eletrnico,
influencia a maneira como o cidado-cliente se relaciona com ele e afetado pelo contedo nele
transmitido.
Por outro lado, ao relacionar a prestao de servios de governo eletrnico com o processo
de comunicao tradicional, pode-se dizer que o Governo e o cidado-cliente so ambos emissores e
receptores, j que tal comunicao se d de forma bidirecional ora o Governo que comunica
informaes sobre a prestao do servio (mensagem), ora o cidado-cliente que transfere, ao
Governo, as informaes necessrias (mensagem) concluso dessa prestao de servios on-line,
por meio do canal Internet.
Fazendo um paralelo entre fidelidade do processo de comunicao e qualidade de servios
pblicos, itens 2.1.3 (p. 14) e 2.3.3 (p. 46) da reviso de literatura, v-se que, em ambos os casos, o
importante determinar o que aumenta ou reduz tal fidelidade ou qualidade. Comparando o conceito
de Tubbs & Moss (2003), de que a comunicao efetiva quando a forma como o estmulo foi
iniciado e pretendido pelo emissor, ou fonte, corresponde, o mais prximo possvel, forma com que
percebido e respondido pelo receptor, e o conceito de qualidade percebida como julgamento do
cliente sobre a superioridade ou excelncia de um servio, fruto da comparao entre os servios
esperados e a percepo dos servios recebidos, observa-se que ambos conceitos tratam do mesmo
tema.
A ausncia de recursos de comunicao, a presuno no enunciada, a distrao e a
apresentao confusa, destacadas por Berlo (1982), Gibson et al. (1981) e Parry (1972) como
barreiras comunicao humana, citadas no item 2.1.3 (p. 14) da reviso de literatura, so tambm
consideradas problemas de disponibilidade (ausncia de recursos de comunicao), usabilidade
(qualidade de uso) e/ou acessibilidade de interfaces web na prestao de servios pblicos
eletrnicos (Brasil Governo Eletrnico, 2004; Brasil MP, 2005d; Dias, 2001; Dias, 2003; ISO 924111, 1998; Nielsen, 1999; W3C, 1999). As agncias governamentais, por sinal, so conhecidas por
suas comunicaes freqentemente incompreensveis (Gibson et al., 1981).
86
A fidelidade do processo de comunicao na prestao de servios pblicos eletrnicos est,
ento, relacionada com os conceitos de acessibilidade e usabilidade de interfaces web, duas das
dimenses da qualidade de servios pblicos eletrnicos examinadas nesta pesquisa. De certa
forma, outras dimenses da qualidade tambm se ligam fidelidade do processo de comunicao
eletrnica: facilidade de localizao do portal web da instituio, facilidade de localizao do servio
de governo eletrnico, e sua disponibilidade.
A qualidade de servios pblicos eletrnicos, de uma maneira geral, pode ser medida pela
conformidade a padres, normas, recomendaes e boas prticas, e inferida pela satisfao geral de
seus usurios, cidados e clientes desses servios. Do lado do cidado-cliente, o mtodo mais
empregado para medir sua satisfao, a pesquisa de satisfao de clientes, motivo pelo qual esse
foi um dos mtodos escolhidos neste estudo. Do lado do Governo, para checar a conformidade a
padres de qualidade, e ainda o sucesso das iniciativas de e-gov, o mtodo de aferio mais
adequado parece ser o monitoramento e a avaliao de indicadores de desempenho, mais
especificamente, de eficcia. Para complementar essa viso que relaciona fidelidade do processo de
comunicao eletrnica entre Governo e cidado-cliente e qualidade dos servios pblicos
eletrnicos, foi construdo o modelo de avaliao de governo eletrnico, descrito no item 3.2 (p. 87).
87
Melhores
servios
Governo mais
eficiente
Novas relaes
entre governo e
sociedade
Classificao
em estgios
Benchmarking
E-GOV
Avaliao
Objetivos
estratgicos
Prestao de
contas
Avaliao de
programas
G2B
Apresentao
de
informaes
Busca de
informaes
G2C
Interatividade
limitada
G2G
Transao
eletrnica
Integrao
e-gov
Medidas de
reduo de
custos
Medidas de
retorno do
investimento
Medidas de
uso
Medidas de
produtividade
Pesquisas de
satisfao
88
potenciais benefcios do governo eletrnico (melhores servios, governo mais eficiente e novas
relaes entre governo e sociedade), assim como os trs setores envolvidos nas interaes de e-gov
(G2B, G2C e G2G), os cinco estgios evolutivos (apresentao de informaes, busca de
informaes, interatividade limitada, transao eletrnica e integrao e-gov) e os vrios tipos de
avaliao de governo eletrnico: sob perspectiva institucional (classificao em estgios evolutivos,
benchmarking, comparao da situao alcanada com seus objetivos estratgicos, prestao de
contas ao governo central e avaliao de programas de governo); e avaliao de aplicaes
especficas e seus principais indicadores (uso, produtividade, satisfao de clientes, custos e retorno
de investimento).
A partir deste modelo de avaliao de e-gov aqui proposto, possvel ter uma viso didtica,
ao mesmo tempo geral e sinttica, das caractersticas e potenciais benefcios do governo eletrnico,
assim como dos setores envolvidos nas interaes de e-gov, estgios evolutivos e tipos de avaliao.
Tal modelo pode ser aplicado como ponto de partida tanto em estudos acadmicos sobre governo
eletrnico com foco especfico em um ou mais aspectos nele representados, quanto em trabalhos de
avaliao sob perspectiva institucional ou de aplicaes especficas. Nesta tese, esse modelo foi
particularmente importante na seleo dos mtodos de avaliao que seriam mais adequados a esta
pesquisa, e dos tipos de servios e estgios de e-gov objetos de anlise neste estudo de caso.
melhorar a qualidade da prestao de servios e informaes pblicas por meios eletrnicos , foram
enfocados, nesta pesquisa, como benefcio potencial do e-gov, o de melhores servios, e como
contexto, servios G2C, para atendimento direto ao cidado. Por serem os estgios iniciais de
apresentao e busca de informaes, no governo eletrnico, menos significativos em termos de
prestao de servios pblicos eletrnicos, foram escolhidos, inicialmente, os estgios de
26
Conforme definio constante do mapeamento, em junho de 2005, das aes oramentrias do Ministrio do Planejamento,
Oramento e Gesto, no Sistema de Informaes Gerenciais e de Planejamento (Sigplan), e do Anexo II da Lei no 10.933, de
11 de agosto de 2004, que dispe sobre o Plano Plurianual 2004/2007.
89
interatividade limitada, transao eletrnica e integrao e-gov, como critrios para seleo dos
servios e-gov deste estudo.
Dentre os mtodos de avaliao do e-gov como estratgia do governo central, foi escolhida a
avaliao de programas, por sua abrangncia, ao possibilitar diferentes enfoques de anlise
(insumos, processos, produtos, impactos), e ainda diferentes critrios de avaliao (eficincia,
eficcia, efetividade, impacto). Foram descartadas a classificao em estgios evolutivos, a avaliao
da prestao de contas e a avaliao dos objetivos estratgicos por tratarem de aspectos limitados
de implementao e controle no diretamente voltados ao foco desta pesquisa. O benchmarking foi
descartado por ser mais indicado em etapas posteriores de avaliao. Comparar iniciativas de e-gov
antes de realizar auto-avaliaes parece inverter a ordem natural das coisas.
Como o foco desta pesquisa a avaliao dos servios e-gov sob a tica do cidado-cliente
na comunicao com o governo via Internet, nada melhor do que utilizar mtodos que tenham como
fontes de informao os prprios cidados-clientes, como o caso da pesquisa de satisfao. Os
outros mtodos de avaliao de aplicaes especficas de e-gov, identificados na reviso de literatura
medidas de uso, produtividade, reduo de custos e retorno de investimento trariam respostas de
interesse mais significativo s agncias de governo prestadoras de servios eletrnicos do que
propriamente aos clientes desses servios.
Por terem sido selecionados como mtodos de avaliao de e-gov para esta pesquisa, a
pesquisa de satisfao e a avaliao de programas constam como itens da reviso de literatura.
Portanto, para representar o que se pretendia avaliar na pesquisa de satisfao, foi construdo um
modelo grfico que relaciona as diversas variveis estudadas.
90
Expectativas
atendidas
Valor
percebido
Padres
de
qualidade
atendidos
Satisfao
geral
Qualidade
percebida
DIMENSES
Facilidade de localizao do portal web da instituio
Facilidade de localizao do servio de governo eletrnico
Acessibilidade
Usabilidade
Disponibilidade
Confiabilidade
Privacidade de dados pessoais e Segurana de informaes
Convenincia
Capacidade de resposta a dvidas e reclamaes
Tempo de atendimento
91
Tal modelo inclui, como variveis latentes (ou construtos) que influenciam a satisfao geral,
as expectativas dos cidados-clientes, a qualidade e o valor por eles percebidos, e os padres de
qualidade relacionados especificamente com esse canal de comunicao, subdivididos em 10
dimenses: facilidade de localizao do portal web; facilidade de localizao do servio;
acessibilidade; usabilidade; disponibilidade; confiabilidade; privacidade de dados pessoais e
segurana de informaes; convenincia; capacidade de resposta a dvidas e reclamaes; e tempo
de atendimento.
Nesse modelo, o construto expectativas atendidas representa a correlao entre o que se
esperava do servio de governo eletrnico e o que se percebeu dele, em uma determinada situao
de uso. Em outras palavras, a expectativa o que o cliente espera do servio, baseado em suas
necessidades pessoais, experincias pessoais ao utilizar este ou outros servios pblicos via Web
em ocasies anteriores, e em informaes recebidas de terceiros sobre o servio.
A qualidade percebida, por sua vez, o julgamento do cliente sobre a superioridade ou
excelncia de um servio de governo eletrnico, fruto da comparao entre os servios esperados e a
percepo dos servios recebidos, em cada uma das dimenses do modelo. A qualidade de um
servio eletrnico pode ser medida por sua conformidade a padres de qualidade de software, e
inferida pela satisfao geral de seus usurios.
O construto padres de qualidade atendidos corresponde correlao entre caractersticas
ou elementos do servio pblico prestado ao cliente via Web e um conjunto de regras, normas,
recomendaes ou boas prticas, de cada uma das dimenses do modelo, avaliado por especialista.
Nesse modelo, as dimenses da qualidade do servio de e-gov so:
27
Mobilizao de foras fsicas e/ou intelectuais para atingir determinado objetivo ou resultado.
92
Acessibilidade - capacidade do portal web da instituio ser flexvel o suficiente para atender
s necessidades e preferncias do maior nmero possvel de pessoas, alm de ser
compatvel com tecnologias assistivas
28
Usabilidade - capacidade do portal web da instituio ser usado por seus clientes com
29
eficcia , eficincia
30
31
e satisfao
32
34
28
Software ou hardware especificamente concebido para ajudar pessoas com incapacidades ou deficincias a executarem
atividades do cotidiano. Exemplos: cadeiras de rodas, dispositivos de impresso, leitores e ampliadores de tela, sintetizadores
de voz, teclados e dispositivos apontadores alternativos.
29
Preciso e completeza com que os usurios atingem objetivos especficos, acessando a informao correta ou gerando os
resultados esperados. A preciso uma caracterstica associada correspondncia entre a qualidade do resultado e o critrio
especificado, enquanto a completeza a proporo da quantidade-alvo que foi atingida (ISO 9241, 1998).
30
Preciso e completeza com que os usurios atingem seus objetivos, em relao quantidade de recursos gastos.
Capacidade de evitar desperdcio de tempo, dinheiro e esforo (ISO 9241, 1998).
31
Conforto e aceitabilidade do portal web, medidos por meio de mtodos subjetivos e/ou objetivos. As medidas objetivas de
satisfao podem se basear na observao do comportamento do usurio (postura e movimento corporal) ou no
monitoramento de suas respostas fisiolgicas. As medidas subjetivas, por sua vez, so produzidas pela quantificao das
reaes, atitudes e opinies expressas subjetivamente pelos usurios (ISO 9241, 1998).
32
33
Isento de erros.
34
93
35
36
37
38
41
39
40
servio (benefcio percebido) e recurso gasto (tempo, dinheiro, esforo). Nesse modelo, o valor
percebido do servio pblico via Web medido em relao aos outros canais de prestao do mesmo
servio, tais como telefone, fax, correio, e-mail e atendimento presencial nas agncias
governamentais. A satisfao geral exprime, por fim, uma sensao de prazer ou descontentamento
com o servio de governo eletrnico recebido, face s expectativas e exigncias pessoais do cliente.
Como variveis latentes, tais construtos no podem ser medidos diretamente e necessitam de
indicadores, ou variveis observveis, para sua mensurao. O Quadro 1 (p. 95) apresenta um
possvel conjunto de variveis latentes e observveis, derivadas do modelo proposto.
35
Garantia de que a fonte ou o destino de uma informao, em um processo de comunicao, realmente quem diz ser.
36
Garantia de que a informao acessada apenas por pessoas explicitamente autorizadas, da forma previamente autorizada.
37
Garantia de que as informaes e os servios prestados por um sistema esto prontos para serem acessados por usurios
autorizados, sempre que necessrios, ou dentro do perodo previamente acordado.
38
39
40
41
Bem-estar, conforto.
94
Variveis latentes
Variveis observveis
(construtos)
Expectativas atendidas
Padres de qualidade
atendidos
Qualidade percebida
95
Variveis latentes
Variveis observveis
(construtos)
Valor percebido
Satisfao geral
96
conjunto de variveis observveis expresso no Quadro 1 apenas como ponto de partida. Essas
variveis devem ser validadas a partir de procedimentos metodolgicos qualitativos, que envolvam a
participao dos clientes.
A partir do modelo para medir a satisfao do cliente de servios de governo eletrnico, aqui
proposto, possvel ter uma viso geral das dimenses a serem consideradas nesse tipo de
avaliao do governo eletrnico. Tal modelo, aps as devidas adaptaes e testes de validade e
confiabilidade, poder ser aplicado tanto em estudos acadmicos sobre governo eletrnico, quanto
em trabalhos de avaliao sob perspectiva institucional ou de aplicaes especficas. Do lado da
avaliao de programas, tambm foi construdo um modelo que extrai, da reviso de literatura sobre
o assunto, os elementos relevantes para esta pesquisa.
97
Governo Eletrnico
X
Objetivo
Resultados
Melhores servios
Questes de auditoria
Como feito o monitoramento e a avaliao da eficcia do programa governo eletrnico?
Os padres definidos para os servios e-gov so atendidos?
Os cidados-clientes esto satisfeitos ou insatisfeitos com os servios e-gov?
Atuao do
governo
central
Ferramentas
Atuao da
agncia
prestadora
do servio
Pesquisa documental
Anlise SWOT
Entrevista individual
Grupo focal
Matriz de planejamento
Levantamento (survey)
Matriz de achados
Painel de referncia
Figura 8 Modelo de avaliao de programas desta pesquisa.
98
Governo eletrnico, nesta pesquisa, restringe-se troca on-line bidirecional de informaes
na prestao de servios por parte do Governo aos cidados-clientes.
Cidado-cliente, nesta pesquisa, o beneficirio direto dos servios pblicos eletrnicos.
Avaliao de programas de governo eletrnico, nesta pesquisa, restringe-se avaliao de
seus resultados (eficcia) em relao ao objetivo de fornecer melhores servios aos
cidados-clientes.
Eficcia, nesta pesquisa, o grau de alcance do objetivo de melhorar a qualidade dos
servios pblicos eletrnicos, no perodo de 2004 a 2007, independentemente dos custos
implicados.
Articulao institucional, nesta pesquisa, a coordenao necessria entre o governo central
(gestor do Programa Governo Eletrnico) e as agncias governamentais prestadoras de
servios pblicos eletrnicos, com vistas a alcanar o objetivo de melhorar a qualidade
desses servios.
Padro de qualidade de servios pblicos eletrnicos, nesta pesquisa, um conjunto de
regras, normas, recomendaes ou boas prticas, relativas s seguintes dimenses:
facilidade de localizao do portal web; facilidade de localizao do servio; acessibilidade;
usabilidade; disponibilidade; confiabilidade; privacidade de dados pessoais e segurana de
informaes; convenincia; capacidade de resposta a dvidas e reclamaes; e tempo de
atendimento.
Qualidade, nesta pesquisa, o grau em que o servio pblico eletrnico prestado atende s
expectativas dos usurios e aos padres previamente definidos.
Fidelidade do processo de comunicao durante a prestao de servios pblicos via
Internet, nesta pesquisa, a capacidade do Governo em reproduzir, ao cidado-cliente,
perfeitamente o contedo necessrio prestao do servio, codificado em palavras,
smbolos, imagens, e sons, e transmiti-lo, por meio de canal livre de interferncias, de tal
forma que o cidado-cliente seja capaz de perceber, com exatido, o mesmo contedo
originalmente idealizado. Tal capacidade deve existir tambm por parte do cidado-cliente, ao
99
responder s solicitaes do Governo, para completar a prestao do servio pblico
eletrnico solicitado.
Observa-se, portanto, que o conceito de qualidade de servios pblicos eletrnicos, nesta
pesquisa, vai alm do conceito de fidelidade do processo de comunicao eletrnica, relacionado
apenas com algumas de suas dimenses - acessibilidade e usabilidade de interfaces web, facilidade
de localizao do portal web da instituio, facilidade de localizao do servio de governo eletrnico,
e disponibilidade do servio.
O contexto desta pesquisa, por sua vez, limita-se a dois aspectos essenciais. O primeiro a
confrontao dos resultados de programas de e-gov com seus objetivos (eficcia, qualidade e
articulao institucional). O segundo a avaliao de servios pblicos eletrnicos com benefcios
diretos ao cidado, envolvendo avaliaes individualizadas da satisfao dos usurios com alguns
servios selecionados, e avaliaes de suas interfaces web, sob a tica dos usurios, baseadas em
padres de qualidade nacionais e internacionais.
Os padres de qualidade e a satisfao nas 10 dimenses - facilidade de localizao do
portal web; facilidade de localizao do servio; acessibilidade; usabilidade; disponibilidade;
confiabilidade; privacidade de dados pessoais e segurana de informaes; convenincia;
capacidade de resposta a dvidas e reclamaes; e tempo de atendimento so os critrios
escolhidos. Como exemplos de mtricas para medir tais critrios, pode-se citar a quantidade de
padres de qualidade atendidos em relao ao conjunto total de padres previamente definidos, e a
quantidade de cidados-clientes satisfeitos em relao ao total de cidados-clientes atendidos em um
determinado perodo de tempo, entre outros indicadores. Por fim, para completar os requisitos do
modelo de avaliao de Saracevic (2000), a metodologia adotada, composta de mtodos de pesquisa
e tcnicas de coleta e anlise de dados, est descrita no captulo 4 (p. 101) deste documento. A
Figura 9 (p. 100) representa o contexto definido para esta pesquisa, destacando os aspectos e as
dimenses selecionados.
100
Classificao
em estgios
Benchmarking
E-GOV
Objetivos
estratgicos
Avaliao
Prestao de
contas
Avaliao de
programas
G2B
G2G
G2C
Economicidade
Eficincia
Eficcia
Apresentao
de
informaes
Busca de
informaes
Interatividade
limitada
Transao
eletrnica
Integrao
e-gov
Efetividade
Eqidade
Qualidade
Articulao
institucional
Medidas de
uso
Medidas de
produtividade
Pesquisas
de
satisfao
Medidas de
reduo de
custos
Medidas de
retorno do
investimento
Confiabilidade
Privacidade e segurana
Acessibilidade
Convenincia
Usabilidade
Capacidade de resposta
Disponibilidade
Tempo de atendimento
101
4.1 Abordagem
Em funo do carter exploratrio desta pesquisa aplicada, em tema cujo corpo de
conhecimento ainda no est consolidado, a abordagem adotada foi o estudo de caso, o qual
considerado uma investigao detalhada de uma ou mais organizaes ou sistemas, com intuito de
prover anlise do contexto e dos processos envolvidos no fenmeno em estudo (Hartley, 1994). Os
resultados de programas de governo eletrnico no podem ser estudados como fenmeno isolado de
seu contexto, como acontece nas pesquisas experimentais de laboratrio, visto que um dos
interesses de pesquisa justamente a relao entre os portais web de prestao de servios pblicos
e seus usurios em um contexto especfico, em ambiente natural do processo de comunicao entre
governo e sociedade. Apesar de alguns autores, como Fidel (1992), tratarem o estudo de caso como
apenas mais um mtodo de pesquisa, outros autores (Bell, 1989; Hamel et al., 1993; Hartley, 1994)
consideram mais apropriado defini-lo como uma abordagem ou estratgia de pesquisa por congregar
vrios mtodos de coleta de dados, como um guarda-chuva.
4.1.1 Justificativa
A escolha dessa abordagem de pesquisa baseou-se na estreita relao observada entre o
problema objeto de estudo da pesquisa, seus objetivos e as caractersticas bsicas do estudo de
caso, descritas por Benbasat, Goldstein & Mead (1987) e mostradas no Quadro 2 (p. 102). Com
exceo da possibilidade de mudana na seleo do caso ou dos mtodos de coleta de dados, todas
as outras caractersticas do estudo de caso, mostradas nesse quadro, foram observadas nesta
pesquisa.
102
103
possibilidades infinitas de ambientes de interao homem-computador, influncias sociais, cognitivas,
culturais e psicolgicas.
104
a) Identificao, na literatura, de documentao sobre programas de governo eletrnico,
mtodos e mtricas para sua avaliao;
b) Elaborao de modelo de avaliao de governo eletrnico;
c) Seleo de mtodos de avaliao identificados na literatura;
d) Elaborao de modelos de avaliao baseados nos mtodos selecionados;
e) Seleo do Programa E-Gov brasileiro e dos servios pblicos eletrnicos a serem
avaliados;
f)
105
106
do Ministrio de Planejamento, Oramento e Gesto (MP). Esse estudo concluiu, a partir das
fraquezas e ameaas identificadas em conjunto com os gestores do Programa, na anlise SWOT,
que seria oportuna uma avaliao pormenorizada do alcance dos objetivos do e-gov brasileiro, em
relao melhoria da qualidade da prestao de servios pblicos eletrnicos.
Os primeiros contatos com os responsveis pelos portais e-gov dos Ministrios selecionados
como possveis casos tpicos revelaram o interesse dessas instituies em participar deste estudo de
caso, no s para avaliar a conformidade de seu portal em relao aos padres e critrios nacionais
e internacionais, mas tambm para conhecer a opinio de seus clientes, visando uma possvel
remodelagem do portal web, em funo dos problemas identificados por meio deste estudo. Na
literatura sobre estudos de caso, esse interesse das instituies em participar considerado como
um fator significativo para o sucesso da pesquisa, pois facilita a interao do pesquisador e,
conseqentemente, seu entendimento dos contextos estudados.
A fim de identificar os servios eletrnicos prioritrios e mais adequados a este estudo de
caso, foram realizadas entrevistas com os gestores das reas sociais j mencionadas, cujo roteiro se
encontra no Apndice 9.3 (p. 244). Nessas entrevistas, dentre outros aspectos, foram solicitadas
listas dos servios eletrnicos prestados, com informaes tais como: nome e descrio do servio;
prioridade em relao aos demais servios; estgio de evoluo como portal de governo eletrnico
42
42
A escolha de servios eletrnicos apenas nesses trs estgios foi justificada no item 3.3 (p. 88) .
107
de sua implementao. Alguns deles foram avaliados por meio de anlise de reclamaes, sugestes
e crticas recebidas. Tambm no foi possvel determinar os valores oramentrios alocados para
essas atividades de governo eletrnico por dificuldades tcnicas decorrentes da forma como o
oramento pblico brasileiro estruturado. Nenhum servio foi classificado no ltimo estgio, de
integrao e-gov, o que j era esperado. Percebeu-se tambm que tal classificao em estgios
evolutivos de e-gov no era do conhecimento dos gestores, causando uma certa confuso de
interpretao. Foi necessrio acessar os servios eletrnicos na Internet para corrigir eventuais erros
de classificao cometidos pelos gestores.
Optou-se, ento, por selecionar, em cada rea social, um servio diretamente relacionado
misso das agncias governamentais, considerado prioritrio pelos prprios gestores. No caso de
servios com mais de uma opo de interao com o cidado, ou seja, servios subdivididos em
outros, tomou-se, para classific-los, o estgio mais avanado dentre todas as opes de servios.
Por sugesto do coordenador do Comit Tcnico de Incluso Digital, do Programa Governo
Eletrnico, e pelo fato de ser um servio pblico eletrnico utilizado pelas classes sociais menos
favorecidas, apesar de no ser um benefcio mas uma obrigao do cidado, foi includa, nesta
pesquisa, a Declarao Anual de Isento 2005, da Receita Federal.
O Quadro 3 (p. 108) mostra os servios pblicos eletrnicos escolhidos como casos tpicos
para este estudo, todos classificados no estgio de transao eletrnica, e suas breves descries,
extradas dos portais web das respectivas instituies.
Ministrio
Fazenda
Servio
Declarao
Descrio
O pblico alvo da Declarao Anual de Isento composto das
Receita
Federal
2005 (DAI)
108
Ministrio
Servio
Descrio
Previdncia
Social
auxlio-doena
escolher
Agncia
da
Previdncia
Social
onde
Trabalho
Emprego
e Programa
Nacional
Estmulo
Primeiro
109
no perodo da greve dos servidores da Previdncia Social, em 2005, o que demonstra o potencial do
e-gov como alternativa real de canal de comunicao e prestao de servios pblicos sociedade.
No perodo dessa greve, a requisio do salrio-maternidade foi feita exclusivamente pela Internet. O
servio eletrnico Prevcidado, inicialmente selecionado para avaliao, foi descartado por estar em
manuteno no perodo da pesquisa.
O Programa Nacional de Estmulo ao Primeiro Emprego (PNPE), selecionado como servio
pblico eletrnico prestado pelo Ministrio do Trabalho e Emprego, foi includo nesta pesquisa apesar
de estar em processo de internalizao, segundo o Coordenador Geral de Modernizao e
Informtica desse Ministrio. Como os servios, com foco no cidado, relacionados pelo Ministrio da
Sade, foram classificados nos estgios de e-gov iniciais de apresentao e busca de informaes,
nenhum servio dessa rea foi selecionado para esta pesquisa. Os servios mais avanados do
portal web desse Ministrio, classificados como servios de interatividade limitada e transaes
eletrnicas, tm, como pblico-alvo, os gestores da rea de Sade e no propriamente o cidado.
O Portal Domnio Pblico, do Ministrio da Educao, inicialmente selecionado pelo fato de
ter sido desenvolvido em software livre, com a preocupao de ser acessvel maior parte da
populao com acesso Internet, foi desconsiderado neste estudo por no ser um servio pblico
exclusivamente prestado pelo Governo, tal como os outros servios pblicos eletrnicos
selecionados. O acesso a obras literrias, artsticas e cientficas, similares s que constam de seu
acervo, tambm pode ser feito a partir de outros portais no governamentais disponveis na Internet.
110
a) Pesquisa documental sobre o Programa E-Gov, alm da anlise de normas, manuais e
recomendaes utilizados pelas prestadoras dos servios selecionados;
b) Anlise do contexto com auxlio de tcnicas e ferramentas de avaliao de programas;
c) Entrevistas presenciais com gestores do Programa E-Gov e gestores de portais e
servios e-gov;
d) Avaliao heurstica e testes nos portais dos servios e-gov selecionados;
e) Grupos focais com coordenadores de Comits Tcnicos do Programa E-Gov e gestores
de servios e-gov (selecionados e no selecionados);
f)
111
por meio de entrevistas intensivas ou em profundidade, visa a conhecer um evento ou fenmeno
particular. Embora possuam finalidades diferentes, no existe uma barreira intransponvel entre
ambas as tradies, cabendo ao pesquisador escolher o tipo de pesquisa adequado ao que se
pretende conhecer (Schmidt et al., 2000).
A avaliao dos resultados sociais de polticas e servios pblicos geralmente feita por meio
de indicadores quantitativos (nmero de pessoas atingidas, quantidade de recursos aplicados). As
tcnicas quantitativas, porm, no garantem que determinadas opinies se manifestem, e muitas
vezes uma opinio isolada pode fornecer importantes indcios sobre caminhos a seguir e sobre
virtudes ou problemas das polticas. Assim, para que se realize uma avaliao mais global de
programas de governo eletrnico e se construa um mtodo de avaliao mais consistente, deve-se,
na medida do possvel, aliar tcnicas estatsticas com outras que possibilitem anlise em
profundidade das informaes coletadas.
selecionados, foi a pesquisa tipo survey , com questionrios auto-administrados, cujos resultados
so inferidos a partir da opinio de uma amostra representativa da populao estudada. O estudo
agregado das opinies dos integrantes da amostra permite conhecer o comportamento da populao
a partir de anlises estatsticas.
Cabe salientar que o ideal seria sempre conhecer o pensamento de todos os indivduos da
populao. O uso de tcnicas de amostragem para estudar determinados fenmenos, no entanto, se
justifica por ser impossvel ou altamente dispendioso entrevistar ou verificar diretamente como se
comporta a populao como um todo. Dessa maneira, ao ser escolhida uma amostra, abre-se a
possibilidade de, por inferncia, se conhecer o comportamento da populao.
43
Expresso inglesa traduzida para o portugus, por alguns autores, como levantamento; por outros, como simplesmente
pesquisa quantitativa.
112
113
respondentes dessas pesquisas de satisfao foi, ento, comparada com a quantidade de pessoas
atendidas pelos servios eletrnicos no mesmo perodo, para verificar sua validade estatstica.
Um problema que ocorre freqentemente na amostragem uma baixa taxa de resposta. A
taxa tpica de retorno de um questionrio ao redor de 30%. Muitas vezes, as pessoas includas em
uma amostra ou esto muito ocupadas ou no se interessam suficientemente pelo estudo para
devolver o questionrio respondido.
A amostragem no probabilstica de convenincia, adotada nesta pesquisa, baseada na
disponibilidade de pessoas e na vontade para responder a um questionrio. Entretanto, um fato
bem conhecido que existem diferenas significativas entre voluntrios e no-voluntrios. A vantagem
de amostragem usando a Internet a possibilidade de alcanar populaes grandes e diversas a
baixo custo. Alm disso, a Internet permite que os participantes da pesquisa respondam na ocasio e
lugar de sua preferncia. Uma preocupao fundamental com pesquisas na Internet sua taxa de
resposta. No s que a taxa de resposta freqentemente pobre, mas tambm porque impossvel
calcul-la da forma habitual, pois no est claro quantos indivduos poderiam ter respondido ao
questionrio, mas no o fizeram. Outra desvantagem que alguns indivduos podem ter identidades
virtuais mltiplas, criando a possibilidade de que respondam mais de uma vez a uma pesquisa sem
serem descobertos.
A coleta de dados junto aos usurios ocorreu de 21 de outubro a 19 de novembro de 2005,
conforme acordos feitos com cada uma das instituies cujos servios foram selecionados para esta
pesquisa. O questionrio respondido pelos gestores ficou disponvel na Internet de 25 de outubro a
18 de novembro do mesmo ano.
Em ambos levantamentos, a principal tcnica de anlise de dados utilizada, com auxlio dos
software Microsoft Excel 97, Statistical Package for the Social Sciences (SPSS) e Sphinx, foi
estatstica (distribuio de freqncias, medidas de tendncia central e disperso, cruzamento de
variveis, correlaes, regresso mltipla), dada a natureza dos dados coletados. No caso dos dados
qualitativos coletados em resposta a perguntas abertas, foi realizada anlise de contedo com auxlio
do software Sphinx, o qual tambm foi utilizado na produo de todos os questionrios deste estudo.
114
115
escala utilizada nas questes fechadas foi a de Likert. Nessa escala, os respondentes so solicitados
no s a concordarem ou discordarem das afirmaes, mas tambm a informarem o grau de sua
44
Os Apndices 9.9 e 9.10 tomaram, como modelos, os questionrios adaptados para o servio DAI.
116
concordncia ou discordncia. Convencionou-se que um enunciado era positivo quando a
concordncia com seu contedo correspondia a atitudes favorveis; negativo, a atitudes
desfavorveis. A cada clula de resposta foi atribudo um nmero para refletir a direo da atitude do
respondente em relao a cada afirmao, dependendo se esta era positiva ou negativa (por
exemplo, 5 para concordo totalmente para afirmaes positivas, e discordo totalmente para
afirmaes negativas). A escala Likert foi tratada como intervalar para efeitos de testes estatsticos
desta pesquisa, como acontece na maioria dos estudos que tratam de satisfao e que utilizam a
metodologia survey, para que fosse possvel a comparao desta pesquisa com esses estudos. Nas
escalas intervalares, os nmeros nos dizem a posio e/ou quanto as respostas diferem entre si em
relao a determinadas caractersticas ou elementos (Rossi & Slongo, 1998).
Em uma das perguntas, que consta de ambos questionrios da pesquisa de satisfao, foi
adotada uma srie de escalas diferenciais semnticas numeradas de 1 a 5 e ancoradas nos extremos
(p. ex. pior/melhor, menos seguro/mais seguro, mais difcil/mais fcil). Nesses questionrios, foram
includas ainda perguntas fechadas para fins demogrficos (sexo, idade, escolaridade, habilidade no
uso de computadores, freqncia de uso da Internet, e local de acesso Internet), e oferecido espao
aberto a sugestes para melhoria do servio.
Os questionrios 1 de todos os servios ficaram disponveis na Internet e foram monitorados
diariamente at que, individualmente, atingissem estabilidade de suas respostas, isto , quando no
se observasse mais alteraes no comportamento de respostas medida em que aumentava a
quantidade de questionrios respondidos de cada servio. Nesse ponto, os questionrios 1 foram
substitudos pelos questionrios 2 e o mesmo procedimento de monitoramento foi seguido at que
atingissem estabilidade de respostas, ocasio em que foram retirados da Internet. Essa uma
estratgia usada em pesquisas on-line, quando no se tem cadastro ou controle sobre a quantidade
de possveis respondentes. O questionrio 1 foi respondido por 2.086 pessoas; o questionrio 2, por
2.419, totalizando 4.505 participantes da pesquisa de satisfao on-line, j descontados os
questionrios descartados por duplicidade ou por terem excedido o limite preestabelecido de trs
questes sem respostas. O Quadro 4 (p. 117) compara a quantidade de usurios pesquisados e a de
servios prestados via Internet e em outros canais de atendimento dos mesmos servios, no perodo
em que a pesquisa on-line esteve disponvel.
117
Servios
Usurios
pesquisados
Servios
prestados
via Internet
Outros
canais
Total de
servios
prestados
2.554
6.229.479
7.005.845
13.235.324
Requerimento de Auxlio-Doena
1.373
18.630
360.020
378.650
578
804
21.970
22.774
240
584
27.908
28.492
Requerimento de Salrio-Maternidade
137
399
35.890
36.289
Programa Nacional
Primeiro Emprego
de
Estmulo
ao
118
Inicialmente, no foi realizada anlise fatorial devido pequena quantidade de construtos e
itens do instrumento de coleta de dados da pesquisa de satisfao. No era inteno desta pesquisa
reduzir dados ou resumir a informao contida em suas variveis originais em um conjunto menor de
dimenses, principais objetivos da anlise fatorial (Hair et al., 2005). Entretanto, aps a aplicao dos
questionrios, foi realizada anlise fatorial a fim de identificar questes que poderiam ser eliminadas
45
45
Quantia de varincia explicada pela soluo fatorial para cada varivel (Hair et al., 2005, p. 108).
119
dos documentos pesquisados, por serem documentos internos, foram solicitados gerncia do
Programa (Apndice 9.1, p. 241). Foram tambm analisados dados do Sistema de Informaes
Gerenciais e de Planejamento (Sigplan) da Administrao Pblica Federal referentes ao Programa EGov e do Sistema de Inventrio de Stios Governamentais Federais. A pesquisa documental tambm
foi empregada na anlise das normas, recomendaes e manuais produzidos e/ou adotados pelas
prestadoras dos servios pblicos eletrnicos selecionados.
A tcnica de entrevista individual foi adotada com quatro fontes de informao diferentes e
com propsitos diferentes. A entrevista com os gestores do Programa E-Gov teve, como objetivo,
entender o contexto e a forma como o Programa funciona. Foram entrevistados o Secretrio de
Logstica e Tecnologia da Informao, a Diretora do Departamento de Governo Eletrnico, e o
Coordenador do Comit Tcnico de Gesto de Stios On-Line, Secretrio de Comunicaes da
Presidncia da Repblica, por ser esse comit o que mais se aproxima da temtica desta pesquisa.
A entrevista com os gestores de portais e-gov das reas sociais Educao, Previdncia
Social, Sade, e Trabalho e Emprego teve, como propsito, compreender a estratgia adotada por
cada Ministrio na implementao de seus portais web e ainda solicitar, a cada um, lista de servios
pblicos eletrnicos por eles prestados, para atendimento direto ao cidado. Tal lista foi utilizada na
seleo dos servios deste estudo de caso, j mencionada no item 4.2.1 (p. 105).
As entrevistas individuais com os gestores dos servios pblicos eletrnicos selecionados,
responsveis tanto pelo contedo quanto pela implementao eletrnica dos servios Declarao
Anual de Isento, requisies de auxlio-doena, penso por morte e salrio-maternidade, e Primeiro
Emprego, possibilitaram a coleta de informaes tais como pblico-alvo, universo atendido,
disponibilidade do servio, tcnicas de anlise de necessidades, monitoramento e avaliao
adotadas, entre outras. Os resultados dessas entrevistas foram utilizados como subsdios para a
elaborao do instrumento de coleta de dados quantitativo enviado aos gestores de portais e-gov no
selecionados para a pesquisa qualitativa (Apndice 9.11, p. 274).
Nessas entrevistas tambm foram apresentados, aos gestores, o questionrio sobre medidas
adotadas em relao segurana de dados (Apndice 9.6, p. 260), baseadas na Resoluo n 7, de
29 de julho de 2002 (Brasil CEGE, 2002), e os questionrios da pesquisa de satisfao (Apndices
120
9.9 e 9.10 p. 267 e 270), correspondente ao seu servio, para que indicassem que respostas
esperavam receber de seus clientes. A confrontao das respostas dos gestores e dos clientes dos
servios ao mesmo questionrio permite mostrar at que ponto a percepo do gestor quanto
qualidade do servio prestado se compara percepo dos clientes do servio.
As entrevistas telefnicas, por sua vez, foram feitas com 142 usurios dos servios DAI,
46
47
31
60
51
PNPE
46
Foram eliminados os servios Penso por morte e Salrio-maternidade por no terem atingido quantidade significativa de
respondentes na pesquisa on-line.
47
Uma das perguntas do questionrio pedia para que o usurio informasse seu nome e telefone, caso se interessasse em
participar de entrevista telefnica.
121
Na anlise do contexto, foram utilizadas ferramentas tpicas de diagnstico em avaliao de
programas:
estarem usando tecnologias assistivas , hardware e software mais antigos ou mais modernos, seja
por terem limitaes fsicas ou mentais.
Outra tcnica adotada para avaliao da interface dos servios selecionados foi a avaliao
heurstica - mtodo de inspeo sistemtico da usabilidade de sistemas interativos, cujo objetivo
identificar problemas de usabilidade de sistemas informatizados. Esse mtodo envolve a participao
de um pequeno grupo de avaliadores na anlise do fluxo de interao necessrio para iniciar e
completar tarefas reais, e no julgamento dos elementos interativos do sistema, em relao a
princpios reconhecidos de usabilidade, designados tambm como "heursticas" (Nielsen, 1993). Essa
avaliao complementa os testes automticos em pontos passveis de verificao apenas manual,
48
Software ou hardware especificamente concebido para ajudar pessoas com incapacidades ou deficincias a executarem
atividades do cotidiano. Esse novo termo, apesar de no existir nos dicionrios de lngua portuguesa, nem to pouco nos de
lngua inglesa, tem se incorporado ao vocabulrio tcnico e popular de vrios idiomas, sendo classificado como todo e
qualquer item, equipamento, produto ou sistema que propicia, ao portador de deficincia, uma vida mais independente,
produtiva, agradvel e bem sucedida, por meio do aumento, manuteno ou devoluo das capacidades funcionais dessa
pessoa.
122
como por exemplo, o contraste de cores e a adequao do texto de um link ao contedo por ele
apontado.
A avaliao heurstica foi desenvolvida explicitamente como um mtodo de "engenharia de
49
usabilidade com desconto ", o qual no tem a pretenso de "prover resultados perfeitos ou identificar
todo e qualquer problema de usabilidade de uma interface" (Nielsen, 1993, p. 160). Justamente por
ser fcil, rpido e pouco oneroso, esse mtodo considerado adequado para a avaliao de portais
web (Instone, 1997). Neste estudo de caso, foram analisados, por um especialista em usabilidade e
um analista de sistemas, separadamente, os cinco servios pblicos eletrnicos selecionados,
comparando suas caractersticas com as recomendaes, princpios e/ou heursticas previamente
escolhidos (Apndice 9.5, p. 248).
Mesmo existindo uma lista predeterminada de verificaes, os avaliadores especialistas
puderam considerar quaisquer outros princpios que vieram sua mente durante a inspeo das
interfaces web e que tenham considerado relevantes. Ao final de todas as avaliaes, os resultados
individuais foram congregados em uma lista consolidada de problemas.
Essa avaliao considerou 10 dimenses, ponderadas de acordo com sua importncia, sob o
ponto de vista da maioria dos 4.505 usurios pesquisados no levantamento on-line (Quadro 5, p.
50
123) . Os itens da lista de verificao, gerada a partir de normas e recomendaes produzidas pelo
Governo brasileiro (Resoluo n 7, Modelo e Cartilha Tcnica de Acessibilidade, e Cartilha de
Usabilidade para stios e portais), e por pesquisadores independentes (Dias, 2001; Stutz et al., 2002;
Vilella, 2003), disponvel no Apndice 9.5 (p. 248) deste documento, foram ponderados de acordo
com a seguinte escala:
49
Traduo da expresso em ingls Discount usability engineering method - denominao dada por Nielsen (1993) avaliao
heurstica, por ser um mtodo mais rpido e barato do que os tradicionais testes com usurios.
50
No cmputo do grau de importncia das dimenses, foram considerados os itens apontados como mais importantes (questo
6 do questionrio 1) assim como os que mais atrapalham a utilizao do servio eletrnico (questo 6 do questionrio 2).
123
Dimenso
Peso
Disponibilidade
Tempo de atendimento
Acessibilidade
Confiabilidade
Usabilidade
Convenincia
51
Quadro 5 Pesos das dimenses grau de importncia indicado pelos usurios pesquisados.
Tal ponderao considerou o fato de a Resoluo n 7, deliberada pelo Comit Executivo do
Governo Eletrnico (CEGE) e, portanto, norma a ser cumprida, e das Cartilhas Tcnica de
Acessibilidade e de Usabilidade serem documentos do Governo brasileiro, mesmo que no
coercitivos, mas certamente mais significativos para os gestores de portais da Administrao Pblica
Federal do que as recomendaes de pesquisadores independentes.
Os avaliadores especialistas efetuaram tambm classificao dos servios oferecidos no
portal da Previdncia (www.previdencia.gov.br), tomando como base o contedo disponvel no perodo de
16 a 18 de novembro de 2005. O objetivo desse levantamento foi identificar a taxa de servios
interativos colocados disposio do cidado. Foram pesquisados links a informaes e servios
existentes at o terceiro nvel de navegao (acessando at trs pginas a partir da pgina inicial do
portal, considerada ponto 0). O contedo foi classificado como servio quando havia alguma
51
A dimenso Convenincia no foi considerada na avaliao heurstica por falta de itens associados a este tema nos
documentos consultados para a elaborao da lista de verificao utilizada nesta pesquisa.
124
interao do portal com o usurio, como preencher campos, fornecer senha, acessar dados, e como
informao, quando o portal apenas fornecia qualquer informao oficial ao usurio.
Para confirmar, refutar ou compreender melhor os resultados do levantamento quantitativo
realizado com os gestores de servios e-gov, foram realizados trs grupos focais com gestores, nos
dias 09, 11 e 17 de novembro de 2005, totalizando 23 representantes de 10 Ministrios, cinco
agncias reguladoras e oito unidades vinculadas Presidncia da Repblica, empresas pblicas,
autarquias ou fundaes, selecionados aleatoriamente dentre aqueles residentes em Braslia que se
52
identificaram como interessados em participar desse tipo de entrevista . Nesses grupos focais
participaram ainda um moderador e trs observadores para registrar as discusses, j que, para esse
grupo de pessoas, talvez fosse constrangedor gravar suas intervenes. Os temas discutidos foram
os mesmos da etapa quantitativa: planejamento, gerncia, monitoramento e avaliao dos servios
pblicos eletrnicos por parte dos prprios rgos prestadores dos servios, e a atuao da
coordenao do Programa Governo Eletrnico.
Para promover a discusso sobre a atuao da coordenao do Programa no monitoramento
e avaliao da qualidade dos servios pblicos prestados via Internet, foi realizado, no dia 03 de
novembro de 2005, grupo focal com os oito coordenadores de Comits Tcnicos de Governo
Eletrnico. Dada a quantidade reduzida de coordenadores, no houve outra alternativa a no ser a de
realizar apenas um encontro com todos eles, mesmo contrariando a recomendao de realizar vrios
grupos focais para poder se chegar a uma concluso mais prxima da realidade, sobre o tema
discutido. Nesse grupo focal tambm participaram um moderador e trs observadores, sem gravao
de udio ou vdeo.
O uso de grupos focais nesta pesquisa teve como inteno provocar o confronto de opinies,
percepes, sentimentos, atitudes e idias dos participantes a respeito desses temas. De acordo com
Johnson (1994), os usurios dessa tcnica partem do pressuposto de que a energia gerada pelo
grupo resulta em maior diversidade e profundidade de respostas, isto , o esforo combinado do
grupo produz mais informaes, e com maior riqueza de detalhes, do que o somatrio das respostas
52
Uma das perguntas do questionrio pedia para que o gestor indicasse seu interesse ou no em participar de grupos focais
para aprofundar a discusso sobre os mesmos temas tratados no questionrio.
125
individuais. Resumindo, a sinergia entre os participantes leva a resultados que ultrapassam a soma
das partes individuais.
A anlise dos resultados obtidos a partir de todas essas tcnicas qualitativas foi
essencialmente qualitativa (anlise de contedo, sumarizao, interpretao de opinies e atitudes),
apesar de terem sido contabilizados, estatisticamente, os resultados dos testes automticos, manuais
e da avaliao heurstica das interfaces dos servios pblicos eletrnicos examinados.
Cyberspyder - www.cyberspyder.com/cslnkts2.html
Ferramenta gratuita que permite a verificao de links com problemas em pginas
web.
Dasilva - www1.acessobrasil.org.br/dasilva/
Ferramenta desenvolvida pelo grupo Acessibilidade Brasil - ACBR , com base nas
diretrizes internacionais do World Wide Web Consortium (W3C, 1999), porm
traduzidas para o portugus. Desde o dia 24/02/2005, o programa Dasilva avalia
tambm a primeira pgina dos portais web com base nas recomendaes do
Programa Governo Eletrnico, para construo de stios e portais acessveis
Modelo de Acessibilidade do Governo (Brasil MP, 2005c).
Wave - www.wave.webaim.org/index.jsp.
Ferramenta gratuita desenvolvida pelo Temple University Institute on Disabilities,
baseada no projeto original do Dr. Leonard Kasday em conjunto com Webaim (Web
Accessibility in Mind) do Centro para Pessoas com Deficincias da Universidade
Estadual de Utah.
126
Para a avaliao heurstica, foi utilizada a lista de verificao para portais e servios e-gov,
desenvolvida pelo pesquisador e disponvel no Apndice 9.5 (p. 248) deste documento, baseada em
normas brasileiras que tratam de governo eletrnico e recomendaes de pesquisadores
independentes.
127
128
questo de pesquisa de Como avaliar os resultados de programas de governo eletrnico sob a tica
do cidado-cliente?, e a anlise da relao entre construtos do modelo de avaliao da satisfao
(item 3.4, p. 90), em resposta questo de pesquisa H relao direta entre o atendimento aos
padres de qualidade adotados e a satisfao do cidado-cliente com os servios de governo
eletrnico?.
principalmente sobre a mquina administrativa do Governo Federal. O Socinfo, por sua vez, mantm
seu direcionamento para os segmentos empresarial e de pesquisa cientfica e tecnolgica.
Originalmente, foram definidos os seguintes objetivos de longo prazo para o desenvolvimento do
governo eletrnico (Brasil Casa Civil, 2002):
Oferta, na Internet, dos servios prestados ao cidado, buscando-se a melhoria dos
padres de atendimento, reduo de custos e facilidade de acesso;
Ampliao das condies de acesso do cidado s informaes, em formatos
adequados, por meio da Internet;
Convergncia entre sistemas, redes e bancos de dados governamentais para permitir
o intercmbio de informaes e a agilizao de procedimentos;
Implantao de infra-estrutura avanada de comunicaes e de servios, com
padres de segurana e servios, alm de alto desempenho;
53
Linhas de ao relacionadas a governo eletrnico: Universalizao de Servios para a Cidadania, Governo ao Alcance de
Todos e Infra-estrutura Avanada e Novos Servios.
129
Uso do "poder de compra do Governo Federal" para obteno de custos menores e
otimizao do uso de redes de comunicao;
Estmulo ao acesso Internet, em especial por meio de pontos de acesso em
instituies pblicas ou comunitrias;
Fortalecimento da competitividade sistmica da economia.
Desde 2003, oito Comits Tcnicos de Governo Eletrnico vm atuando no contexto do
Programa, tendo por finalidades coordenar e articular o planejamento e a implementao de projetos
e aes nas respectivas reas de competncia. So compostos por representantes de rgos e
entidades da Administrao Pblica Federal, indicados pelo Comit Executivo de Governo Eletrnico
(CEGE), e tratam dos seguintes temas: implementao do software livre; incluso digital; integrao
de sistemas; sistemas legados e licenas de software; gesto de stios e servios on-line; infraestrutura de redes; governo para governo; e gesto do conhecimento e informao estratgica.
O trabalho dos Comits supervisionado pelo Secretrio-Executivo do CEGE, inclusive por
meio da convocao dos seus coordenadores para participao em reunies peridicas de
acompanhamento (art. 2, 5, do Decreto de 29/10/2003 - Brasil, 2003). Na prtica, os Comits no
apresentam poder deliberativo. Assim, cada qual constitui um frum de discusso e de articulao
entre os diversos rgos interessados. A seguir, esto descritas as principais diretrizes do Comit de
Gesto de Stios e Servios On-line (Brasil Cmara Tcnica de Gesto de Stios e Servios On-line,
2003, p. 1), por serem coincidentes com alguns dos aspectos de anlise de servios pblicos on-line,
nesta pesquisa.
Diretrizes para garantia do foco no cidado
A Internet deve ser tratada como canal de comunicao entre governo e sociedade,
permitindo a participao popular e a interatividade com os cidados;
Os stios e servios on-line do Governo Federal devem ser estruturados de acordo
com os assuntos de interesse e perfil do pblico-alvo;
Os stios e servios on-line do Governo Federal devem priorizar a prestao de
servios para as classes C, D, E;
Os stios e servios on-line do Governo Federal devem utilizar tecnologias inclusivas
e no excludentes e oferecer garantia de acesso universal, abrangendo portadores de
130
necessidades especiais, cidados de baixa escolaridade e usurios de diversas
plataformas;
Os servios on-line devem ser oferecidos com base nos eventos da vida do
54
cidado .
Diretrizes para integrao
Os stios de servios on-line sero estruturados obedecendo a padres mnimos e
normas tcnicas de usabilidade, estrutura e aspectos visuais, considerando as
especificidades dos rgos;
Os stios do Governo Federal devem permitir o acesso prestao de servios
bsicos de interesse do cidado, de acordo com o pblico-alvo do stio,
independentemente do rgo a que estejam vinculados, atravs de componentes
comuns e links para servios on-line;
Dever ser promovido o compartilhamento de recursos (informaes, tecnologia e
pessoas) entre os stios e servios on-line do Governo Federal, em busca de
otimizao de recursos;
Os servios on-line devero integrar-se a meios de comunicao mais populares
(telefone, carta, etc.).
54
Os servios eletrnicos disponveis so agrupados de acordo com as necessidades das pessoas nas diversas fases da vida,
desde o nascimento at a morte (exs: ter filhos, requerer aposentadoria). Essa linha da vida tambm considerada no caso de
servios eletrnicos para empresas desde a criao da empresa at o seu fechamento.
131
Indissociabilidade entre incluso digital e governo eletrnico;
Utilizao de software livre, como recurso estratgico;
Gesto do conhecimento, como instrumento estratgico de articulao e gesto de
polticas pblicas;
Racionalizao de recursos;
Adoo de polticas, normas e padres comuns;
Integrao com outros nveis de governo e demais poderes.
55
132
diretrizes, coordenar e articular as aes de implantao do Governo Eletrnico. Cabe ao Ministrio
do Planejamento, Oramento e Gesto apoiar tcnica e administrativamente o seu funcionamento.
Os oito Comits Tcnicos que integram o CEGE foram criados com o Decreto Presidencial,
de 29 de outubro de 2003, que estabeleceu regras gerais para sua composio e funcionamento. A
definio da SLTI/MP como unidade administrativa responsvel pelo Programa se deu com a edio
do Decreto n 5.233, de 6 de outubro de 2004, regulamentado pela Portaria MP n 288, de 4 de
novembro de 2004. De acordo com ofcio do Secretrio da SLTI (Brasil MP, 2006), o MP foi
designado para exercer as atribuies de Secretaria-Executiva do CEGE, provendo o apoio tcnicoadministrativo necessrio ao seu funcionamento, no art. 4 do Decreto de 18 de outubro de 2000, que
cria esse Comit.
5.1.4 Monitoramento
eletrnicos
avaliao
da
prestao
de
servios
pblicos
Uma das aes definidas no Programa Governo Eletrnico, conforme estabelecido no Plano
Estratgico, detalhado no relatrio consolidado dos Comits Tcnicos do CEGE, de maio de 2004,
o monitoramento e avaliao da evoluo do Programa a partir de melhores prticas e valendo-se de
indicadores pblicos de qualidade. A partir desse compromisso com o monitoramento e a avaliao,
declarado no planejamento estratgico, confirma-se a importncia do tema. A identificao e o
acompanhamento da demanda, dos custos, dos benefcios e do impacto da implantao de servios
destinados ao cidado permitiriam o aperfeioamento contnuo do Programa de governo eletrnico e
a manuteno do foco no beneficirio. Como norma geral j estabelecida, destaca-se a Resoluo
CEGE n 7/2002, que estabelece, no art. 7, algumas diretrizes para a medio do desempenho e do
controle estatstico dos portais, a serem observadas pelos rgos da Administrao. Vale ressaltar
que foi realizado, na Escola Nacional de Administrao Pblica (Enap), nos dias 13 e 14 de dezembro
de 2005, o Seminrio Ibero-Americano "Construindo uma referncia brasileira de Indicadores e
Mtricas de Governo Eletrnico", com o objetivo de refletir sobre a avaliao da qualidade dos
servios de governo eletrnico por meio de ndices e mtricas.
Uma boa iniciativa foi a Pesquisa Tecnologia da Informao e da Comunicao em
Domiclios, realizada nos meses de agosto e setembro de 2005, pelo Instituto Ipsos-Opinion, parceiro
do Comit Gestor da Internet no Brasil (CGI.br), que mediu a difuso e o uso da Internet em
133
domiclios, incluindo uso de governo eletrnico, comrcio eletrnico, segurana, educao e barreiras
de acesso (Balboni, 2005). As entrevistas foram realizadas presencialmente, em 8.540 domiclios e
com indivduos a partir dos 10 anos.
De acordo com matria de Balboni (2005), publicada no portal do CGI, esse levantamento
sobre o uso da Internet para acesso a servios de governo eletrnico revelou que 12,68% da
populao brasileira utilizou algum servio de Governo Eletrnico nos ltimos 12 meses que
antecederam esse levantamento, o que significa que 40% das pessoas que utilizaram a Internet,
nesses 12 meses, tambm acessaram algum tipo de servio de e-gov. Os principais servios pblicos
eletrnicos utilizados, de acordo com essa pesquisa, foram (% de menes no total da populao
brasileira): consulta ao CPF (6%); Declarao do Imposto de Renda (5%); informaes sobre servios
pblicos de educao (3%); inscries em concursos pblicos (3%); informaes sobre empregos
(2%); pagamentos de Imposto sobre a Propriedade de Veculos Automotores (IPVA), multas e
licenciamento (2%).
O Programa Governo Eletrnico possui um nico indicador de desempenho no Plano
Plurianual (PPA) 2004/2007 para avaliao (Brasil, 2004): Nmero de Servios Ofertados que,
segundo a diretora do Departamento de Governo Eletrnico (DGE), em entrevista presencial, no
vem sendo utilizado. Sua frmula de clculo, de acordo com dados do Sistema de Informaes
Gerenciais e de Planejamento (Sigplan), acessado em 05/09/2005, a relao percentual entre os
servios transacionais ofertados pela Administrao Pblica Federal (APF) no ano e o total de
servios existentes, estejam ou no includos na Internet. Observe-se que a denominao do
indicador inapropriada, j que, por se tratar de uma proporo entre duas grandezas, deveria
constituir taxa de servios ofertados e no nmero.
134
135
26
Est abeleciment o de diret rizes e est rat gias para o planejament o, pela
Administ rao Pblica Federal, da ofert a de servios e inf ormaes.
25
Def inio de padres de qualidade para as f ormas elet rnicas de int erao.
Coordenao da implantao de mecanismos de racionalizao de gast os e
de apropriao de custos na aplicao de recursos de TIC, no mbito da
APF.
23
25
10
20
35
10
20
30
40
19
10
14
36
33
17
19
50
19
60
3 2
70
80
No respo sta
Desco nheo a atuao do DGE/SLTI.
To talmente insatisfeito
M ais insatisfeito do que satisfeito
Nem satisfeito nem insatisfeito
M ais satisfeito do que insatisfeito
To talmente satisfeito
contratar entidade para promover a avaliao, com periodicidade anual, no modelo proposto, porm
no concludo at novembro de 2005, de avaliao de servios de governo eletrnico "Indicadores de
Qualidade de Servios Pblicos por Meios Eletrnicos.
136
Ausncia de indicadores de desempenho para o Programa
Ainda segundo a Diretora, nessa entrevista, os indicadores a serem construdos
contemplaro duas macro-reas: convenincia para o cidado (com peso de 60%) e impacto para a
Administrao Pblica (com peso de 40%). Como convenincia para o cidado, o foco principal sero
os servios finalsticos com orientao social. Sero avaliadas a maturidade do servio, a orientao
social, a capacidade de comunicao e influncia, a multiplicidade de acesso a canais, a facilidade de
uso e a transparncia e convenincia. No impacto para a Administrao, devero estar presentes as
dimenses de simplificao e transparncia de processos, melhoria do gasto e aumento da eficincia
e da eficcia. Inicialmente, sero avaliados, por grupo multidisciplinar a ser institudo, sete servios de
cada instncia (federal, estadual no Estado do Rio Grande do Sul, municipal em municpios da
Bahia), no selecionados at o final de novembro de 2005. A quantidade de acessos ser o principal
critrio de seleo dos servios. A previso era de que os resultados seriam divulgados a partir de
maro de 2006.
Divulgao deficiente de boas prticas de governo eletrnico pela coordenao do Programa
Dados coletados nos grupos focais e nas entrevistas com gestores dos servios selecionados
permitem concluir que os gestores de portais participantes no conhecem as boas prticas dos
demais. Alm disso, as diretrizes do Programa Governo Eletrnico e os documentos que as divulgam
no vm acompanhados de exemplos prticos para subsidiar a ao dos gestores nos rgos da
APF.
Ressalve-se, contudo, que tm sido organizados, pela coordenao, eventos (Oficinas de
Incluso Digital, Seminrios de Planejamento Estratgico dos Comits) que resultam em troca de
experincias entre os responsveis. De acordo com ofcio do Secretrio da SLTI (Brasil MP, 2006),
existem diversos canais de comunicao utilizados para divulgar as iniciativas de Governo Eletrnico
junto aos pblicos interno e externo: desde a divulgao em stios do governo federal e de agncias
de informao, at a publicao de matrias e entrevistas sobre as iniciativas de governo eletrnico
federal em revistas e newsletters especializadas na rea de tecnologia da comunicao, bem como
publicaes em veculos nacionais impressos e eletrnicos.
137
138
Comits Tcnicos, por exemplo, no vm sendo transformadas em normas pelo CEGE. Devido falta
de reunies peridicas do CEGE, as diretrizes e discusses no so formalizadas em resolues,
que seriam assinadas pelo Ministro-Chefe da Casa Civil da Presidncia da Repblica.
Enfraquecimento das instncias de discusso e formulao da poltica de governo eletrnico
Com a publicao da Portaria Normativa n 5, de 11/7/2005, do Ministrio do Planejamento,
Oramento e Gesto (Brasil MP, 2005b), a SLTI instituiu o padro e-Ping de forma compulsria no
mbito dos rgos da Administrao Pblica Federal. A publicao dessa portaria, na qual no se
observou, na pesquisa documental, meno direta ao Programa Governo Eletrnico e/ou ao CEGE,
demonstrou que normas sobre governo eletrnico, com fora para serem cumpridas pelos rgos da
APF, podem ser emitidas a partir de duas fontes:
a) Pelo CEGE, por meio de resolues;
b) Pela SLTI, por meio de portarias normativas, na condio de rgo gestor do Sistema
de Administrao dos Recursos de Informao e Informtica (Sisp), institudo pelo
Decreto n 1.048, de 21 de janeiro de 1994 (Brasil, 1994).
importante ressaltar que, de acordo com o art. 27 do Decreto n 5.433, de 25 de abril de
2005 (Brasil, 2005), cabe SLTI planejar, coordenar, supervisionar e orientar normativamente as
atividades do SISP e do SISG [Sistema de Servios Gerais], bem como propor polticas e diretrizes a
eles relativas, no mbito da administrao federal direta, autrquica e fundacional. O art. 29 desse
decreto prev que a coordenao central do Sisp fique a cargo do Departamento de Servios de
Rede/SLTI. Verifica-se, portanto, sobreposio de responsabilidades e prerrogativas com relao ao
papel normatizador a ser desempenhado pelo CEGE e pelo rgo gestor do Sisp, visto que ambas as
instncias esto amparadas, por meio de decretos, para nortear a atuao dos rgos da APF nas
reas de Governo Eletrnico e Tecnologia da Informao.
Alm do enfraquecimento do Comit Executivo do Governo Eletrnico, foram identificados
outros problemas que restringem a atuao dos Comits Tcnicos (CT) do CEGE como instncias de
discusso e formulao da poltica de e-gov. O grupo focal dos coordenadores de CT considerou,
como fato importante para a poltica, a criao desses comits em 2003. Esse tipo de organizao
para discusso dos rumos da poltica traria vantagem sobre outras estruturas, pois funcionaria, de
acordo com esses coordenadores, por meio da adeso dos rgos da APF s diretrizes do Programa.
139
Os coordenadores dos CT mencionaram, no grupo focal, que os secretrios-executivos dos
ministrios no teriam tempo para participar de reunies do CEGE, o que implica no reconhecimento
de que o tema governo eletrnico no prioridade na agenda dessas autoridades. Consideram ainda
que a forma atual de funcionamento do governo eletrnico torna desnecessrias reunies peridicas
do CEGE. Essa instncia de discusso seria chamada a atuar somente para responder a crises ou
questes muito relevantes. Os coordenadores entendem que os servidores que participam das
reunies dos CT teriam condies de responder pelos seus rgos e suprir a ausncia de seus
respectivos secretrios-executivos. De qualquer forma, cabe ressaltar que os participantes do grupo
focal de coordenadores dos Comits Tcnicos no chegaram a um consenso sobre a estrutura ideal
para o Programa, se da forma como funciona (ao menos formalmente, com o CEGE e seus Comits
Tcnicos) ou se haveria alguma outra estrutura mais adequada.
Sob o ponto de vista desses coordenadores, seria adequado e vantajoso o fato de as
recomendaes discutidas pelos Comits serem adotadas por livre adeso, e no de forma
compulsria. Destacou-se, nesse grupo, a necessidade de que fossem emitidas menos normas e
houvesse mais compromisso dos rgos envolvidos com o governo eletrnico. Alm disso, os
participantes do mencionado grupo focal consideraram que o percentual de participao de gestores
nas reunies dos Grupos de Trabalho (GT) e CT satisfatrio.
Em contraposio a essas opinies dos coordenadores de CT, os grupos focais dos 23
gestores de portais consideraram que a falta de reunies do CEGE prejudica a disseminao das
diretrizes do Programa Governo Eletrnico, o que acarretaria a falta de documentos formais para
embasar aes nos rgos da APF. No haveria, por exemplo, segundo esses gestores, respaldo
poltico para os tcnicos implementarem as medidas decididas nessas instncias de discusso, ao
retornarem das reunies dos Comits Tcnicos, em vista da inexistncia de resolues formais.
Os grupos focais dos gestores de portais, contrariando o ponto de vista dos coordenadores
de CT, apontaram baixa participao de servidores nas discusses dos Grupos de Trabalho e
Comits Tcnicos. Essa afirmao encontra suporte nos dados apurados no questionrio para
gestores de portais: dos 76 gestores respondentes, 60 afirmaram, por exemplo, nunca ter participado
de reunies do Comit Governo para Governo e 38 do Comit Tcnico de Implementao do
140
Software Livre, enquanto 14 participaram uma nica vez do Comit de Incluso Digital (Grfico 3).
Dos 76 gestores, 40 nunca participaram de grupos de trabalho (Grfico 4).
Implementao de Software
Livre
Incluso Digital
38
11
19
50
14
41
Integrao de Sistemas
Gesto do Conhecimento e
Informao Estratgica
Infra-estrutura de Redes
10
12
55
58
10
12
51
45
11
13
10
11
3 1
No resposta
3
60
Nunca participei
1 vez
10
20
30
40
50
60
70
80
2 a 5 vezes
6 a 10 vezes
Mais de 10 vezes
No resposta
Nunca participei
1 vez
40
20
2 a 5 vezes
6 a 10 vezes
Mais de 10 vezes
141
afirmaram que no seria possvel acessar, no Portal Governo, as discusses de outros Comits
Tcnicos a no ser daqueles que o gestor participou das reunies. De acordo com a coordenao do
Programa, em entrevista individual, considerando que no h ferramenta virtual amplamente
disseminada entre os gestores envolvidos com aes de governo eletrnico, o Portal Governo, seria,
em princpio, a principal forma de disseminao das discusses em andamento, no mbito do
Programa, alm da realizao de eventos, como seminrios e oficinas.
Desconhecimento, por parte da coordenao do Programa, sobre os stios do Governo Federal, e
seus respectivos responsveis, nos rgos da Administrao Pblica Federal
Em entrevista, a coordenao do Programa afirmou no contar com lista atualizada dos
domnios do Governo Federal (.gov.br), ativos ou que j foram retirados da Internet, e dos respectivos
gestores responsveis por esses portais em cada rgo da APF. Como no h cadastro atualizado
de gestores de portais, infere-se que a coordenao do Programa tambm no tenha conhecimento
de quantos e quais so os domnios da Administrao Pblica Federal. Como exemplo desse
desconhecimento, cite-se o trabalho de atualizao, em 2003, dos domnios para a elaborao do
Sistema de Inventrio de Stios. Segundo o responsvel por sua implementao, em entrevista, esse
sistema no foi mais atualizado.
De acordo com dados dos questionrios respondidos pelos 76 gestores de portais, 54
afirmaram no ter utilizado esse sistema de inventrio e 38 no o conhecem (Grfico 5).
Voc conhece o
sistema de inventrio?
19
19
38
Sim.
Sim. Conheo, mas no utilizo.
Voc j utilizou o
sistema de inventrio?
22
10
No.
54
20
30
40
50
60
70
80
142
Dentre as 15 pessoas que utilizaram o sistema, em questo que permitia mltiplas respostas,
trs consideram importante a ferramenta para trocar experincias com outros gestores da rea, sete
utilizam o sistema para identificar os estgios de implementao de outros portais do Governo
Federal, nove identificam outras estruturas gerenciais em portais, valendo-se do sistema, e 10
acompanham os avanos de outros portais do Governo Federal por meio do inventrio (Grfico 6).
Motivos que levam voc a utilizar esse sistema de inventrio de stios federais (N=76)
No resposta
3
52
15
Uso esse sistema para trocar experincias com outros gestores da minha rea.
9
10
Uso esse sistema para identificar os estgios de implementao de outros portais do governo
federal.
Uso esse sistema para identificar outras estruturas gerenciais em portais do governo federal.
Uso esse sistema para acompanhar os avanos de outros portais do governo federal.
Grfico 6 Motivos que levam ao uso do Sistema de Inventrio de Stios (questo 41).
13
24
14
22
13
13
14
14
10
20
10
27
29
13
11
26
14
21
12
10
10
10
23
45
2 2
30
(N=76)
44
40
50
60
70
80
N o respo sta
N o se aplica
D isco rdo to talm ente
D isco rdo m ais do que co nco rdo
C o nco rdo mais do que disco rdo
C o nco rdo to talmente
143
O mesmo questionrio permitiu identificar que 38 dos 76 respondentes consideram
importante atualizar esse sistema, 31 acham que o sistema precisa ser aprimorado e 45 consideram
que o Sistema de Inventrio de Stios deveria ter mais divulgao para unificar as aes de e-gov
(Grfico 7, p. 142).
Durante a pesquisa, houve dificuldade de contactar os responsveis pelos portais do Governo
Federal, a partir da lista de representantes de diversos rgos da APF nos Comits Tcnicos do
CEGE, recebida da coordenao do Programa e formalizada pela Portaria Interministerial ccivil/MP n
793, de 17/9/2004 (Brasil, 2004). Conclui-se, portanto, que a coordenao do Programa no mantm
tal lista devidamente atualizada e, por conseqncia, desconhece os atuais responsveis pelos
portais do Governo Federal, nos rgos da Administrao Pblica Federal.
De acordo com os grupos focais de gestores de portais, o Portal Governo, que poderia servir
de ponto de apoio virtual da coordenao do Programa para os gestores envolvidos com governo
eletrnico, no de amplo conhecimento desses servidores e, mesmo aqueles que o conhecem, no
utilizam com freqncia suas funcionalidades. Ressalte-se que, de acordo com entrevista feita com a
coordenao do Programa, no h ao no sentido de garantir que ao menos um servidor de cada
rgo da APF tenha acesso freqente ao Portal Governo.
Como efeitos desse desconhecimento de portais e seus respectivos gestores, pode-se
concluir que a coordenao no tem condies de saber, como um todo, o que vem sendo realizado
nos rgos da APF em termos de aes relacionadas a governo eletrnico. Como conseqncias
apontadas nos grupos focais de gestores de portais, esse desconhecimento inviabilizaria,
coordenao do Programa, o acompanhamento quanto ao cumprimento das normas de e-gov por
esses rgos, o monitoramento e avaliao de seus domnios, alm de dificultar contato mais
prximo da coordenao do Programa com os gestores envolvidos com governo eletrnico nos
rgos da APF.
De acordo com os gestores participantes dos grupos focais, essa falta de interao entre a
coordenao do Programa e os gestores de portais, e entre esses prprios gestores, pelo fato de no
conhecerem um ao outro, inviabiliza, inclusive, a troca de experincias acerca de projetos de governo
eletrnico. Na rea de Comunicao Social, entretanto, parece haver boa interao entre a
144
Presidncia da Repblica (especificamente a Secom) e os rgos da APF, por meio de suas
assessorias de comunicao social, fato tambm apontado nos grupos focais de gestores de portais.
Divulgao deficiente das diretrizes e documentos gerados pelo Programa Governo Eletrnico
Outro problema destacado nesses grupos focais refere-se ao fato de que no somente as
diretrizes, mas tambm os documentos gerados pela coordenao do Programa, sobre assuntos
como acessibilidade, interoperabilidade (e-Ping) e software livre, no esto amplamente
disseminados junto aos gestores da Administrao Pblica Federal, motivo pelo qual a maioria dos 23
participantes desconhecia parte dessas diretrizes e documentos. A falta de divulgao de diretrizes e
documentos do Programa foi uma das principais barreiras apontadas por 26 gestores de portais, do
total de 76 que responderam questo aberta n 27 do questionrio a eles dirigido, como empecilho
ao desenvolvimento da poltica na sua instituio.
Especificamente quanto a atos normativos do Programa (Grfico 8), 23 dos 76 gestores de
portais afirmaram, em resposta aos questionrios, que desconhecem a Resoluo CEGE n 7/2002
(Brasil CEGE, 2002) e 40 desconhecem o documento Padres de Interoperabilidade do Governo
Brasileiro - e-Ping (Brasil CEGE, 2005). O documento mais conhecido (por 63 dos 76 gestores
participantes do levantamento), mais divulgado e mais fcil de ser cumprido, na opinio dos
respondentes (Grfico 8; Grfico 9, p. 145; e Grfico 10, p. 145), dentre os seis documentos citados
no questionrio, foi o Manual de Identidade Visual (Brasil SECOM).
53
Resoluo n 7 do CEGE
Cart ilha de Usabilidade 1
Cart ilha Tcnica Acessibilidade
23
37
38
41
M odelo de Acessibilidade 1
(N=76)
33
38
No resposta
Sim
37
No
E-ping
35
40
63
10
20
30
13
40
50
60
70
80
145
22
Resoluo n 7 do CEGE
17
17
29
18
30
20
M odelo de Acessibilidade
30
19
(N=76)
13
12
11
12
No resposta
3 2
11
3 2
1 - pouco divulgada
2
33
E-ping
11
19
11
3
4
5 - muito divulgada
11
14
10
16
20
30
16
40
13
50
60
70
80
25
Resoluo n 7 do CEGE
Cartilha de Usabilidade
35
35
M odelo de Acessibilidade
36
24
15
13
17
17
(N=76)
No resposta
2
9
42
E-ping
10
13
12
3
4
10
M anual de Identidade
Visual
15
10
10
20
24
30
40
26
50
60
70
80
146
que recebeu 95 contribuies e 16 comentrios. Outra boa prtica, citada no grupo focal
com
coordenadores de CT e que pode ser considerada uma medida mobilizadora do Programa junto aos
rgos da APF, foi a aprovao das diretrizes do Programa Governo Eletrnico (Brasil MP, 2004a)
em evento que reuniu, em 2004, aproximadamente 600 gestores envolvidos com e-gov.
A falta de divulgao e o desconhecimento do Programa, entretanto, tambm foram
apontados, pelos 76 gestores de portais que responderam pesquisa on-line, como barreiras
implementao de portais e-gov. Outros fatores que dificultam tal implementao, tais como
necessidade de conscientizao, aliada resistncia e falta de cultura de e-gov; excluso digital;
indefinio de prioridades e de estabelecimento de aes conjuntas; falta de estrutura,
qualificao/capacitao e recursos financeiros, foram tambm mencionados nessa questo aberta
(questo 27 do questionrio para gestores de portais).
Um exemplo de divulgao deficiente de documentos relacionados ao Programa refere-se
Portaria Normativa n 5, de 11/7/2005 (Brasil MP, 2005b), do Ministrio do Planejamento,
Oramento e Gesto, que instituiu, de forma compulsria, o padro e-Ping no mbito da APF. Em
pesquisas feitas na Internet, essa norma no estava disponvel no portal do Programa em novembro
de 2005, local onde seria esperado encontr-la, embora pudesse ser acessada no portal do
Ministrio.
Descompasso na implementao de servios eletrnicos, pelos rgos da Administrao Pblica
Federal, com base nas diretrizes do Programa Governo Eletrnico
As diretrizes oriundas do Programa no tm sido capazes de uniformizar o estgio de
desenvolvimento de governo eletrnico nos rgos da Administrao Pblica Federal. De acordo com
o grupo focal de coordenadores de Comits Tcnicos, a adeso dos rgos da APF s diretrizes do
Programa se d em camadas diferentes, sendo que cada rgo implementa aes de acordo com
seu tempo disponvel, sua evoluo e condies tecnolgicas, alm de suas prprias necessidades e
prioridades. Alm desses fatores, os grupos focais de gestores de portais mencionaram a cultura
incipiente de governo eletrnico na Administrao Pblica como empecilho implementao das
diretrizes.
147
Os sistemas legados, alguns com mais de 20 anos de operao, seriam outra barreira ao
desenvolvimento de servios e-gov. De acordo com os coordenadores de CT, o legado influencia, de
modo decisivo, na adeso do rgo s diretrizes do Programa. Os gestores de portais afirmaram, nos
grupos focais, que a excessiva terceirizao na rea de Tecnologia da Informao tambm dificulta o
incremento do governo eletrnico.
Os rgos com estgio incipiente de desenvolvimento de servios eletrnicos no contam
com apoio da coordenao do Programa para implementar seus projetos de e-gov, conforme opinio
manifestada nos grupos focais com 23 gestores de portais. Alm disso, esses gestores observaram
que as diretrizes do Programa no vm acompanhadas de recursos prticos para sua
implementao.
Os grupos focais de gestores de portais tambm destacaram que os recursos para grandes
projetos de governo eletrnico no tm, necessariamente, ligao com o Programa, constando das
aes de Tecnologia da Informao de cada rgo na Lei Oramentria Anual. De acordo com o
documento 2 Anos de Governo Eletrnico (Brasil Casa Civil, 2002, p. 21), esse foi um dos fatores
que limitaram o alcance do Programa:
Outro conjunto de projetos teve sua implementao equacionada com relativa
independncia em relao s instncias de coordenao do Governo Eletrnico.
Trata-se de projetos conduzidos por rgos com oramentos e volume de
servios expressivos, nas reas de educao, sade e previdncia social.
No grupo focal dos coordenadores de Comits Tcnicos reconheceu-se a dificuldade que o
Programa Governo Eletrnico tem para fazer com que suas regras sejam cumpridas pelos rgos da
APF, pelo fato de no ter ingerncia sobre as prioridades de atuao de cada um deles e de no ter
como influir em seus processos internos. Ressaltou-se que problemas relacionados infra-estrutura e
capacitao de servidores influenciam nas mudanas propostas pelo Programa para serem
implementadas nos rgos da APF. Alm disso, nos grupos focais de gestores de portais, foi
observado que a coordenao do Programa, por no deter poder sobre os oramentos dos rgos,
no teria condies de cobrar o cumprimento de diretrizes.
148
149
No ano de 2005, o objetivo da Assessoria de Comunicao Social era efetuar nova
reformulao do portal, com a criao de um quarto perfil (aposentados e pensionistas), nova
disposio dos servios e informaes e implementao da acessibilidade para portadores de
deficincia visual. Como objetivo importante, citado na entrevista com essa Assessoria, destaca-se
ainda o estreitamento do relacionamento com o pblico que utiliza o portal, diminuindo, dessa forma,
a demanda nos canais de comunicao convencionais.
De acordo com o demonstrativo fornecido pelo DGE, o grupo Previdncia foi o segundo
mais acessado no Portal Rede Governo no perodo de 28/09 a 27/11/2005, ficando atrs apenas do
grupo Correios. Estatsticas fornecidas pela Assessoria de Comunicao Social do Ministrio da
Previdncia Social indicam que houve cerca de 32 milhes de acessos a servios no ano de 2004.
Em relao a nmero de pessoas, a Diretoria de Atendimento informou, em entrevista, que
cerca de 3,6 milhes de pessoas so atendidas por ms pelo INSS, e que em torno de 36 mil
benefcios por incapacidade so requeridos mensalmente pela Internet, tendo sido estabelecida a
meta de efetuar cerca de 280 mil benefcios por ms, at dezembro de 2006 (correspondendo a 70%
do total de benefcios, incluindo os solicitados nas agncias). Para os servios selecionados, no
perodo em que a pesquisa de satisfao on-line esteve disponvel (02/11 a 19/11/2005), foram
requeridos 4,42% pela Internet, o que demonstra que, como meio de prestao de servios, a rede
mundial ainda subutilizada, no obstante os benefcios que resultariam do incremento no uso, tanto
para o cidado, pela reduo do tempo de atendimento, sem necessidade de enfrentar filas, como
para a Administrao, pela racionalizao dos custos.
Auxlio-Doena
O Auxlio-Doena, um dos servios pblicos eletrnicos selecionados para esta pesquisa,
um benefcio concedido ao segurado impedido de trabalhar por doena ou acidente por mais de 15
dias consecutivos. No caso dos trabalhadores com carteira assinada, os primeiros 15 dias so pagos
pelo empregador, e a Previdncia Social paga a partir do 16 dia de afastamento do trabalho. Para o
contribuinte individual (empresrio, profissionais liberais, trabalhadores por conta prpria, entre
outros), a Previdncia paga todo o perodo da doena ou do acidente desde que o trabalhador tenha
requerido o benefcio.
150
Para concesso de Auxlio-Doena, necessria a comprovao da incapacidade em exame
realizado pela percia mdica da Previdncia Social. Ao efetuar a solicitao do Auxlio-Doena pela
Internet, j agendada a percia mdica na Agncia mais prxima do solicitante, quando dever
tambm levar a documentao necessria.
Da anlise da pesquisa de satisfao (questionrio on-line) efetuada com os solicitantes
deste servio, verificou-se que muitas das crticas efetuadas no estavam relacionadas utilizao
da Internet, como meio de prestao de servios, e, sim, ao prprio servio. Destacaram-se as
reclamaes sobre o no-cumprimento, pelos mdicos peritos, dos horrios agendados, o que gera
idas infrutferas s Agncias e necessidade de remarcao de percias, resultando em falta de
credibilidade quanto utilizao da Internet como meio de acesso ao servio (questo 8 do
questionrio 1).
Tais falhas evidenciam a necessidade de reformulao dos processos de trabalho da
instituio para possibilitar maior efetividade na utilizao da Internet. Segundo informao obtida em
entrevista no DGE/SLTI, o servio de requerimento de auxlio-doena ser reformulado, num projetopiloto a ser desenvolvido por equipe da coordenao do Programa, em conjunto com o INSS.
Penso por Morte
Outro servio da Previdncia selecionado, a Penso por Morte, o benefcio pago famlia
do trabalhador quando ele morre, deixando de ser pago quando o pensionista morre, quando se
emancipa ou completa 21 anos (no caso de filhos ou irmos do segurado) ou quando acaba sua
invalidez (no caso de pensionista invlido).
O servio s prestado, via Internet, se efetuado at doze meses aps o bito do exsegurado que estava em gozo de qualquer benefcio previdencirio na data do bito. Aps esse
perodo e, tambm, no caso de dependente menor de 16 anos que necessite de representante legal
(tutor ou curador), o requerimento de penso deve ser entregue na Agncia da Previdncia Social.
Salrio-Maternidade
Por fim, o Salrio-Maternidade, tambm selecionado para esta pesquisa, o benefcio
concedido s trabalhadoras que contribuem para a Previdncia Social, tendo direito a 120 dias de
151
salrio no perodo em que ficam afastadas do emprego por causa do parto, ou em caso de adoo,
segundo as regras estabelecidas. O pagamento do salrio-maternidade das gestantes empregadas
feito diretamente pelas empresas empregadoras, com o devido ressarcimento pela Previdncia
Social. As contribuintes individuais, facultativas e empregadas domsticas, bem como as mes
adotivas, devem pedir o benefcio nas Agncias da Previdncia Social, ou mediante o requerimento
disponvel na Internet.
Para proceder solicitao do benefcio na Internet, necessrio preencher o formulrio
disponvel no portal da Dataprev, o qual dever ser assinado e encaminhado, pelo correio, ao
endereo especificado, com a documentao comprobatria (atestado mdico ou certido de
nascimento). Caso haja inconsistncias nos dados cadastrais ou nas remuneraes informadas, em
relao ao Cadastro Nacional de Informaes Sociais-CNIS/Prevcidado, no ser possvel efetuar o
requerimento, tornando-se necessria a ida a alguma Agncia da Previdncia Social (APS), o que
limita a utilizao do servio.
Aps o requerimento pela Internet, gerado processo, em papel, que examinado, de forma
manual, por servidores do Instituto. De acordo com a Diretoria de Atendimento, em entrevista, foram
criadas 2002 Agncias Virtuais em 72 Gerncias Executivas para descentralizar a anlise dos
processos de requerimentos de salrio-maternidade, antes realizada em uma nica agncia,
localizada em Braslia.
152
acordo
com
informaes
disponveis
no
endereo
eletrnico
www.receita.fazenda.gov.br/pessoafisica/isento/2005/Orientacoes/default.htm#Omisso%20na%20en
153
trega, em 1/11/2005, as pessoas fsicas com CPF suspensos, enquanto no regularizarem a sua
situao, no podero abrir contas ou poupanas em bancos, tomar emprstimos, participar de
concursos pblicos, tirar passaporte, receber aposentadoria oficial, assinar financiamento habitacional
oficial ou receber eventual prmio de loteria, em suma, tero sua vida financeira complicada. A
Secretaria da Receita Federal oferece este servio por diversos canais, aos seguintes custos:
A) por meio da Internet, no endereo eletrnico da Receita, sem custos (Figura 12);
B) nas casas lotricas, por meio eletrnico, ao custo de R$ 1,00;
C) nas instituies bancrias autorizadas e seus correspondentes bancrios, por meio
eletrnico, ao custo de R$ 1,00;
d) Nas agncias e nas lojas franqueadas da Empresa Brasileira de Correios e
Telgrafos (ECT), nas modalidades Via Postal Registrada ou meio eletrnico, nos
locais onde for oferecido o servio, ao custo de R$ 2,40.
154
A Declarao Anual de Isento, disponvel no Portal da Receita Federal, foi lanada, em meio
eletrnico, em agosto de 1998, e sua ltima remodelagem significativa ocorreu em 2005, por
questes de segurana de dados, segundo seu gestor, em entrevista presencial. Para facilitar o
acesso do usurio nos ltimos dias de preenchimento da Declarao Anual de Isento eletrnica, ao
final do ms de novembro de 2005, a Receita Federal passou a adotar, como sua pgina inicial na
Internet, o servio DAI.
Desconhecimento, por parte dos gestores, do pblico-alvo dos servios eletrnicos, suas
necessidades e opinies sobre a qualidade desses servios;
155
h mecanismos sistemticos de avaliao e monitoramento. Constatou-se que apenas trs dos 76
gestores de portais participantes da pesquisa on-line (Grfico 11) informaram ter poltica formal de
avaliao e monitoramento do portal de servios eletrnicos de seu rgo (37 gestores no tm
poltica e 36 tm poltica aplicada informalmente). Ressalte-se, ainda, que 46 dos 76 gestores
participantes da pesquisa on-line informaram que no so elaborados relatrios gerenciais dos
portais de seus respectivos rgos, inviabilizando, assim, a definio de indicadores (Grfico 12).
A que unidades so
encam inhados os relatrios
gerenciais do portal ?
3
7
(N=76)
37
36
10
3
46
No respo sta
No so elabo rado s relat rio s gerenciais.
rea pro vedo ra de co ntedo do servio .
rea gesto ra do po rtal.
A ssesso ria de Co municao So cial.
Outras
156
(N=76)
No r espost a
29
38
32
17
54
Out r as.
10
20
30
40
50
60
10
(N=76)
25
13
(N=76)
8
11
2
54
48
2
6
Out ros
Out ros
No respost a
157
(N=76)
11
3
14
(N=76)
No respost a
No respost a
Nunca f oi avaliado.
13
Nunca f oi monitorado.
Diariament e.
Semanalment e
Semestralment e.
41
Quinzenalment e.
40
M ensalment e.
Anualment e.
Trimest ralment e.
M ensalment e.
Aps alguma alterao
signif icat iva.
Desconhecimento, por parte dos gestores, do pblico-alvo dos servios eletrnicos, suas
necessidades e opinies sobre a qualidade desses servios
A partir de dados obtidos nos grupos focais e nas entrevistas com os gestores dos servios
selecionados para esta pesquisa, foram confirmados os resultados quantitativos do questionrio
respondido pelos 76 gestores de portais da APF, de que, alm da anlise de sugestes, crticas dos
usurios, a maioria no utiliza tcnicas de prospeco, monitoramento e avaliao dos servios sob o
ponto de vista do cidado (Grfico 13, p. 156; e Grfico 18, p. 158), conforme previsto no art. 3,
inciso II, que trata da definio do pblico-alvo, e art. 7, inciso II, sobre pesquisa de satisfao,
ambos da Resoluo CEGE n 7/2002. O desconhecimento das necessidades e opinies do pblicoalvo tambm contraria, de certa forma, o item b da 1 diretriz estratgica do Relatrio Consolidado do
Comit Executivo do Governo Eletrnico, de maio de 2004 (Brasil MP, 2004a), que trata da
promoo da cidadania, como prioridade.
158
Principais tcnicas utilizadas para garantir o atendimento aos padres mnimos de qualidade do
Portal, antes de ser colocado disposio dos usurios.
(N=76)
0
No resposta
10
20
30
40
50
33
24
21
52
11
47
50
53
47
5
6
8
32
41
18
52
60
22
159
no preenchimento dos dados solicitados e a possibilidade de atendimento a dvidas via Internet,
enquanto que os usurios valorizaram mais a rapidez na prestao do servio eletrnico, a
privacidade e segurana de dados, a acessibilidade no preenchimento dos dados solicitados e a
disponibilidade do servio, a partir do momento em que conseguem acesso Internet (Grfico 19). As
principais dificuldades apontadas pelos usurios foram medo de que seus dados no fossem
devidamente protegidos e no disponibilidade do servio, alm da dificuldade de acesso Internet
(Grfico 20, p. 160). Alm dessas, os gestores dos servios avaliados apontaram ainda a dificuldade
no preenchimento dos dados solicitados e a falta de confiana no servio eletrnico.
200
400
600
800
1000
1200
177
1127
641
545
889
823
550
909
475
947
56
56
Q1 questionrio 1 (Apndice 9.9, p. 267); Q2 questionrio 2 ( Apndice 9.10, p. 270), ambos respondidos por usurios
dos servios selecionados para a pesquisa. Os nmeros aps o travesso correspondem s questes do respectivo
questionrio.
160
100 200 300 400 500 600 700 800 900 1000
No respo sta
615
704
293
317
186
773
424
913
528
407
161
As principais causas dessa baixa porcentagem de servios transacionais para atendimento
direto ao cidado, citadas pelos gestores de portais participantes da pesquisa on-line (questo aberta
n 27 do questionrio) e dos grupos focais, foram a dificuldade de integrao dos sistemas legados e
plataformas tecnolgicas heterogneas, e o fato de a Internet ainda no ser vista, pelos dirigentes da
APF, como canal estratgico de prestao de servios ao cidado. Foi tambm mencionada, como
barreira, no grupo focal de coordenadores de CT, a dificuldade de integrao com estados e
municpios para aplicaes G2G.
(N=76)
(N=76)
17
No respo sta
No respo sta
11
A presentao de
info rma es.
M eno s de 10
De 10 a 20
De 21a 30
13
37
M ais de 30
40
11
B usca de
info rma es
Interatividade limitada.
Integrao e-go v.
Vrios foram os usurios dos servios pblicos eletrnicos selecionados para esta pesquisa
que deram sugestes, na questo aberta n 8 do questionrio 1, quanto melhor divulgao dos
servios disponveis na Internet. Abaixo, alguns trechos escritos por participantes da pesquisa on-line:
Melhor e maior divulgao na mdia popular, pois s fiquei sabendo que existia
atravs de uma amiga que trabalha no INSS!!!!!
A marcao de percia on line foi excelente idia, com isso, podemos evitar filas,
demora no atendimento. Mas a populao ainda conhece pouco sobre isso. O
que falta no Brasil INFORMAO.
Uma maior divulgao pelos meios de comunicao. Esplicaes
57
detalhadas
57
Pela grande quantidade de erros de grafia, pontuao, concordncia nos trechos escritos pelos usurios, optou-se por no
acrescentar a expresso latina sic para no comprometer sua legibilidade.
162
Divulgao maior desses servios pela mdia, pois muitas pessoas que estavam
na fila no conheciam este servio eu mesmo era um, s descobri por curiosidade
No tive dificuldades de preencher os dados solicitados, para mim foi muito
conveniente, o nico meio que eu consegui fazer a inscrio para o primeiro
emprego, a minha sugesto que devia divulgar mais este site do primeiro
emprego em rdios, jornais , televiso e outros meios de comunicaes
200
400
No resposta
369
369
600
800
1400
1275
761
817
802
770
301
1200
1168
1000
809
543
163
consulta a processos, legislao, tribunais e outros portais jurdicos; portais de prefeituras e servios
municipais; portais de concessionrias de servios pblicos.
Inobservncia de recomendaes propostas nos documentos gerados pelo Programa que facilitariam
o acesso e o uso de servios pblicos eletrnicos pelo cidado
A baixa porcentagem de gestores que adotam os documentos gerados pelo Programa,
observada na pesquisa on-line realizada junto aos gestores de portais da APF (Grfico 24), foi
confirmada nas entrevistas com os gestores dos servios selecionados para esta pesquisa e nos
grupos focais de gestores de portais. Dos 76 gestores que responderam ao questionrio, apenas oito
afirmaram que adotam o padro e-Ping (Brasil CEGE, 2005), 11 adotam a Cartilha Tcnica de
Acessibilidade (Brasil MP, 2005d), enquanto que 56 adotam o Manual de Identidade Visual (Brasil
Secom).
20
Resoluo n 7 do CEGE
32
15
26
30
12
14
14
(N=76)
15
No resposta
1 - no adotada
11
2
31
M odelo de Acessibilidade
17
37
E-ping
15
13
11
3
4
5 - adotada integralmente
11
3 2
20
19
37
40
60
80
164
descontados 16 itens que no foram avaliados, por limitaes da tcnica de inspeo utilizada ou da
falta de preciso das normas e recomendaes consultadas. Por exemplo, no foi possvel verificar,
com a avaliao heurstica, se os contedos das pginas eram atualizados e verdadeiros (Resoluo
CEGE n 7/2002, art. 5, inciso II), assim como no foi possvel determinar o que seriam programas
de uso consagrado, equipamentos de grande performance ou programas pouco difundidos
(Resoluo CEGE n 7/2002, art. 4, incisos X e XI). Foram ainda desconsiderados, em cada caso
individual, itens que tratavam de elementos no utilizados pela instituio, tais como animaes,
58
58
165
Privacidade
segurana
dados
(Peso = 3)
Disponibilidade
(Peso = 3)
Norma/documento
consultado e peso
Acessibilidade
(Peso = 2)
Cartilha Tcnica
Acessibilidade
de
(Peso = 2)
6 Identificar o principal idioma utilizado nos
documentos.
15 - ... Se a tabela foi criada para efeito de design,
59
deixar o summary em branco.
26 Se no for possvel deixar as pginas de seu stio
acessveis, momentaneamente, criar uma pgina
alternativa que utilize tecnologias em conformidade
com este documento.
Confiabilidade
(Peso = 2)
de
Facilidade
de 12 O portal estruturado de acordo com a linha da Vilella (2003)
localizao
do vida.
(Peso = 1)
servio eletrnico
Diretriz do Comit de
(Peso = 1)
Gesto de Stios e
Servios On-line.
Quadro 6 Itens da lista de verificao no atendidos por todos os portais e/ou servios avaliados.
59
Campo resumo.
166
Nenhum dos portais analisados na avaliao heurstica estruturado de acordo com a linha
da vida; identifica o idioma utilizado em seus documentos; apresenta pginas alternativas acessveis;
permite o ajustamento dinmico do tamanho de suas pginas a diversas resolues de vdeo; conta
com planos de contingncia implementados, atualizados e periodicamente testados ou rotinas de
programas de conscientizao de todos os envolvidos. Todas as instituies usam tabelas para efeito
de design; mencionam jarges e siglas provavelmente desconhecidos de seu pblico-alvo; e
apresentaram links com problemas no teste com a ferramenta Cyberspyder. O Quadro 7 mostra o
resultado total de pginas e links testados nos portais principais das trs instituies selecionadas. A
quantidade de links com problemas, em relao ao total de links testados variou, entre as instituies,
de 7,1 a 21,7% (mdia de 13,2%; desvio padro de 8%).
Pginas
testadas
Totais
7.627
Links
testados
292.014
Links
corretos
257.836
Links com
problemas
25.721
Links
60
ignorados
8.457
Opo habilitada
Opo desabilitada
Figura 13 Elementos visuais exibidos com a opo "Mostrar imagens" habilitada e desabilitada.
60
A ferramenta no foi capaz de verificar inteiramente esses links, por isso foram ignorados no cmputo de links corretos e
com problemas.
167
A falta de equivalentes textuais para tais elementos visuais impede, por exemplo, que
software leitor de tela, usado por deficientes visuais, identifique tais aes necessrias solicitao
dos servios eletrnicos. O uso de tecnologias inclusivas e no excludentes que garantam o acesso
universal, abrangendo portadores de necessidades especiais, cidados de baixa escolaridade e
usurios de diversas plataformas, uma das diretrizes para garantia do foco no cidado, j citada no
item 5.1 (p. 128) deste documento.
Alm das verificaes mencionadas no Quadro 6 (p. 165), outros artigos da Resoluo CEGE
n 7/2002 foram investigados na avaliao heurstica. Observou-se, em duas instituies, inexistncia
de pgina com respostas aos questionamentos mais freqentes dirigidos ao rgo (art. 4, inciso VII).
Em trs dos servios pblicos eletrnicos examinados, no foi observada a manuteno de todo o
ciclo do servio em um mesmo portal (V do art. 5). possvel, inclusive, solicitar esses servios
diretamente a partir do endereo eletrnico da empresa prestadora de servios de informtica, sem
passar pelo portal da instituio que os administra. Em relao privacidade e segurana de dados,
dimenso tambm medida pelo questionrio sobre segurana dos portais governamentais (Apndice
9.6, p. 260), em pelo menos duas instituies, no so estabelecidos programas de treinamento aos
responsveis tcnicos ou programas de conscientizao de todos os envolvidos (art. 29). Uma das
instituies respondeu, nesse questionrio, que no so adotados conceitos e procedimentos de
auditoria
168
61
maioria das pginas examinadas na avaliao heurstica no usarem metatags , todos os portais e
servios foram encontrados facilmente por mecanismos de busca populares na Internet (no teste,
foram utilizados Google e Yahoo!). Ainda assim, mesmo que a maioria tenha achado fcil identificar a
prestadora do servio e localizar o que estava procurando em sua pgina na Internet (Grfico 25),
algumas pessoas que responderam pesquisa de satisfao deram sugestes quanto facilidade de
localizao dos servios, como por exemplo:
Seria muito importante que inserissem um link logo na tela principal, para acessar
os requerimentos de salrio maternidade, penso e aux. Dona , facilitando
assim a visualizao desses servios.
preciso facilitar a navegao tornando mais fcil localizar o item procurado no
site.
11%
6%
7%
7%
19%
49%
1%
11%
5%
6%
12%
65%
2%
4%
5%
0%
8%
6%
10%
8%
19%
17%
20%
59%
13%
30%
40%
16%
50%
43%
60%
70%
80%
90%
100%
No respo sta
No se aplica
Disco rdo to talmente
Disco rdo mais do que co nco rdo
Co nco rdo mais do que disco rdo
Co nco rdo to talmente
Grfico 25 Facilidade para encontrar o servio e sua disponibilidade (Q2_4a e b; Q1_4b e 4e).
61
Comandos HTML especiais para associar metadados pgina web codificada, sem alterar sua formatao, mas fornecendo
informaes sobre seu contedo. Vrios portais de busca na Internet utilizam tais comandos como ndices de busca,
facilitando, assim, a localizao do contedo de tais pginas.
169
Os servios pblicos eletrnicos selecionados tambm foram facilmente encontrados, em
seus respectivos portais, pelos especialistas que realizaram a avaliao heurstica. Ainda assim, um
dos portais e um dos servios no foram encontrados no portal Rede Governo, que rene
informaes e servios dos rgos e entidades do Governo Federal, mas talvez isso se deva mais a
deficincias do prprio Rede Governo do que codificao dessas pginas web avaliadas. No foi
possvel testar a facilidade de localizao das pginas web das instituies e dos servios no Portal
Brasil, outro portal do Governo Federal que oferece servios pblicos eletrnicos, pois este
apresentou mensagem de erro logo na carga de sua pgina principal. Talvez esse portal estivesse
em fase de testes no dia em que foi acessado durante a pesquisa (Figura 14).
170
A) que o servio estivesse sempre disponvel principalmente no horrio de pico; b)
que o sistema no casse tanto, principalmente qdo estamos terminando de
preencher os dados; c) se possvel que funcionasse ininterruptamente 24 horas
por dia;
Estou achando que propaganda enganosa , pois j fazem vrios dias que tento
entrar e quando estou no final d como pgina indisponvel, vem sempre a
mensagem - servio indisponvel no momento, desculpe o transtorno, mas isso j
faz mais de uma semana.
Que estivesse sempre disponvel, sem aparecer a frase este servio est fora do
ar temporariamente
Sempre que necessitamos requerer algum benefcio pela internet, alguns se
encontra indisponvel. Que os tcnicos da informtica atualizem o programa para
facilitar a vida dos usurios. J no basta as grandes filas que enfrentamos no
dia a dia, encontramos dificuldades tambm atravs da internet.
A pgina sempre deu informaes de estar momentaneamente indisponvel e eu
tive que recomear o preenchimento dezenas de vezes. Conclu o que queria
somente 4 horas de tentativas ininterruptas... Acho que h algum problema, no?
Acessibilidade e usabilidade
Na dimenso Acessibilidade, destaca-se o fato de que as pginas analisadas na avaliao
heurstica apresentaram seus contedos com clareza e simplicidade, utilizando mecanismos de
navegao de maneira coerente e consistente. Para garantir a acessibilidade, recomendvel testar
as pginas web sem folhas de estilo e com ferramentas, tais como Wave, que facilitam a visualizao
da seqncia lgica de tabulao para percorrer links, controles de formulrio e objetos, o que parece
no ter sido feito em alguns dos casos inspecionados pelos avaliadores especialistas.
171
Em termos de usabilidade, na avaliao heurstica, observou-se o uso criterioso de logotipos
e a organizao de elementos visuais de acordo com os princpios de design para Web (contraste,
repetio, alinhamento e proximidade). Os participantes da pesquisa on-line apresentaram respostas
positivas quanto a essas duas dimenses acessibilidade e usabilidade (Grfico 26).
Acessibilidade e usabilidade
5%
4%
19%
9%
12%
50%
12%
3% 5%
5%
12%
63%
13%
7%
6%
5%
13%
55%
11%
5%
7%
15%
59%
12%
7%
7%
14%
58%
13%
5%
5%
18%
56%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
No respo sta
No se aplica
Disco rdo to talmente
Disco rdo mais do que co nco rdo
Co nco rdo mais do que disco rdo
Co nco rdo to talmente
172
Confiabilidade e segurana
Os pontos positivos em relao confiabilidade dos servios foram, na avaliao heurstica,
a apresentao de contedos compatveis com a misso/propsito das instituies e o uso de
linguagem sem preconceitos racial, cultural, poltico e comercial. Na pesquisa de satisfao on-line
(Grfico 27), entretanto, 36% dos 2.086 respondentes encontraram problemas no funcionamento das
pginas e 37% dos 2.419 encontraram links para pginas que no abriram, apesar de 71% dos 2.419
confiarem no processamento correto do servio.
Confiabilidade e segurana
4%
6%
42%
14%
16%
13%
6%
0%
4%
7%
8%
10%
24%
5%
14%
22%
10%
15%
22%
15%
56%
32%
20%
11%
30%
14%
40%
50%
19%
60%
70%
21%
80%
90%
100%
No respo sta
No se aplica
Disco rdo to talmente
Disco rdo mais do que co nco rdo
Co nco rdo mais do que disco rdo
Co nco rdo to talmente
173
Dar certesa quanto ao recebimento do beneficio e dar segurana de que meus
documentos que envio ( autenticado ) no ir para o lixo.
Eu sugiro que ao final do preenchimento fosse dado uma mensagem que seu
requerimento foi aceito, pois eu fiquei em dvida se isso tinha ocorrido.
Na avaliao heurstica identificou-se que a maioria das instituies selecionadas no
especifica, em seu portal, a poltica de privacidade e segurana adotada, nem to pouco informa se e
62
como utiliza cookies . Segundo respostas dos gestores dessas instituies ao questionrio sobre
segurana dos portais governamentais (Apndice 9.6, p. 260), todas implementam mecanismos de
registro de eventos e acessos aos seus portais e h pelo menos um responsvel tcnico para atuar
como contato no que se refere segurana desse ambiente. Alguns usurios participantes da
pesquisa on-line, dentre os 40% de 2.086 respondentes que se mostraram preocupados com a
segurana de informaes ao se comunicarem com a prestadora do servio via Internet (Grfico 27,
p. 172), deram algumas sugestes:
Cada cliente ter sua senha para acesso, assim eu ficaria mais seguro quanto s
informaes pessoais. Era s fazer o cadastro, sem muitas perguntas, e cadastrar
a senha!!!
Na minha opinio esse site deveria como em pginas de bancos ou outros sites
que usam a segurana de 128-bits coloque o cadeado para que a gente soubesse
que estaria mesmo seguro, para que ningum roube informaes que esto
sendo enviadas para a receita.
Poderia ser elaborada uma senha ou coisa do gnero que desse mais segurana,
evitando os raques de internet ou a falsificao, de algum enviar um e-mail,
dizendo que da receita federal e, que precisa de seus dados para atualizao.
No h a certificao de que se est em uma rea segura, o que considero muito
importante j que estamos passando dados pessoais como CPF, titulo de eleitor,
e-mail. Deve ser implentamentada o quanto antes.
Explicitar melhor para o contribuinte de que as informaes passadas por ele
sero acessadas APENAS pela Receita Federal. E que a declarao via internet
plenamente confivel e segura.
62
O principal objetivo dos cookies identificar o usurio e preparar pginas web personalizadas.
174
Capacidade de resposta a dvidas e reclamaes
Quanto capacidade de resposta a dvidas e reclamaes, todos os portais avaliados pelos
especialistas implementam servio de comunicao direta com o usurio
- Fale conosco ,
oferecendo, inclusive, outros meios de atendimento auxiliar ao usurio. Vrias foram as crticas dos
usurios participantes da pesquisa (questionrio on-line) sobre o atendimento ao usurio, tanto nos
balces das agncias quanto por telefone ou Internet.
Deveria ter suporte por telefone pois as mensagens de erro no so explicadas.
Este e-mail que vocs tm, no funciona, pois enviei vrios e no consegui
respostas.
Maior agilidade no atendimento e esclarecimentos nas dvidas que muitas vezes
no so sanadas
Mais clareza em relao as informaes prestadas. Eu no consegui tirar as
minhas dvidas. Entrei na internet com apenas uma, e sa com vrias dvidas.
Nesta linha fica o meu protesto sobre a ouvidoria que tem mais de trs anos que
tenho uma reclamao onde at agora no deram qualquer resposta, e quando
ligo para o 0800 vem a mesma resposta est sendo analisado pela ouvidoria.
Apesar de 45% dos 2.419 respondentes do questionrio 2 no terem precisado tirar dvidas
(Grfico 28, p. 175) e 75% dos 2.086 respondentes do questionrio 1 terem esclarecido, nas prprias
pginas web, o que era preciso para usar o servio eletrnico (Grfico 29, p. 175), 22% dos 2.419
respondentes do questionrio 2 que utilizaram o servio de atendimento a dvidas ficaram de alguma
forma insatisfeitos (Grfico 30, p. 176).
175
Atendim ento a dvidas
0%
(total: 2419)
No resposta
8%
45%
11%
7%
5%
24%
5% 3%
9%
8%
14%
6%
0%
17%
58%
22%
5%
14%
5%
10%
20%
30%
14%
7%
15%
12%
40%
28%
59%
50%
60%
70%
80%
90%
100%
No respo sta
No se aplica
Disco rdo to talmente
Disco rdo mais do que co nco rdo
Co nco rdo mais do que disco rdo
Co nco rdo to talmente
Grfico 29 Atendimento a dvidas e tempo para completar o servio (Q1_4d e 4l; Q2_4k).
176
At que ponto voc ficou satisfeito ou insatisfeito com o atendim ento a
13%
dvidas?
(total: 2419)
14%
13%
No respo sta
M uito insatisfeito .
Insatisfeito .
34%
9%
17%
M uito satisfeito .
177
Grau de satisfao
Apesar do grau positivo de satisfao de 57% dos 4.505 usurios participantes da pesquisa
on-line (Grfico 31, p. 178), e do pleno atendimento s necessidades de 58% de 2.086 respondentes
(Grfico 32, p. 178), alguns deles expressaram sua insatisfao com o servio prestado via Internet e
seus desdobramentos no mundo real, talvez pela alta expectativa que tinham em relao ao padro
de qualidade do servio eletrnico (83% de 2.086 pessoas o consideraram bom e muito bom - Grfico
33, p. 179):
Aps efetuar o requerimento, tive que imprimir um documento e levar at uma
Agncia, ento no entendi porque efetuar o pedido via internet uma vez que teria
de ir at uma agncia para entregar a documentao, esperar na fila como todos
os outros, no receber um protocolo de entrega na agncia e o funcionrio
informar que o pedido ficaria parado aguardando pelo menos 30 dias.
Depois que fiz o requerimento pela Internet, fui ao posto para entregar o
requerimento impresso e os documentos. Tive que esperar 3 horas para ser
atendido, como todos os presentes. E ningum da agncia sabia como me
atender pelo fato de eu ter feito o requerimento pela Internet. O atendente
demorou cerca de 1 hora para me liberar e ainda disse que s a chefe dele
poderia autorizar o requerimento. Mas a chefe estava afastada do servio e no
poderia me garantir nada. O atendente me confessou que se eu tivesse feito o
requerimento direto com ele teria sido bem mais rpido. Gostaria de sugerir a
criao de um -caixa rpido- para receber os casos da Internet (que deveriam ser
rpidos).
Encontrei dificuldade para entregar os documentos na agncia em mg, pois nem
mesmo os funcionrios sabiam que procedimento tomar quando cheguei com o
requerimento da internet, eles ficaram confusos, e por no saberem o que fazer
recolheram os documentos e ficaram de resolver
Foi fcil acessar e requerer pela internet, mas o servidor que recebeu os
documentos foi negligente e no encaminhou os documentos. O procedimento
interno no foi eficiente. Se tivesse feito o pedido no balco da agncia o pedido
teria sido concedido. Neste caso a internet foi um complicador
Antes de usar este servio eu liguei no 0800 para saber se ele estava realmente
em funcionamento e que era confivel. Neste nmero fui informado que no
adiantava fazer pela internet pois este servio no funcionava.
178
Eu no fui atendida!!! Preenchi os dados corretamente e ficava dando erro como
se o nome da me do requerente estivesse incorreto!!! E no estava!! Mandei
email para reclamar e o endereo retornou! Um absurdo! Falta de respeito!
Querem que todos freqentem aquelas filas quilomtricas!
A nossa entidade uma entidade sindical, e ns fizemos a declarao de isentos
para mais de 500 pessoas, s que a pgina est no horrio comercial quase
sempre fora do ar. Temos que vir a noite para no deixar de prestar o servio.
Pediria que melhorem a pgina, ou que faam a declarao por estados. Ex. Do
dia 01 a 10 de novembro para o estado do RS.
21%
Grau de satisfao
3%
(total: 4505)
20%
No respo sta
M uito insatisfeito .
Insatisfeito .
Nem insatisfeito , nem satisfeito .
10%
Satisfeito .
M uito satisfeito .
36%
10%
21%
2%
58%
No respo sta
Sim, co nsegui tudo o que precisava.
Sim, co nsegui parte do que precisava.
No .
179
10%
No respo sta
M uito ruim.
Ruim.
B o m.
M uito bo m.
56%
esse acesso de
63
Apesar dos dados dos questionrios respondidos por usurios do Requerimento de penso por morte terem sido
desconsiderados nesta anlise, pela quantidade de respondentes estatisticamente pouco significativa, optou-se pela incluso
de algumas citaes de seus usurios que destacam aspectos positivos desse servio eletrnico.
180
acaba com filas, evita desgastes, vez que todas as exigncias j esto no sistema
e podem ser cumpridas antes de se iniciar o preenchimento do requerimento
(Requerimento de penso por morte).
Nenhum sugesto, a Declarao anual feita pela internet muito eficaz, pena que
tem gente que sempre deixa para a ltima hora, causando assim transtorno e
congestionamento no site da Receita Federal (Declarao Anual de Isento 2005).
Na pesquisa on-line, foi constatado ainda que 70% dos 2.086 respondentes do questionrio 1
tiveram suas necessidades atendidas e 74% dos 4.505 participantes da pesquisa consideram o meio
eletrnico mais conveniente dos que os outros canais de prestao do servio, o que j era esperado
(Grfico 34, p. 180).
3% 3%
9%
0%
10%
14%
4%
10%
9%
20%
4%
30%
22%
48%
10%
64%
40%
50%
60%
70%
80%
90%
100%
No respo sta
No se aplica
Disco rdo to talmente
Disco rdo mais do que co nco rdo
Co nco rdo mais do que disco rdo
Co nco rdo to talmente
181
dvidas e a no disponibilidade de alguns servios. Nessa mesma linha, a maioria dos respondentes
da pesquisa on-line consideraram o meio eletrnico mais fcil para encontrar o servio pblico
desejado, mais conveniente, mais rpido, mais fcil de acessar e usar, mais flexvel quanto ao horrio
de atendimento, conseqentemente, melhor do que os outros meios de prestao do mesmo servio,
porm 16% o consideraram mais difcil para tirar dvidas.
Opinio sobre o servio eletrnico (total: 4505 respondentes)
7%
5%
10%
12%
40%
8%
4%
10%
12%
38%
8%
4%
9%
17% 10%
10%
6%
11%
14%
38%
11%
8%
4%
7%
5%
16%
13%
29%
M enos seguro
7%
5%
16%
13%
29%
9%
9%
40%
6% 3%
9%
9%
41%
M enos rpido
7%
8%
8%
42%
Pior
9%
M enos convenient e
4%
3%
8%
8%
19% 10%
29%
20% 9%
21% 10%
M ais confivel
20% 10%
M ais seguro
20% 10%
M ais convenient e
21% 9%
M ais rpido
21% 10%
20% 10%
M elhor
40%
21% 10%
0%
10%
20%
30%
40%
50%
60%
70%
80%
0%
50%
No respo sta
No se aplica
182
(N=76)
2 5
25
5 2
17
28
20
4
20
24
No respost a
No respo sta
Secretaria-execut iva.
De fo rma centralizada
(N=76)
5 5
34
(N=76)
27
13
44
8
No respost a
47
31
Gest o
183
Sexo
Idade
(N=4505)
12%
10%
1%
6%
18-24 anos.
18%
Feminino.
43%
menos de 18
anos.
10%
No resposta
47%
29%
M asculino.
No resposta
25-34 anos.
35-49 anos.
50-64 anos.
24%
(N=4505)
16%
Grau de escolaridade
4%
2%
65 anos ou
mais.
No resposta
(N=4505)
10%
3%
4%
12%
19%
30%
Ps-graduao completo.
10%
(N=4505)
5%
10%
68%
No resposta
Sou iniciante.
Conheo um pouco, mas freqentemente preciso de ajuda quando uso computadores.
Conheo o suficiente para fazer o que preciso.
Sou especialista na rea de Informtica.
64%
16%
No resposta
Esta foi a primeira
vez.
Raramente.
At trs vezes por
semana.
M ais de trs vezes
por semana.
184
10%
20%
(N=4505)
30%
40%
50%
60%
No respost a
De casa.
Da escola.
Do t rabalho.
Da casa de amigos ou f amiliares.
De out ro pont o de acesso grat uit o (quiosques, t elecent ros).
De out ro pont o de acesso pago (lanchonet es, livrarias, cibercaf s).
(N=4505)
40%
No resposta
Uso pessoal.
Outras pessoas.
46%
17
Sudeste
Nordest e
25
Sul
87
Centro-Oeste
Norte
185
foram os com ensino superior completo, com boa habilidade no uso de computadores, e que utilizam
a Internet mais de trs vezes por semana. Dentre aqueles que apontaram a privacidade de dados
pessoais e a disponibilidade como as dimenses mais importantes na prestao de servios pblicos
eletrnicos, destacaram-se os especialistas na rea de Informtica com curso de ps-graduao
completo e que utillizam a Internet pelo menos trs vezes por semana. Valorizaram mais a dimenso
Usabilidade as pessoas menores de 18 anos e que estavam utilizando a Internet pela primeira vez.
186
como para a organizao e direcionamento da tarefa de avaliao, tanto do Programa Governo
Eletrnico, quanto dos servios pblicos selecionados. A anlise de grupo de interesse (stakeholder)
auxiliou na tarefa de identificao dos principais atores envolvidos, como fontes de informao para
esta pesquisa. A anlise SWOT e o diagrama de verificao de riscos, por sua vez, permitiram a
identificao dos pontos positivos e negativos do Programa e os riscos envolvidos, servindo, assim,
para a determinao do foco da avaliao. As matrizes de planejamento e achados propiciaram a
esquematizao das informaes relevantes para o planejamento da avaliao do Programa e dos
servios pblicos eletrnicos selecionados, assim como para a organizao de seus resultados. Por
fim, o painel de referncia, formado por especialistas, foi til na validao da estratgia metodolgica
escolhida. No houve qualquer dificuldade na aplicao de tais tcnicas ou ferramentas no suporte
identificao e organizao de todos os achados de auditoria.
5.6.3 Entrevista
Alm de propiciar a compreenso mais detalhada do contexto do Programa e dos servios
pblicos eletrnicos, a tcnica de entrevistas permitiu a avaliao do Programa E-Gov sob as
dimenses de eficcia, qualidade e articulao institucional, descritas no modelo de avaliao de
programas de governo eletrnico (item 3.5, p. 96), e dos servios pblicos eletrnicos selecionados,
sob as 10 dimenses do modelo de avaliao da satisfao (item 3.4, p. 90) de aplicaes
especficas. Os resultados de algumas entrevistas foram utilizados ainda como subsdios para a
elaborao de instrumento de coleta de dados quantitativo (questionrio para gestores de portais Apndice 9.11, p. 274). As dificuldades encontradas no uso desta tcnica relacionaram-se mais com
a interpretao subjetiva de seus resultados do que com a conduo propriamente dita da entrevista.
No caso das entrevistas telefnicas, alm do custo das ligaes e da tarefa exaustiva de transcries
das gravaes, houve ainda a dificuldade de disponibilidade de tempo do entrevistado, na data e
horrio da ligao telefnica, para responder s perguntas sobre os servios pblicos eletrnicos por
ele utilizados. Os achados de auditoria subsidiados por esta tcnica de coleta de dados,
exclusivamente ou corroborados por outras tcnicas, foram:
187
Desconhecimento, por parte dos gestores, do pblico-alvo dos servios eletrnicos, suas
necessidades e opinies sobre a qualidade desses servios;
188
Desconhecimento, por parte dos gestores, do pblico-alvo dos servios eletrnicos, suas
necessidades e opinies sobre a qualidade desses servios;
189
Desconhecimento, por parte dos gestores, do pblico-alvo dos servios eletrnicos, suas
necessidades e opinies sobre a qualidade desses servios;
5.6.6 Questionrio
A tcnica de questionrios auto-administrados foi empregada tanto com gestores de portais e
servios pblicos eletrnicos como com seus usurios, com intuito de confrontar vises distintas e
ainda confirmar ou refutar fatos observados a partir de outras tcnicas. Uma desvantagem desta
tcnica em relao s outras em que h contato presencial entre o pesquisador e os pesquisados a
necessidade de pr-testes para reduzir, ao mximo, os erros de preenchimento por m interpretao
das perguntas. Na montagem do questionrio on-line e na anlise de algumas respostas, foi preciso
contar com suporte de especialista no software utilizado. Entretanto, no houve qualquer contratempo
quanto disponibilidade dos questionrios on-line durante o perodo da pesquisa, provavelmente pela
boa infra-estrutura de TI empregada, assim como no houve qualquer resistncia, por parte dos
gestores das instituies selecionadas, em ter seus servios avaliados por meio de pesquisas de
satisfao on-line. Um dos gestores chegou a sugerir que todos os servios transacionais disponveis
em seu portal fizessem parte da pesquisa.
Como o cadastro fornecido pela coordenao do Programa estava desatualizado, houve
certa dificuldade no contato via correio eletrnico com os gestores de portais da APF, para envio do
link para acesso ao questionrio. Por no haver quantidade expressiva de gestores cadastrados, no
foi possvel subdividir o longo questionrio a eles encaminhado, tal como aconteceu com os
questionrios dirigidos aos usurios dos servios pblicos eletrnicos selecionados. O fato de ter sido
longo, por tentar explorar tantos assuntos, talvez tenha desestimulado os gestores a responderem ao
190
questionrio. Em aplicaes futuras desse instrumento, aconselha-se a reduo dos assuntos
investigados para que a quantidade de perguntas seja reduzida.
A subdiviso dos questionrios da pesquisa de satisfao, por sua vez, foi uma deciso
acertada apesar de ter feito com que a quantidade de respondentes fosse diferente, dependendo se a
pergunta constava do questionrio 1 (2.086 respondentes) ou do questionrio 2 (2.419
respondentes), o que se refletiu na construo dos grficos e, conseqentemente, na sua anlise. As
perguntas comuns aos dois questionrios foram respondidas por 4.505 usurios.
Uma das desvantagens da pesquisa on-line, sem cadastro predeterminado para definio da
amostra, que sua taxa de resposta impossvel de ser calculada da forma habitual, pois no fica
claro quantos indivduos poderiam ter respondido ao questionrio, mas no o fizeram. Nesta pesquisa
considerou-se que o recebimento de mais de 384 questionrios respondidos para cada servio seria
suficiente para representar a populao de possveis respondentes desses servios, com base na
frmula de clculo de tamanho da amostra, para populaes de 1 milho de pessoas ou mais, com
nvel de confiana de 95%, erro de amostragem de +/- 5%, com proporo de 50/50 do universo em
questes com duas opes de resposta (Dillman, 2000, p. 206). No caso dos servios Salriomaternidade e Penso por morte, no foi considerada significativa a quantidade de questionrios
respondidos (abaixo de 384 - Quadro 4, p. 117), razo pela qual os dados obtidos a partir desta
tcnica no foram analisados para tais servios.
Os usurios dos demais servios (4.505 pessoas) receberam muito bem o questionrio online, aproveitando a oportunidade para se comunicar com o gestor, por meio de sugestes, elogios e
crticas, inclusive ao processo de prestao do servio fora do ambiente eletrnico. Utilizaram o
espao aberto para sugestes e crticas, 20% dos respondentes (905 pessoas), e 51% (2.301
pessoas) forneceram seus dados para participar de entrevistas telefnicas.
Na anlise dos grficos referentes s perguntas de ambos levantamentos, com gestores e
usurios, observou-se que, em algumas ocasies, o percentual de no resposta e no se aplica foi
relativamente alto, principalmente quando o participante parecia no conhecer o que estava sendo
perguntado (por exemplo, Sistema de Inventrio de Stios - Grfico 7, p. 142, e atendimento a normas
ou recomendaes do Programa - Grfico 24, p. 163), ou quando a situao provavelmente no tinha
191
ocorrido com ele (por exemplo, dificuldades no uso de servios eletrnicos - Grfico 20, p. 160, e
solicitao de ajuda no caso de problemas - Grfico 29, p. 175). Entretanto, a anlise dos motivos
que levaram o participante a no marcar uma resposta ou marcar no se aplica especulativa, j
que o pesquisador no teve oportunidade de esclarecer pessoalmente, ou por telefone, os
verdadeiros motivos. Essa outra desvantagem do questionrio respondido sem a presena do
pesquisador.
Vrios respondentes da pesquisa on-line (2.301 pessoas, 51% do total) se prontificaram a
participar de entrevistas por telefone para esclarecer melhor seus pontos de vista. Os participantes
dos grupos focais de gestores de portais e servios da APF tambm foram selecionados a partir de
dados fornecidos no questionrio, cujo link foi enviado por correio eletrnico aos gestores
previamente cadastrados. O questionrio foi, portanto, um meio utilizado pelo pesquisador para
recrutar participantes para outras tcnicas de coleta de dados. Na avaliao do Programa E-Gov, os
achados de auditoria subsidiados pelos questionrios, exclusivamente ou corroborados por outras
tcnicas, foram:
Desconhecimento, por parte dos gestores, do pblico-alvo dos servios eletrnicos, suas
necessidades e opinies sobre a qualidade desses servios;
192
mencionado no item 5.6.2 (p. 185), as ferramentas de anlise e controle de qualidade de avaliao de
programas percorreram todos os achados.
As entrevistas, os grupos focais e os questionrios, por sua vez, contriburam para a
identificao de quase todos os achados enquanto a pesquisa documental e a avaliao heurstica
(incluindo os testes de interface) foram mais significativas em determinados temas. De uma maneira
geral, os achados foram subsidiados por mais de uma tcnica, o que demonstra um ponto forte do
Questionrio
Grupo focal
Entrevista
Pesquisa documental
mtodo proposto.
Governo Eletrnico
Enfraquecimento
das
instncias
de
discusso
na
implementao
de
servios
Questionrio
Grupo focal
Entrevista
Pesquisa documental
193
coordenao do Programa
Ausncia de indicadores de desempenho para o
Programa
Divulgao deficiente de boas prticas de governo
de
monitoramento
avaliao
Desconhecimento, por parte dos gestores, do pblicoalvo dos servios eletrnicos, suas necessidades e
opinies sobre a qualidade desses servios
Baixa
porcentagem
de
servios
transacionais,
de
recomendaes
propostas
nos
195
a 87,0%, dependendo da dimenso. As colunas de moda e mediana tambm apontam para a mesma
concluso de avaliao positiva da qualidade em todas as dimenses (pontos 3 e 4 da escala).
Dimenses
Questes
64
Escala Mdia DP
65
Moda Mediana
Mdia
escala
100 (%)
Convenincia
Q1_4h e Q2_4j
1a4
3,48 0,98
87,0
Usabilidade
Q2_4c, 4f e 4g
1a4
3,46 0,90
86,5
Facilidade de localizao do
portal web da instituio
Q2_4a e 4b
1a4
3,45 0,91
86,3
Facilidade de localizao do
servio e-gov
Q1_4b
1a4
3,36 0,97
84,0
Q1_4f, Q2_4d e 4e
1a4
3,36 1,03
84,0
Q1_4i
1a4
3,29 1,12
82,3
Capacidade de resposta a
dvidas e reclamaes
Q1_4d e Q2_4k
1a4
3,15 1,10
78,8
Adequao do servio s
necessidades pessoais
Q1_4a
1a4
3,10 1,10
77,5
Disponibilidade
Q1_4e
1a4
2,96 1,18
74,0
Q1_4c, Q2_4h e 4i
1a4
2,95 1,21
73,8
Q1_4g
1a4
2,66 1,21
66,5
Acessibilidade
Tempo de atendimento
Confiabilidade
Privacidade
de
dados
pessoais e segurana de
informaes
64
65
Desvio padro.
196
gestores dos servios avaliados, pois so aquelas consideradas importantes pelos usurios porm
por eles percebidas como de qualidade abaixo da mdia das dimenses (linha 3,3).
Qualidade percebida
4,0
Facilidade de
localizao do
portal web da
instituio
Usabilidade
Acessibilidade
3,3
Facilidade de
localizao do
servio e-gov
Tempo de
atendimento
Capacidade de
resposta a dvidas
e reclamaes
Disponibilidade
Confiabilidade
2,6
Im portncia
197
Confiabilidade
(56%),
Disponibilidade
(50%)
Acessibilidade
(49%).
No
caso
da
Disponibilidade, vale ressaltar que os cinco servios pontuaram da mesma forma (desvio padro =
0%) e que, no Grfico 49 (p. 197), a nica dimenso que se encontra no quadrante de alta
importncia e percentual de atendimento abaixo da mdia das dimenses (linha 69%).
85%
Usabilidade
Padro atendido
Capacidade de
resposta a dvidas
e reclamaes
69%
65%
Facilidade de
localizao
do servio egov
Facilidade de
localizao
do portal
web da
instituio
Tempo de
atendimento
Confiabilidade
Disponibilidade
Acessibilidade
45%
Im portncia
Grfico 49 Relao entre mdia dos padres atendidos e importncia das dimenses.
Dimenses
Escala
Mdia
DP
Usabilidade
Sim ou no
83%
3%
Sim ou no
83%
14%
Facilidade
instituio
Sim ou no
80%
0%
Sim ou no
75%
12%
Tempo de atendimento
Sim ou no
75%
25%
Sim ou no
73%
28%
Confiabilidade
Sim ou no
56%
10%
Disponibilidade
Sim ou no
50%
0%
Acessibilidade
Sim ou no
49%
7%
de
localizao
do
portal
web
da
198
Ao comparar o Quadro 9 (p. 195) com o Quadro 10 (p. 197), observa-se que, excluindo a
dimenso Convenincia, que no constou da avaliao heurstica, a dimenso Usabilidade foi a
que demonstrou maior grau de qualidade aos usurios (86,5%), e maior mdia de atendimento aos
padres (83%). Outras dimenses que obtiveram pontuaes positivas em ambas avaliaes foram
Capacidade de resposta a dvidas e reclamaes, Facilidade de localizao do portal web da
instituio, Facilidade de localizao do servio e-gov e Tempo de atendimento.
As dimenses Confiabilidade e Disponibilidade foram as que receberam avaliaes menos
positivas em ambas as avaliaes. Entretanto, essa correlao entre qualidade percebida e
atendimento a padres no foi observada nas dimenses Acessibilidade e Privacidade de dados
pessoais e segurana de informaes. Apesar da mdia de atendimento aos padres de
acessibilidade ter sido abaixo de 50% (Quadro 10, p. 197), os usurios pesquisados avaliaram bem
essa dimenso (84,0% - Quadro 9, p. 195). Pode-se especular que no havia, entre os participantes,
pessoas com limitaes fsicas ou tecnolgicas que so as mais prejudicadas pela negligncia dos
projetistas de pginas web quanto acessibilidade de seu contedo. Porm, tal justificativa seria
mera especulao, pois no foi includa, no questionrio, pergunta sobre esse aspecto do perfil dos
usurios. Em situao oposta est a dimenso Privacidade de dados pessoais e segurana de
informaes. Apesar dos esforos das instituies selecionadas em relao segurana de
informaes (73% de padres atendidos - Quadro 10, p. 197), os usurios pesquisados ficaram
preocupados com esse aspecto ao se comunicarem, por meio da Internet, com essas instituies
prestadoras de servios pblicos (66,5% - Quadro 9, p. 195).
O Quadro 11 (p. 199) apresenta as medidas de tendncia central e disperso para as
dimenses relacionadas com o construto Valor percebido. Em termos intervalares, as escalas foram
as mesmas (de 1 a 5), diferindo apenas nos adjetivos usados para ancorar seus extremos. Assim
como ocorreu com a avaliao da qualidade percebida pelos usurios, todas as dimenses, na
comparao dos servios eletrnicos com os outros canais de atendimento, ficaram acima do ponto
mdio da escala, variando de 72,4% a 82,0%. Os valores das colunas de moda e mediana tambm
foram altos, atingindo, em quase todas as dimenses, o limite superior da escala. Nessa pergunta de
comparao com os outros canais de prestao dos mesmos servios, no constaram as dimenses
199
Facilidade de localizao do portal web da instituio e Adequao do servio s necessidades
pessoais e foi acrescentada a avaliao geral da qualidade.
Dimenses
Convenincia
Questes
Escala
DP
Moda Med.
66
Mdia
escala
100 (%)
4,10 1,309
82,0
4,07 1,368
81,4
4,01 1,414
80,2
Facilidade
localizao
servio e-gov
3,98 1,360
79,6
Disponibilidade
3,97 1,410
79,4
Usabilidade
3,97 1,373
79,4
Acessibilidade
3,90 1,399
78,0
Confiabilidade
Q1 = Q2 5f 1 Menos confivel at
5 Mais confivel
3,74 1,334
74,8
Privacidade
de Q1 = Q2 5g 1 Menos seguro at
dados pessoais e
5 Mais seguro
segurana
de
informaes
3,74 1,326
74,8
Capacidade
de Q1 = Q2 5i 1 Mais difcil para tirar
resposta a dvidas
dvidas at
e reclamaes
5 Mais fcil para tirar dvidas
3,62 1,451
72,4
Tempo
atendimento
Q1 = Q2 5h 1 Menos conveniente at
5 Mais conveniente
Mdia
de Q1 = Q2 5d 1 Menos rpido at
5 Mais rpido
66
Mediana.
200
os usurios consideraram o servio via Internet melhor do que o prestado por outros canais
(Avaliao geral da qualidade = 80,1%).
Ao confrontar o Grfico 48 (p. 196) - Qualidade percebida - com o Grfico 50 (p. 200)
Valor percebido, pode-se dizer que as dimenses relacionadas privacidade, disponibilidade e
tempo de atendimento, quando se compara o meio eletrnico com os outros canais, melhoram um
pouco sua avaliao perante aos usurios, mas ainda assim deveriam ser consideradas com mais
ateno pelos gestores dos servios.
Valor percebido
4,4
Usabilidade
Facilidade de
localizao
do servio egov
Tempo de
atendimento
Disponibilidade
4,0
3,9
Acessibilidade
Privacidade de dados pessoais
e segurana de informao
Confiabilidade
Capacidade de
resposta a dvidas
e reclamaes
3,5
Im portncia
201
Construtos
Questes
Escala
Mdia
at
DP
3,06 0,76
Moda Med.
Mdia
escala
100 (%)
Expectativas
Q1_3
(padres esperados)
1 Muito ruim
4 Muito bom
76,5
Sim ou no
69,0 11,0
1 Discordo totalmente
4 Concordo totalmente
3,26 0,56
81,5
1 a 5
ancorada
extremos
bipolar
nos
3,99 1,12
79,8
1 Muito insatisfeito at
5 Muito satisfeito
3,20 1,49
64,0
69,0
(p. 195)
Valor percebido
Quadro 11
(p. 199)
Satisfao geral
Q1_2 = Q2_1
Quest_2
Quest_1
Itens sobre
Alfa de Cronbach
Qualidade percebida
0,846
Valor percebido
0,946
Qualidade percebida
0,880
Valor percebido
0,951
0,903
0,936
202
dimenses Privacidade de dados e segurana de informaes e Confiabilidade do construto Valor
percebido apresentam correlao considerada muito alta pelo mesmo autor (entre 0,8 e 1).
Construto
Dimenses
Coef. de correlao
(Spearman - )
Qualidade
Adequao
do
percebida
necessidades pessoais
Valor
Privacidade
percebido
segurana de informaes
de
servio
dados
s Tempo de atendimento
e Confiabilidade
0,711
0,883
203
Valores (
)
Qualidade percebida
Usabilidade
0,237
Acessibilidade
0,215
Confiabilidade
0,198
0,155
Valor percebido
Tempo de atendimento
0,125
0,125
0,123
Acessibilidade
0,123
Quadro 15 Dimenses mais significativas da equao de regresso mltipla para ambos construtos.
Os coeficientes de correlao no paramtrica ordinal de Spearman () entre itens
relacionados a construtos diferentes do modelo de avaliao da satisfao (item 3.4, p. 90) variaram
de 0,067 a + 0,376 (faixa de correlao de muito baixa a baixa, segundo Bisquerra et al., 2004), o
que demonstra validade discriminante dos construtos medidos pelos questionrios de satisfao online, ou seja, tais construtos so suficientemente diferentes entre si.
O Quadro 16 (p. 204) apresenta as relaes da Satisfao geral com outros construtos do
2
modelo de avaliao da satisfao (item 3.4, p. 90), os valores , t e R ajustado, obtidos a partir de
regresso mltipla. De acordo com esses resultados, os construtos Qualidade percebida e
Expectativa se mostram estatisticamente significativos na determinao da Satisfao geral, pois
os pesos () das relaes apresentam t > 1,98 (valor tabelado com nvel de significncia de 0,05 e
com 97 graus de liberdade Hair et al., 2005). O construto Valor percebido foi excludo da equao
2
de regresso (t < 1,98), razo pela qual no foi calculado o valor de R ajustado correspondente.
Como o foco da questo de pesquisa so as relaes determinantes da satisfao, j representadas
neste quadro, as relaes intermedirias entre Expectativas, Qualidade percebida e Valor
percebido no foram consideradas relevantes para discusso.
204
Analisando os valores de , pode-se interpretar que satisfao apresentou vnculo mais forte
com a qualidade (= 0,223), isto , quanto maior a percepo de qualidade, maior a satisfao. O
coeficiente entre os construtos Expectativa e Satisfao geral apresentou o valor de 0,092,
indicando um relacionamento conseqencial positivo, porm relativamente baixo. Ao analisar a matriz
de correlao entre os construtos Qualidade percebida e Valor percebido, notou-se certa
correlao entre ambos ( = 0,4), fato que provavelmente fez com que a contribuio do Valor
percebido na equao de regresso para previso da satisfao fosse desprezvel frente
contribuio da Qualidade percebida, j includa na equao. Tomando agora os valores do R
ajustado, observa-se que a Qualidade percebida capaz de explicar 54% da variao total da
Satisfao geral e que, junto com a Expectativa, consegue explicar 61% da variao desse
2
Valores (
)
Valores (t)
Valores
(R2 ajustado)
0,223
7,328
0,54
0,092
3,001
0,07
0,058
1,742
proposto (SG = 0,710 + 0,596 QP + 0,179 Expec ), derivada do conjunto de questes sobre
expectativa, qualidade percebida e valor percebido, antecedentes da satisfao, igual a 3,201,
portanto comparvel satisfao geral medida a partir de pergunta especfica (SG = 3,20 - Quadro
12, p. 201), o que demonstra validade convergente
68
desse construto.
Com intuito de confirmar a classificao prvia das questes nas dimenses e construtos,
feita com base na literatura pesquisada e na experincia do pesquisador, e melhorar ainda mais a
previso da Satisfao geral, optou-se por realizar anlise fatorial, com componentes principais e
67
68
Correlao significativa entre duas medidas do mesmo construto, realizada com mtodos diferentes.
205
rotao Varimax, das questes de ambos questionrios de satisfao. Nessa anlise, confirmou-se a
existncia de trs construtos antecedentes da satisfao, coincidentes com os propostos, porm
identificou-se distribuio semelhante, em dois fatores, de cargas fatoriais altas em trs itens (sobre
disponibilidade, confiabilidade e acessibilidade, associados Qualidade percebida). Alm disso,
observou-se baixa comunalidade (0,4) da questo especfica sobre insatisfao ou satisfao com o
servio. Por esse motivo, e tambm pelo fato de que a satisfao geral pode ser prevista pela anlise
de seus construtos antecedentes, decidiu-se eliminar essas quatro questes e realizar nova
regresso mltipla, cujos resultados esto apresentados no Quadro 17. Observa-se que o poder de
explicao da Qualidade percebida em relao variao total da Satisfao geral aumentou para
67%, e que, junto com a Expectativa, consegue explicar 74% da variao desse construto. Com a
retirada da questo especfica sobre satisfao e o resultado dessa ltima regresso, deduz-se que
no necessrio perguntar aos usurios se esto insatisfeitos ou satisfeitos com os servios e-gov;
basta analisar, principalmente, as respostas ao conjunto de perguntas sobre qualidade,
complementadas pelas respostas s perguntas sobre os padres de qualidade esperados. Em
aplicaes futuras dos questionrios on-line, sugere-se, ento, eliminar as questes Q1_4e
(disponibilidade), Q1_4f (acessibilidade) e Q2_4i (confiabilidade), alm das questes Q1_2 = Q2_1
sobre satisfao. Se a inteno for determinar o grau de satisfao dos usurios dos servios e-gov,
sem se preocupar especificamente com a comparao com outros canais de prestao dos servios,
possvel tambm eliminar a questo 5 de ambos os questionrios, que trata do Valor percebido,
sem comprometer o poder de explicao da Satisfao geral a partir dos outros construtos.
Construtos
Valores (
)
Valores (t)
Valores
(R2
2 ajustado)
0,250
8,240
0,67
0,089
2,954
0,07
0,031
0,909
206
leva percepo de qualidade, por depender da dimenso avaliada, tirada a partir da comparao
entre o Quadro 9 (p. 195) e o Quadro 10 (p. 197), e dado que Qualidade percebida e Satisfao
geral indicaram correlao positiva na anlise estatstica desses dois construtos (Quadro 16, p. 204),
o construto Satisfao geral pode ou no apresentar a mesma tendncia positiva ou negativa do
construto Padro de qualidade atendido. Portanto, a resposta questo de pesquisa H relao
direta entre o atendimento aos padres de qualidade adotados e a satisfao do cidado-cliente com
os servios de governo eletrnico? dependente da dimenso, j que tal relao pode ocorrer em
algumas dimenses e em outras no.
207
6 Discusso e concluses
Neste captulo so comentadas as concluses desta tese, em relao s questes e
problema de pesquisa. So tambm apresentadas as contribuies tericas e prticas deste estudo,
assim como suas limitaes e sugestes para pesquisas futuras.
208
Em termos de enfoque de avaliao, o estudo que mais se aproximou desta pesquisa foi a
avaliao do GOL (Government On-Line), do governo canadense, em 2001, a qual no mediu
atividades e processos internos, nem resultados sociais do programa, mas enfocou, como nesta
pesquisa, os resultados, e as sadas necessrias para atingir esses resultados, sob a tica do cliente
(item 2.2.6.4, p. 40). As dimenses sob avaliao, entretanto, diferiram um pouco, j que o estudo
canadense se limitou a avaliar capacidade de resposta rpida a dvidas e reclamaes,
convenincia, usabilidade, segurana e privacidade, sem se preocupar tambm com a facilidade de
localizao do portal web, facilidade de localizao do servio, acessibilidade, disponibilidade,
confiabilidade, e tempo de atendimento, dimenses que constaram desta pesquisa (item 3.4, p. 90).
J o estudo Top of the Web (Europe - Directorate General Information Society, 2003) usou, como
indicadores, satisfao geral, usabilidade, uso dos servios on-line e benefcios, subdivididos em
outros indicadores que, em alguns casos, coincidiram com dimenses desta pesquisa (item 3.4, p.
90).
209
Outros trabalhos com enfoque semelhante ao desta pesquisa, no que diz respeito avaliao
do Programa E-Gov e das tcnicas de monitoramento e avaliao utilizadas tanto pelos gestores do
Programa quanto pelas agncias prestadoras de servios, foram as auditorias realizadas pelo ANAO
(Australia - Australian National Audit Office, 2003/2004; 2004/2005), que adotaram, como principais
tcnicas de coleta de dados, pesquisa documental, entrevistas, grupo focal e frum de debates.
Alguns achados dessas auditorias foram semelhantes aos encontrados por esta pesquisa, como por
exemplo, inexistncia ou insuficincia de monitoramento e avaliao por parte da coordenao do
Programa e dos gestores de portais e servios e-gov, e ausncia de indicadores de desempenho
(itens 5.2.1, p. 134 e 5.4, p. 154). O relatrio da Organization for Economic Co-operation and
Development (OECD, 2003) tambm aponta a falta de monitoramento e avaliao como uma das
fraquezas dos programas e-gov de seus pases-membro. V-se que a falta de preocupao dos
gestores pblicos com a avaliao do e-gov no prerrogativa brasileira.
O conjunto de tcnicas que comps o mtodo de avaliao, proposto no item 4.2.2 (p. 109) e
descrito no item 4.3 (p. 110), englobou, alm do grupo focal e da avaliao heurstica, vrias das
tcnicas e ferramentas de coleta, anlise de dados e de controle de qualidade geralmente utilizadas
em avaliaes de programa, apresentadas na reviso de literatura (item 2.4, p. 69), e comentadas na
anlise de dados (item 5.6, p. 185): pesquisa documental, entrevista (inclusive por telefone),
levantamento (survey), anlise de grupo de interesse, anlise SWOT, diagrama de verificao de
risco, matriz de planejamento, matriz de achados e painel de referncia. Em relao s tcnicas
utilizadas nesta pesquisa, pode-se destacar os seguintes pontos:
A tcnica de entrevistas por telefone, nica tcnica usada para coletar informaes junto
a usurios no clculo do ndice ACSI (item 2.3.5.2.2, p. 67), que incluiu a avaliao de
portais web do governo eletrnico americano, pela primeira vez, em 2002, foi uma entre
vrias tcnicas utilizadas por esta pesquisa, propiciando, assim, triangulao de
210
resultados (item 5.6.7, p. 191) e, conseqentemente, maior validade. No estudo de
validao do modelo ACSI no mbito do setor de telefonia mvel brasileiro (Moura &
Gonalves, 2005), a tcnica de entrevista por telefone, tambm a nica tcnica adotada,
foi diferente da aplicada nesta pesquisa por ter empregado sistema de entrevista por
telefone assistida por computador, que, sob o ponto de vista dos prprios pesquisadores,
pode ter incorporado vis do entrevistador e, assim, influenciado a qualidade dos dados.
O uso de grupos focais nesta pesquisa teve como inteno provocar o confronto de
opinies, percepes, sentimentos, atitudes e idias dos participantes. Os gestores de
portais da APF que integraram trs grupos focais, como comentado no item 5.6.5 (p.
188), receberam muito bem a tcnica a ponto de se expressarem naturalmente,
aparentemente sem reservas, aproveitando a oportunidade para trocar experincias entre
si. Muitos saram dali com a inteno de entrar em contato com outros participantes para
estender a discusso aps a entrevista em grupo. Observou-se que o esforo combinado
do grupo produziu mais informaes, e com maior riqueza de detalhes, do que o
somatrio das respostas individuais, concordando, assim, com a afirmativa de Johnson
(1994) de que os usurios dessa tcnica partem do pressuposto de que a energia gerada
pelo grupo resulta em maior diversidade e profundidade de respostas.
A pesquisa de satisfao adotada neste estudo, realizada com 4.505 usurios de servios e-gov
brasileiros, por sua alta taxa de resposta, comentada no item 5.6.6 (p. 189), contrariou o que a
literatura afirma sobre baixas taxas de resposta em pesquisas na Internet (item 4.3.1.1, p. 112).
Na anlise da qualidade de artigos da rea de Marketing no Brasil, feito por Froemming et al.
211
(2000), identificou-se que o instrumento de coleta de dados mais utilizado era o questionrio
aplicado (39,52%), enquanto que o questionrio eletrnico, quela poca, era pouco utilizado no
Brasil (3,23%). Os motivos que levaram os usurios dos servios e-gov a participarem desta
pesquisa talvez tenha sido a carncia de canais de comunicao do governo com os cidados
que viram, na pesquisa, uma oportunidade para reivindicar, reclamar, elogiar; talvez tenha sido a
facilidade e rapidez que o questionrio de satisfao on-line lhes proporcionou de expressar suas
opinies sobre servios do governo, visando sua melhoria, fazendo com que se sentissem
prestigiados por estarem sendo ouvidos (senso de incluso e importncia).
O fato de parte desta pesquisa ter sido apoiada pelo Tribunal de Contas da Unio pode
ter lhe conferido maior seriedade, aos olhos da coordenao do Programa, dos gestores
de portais, e dos usurios dos servios pblicos eletrnicos avaliados, influenciando
positivamente sua predisposio e compromisso no fornecimento de dados e na
participao nas entrevistas individuais, grupos focais e levantamentos (questionrios).
212
documento brasileiro Padres de qualidade do atendimento ao cidado: estabelecendo
padres de qualidade do atendimento (Brasil MP, 2000) de monitorar sistematicamente
o desempenho das instituies governamentais em relao a padres, a partir de, por
exemplo, levantamento da opinio dos usurios por meio de pesquisas de satisfao e
entrevistas (item 2.3.5.1, p. 62), alm de ter considerado a afirmao de Zeithaml et al.
(1990), apresentada no item 2.3.3 (p. 46), de que apenas os consumidores podem julgar
a qualidade; todos os demais julgamentos so irrelevantes. Apesar de existir norma
brasileira que determina a realizao de avaliao de satisfao do usurio, pelo menos
anualmente (item 2.3.3.2, p. 51), os resultados desta pesquisa indicaram que este no
um procedimento usual na Administrao Pblica Federal (item 5.4, p. 154).
O grau de triangulao das tcnicas utilizadas nesta pesquisa foi expressivo (item 5.6.7,
p. 191), tanto que as ferramentas de anlise e controle de qualidade de avaliao de
programas percorreram todos os achados de auditoria em aes do Programa E-Gov,
enquanto que as entrevistas, os grupos focais e os questionrios contriburam para a
identificao de quase todos eles. A pesquisa documental e a avaliao heurstica
(incluindo os testes de interface) foram mais significativas em determinados temas. De
uma maneira geral, os achados foram subsidiados por mais de uma tcnica, o que
demonstra um ponto forte do mtodo de avaliao proposto.
213
pesquisa utilizou, alm desses, outros tipos de anlise estatstica de dados, tais como
moda, mediana, desvio padro, correlao, regresso mltipla, cruzamento de variveis e
fatorial (item 5.7, p. 194).
a elaborao da lista de verificao para portais e servios e-gov (Apndice 9.5, p. 248);
214
mais acessvel e amigvel seja maior quando seu desenvolvimento pautado em padres de
qualidade derivados de consultas a seus usurios. Em relao aos resultados desta parte da
pesquisa, pode-se destacar os seguintes pontos:
A relao do Valor percebido com a Satisfao geral nesses dois estudos brasileiros
foi menor do que entre Qualidade percebida e Satisfao geral, porm mais
significativo do que nesta pesquisa, provavelmente por tratarem de custos de produtos e
no comparaes com outras formas de prestao de servios, com as mesmas
dimenses avaliadas no construto Qualidade percebida, tal como foi feito nesta
pesquisa (item 5.7, p. 194). Quanto relao entre os construtos Expectativas
Satisfao geral, o resultado desta pesquisa ( = 0,089 - Quadro 17, p. 205) foi
praticamente igual ao do estudo de Urdan & Rodrigues ( = 0,06), o que demonstra que
as expectativas dos usurios no influenciam tanto a satisfao quanto a percepo da
qualidade do servio.
215
demonstram validade nomolgica dos construtos que o compem, complementando,
assim, os testes de confiabilidade e validades convergente e discriminante mencionados
anteriormente (item 6.1.1, p. 208).
216
com a privacidade e a segurana corrobora a afirmao de Shneiderman (2000) de que aumentar a
percepo dos usurios quanto segurana e privacidade de informaes, e inspirar sua confiana
so fatos decisivos para a sustentao do comrcio e governo eletrnicos.
Por outro lado, esta pesquisa diferiu da pesquisa canadense de 2000 por ter identificado a
privacidade e segurana, a disponibilidade e o tempo de atendimento como dimenses mais
importantes (item 5.7, p. 194), enquanto que o estudo canadense destacou aspectos ligados
usabilidade e rapidez (item 2.3.4.2, p. 58). A economia de tempo e a convenincia de escolha do
canal de comunicao com o governo, identificadas como os principais benefcios dos servios e-gov,
em relao aos outros canais, nos estudos Top of the Web (Europe - Directorate General Information
Society, 2003) e da Momentum Research Group (2000), tambm foram bem cotadas nesta pesquisa
(Quadro 11, p. 199).
Por meio de cruzamentos de variveis, observou-se que os usurios que mais valorizaram a
prestao de servios pblicos via internet, em comparao com os outros canais de atendimento,
foram os com ensino superior completo, com boa habilidade no uso de computadores, e que utilizam
a Internet mais de trs vezes por semana. Dentre aqueles que apontaram a privacidade de dados
pessoais e a disponibilidade como as dimenses mais importantes na prestao de servios pblicos
eletrnicos, destacaram-se os especialistas na rea de informtica com curso de ps-graduao
completo e que utillizam a Internet pelo menos trs vezes por semana. Valorizaram mais a dimenso
Usabilidade as pessoas menores de 18 anos e que estavam utilizando a Internet pela primeira vez.
Em relao hiptese de oposio formulada por Saracevic (2005, p. 9) no contexto de
bibliotecas digitais, de que no uso, usurios e bibliotecas digitais, se encontram, com mais
freqncia, em posies antagnicas, esta pesquisa, ao confrontar as respostas dos gestores e dos
clientes dos servios ao mesmo questionrio, evidenciou que gestores e clientes tiveram opinies
diferentes quanto ao grau de importncia das dimenses sob avaliao, provavelmente pelos
gestores no conhecerem as necessidades e expectativas de seus clientes, j que no so usuais as
tcnicas de prospeco junto aos usurios (item 5.4, p. 154). provvel que a aplicao mais
freqente de pesquisas de satisfao, anlise de demanda (expectativas, necessidades) e anlise de
reclamaes, sugestes e crticas diminua as diferenas de opinio ou percepo entre gestores e
clientes de servios e-gov.
217
A carncia de estudos oferta x demanda previamente implementao de servios pblicos
eletrnicos e de monitoramento contnuo e avaliao, alm do parmetro quantidade de acessos,
so as causas mais provveis do desconhecimento do pblico-alvo por parte dos gestores de portais
e servios pblicos eletrnicos. Tal fato pode levar implementao de servios que no atendem s
necessidades e expectativas do pblico-alvo, e sob o ponto de vista administrativo, implementao
de servios sem que se saiba, previamente, se a demanda justifica seus custos.
Compreender quo importantes so as caractersticas da prestao do servio para seus
clientes ajuda a organizao a escolher reas de melhoria que sejam significativas para eles. As
caractersticas da prestao de servios com menores ndices de satisfao (as maiores lacunas) no
sero necessariamente aquelas eleitas pelos clientes como prioritrias para melhoria, como
comentado no item 5.7 (p. 194), e verificado no estudo de Henrique (2001). Dados sobre a
importncia, combinados com avaliaes de satisfao, fornecem, organizao, informaes para a
tomada de deciso (Grfico 48, p. 196 - Grfico 49, p. 197 - Grfico 50, p. 200). Se a organizao
medir apenas os nveis de satisfao e priorizar suas aes com base nos ndices mais baixos de
satisfao, seus esforos para melhoria de desempenho podero ser em vo se as dimenses
escolhidas tiverem pouca importncia para os cidados-clientes.
Em relao s dimenses que proporcionaram mais satisfao, esta pesquisa coincidiu com a
pesquisa de Gomez et al. (2004), ao apontar a usabilidade da interface com as maiores mdias de
qualidade percebida, porm diferiu quanto mdia atingida pela dimenso Confiabilidade (Quadro
9, p. 195). No estudo de Gomez et al. (2004), a confiabilidade obteve grau elevado de qualidade,
enquanto que, nesta pesquisa, tal fato no ocorreu.
Na verdade, no h como haver congruncia entre estudos diversos, em relao s
dimenses mais importantes ou de melhores mdias de satisfao, pois elas dependem diretamente
do tipo de servio avaliado, da imagem que a instituio prestadora do servio tem junto a seus
clientes, entre outros aspectos. Por exemplo, a habilidade dos usurios dos servios e-gov desta
pesquisa, assim como nos estudos de Gomez et al. (2004) e Zeithaml et al. (2002), afetou a
satisfao com a qualidade do servio (item 5.5, p. 182). As organizaes alcanaro maiores
benefcios se identificarem, por meio de consultas aos usurios, como os questionrios de satisfao
218
desta pesquisa, as dimenses mais importantes para os servios que presta e para os clientes que
atende.
Na dimenso Usabilidade que esto inseridas as principais barreiras comunicao,
citadas na reviso de literatura (item 2.1.3, p. 14): presuno enunciada, distrao (excesso de
informaes, poluio visual, apresentao de contedo suprfluo), apresentao confusa de
contedo (linguagem complexa, siglas, jarges tcnicos). Todas essas barreiras foram constatadas,
em maior ou menor grau, na avaliao heurstica dos servios e-gov selecionados para esta
pesquisa, o que confirma a opinio de Gibson et al. (1981) de que as agncias governamentais so
conhecidas por suas comunicaes freqentemente incompreensveis. Porm, tais aspectos parecem
no ter atrapalhado a interao dos usurios com os servios na Internet, j que foram bem avaliados
nesse quesito na pesquisa de satisfao (Quadro 9, p. 195).
O fato de vrios usurios terem comentado, em pergunta aberta do questionrio de
satisfao, sobre o processo de prestao do servio, fora do ambiente eletrnico (item 5.3.1, p. 148),
confirma a concluso de Zeithaml et al. (1990) de que os consumidores de servios no avaliam sua
qualidade apenas em funo do produto final. Sua avaliao incorpora, tambm, sua opinio sobre o
processo de fornecimento do servio.
Uma das causas da no adoo das recomendaes propostas nos documentos gerados
pelo Programa , certamente, o desconhecimento, por parte dos gestores, desses documentos,
constatado nas entrevistas, grupos focais e pesquisa com gestores de servios e portais da APF.
Outra causa provvel a falta de clareza e/ou especificidade de algumas recomendaes desses
documentos, constatada ao realizar a avaliao heurstica dos servios pblicos eletrnicos
selecionados. Como efeitos provveis, podem ser citados a excluso de parcelas do pblico-alvo,
pela no implementao de recomendaes sobre acessibilidade, usabilidade, privacidade e
segurana, no projeto de pginas web; a falta de uniformidade dos portais da APF e a insatisfao do
cidado com a qualidade dos servios pblicos eletrnicos.
Quanto ao estgio de e-gov preponderante, esta pesquisa identificou maior quantidade de
servios no estgio inicial de apresentao de informaes e baixa quantidade de transaes on-line
(Grfico 21, p. 161), como nos estudos feitos pelas Naes Unidas em 2001 (Ronaghan, 2002) e por
219
West (2002) nos Estados Unidos. Alm da dificuldade de integrao dos sistemas legados e
plataformas tecnolgicas heterogneas, e o fato de a Internet ainda no ser vista, pelos dirigentes da
APF, como canal estratgico de prestao de servios ao cidado, j comentados no captulo de
anlise dos dados desta pesquisa, outras provveis causas da baixa porcentagem de servios
transacionais so a maior prioridade dada aos servios eletrnicos internos do Governo, voltados aos
gestores; a necessidade de reestruturao dos processos de prestao dos servios; e a falta de
cultura de e-gov e de foco no cidado na APF. No grupo focal de coordenadores de CT foi dado,
como exemplo, o caso do requerimento do auxlio-doena:
De nada vale a possibilidade de agendamento, via web, de consulta de percia
mdica, para recebimento de auxlio-doena, se a unidade de sade indicada
para o exame no contar com mdico de planto no horrio de atendimento.
O fato de a certificao digital ainda ser incipiente na APF e a inexistncia de plano de ao
do Programa Governo Eletrnico para priorizar o desenvolvimento de novos servios pelos rgos da
APF tambm podem ser considerados fatores que levam baixa porcentagem de servios com foco
no cidado. O grupo focal de coordenadores de CT destacou, ainda, que nem todas as pessoas tm
condies de acessar a Internet. Logo, nem tudo pode ser feito integralmente pela Internet.
Como possveis efeitos dessa baixa porcentagem de servios transacionais, pode-se citar a
falta de aes concretas para implementar diretrizes do Programa que tenham foco no cidado, a
sobrecarga dos canais tradicionais de prestao de servios ao cidado, o no atendimento das
expectativas do pblico-alvo e a conseqente imagem negativa do Governo quanto ao uso incipiente
da tecnologia para beneficiar o cidado. Assim como no levantamento sobre o uso da Internet para
acesso a servios de governo eletrnico (Balboni, 2005), esta pesquisa identificou, como principais
servios pblicos eletrnicos acessados, alm daqueles selecionados, a consulta ao CPF e servios
da Receita Federal (Grfico 23, p. 162).
220
a rea de Comunicao da Informao, ao traar, em seu marco terico (captulo 3, p. 83), um
paralelo entre fidelidade do processo de comunicao e qualidade de servios pblicos.
221
repetio da avaliao desses mesmos servios pblicos eletrnicos pode ser uma oportunidade para
anlise de tendncias e sries temporais a fim de determinar mudanas de longo prazo e padres
cclicos nos dados coletados.
A partir da anlise das tcnicas (item 5.6, p. 185), da descrio dos procedimentos
metodolgicos adotados pelo pesquisador (item 4.3, p. 110) e, tendo em mos, vrios dos
instrumentos utilizados nesta pesquisa (Apndices, p. 241), outros pesquisadores, auditores e
gestores de portais e servios web podero lanar mo deste mtodo para avaliao, sob a mesma
tica adotada nesta pesquisa, de servios e-gov e programas de governo de qualquer esfera
(municipal, estadual, federal) ou pas. importante dizer que a concepo, a formatao grfica, os
mtodos de coleta e anlise de dados da pesquisa de satisfao on-line desenvolvida nesta
pesquisa, alm de um subconjunto de suas perguntas, foram adotados, posteriormente a esta
pesquisa, por equipe da Diretoria de Auditoria de Tecnologia da Informao do Tribunal de Contas da
Unio, em auditoria de conformidade no Sistema Nacional de Integrao de Informaes em Justia e
Segurana Pblica (Infoseg), tendo atingido bons resultados em termos de confiabilidade interna do
instrumento, e participao, acima do esperado, dos usurios desse sistema.
O mtodo de avaliao de programas de governo eletrnico, que combina uma variedade de
tcnicas de coleta e anlise de dados, quantitativas e qualitativas, aplicadas tradicionalmente em
diferentes reas do conhecimento, com a participao de gestores pblicos e cidados, poder ser
aplicado por auditores internos e externos de qualquer pas com programa de governo eletrnico
institudo. Os padres de qualidade reunidos em uma nica lista de verificao para portais e servios
e-gov podero tambm ser utilizados por projetistas de portais de governo eletrnico preocupados
com a acessibilidade e a usabilidade de sua interface, assim como com outros aspectos de qualidade
e segurana de sistemas de tecnologia da informao.
O modelo para medir a satisfao do cliente de servios de governo eletrnico (item 3.4, p.
90), com a definio clara de dimenses e os questionrios dele derivados, constituem critrios e
instrumentos validados estatisticamente, passveis de aplicao em outros servios de governo
eletrnico, e no s naqueles selecionados para esta pesquisa. Tal modelo serve para determinar
no s os nveis correntes de satisfao, mas tambm as expectativas e prioridades de melhoria dos
clientes relacionados a cada um dos servios pblicos identificados. Os questionrios desenvolvidos
222
e validados nesta pesquisa, por sua vez, podem se tornar tambm instrumentos padronizados de
pesquisa para facilitar tanto comparaes confiveis entre servios similares ou do mesmo servio ao
longo do tempo, quanto o desenvolvimento de parmetros normativos, sem necessidade de
converso de pesquisas em uma mtrica comum.
A anlise das dimenses mais importantes para a satisfao com os servios e-gov prov,
aos tomadores de deciso, uma ferramenta para priorizar aes dentre tantas necessrias para
melhorar seus servios. Essa anlise permite identificar quais dimenses necessitam de mais
ateno dos gestores pblicos para o atendimento s expectativas e necessidades dos cidadosclientes.
223
subseqentes. De acordo com Lee (1989), a capacidade de generalizao de uma teoria s pode ser
confirmada a partir da execuo de testes sucessivos em contextos diferentes, seja por meio de
estudos de caso, seja por meio de experimentos de laboratrio.
Alm das limitaes previamente identificadas no projeto desta pesquisa (item 4.1.2, p. 103),
dada sua natureza exploratria e aplicao em estudo de caso, foram identificadas outras limitaes
na anlise de dados: subjetividade da avaliao heurstica realizada pelos especialistas; baixa
participao dos gestores de portais e servios web da APF no levantamento on-line; avaliao das
mesmas dimenses nos dois construtos Qualidade percebida e Valor percebido, fazendo com que
houvesse pouca importncia do Valor percebido sobre a Satisfao geral, em comparao
importncia da Qualidade percebida.
sobre
Qualidade
percebida
e,
conseqentemente,
sobre
satisfao
unidimensional, isto , relativa a cada dimenso, buscando, ainda, os motivos das diferenas
entre dimenses;
b) Realizar estudos, no ambiente de governo eletrnico, que relacionem satisfao com seus
construtos conseqentes - inteno para retornar ao portal e inteno de recomend-lo;
c) Desenvolver, aplicar e validar mtodos para avaliao de uso, produtividade, reduo de custos e
retorno de investimento, medidas relacionadas avaliao de aplicaes especficas, partes do
modelo de avaliao de governo eletrnico no contempladas nesta pesquisa;
224
d) Desenvolver, aplicar e validar mtodos para classificar programas e-gov em estgios evolutivos,
avaliar seus objetivos estratgicos e prestao de contas, relacionados avaliao da estratgia
central do governo, partes do modelo de avaliao de governo eletrnico no contempladas nesta
pesquisa;
e) Reaplicar o mtodo de avaliao proposto nesta pesquisa no Programa E-Gov brasileiro e nos
mesmo servios selecionados, a fim de identificar sua evoluo no tempo, seja por mudanas
tecnolgicas, seja por atitudes gerenciais motivadas por esta e outras pesquisas subseqentes;
f)
Aplicar o mtodo de avaliao proposto nesta pesquisa em outros programas e servios pblicos
eletrnicos, a fim de testar sua validade no contexto internacional e em servios e-gov diversos
dos selecionados para esta pesquisa, comparando seus resultados;
225
7 Referncias bibliogrficas
1. ACCENTURE. Egovernment leadership: engaging the customer. The government executive
series. 2003. 94p.
2.
ACSI - American Customer Satisfaction Index. ACSI Model. [on-line], novembro de 2004.
http://www.theacsi.org/model.htm.
AUSTRALIA. Australian National Audit Office - ANAO. Performance auditing. Canberra: ANAO,
1992.
7. _____. _____. Quality internet services for government clients: Monitoring and evaluation by
government
agencies.
2003/2004.
[on-line],
setembro
de
2005.
http://www.anao.gov.au/website.nsf/Publications/2A51AE59FB11AA5ECA256E40000DCC32/$file/Audit%20Report%2030
.pdf
8. _____. _____. Measuring the efficiency and effectiveness of e-government. 2004/2005. [on-line],
setembro de 2005. http://www.anao.gov.au/website.nsf/Publications/2C3CDF64278872A9CA256FA2007F445E
9. BAILEY, J. E. & PEARSON, S. W. Development of a tool for measuring and analyzing computer
user satisfaction. Management Science, v. 29, n. 5, p. 530-545, 1983.
10. BALBONI. M. CGI.br divulga indicadores inditos sobre a internet no pas. Nov. 2005. [on-line],
novembro de 2005. http://www.cgi.br/releases/2005/rl-2005-07.pdf.
11. BARBOSA, A. F. et al. Governo eletrnico: um modelo de referncia para a sua implementao.
Congresso Anual de Tecnologia da Informao - CATI. So Paulo: FGV-EAESP, 2004. 14p.
12. BAUM, C. & DI MAIO, A. Gartner's four phases of E-government model. Gartner Group, 2000. 2p.
13. BELL, J. Doing your research project: a guide for the first-time researchers in education and social
science. 2. Reimp. Milton Keynes, England: Open University Press, 1989. 145p.
14. BENBASAT, I., GOLDSTEIN, D. K. & MEAD, M. The case research strategy in studies of
information systems. MIS quarterly, v. 11, n. 3, p. 368-386, Sept. 1987.
15. BERLO, D. K. O processo da comunicao: introduo teoria e prtica. 4 ed. So Paulo:
Martins Fontes, 1982. 296p.
16. BISQUERRA, R. et al. Introduo estatstica: enfoque informtico com o pacote estatstico
SPSS. So Paulo: Artmed, 2004. 255p.
17. BRASIL. Decreto, de 18 de outubro de 2000. Cria, no mbito do Conselho de Governo, o Comit
Executivo do Governo Eletrnico, e d outras providncias.
18. _____. Decreto, de 29 de outubro de 2003. Institui Comits Tcnicos do Comit Executivo do
Governo Eletrnico, e d outras providncias.
226
19. _____. Decreto n 1.048, de 21 de janeiro de 1994. Dispe sobre o Sistema de Administrao dos
Recursos de Informao e Informtica, da Administrao Pblica Federal, e d outras
providncias.
20. _____. Decreto n 3.507, de 13 de junho de 2000. Dispe sobre o estabelecimento de padres de
qualidade do atendimento prestado aos cidados pelos rgos e pelas entidades da
Administrao Pblica Federal direta, indireta e fundacional, e d outras providncias.
21. _____. Decreto n 5.233, de 6 de outubro de 2004. Estabelece normas para a gesto do Plano
Plurianual 2004-2007 e de seus Programas e d outras providncias.
22. _____. Decreto n 5.433, de 25 de abril de 2005. Aprova a Estrutura Regimental e o Quadro
Demonstrativo dos Cargos em Comisso e das Funes Gratificadas do Ministrio do
Planejamento, Oramento e Gesto, e d outras providncias.
23. _____. Lei n 10.683, de 28 de maio de 2003. Dispe sobre a organizao da Presidncia da
Repblica e dos Ministrios, e d outras providncias.
24. _____. Lei n 10.933, de 11 de agosto de 2004. Dispe sobre o Plano Plurianual para o perodo
2004/2007.
25. _____. Portaria Interministerial ccivil/MP n 793, de 17 de setembro de 2004. Designa membros
para compor os Comits Tcnicos do Comit Executivo do Governo Eletrnico.
26. _____. Cmara Tcnica de Gesto de Stios e Servios On-line. Relatrio da Oficina de
Planejamento. Braslia: Cmara Tcnica de Gesto de Stios e Servios On-line, 2003. 26p.
27. _____. Casa Civil da Presidncia da Repblica. 2 anos de governo eletrnico: balano de
realizaes e desafios futuros. Braslia: Casa Civil da Presidncia da Repblica, Ministrio do
Planejamento, Oramento e Gesto - MP, Comit Executivo do Governo Eletrnico - CEGE,
2002. 46p.
28. _____. _____. Grupo de Trabalho Novas Formas Eletrnicas de Interao. Proposta de poltica
de governo eletrnico para o Poder Executivo Federal. 2000.
29. _____. Comit Executivo do Governo Eletrnico - CEGE. Regimento Interno do Comit Executivo
do Governo Eletrnico. Braslia: CEGE, 2000.
30. _____. _____. Resoluo n 7, de 29 de julho de 2002. Estabelece regras e diretrizes para os
stios na Internet da Administrao Pblica Federal. Braslia: CEGE, 2002.
31. _____. _____. Padres de Interoperabilidade de Governo Eletrnico. Verso 1.0. Braslia: Comit
Executivo do Governo Eletrnico - CEGE, 2005. 63p.
32. _____. Empresa de Tecnologia e Informaes da Previdncia Social - Dataprev. Requerimento
de auxlio-doena. [on-line], novembro de 2005. www.dataprev.gov.br/servicos/auxdoe/auxdoe.htm.
33. _____.
_____.
Requerimento
de
penso
por
morte.
[on-line],
novembro
de
2005.
maternidade.
[on-line],
novembro
de
2005.
http://www.dataprev.gov.br/servicos/pesmor/pesmor.htm.
34. _____.
_____.
Requerimento
de
salrio
http://www.dataprev.gov.br/servicos/salmat/salmat.htm.
35. _____. Escola Nacional de Administrao Pblica - ENAP. Metodologia para medir a satisfao
do usurio no Canad: desfazendo mitos e redesenhando roteiros. (Cadernos ENAP). Braslia:
ENAP, 2000. 165p.
36. _____. _____. Experincias internacionais voltadas para a satisfao dos usurios-cidados com
os servios pblicos. Braslia: ENAP, 2001. 64p.
227
37. _____. Governo Eletrnico. Cartilha de Usabilidade para Stios e Portais do Governo Federal .
Verso 01. Braslia: Comit Tcnico de Gesto de Stios e Servios On-line, 2004. 11p.
38. _____. Ministrio da Cincia e Tecnologia - MCT. Sociedade da Informao no Brasil Livro
Verde. Org. Tadao Takahashi. Braslia: MCT, 2000.
39. _____. Ministrio da Fazenda. Receita Federal. Declarao Anual de Isento 2005. [on-line],
novembro de 2005. http://www.receita.fazenda.gov.br/pessoafisica/isento/2005/Isento2005servicos.htm.
40. _____. Ministrio do Planejamento, Oramento e Gesto - MP. Primeira pesquisa nacional de
avaliao da satisfao dos usurios dos servios pblicos: uma nova relao do setor pblico
com o cidado. Braslia: MP, Secretaria de Gesto, 2000. 41p.
41. _____. _____. Manual de avaliao de satisfao do usurios do servio pblico. Braslia: MP,
Programa da Qualidade no Servio Pblico - PQSP, 2001. 57p.
42. _____. _____. Oficinas de Planejamento Estratgico Relatrio Consolidado Comits
Tcnicos. Braslia: Ministrio do Planejamento, Oramento e Gesto - MP, Comit Executivo do
Governo Eletrnico - CEGE, 2004. 23p.
43. _____. _____. Portaria n 288, de 04 de novembro de 2004. Institui o Comit de Coordenao
dos Programas Ministrio do Planejamento, Oramento e Gesto com a finalidade de coordenar
os processos de gesto para o alcance de objetivos setoriais.
44. _____. _____. Plano Gerencial 2005. Braslia: MP, Secretaria de Logstica e Tecnologia da
Informao - SLTI, 2005a.
45. _____. _____. Portaria Normativa n 5, de 11 de julho de 2005. Institucionaliza os Padres de
Interoperabilidade de Governo Eletrnico e-PING, no mbito do Sistema de Administrao dos
Recursos de Informao e Informtica SISP, entre outras providncias.
46. _____. _____. Recomendaes de Acessibilidade para a Construo e Adaptao de Contedos
do Governo Brasileiro na Internet:: modelo de acessibilidade. Braslia: MP, Departamento de
Governo Eletrnico - DGE, 2005c. 11p.
47. _____. _____. Recomendaes de Acessibilidade para a Construo e Adaptao de Contedos
do Governo Brasileiro na Internet: cartilha tcnica. Braslia: MP, Departamento de Governo
Eletrnico - DGE, 2005d. 41p.
48. _____. _____. Ofcio n 143/2006, de 31 de janeiro de 2006. Braslia: Departamento de Governo
Eletrnico Secretaria de Logstica e Tecnologia da Informao, 2006.
49. _____. Ministrio do Trabalho e Emprego MTE. PNPE Programa Nacional de Estmulo ao
Primeiro
Emprego.
[on-line],
novembro
de
2005.
http://www.mte.gov.br/futurotrabalhador/primeiroemprego/default.asp.
50. _____. Secretaria de Comunicao de Governo e Gesto Estratgica da Presidncia da
Repblica - Secom. Manual de Identidade Visual do Governo Federal na Internet. [on-line],
setembro de 2005. http://www.presidencia.gov.br/secom/normas/internet.pdf.
51. _____. Tribunal de Contas da Unio - TCU. Manual de auditoria de natureza operacional. Braslia:
TCU, Coordenadoria de Fiscalizao e Controle, 2000a. 116p.
52. _____. _____. Tcnica de auditoria: indicadores de desempenho e mapa de produtos. Braslia:
TCU, Coordenadoria de Fiscalizao e Controle, 2000b. 33p.
53. _____. _____. Tcnicas de auditoria: anlise RECI. Braslia: TCU, Secretaria de Fiscalizao e
Avaliao de Programas de Governo - Seprog, 2001. 25p.
228
54. _____. _____. Roteiro de controle de qualidade de auditorias de natureza operacional. Braslia:
TCU, Secretaria de Fiscalizao e Avaliao de Programas de Governo - Seprog, 2002a. 37p.
55. _____. _____. Tcnicas de auditoria: anlise stakeholder. Braslia: TCU, Secretaria de
Fiscalizao e Avaliao de Programas de Governo - Seprog, 2002b. 20p.
56. _____. _____. Tcnicas de auditoria: anlise Swot e verificao de risco. Braslia: TCU,
Secretaria de Fiscalizao e Avaliao de Programas de Governo - Seprog, 2003a. 24p.
57. _____. _____. Tcnica de auditoria: mapa de processos. Braslia: TCU, Secretaria de
Fiscalizao e Avaliao de Programas de Governo - Seprog, 2003b. 14p.
58. _____. _____. Governo eletrnico no Brasil: mapeamento. Braslia: TCU, Secretaria Adjunta de
Fiscalizao Adfis, 2004. 87p.
59. _____. _____. Estudo de viabilidade: programa governo eletrnico. Braslia: TCU, Secretaria de
Fiscalizao e Avaliao de Programas de Governo Seprog, 2005. 39p.
60. CANADA. Institute for Citizen-Centred Service - ICCS. Common measurements tool: CMT
question bank. ICCS-ISAC, 2003. 65p.
61. _____. Office of the Auditor General - OAG. Information technology : Government On-Line. In:
_____. Report of the Auditor General of Canada to the House of Commons - Nov. 2003. Ottawa,
ON: OAG, 2003. p. 1-29.
62. _____. Treasury Board of Canada Secretariat - TBS. A how-to guide for the Service Improvement
Initiative. TBS, 2001. 87p.
63. CAP GEMINI ERNST & YOUNG. Online availability of public services : how is Europe progressing
- web based survey on electronic public services - report of the fourth measurement. Brussels:
European Commission, DG Information Society, 2004. 52p.
64. CHIN, W. W. & LEE, M. K. O. On the formation of end-user computing satisfaction: a proposed
st
model and measurement instrument. In: Proceedings of the 21 International Conference on
Information Systems, Brisbane, p. 553-563, 2000.
65. COHEN, E. & FRANCO, R. Avaliao de projetos sociais. Petrpolis: Vozes, 1993.
66. COMMISSION OF THE EUROPEAN COMMUNITIES. The role of e-government for Europe's
future. Brussels: Commission of the European Communities, 2003. 25p.
67. DALZIEL, D. Government online. Amsterdam: European Society for Opinion and Marketing
Research ESOMAR, 2004. 14p.
68. DAVIS, F. D. Perceived usefulness, perceived ease of use, and user acceptance of information
technology. MIS Quarterly, v. 13, n. 3, p. 319-340, Sept. 1989.
69. DIAS, C. A. Hipertexto : evoluo histrica e efeitos sociais. Cincia da Informao, v. 28, n. 3, p.
267-275, dez. 1999. [on-line], dezembro de 1999. http://www.ibict.br/cionline/artigos/2839905.pdf.
70. _____. Mtodos de avaliao de usabilidade de portais corporativos: um estudo de caso no
Senado Federal. Braslia: Universidade de Braslia, 2001. 229p. (Dissertao de mestrado em
Cincia da Informao).
71. _____. Usabilidade na web: criando portais mais acessveis. Rio de Janeiro: Alta Books, 2003.
285p.
72. _____. Governo eletrnico: definies, caractersticas, potenciais benefcios, desafios e tipos de
avaliao. In: Anais da II Conferncia Sul-Americana em Cincia e Tecnologia Aplicada ao
Governo Eletrnico Conegov 2005, Florianpolis, 11 e 12 de agosto de 2005. p. 101-114.
229
73. DILLMAN, D. A. Mail and Internet surveys: the tailored design method. 2nd. Ed. New York: John
Wiley & Sons, 2000. 464p.
74. DILLMAN, D. A. & BOWKER, D. K. The web questionnaire challenge to survey methodologists.
Dimensions of Internet Science. Ulf-Dietrich Reips & Michael Bosnjak, 2001.
75. DILLMAN, D. A. et al. Principles for constructing web surveys. Washington State University
SESRC, 1998.
76. DINSDALE, G. & MARSON, D. B. Metodologia para medir a satisfao do usurio no Canad:
desfazendo mitos e redesenhando roteiros. 1999. In: BRASIL. Escola Nacional de Administrao
Pblica - ENAP. Metodologia para medir a satisfao do usurio no Canad: desfazendo mitos e
redesenhando roteiros. (Cadernos ENAP). Braslia: ENAP, 2000. p. 14-86.
77. DOLL, W. J. & TORKZADEH, G. The measurement of end-user computing satisfaction. MIS
Quarterly, v. 12, n. 2, p. 259-274, 1988.
78. EUROPE. Directorate General Information Society. Top of the web: survey on quality and usage
of public e-services. DG Information Society, 2003. 38p.
79. EUROPEAN ORGANIZATION OF SUPREME AUDIT INSTITUTIONS EUROSAI. IT Working
Group. E-government in an audit perspective. Eurosai IT Working Group, 2004.
80. FEDERAO DAS INDSTRIAS DO ESTADO DO RIO DE JANEIRO FIRJAN.
Desburocratizao eletrnica nos estados brasileiros. Rio de Janeiro: Firjan, 2002. 49p.
81. FERREIRA, A. Dicionrio Aurlio eletrnico. V. 2.0. Rio de Janeiro: Nova Fronteira, 1996.
82. _____. Novo Aurlio Sculo XXI: o dicionrio da lngua portuguesa. 3. ed. rev. e ampl. Rio de
Janeiro: Nova Fronteira, 1999. 2128p.
83. FIDEL, R. The case study method: a case study. In: GLAZIER, J. D. & POWELL, R. R. Qualitative
research in information management. Englewood, CO: Libraries Unlimited, 1992. 238p. p.37-50.
84. FORESEE RESULTS. American satisfaction index : e-government satisfaction index. Ann Arbor,
MI: Foresee results, 2004. 10p.
85. FORNELL, C. et al. The American customer satisfaction index: nature, purpose, and findings.
Journal of Marketing, v. 60, n. 4, p. 07-18, Oct. 1996.
86. FROEMMING, L. M. S. et al. Anlise da qualidade dos artigos cientficos da rea de marketing no
Brasil: as pesquisas survey da dcada de 90. RAC, v. 4, n. 3, p. 201-219, Set./Dez. 2000.
87. GARTNER GROUP. E-government: assessing the real value. Gartner symposium itxpo 2002.
Florence, Italy, April 2002. Gartner Group, 2002. 23p.
88. GIBSON, J. L. et al. Organizaes: comportamento, estrutura, processos. So Paulo: Atlas, 1981.
477p.
89. GLAZIER, J. D. & POWELL, R. R. Qualitative research in information management. Englewood,
CO: Libraries Unlimited, 1992. 238p.
90. GOMEZ, N. L. et al. Antecentes e conseqncias da satisfao do usurio de informao da
internet. Congresso Anual de Tecnologia da Informao - CATI. So Paulo: FGV-EAESP, 2004.
91. GOODHUE, D. L. et al. Strategic data planning: lessons from the field. MIS Quarterly, v. 16, n. 1,
p. 11-34, Mar. 1992.
92. GRAAFLAND-ESSERS, I. & ETTEDGUI, E. Benchmarking e-government in Europe and the US.
Leiden, Netherlands: RAND Europe, 2003. 79p.
230
93. HAMEL, J. et al. Case study methods. Newbury Park, CA: Sage, 1993. 77p. (Qualitative research
methods series).
94. HAIR J. F. et al. Anlise multivariada de dados. 5 ed. So Paulo: Bookman, 2005. 593p.
95. HART-TEETER RESEARCH. The new e-government equation: ease, engagement, privacy and
protection. A report prepared for the Council for Excellence in Government. 2003. 32p.
96. HARTLEY, J. F. Case studies in organizational research. In: CASSELL, C. & SYMON, G. (Ed.).
Qualitative methods in organizational research: a practical guide. London: Sage, 1994. 253p. P.
208-229.
97. HENRIQUE, J. L. Satisfao do usurio com as tecnologias da informao nos servios
bancrios. Porto Alegre: Universidade Federal do Rio Grande do Sul, 2001. 133p. (Dissertao
de mestrado em Administrao).
98. INSTONE,
K.
Site
usability
evaluation.
Oct.
1997.
[on-line],
junho
de
1999.
http://webreview.com/wr/pub/97/10/10/usability/index.html/.
231
110. LFFLER, E. Defining quality in public administration. 9th nispacee Annual Conference:
Government, market and the civic sector - the search for a productive partnership. Riga, Latvia:
2001. 14p.
111.
LOIACONO, E. T. et al. Webqual: a measure of web site quality. Working paper, Terry College of
Business. [on-line], maro de 2004. http://www.terry.uga.edu/cisl/includes/pdf/webqual.pdf.
113. MCQUAIL, D. & WINDAHL, S. Communication models: for the study of mass communication. 2
ed. New York: Longman, 1993. 229p.
114. MECHLING, J. & VINCENT, C. Defining and measuring success in Canadian public sector
electronic service delivery. 2001. 56p.
115. MEDEIROS, M. Princpios de justia na alocao de recursos em sade. Rio de Janeiro: Instituto
de Pesquisa Econmica Aplicada - IPEA, 1999. 13p. (Texto para discusso n 687).
116. MEIRELLES, H. L. Direito Administrativo Brasileiro. 19 ed. So Paulo: Malheiros, 1994.
117. MESKELL, D. High payoff in electronic government : measuring the return on e-government
investments. Washington, DC: U.S. General Services Administration - GSA, Intergovernmental
Advisory Board - IAB, 2003. 70p.
118. MOMENTUM RESEARCH GROUP OF CUNNINGHAM COMMUNICATION. Benchmarking the
egovernment revolution : year 2000 report on citizen and business demand. Olathe, KS: NIC,
2000. 36p.
119. MOURA, A. C. & GONALVES, C. A. Modelo de satisfao ACSI modificado no setor de
telefonia mvel. RAE, v. 45, p. 72 85, 2005, Edio especial Minas Gerais.
120. NEW SOUTH WALES. Audit Office. Performance audit report: e-government : user-friendliness
of websites. Sydney, Australia: The Audit Office of New South Wales, 2002. 46p.
121. NIELSEN, J. Usability engineering. Boston, MA: Academic Press, 1993. 362p.
122. _____. Designing web usability. Indianapolis, IN: New Riders, 1999. 420p.
123. ORGANIZATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT OECD. The egovernment imperative. OECD, 2003. 131p.
124. PARRY, J. Psicologia da comunicao humana. So Paulo: Cultrix, 1972. 267p.
125. PATTON, M. Q. Qualitative evaluation methods. Beverly Hills, CA: Sage, 1980. 381p.
126. PFEIFFER, P. & CUNHA, R. E. O quadro lgico: um mtodo para planejar e gerenciar
mudanas. Revista do Servio Pblico, v. 51, n. 1, Jan./Mar. 2000, p. 81-122.
127. PIMENTA, M. S. et al. A (in)acessibilidade de sites governamentais. In: Proceedings of IHC
2002, V Symposium on Human Factors in Computer Systems, Fortaleza, CE, Oct. 2002.
Fortaleza: SBC, 2002. p. 336-347.
128. POLLITT, C. Managerialism and the public services: the anglo-american experience. Cambridge:
Basil Blackwell, 1990.
129. ROBERTS, N. Social considerations towards a definition of information science. The Journal of
Documentation, v. 32, n. 4, Dec. 1976.
232
130. RONAGHAN, S. A. Benchmarking e-government: a global perspective assessing the progress
of the UN member states. New York: United Nations - Division for Public Economics and Public
Administration - UNDPEPA, 2002. 74p.
131. ROSSI, C. A. V. & SLONGO, L. A. Pesquisa de satisfao de clientes: o estado-da-arte e
proposio de um mtodo brasileiro. RAC, v. 2, n. 1, p. 101-125, Jan./Abr. 1998.
132. ROY, J. Service, security, transparency & trust: government online or governance renewal in
Canada? International Journal of Electronic Government Research, v. 1, n. 1, p. 40-58,
Jan./March 2005.
133. SARACEVIC, T. Information science. JASIS, v. 50, n. 12, p. 1051-1063, 1999.
134. _____. Digital library evaluation: toward an evolution of concepts. Library Trends, v. 49, n. 2, p.
350-369, Fall 2000.
135. _____. How were digital libraries evaluated?. Course and Conference Libraries in the Digital Age
(LIDA 2005), 30 May - 3 June, Dubrovnik, Croatia.
136. SCHMIDT, B. V. et al. Pesquisa de construo de metodologias de avaliao dos cursos de
formao profissional. Braslia: DataUnb, 2000. 41p.
137. SCHMIDT, F. & STRICKLAND, T. Satisfao do usurio: guia para o gerente pblico no Canad.
1999. In: BRASIL. Escola Nacional de Administrao Pblica - ENAP. Metodologia para medir a
satisfao do usurio no Canad: desfazendo mitos e redesenhando roteiros. (Cadernos ENAP).
Braslia: ENAP, 2000. p. 87-141.
138. SEIFERT, J. A primer on e-government : sectors, stages, opportunities, and challenges of online
governance. The Library of Congress, Congressional Research Service, 2003. 21p.
139. SHNEIDERMAN, B. Designing trust into online experiences. Communications of the ACM, v. 43,
n. 12, 2000, p. 34-40.
140. SPEARS, G. & SEYDEGART, K. Citizens first 2000. Institute of Public Administration of Canada,
2001. 87p.
141. SPEARS, G. et al. Citizens first 3. Institute for Citizen Centred Service & Institute of Public
Administration of Canada, 2003. 96p.
142. SPRENG, R. A. et al. A reexamination of the determinants of consumer satisfaction. Journal of
Marketing, v. 60, n. 3, p. 15-32, July 1996.
143. STOWERS, G. N. L. The state of federal websites : the pursuit of excellence. E-government
series. Arlington, VA: The Pricewaterhouse-Coopers endowment for the business of government,
2002. 40p.
144. STUTZ, O. et al. Quality criteria for a public-user-friendly and secure website. In: GERMANY.
Bundesamt fr Sicherheit in der Informationstechnik BSI. E-government manual. Bonn: BSI,
2002. 106p.
th
145. TUBBS, S. L. & MOSS, S. Human communication: principles and contexts. 9 ed. New York:
McGraw-Hill, 2003. 577p.
146. UNITED KINGDOM. National Audit Office - NAO. Comptroller and Auditor General. Government
on the web II. HC 764 session 2001-2002. London: The Stationary Office, 2002. 85p.
147. UNITED NATIONS. Department for Economic and Social Affairs UNDESA. UN Global egovernment survey 2003. UNDESA, Division for Public Administration and Development
Management, 2003.
233
148. _____. _____. UN Global e-government survey 2004. UNDESA, Division for Public
Administration and Development Management, 2004.
149. URDAN, A. T. & RODRGUEZ, A. R. O modelo do ndice de satisfao do cliente norteamericano: um exame inicial no Brasil com equaes estruturais. RAC, v. 3, n. 3, p. 109-130,
Set./Dez. 1999.
150. USA. Congress. Act H.R. 2458. Dec 17, 2002. Washington, DC : Senate and House of
Representatives of the United States of America, 2002. 71p.
151. _____. General Audit Office GAO. Case study evaluations. Washington, DC: GAO, 1990.
152. _____. _____. Electronic government: initiatives sponsored by the Office of Management and
Budget have made mixed progress. GAO, 2004. 68p.
153.
234
8 Glossrio
Acessibilidade - capacidade do portal web da instituio ser flexvel o suficiente para atender s
necessidades e preferncias do maior nmero possvel de pessoas, alm de ser compatvel com
tecnologias assistivas
69
72
resultados, corretos , atualizados e precisos , em conformidade com o que foi solicitado pelo cliente.
69
Software ou hardware especificamente concebido para ajudar pessoas com incapacidades ou deficincias a executarem
atividades do cotidiano. Exemplos: cadeiras de rodas, dispositivos de impresso, leitores e ampliadores de tela, sintetizadores
de voz, teclados e dispositivos apontadores alternativos.
70
71
Isento de erros.
235
Controle social - pressupe participao da populao na gesto pblica, no processo de definio,
implementao e avaliao da ao pblica, e a possibilidade do cidado em controlar instituies e
organizaes governamentais para verificar o bom andamento das decises tomadas em seu nome.
Convenincia - capacidade de ser adequado
comodidade
75
73
74
Cookies programas cujo principal objetivo identificar o usurio e preparar pginas web
personalizadas.
Disponibilidade - garantia de que as informaes, e o prprio servio de governo eletrnico, esto
prontos para serem acessados pelos clientes, quando necessrios.
Eficcia - nesta pesquisa, o grau de alcance do objetivo de melhorar a qualidade dos servios
pblicos eletrnicos, no perodo de 2004 a 2007, independentemente dos custos implicados.
Eventos da vida agrupamento dos servios eletrnicos de acordo com as necessidades das
pessoas nas diversas fases da vida, desde o nascimento at a morte (exs: ter filhos, requerer
aposentadoria). Essa linha da vida tambm considerada no caso de servios eletrnicos para
empresas desde a criao da empresa at o seu fechamento.
Expectativas atendidas - correlao entre o que se esperava do servio de governo eletrnico e o
que se percebeu dele, em uma determinada situao de uso. Em outras palavras, a expectativa o
que o cliente espera do servio, baseado em suas necessidades pessoais, experincias pessoais ao
utilizar este ou outros servios pblicos via Web em ocasies anteriores, e em informaes recebidas
de terceiros sobre o servio. Na definio de Spreng et al. (1996), expectativas so crenas sobre as
caractersticas e desempenho de um produto em um momento futuro.
Facilidade de localizao do portal web da instituio capacidade do portal web da instituio
76
de facilitar a identificao e localizao, por parte do cliente, com pouco ou nenhum esforo , de seu
endereo eletrnico.
Facilidade de localizao do servio de governo eletrnico - capacidade do portal web da
instituio de facilitar a identificao e localizao, por parte do cliente, com pouco ou nenhum
esforo, do servio pblico nele disponvel.
72
73
74
75
Bem-estar, conforto.
76
Mobilizao de foras fsicas e/ou intelectuais para atingir determinado objetivo ou resultado.
236
Fidelidade do processo de comunicao durante a prestao de servios pblicos via Internet
- nesta pesquisa, a capacidade do Governo em reproduzir, ao cidado-cliente, perfeitamente o
contedo necessrio prestao do servio, codificado em palavras, smbolos, imagens, e sons, e
transmiti-lo, por meio de canal livre de interferncias, de tal forma que o cidado-cliente seja capaz de
perceber, com exatido, o mesmo contedo originalmente idealizado. Tal capacidade deve existir
tambm por parte do cidado-cliente, ao responder s solicitaes do Governo, para completar a
prestao do servio pblico eletrnico solicitado.
Frames - subdivises da tela em quadros, cujos contedos provm de pginas web diferentes;
subdivises da estrutura de uma pgina web em quadros e documentos independentes.
G2B abreviatura da expresso inglesa Government to Business.
G2C abreviatura da expresso inglesa Government to Citizen.
G2E abreviatura da expresso inglesa Government to Employee.
G2G abreviatura da expresso inglesa Government to Government.
Governo eletrnico - nesta pesquisa, restringe-se troca on-line bidirecional de informaes na
prestao de servios por parte do Governo aos cidados-clientes.
Grupo de interesse traduo do termo stakeholder, em ingls. Conjunto de pessoas ou instituies
com interesse em algum programa, incluindo no s os tomadores de deciso, beneficirios e
excludos, mas tambm quaisquer pessoas que exeram alguma influncia sobre o sucesso do
programa ou sejam por ele afetadas.
Hardware equipamento fsico do computador e os dispositivos a ele diretamente relacionados
(Ferreira, 1996).
Heurstica - regra ou mtodo analtico para o descobrimento de verdades cientficas. Conjunto de
regras e mtodos que conduzem descoberta, inveno e resoluo de problemas (Ferreira,
1996). Em se tratando de avaliao de usabilidade de sistemas interativos, as heursticas so regras
gerais ou princpios que tentam descrever propriedades tpicas de interfaces com boa usabilidade
(Dias, 2001).
Homepage - pgina principal de um site ou portal. "Pgina de entrada em um site da web, ou de
outro sistema de hipertexto ou de um ndice, com elos de hipertexto que remetem s principais
sees de contedo do site, visando facilitar a navegao pelo sistema. " (Ferreira, 1999).
HTML - sigla correspondente a Hypertext Markup Language, linguagem composta por um conjunto de
comandos de formatao e utilizada na criao de documentos hipertexto, visualizados nas pginas
web (Dias, 1999).
237
Internet - termo derivado da palavra inglesa Internetworking, que significa interconexo de redes. A
Internet, na verdade, composta por uma infra-estrutura computacional e de telecomunicaes que
propicia a transferncia de informaes por redes espalhadas por diversos pases (Dias, 1999).
"Rede mundial de computadores" (Ferreira, 1999).
Link - forma reduzida de hyperlink. Ligao ou relacionamento que aponta e conecta pginas web.
Essa ligao ou conexo feita entre ns de um hipertexto, os quais podem ser trechos, palavras,
figuras, imagens ou sons no mesmo documento ou em outro documento hipertexto (Dias, 1999).
Metatags - comandos HTML (Hypertext Markup Language) especiais para associar metadados
pgina web codificada, sem alterar sua formatao, mas fornecendo informaes sobre seu
contedo. Vrios portais de busca na Internet utilizam tais comandos como ndices de busca,
facilitando, assim, a localizao do contedo de tais pginas.
Monitoramento - coleta sistemtica de informaes com o objetivo de fornecer indicativos sobre
como um programa ou servio executado (Australia - ANAO, 2004), relacionada a ciclos curtos e a
problemas imediatos.
Navegador web - software que interpreta e apresenta na tela do computador as pginas web (Dias,
2001).
On-line diz-se da possibilidade do usurio desenvolver uma ao recproca ou interao com o
computador; dispositivo perifrico que pode operar sob o controle do computador ou em
comunicao direta com ele; estado de um equipamento ou terminal quando este efetua
transmisso de dados diretamente pels linhas de comunicao de um rede; conectado linha
(Ferreira, 1996).
Padro de qualidade de servios pblicos eletrnicos nesta pesquisa, conjunto de regras,
normas, recomendaes ou boas prticas, relativas s seguintes dimenses: facilidade de localizao
do portal web; facilidade de localizao do servio; acessibilidade; usabilidade; disponibilidade;
confiabilidade; privacidade de dados pessoais e segurana de informaes; convenincia;
capacidade de resposta a dvidas e reclamaes; e tempo de atendimento.
Pgina web - pgina hipertextual disponvel na Internet ou na Intranet. O termo web usado para
designar a prpria rede Internet/Intranet ou a tecnologia que nela utilizada (Dias, 2001).
Padres de qualidade atendidos - correlao entre caractersticas ou elementos do servio pblico
prestado ao cliente via Web e um conjunto de regras, normas, recomendaes ou boas prticas, de
cada uma das dimenses do modelo, avaliado por especialista.
Privacidade de dados pessoais e segurana de informaes - direito de controle das situaes
em que dados pessoais so coletados, acessados e usados por terceiros, baseado em relao de
confiana entre as partes, e com a expectativa de no serem divulgados de forma incompatvel com o
238
que foi previamente acordado (privacidade de dados); e observncia de padres relacionados
77
78
79
80
proteo contra ocorrncias indesejveis, tais como invaso de privacidade, roubo, corrupo de
informaes (segurana de informaes).
Programas de governo - programas sociais idealizados com a meta de melhorar as condies de
vida de uma populao (Weiss, 1992).
Qualidade - nesta pesquisa, o grau em que o servio pblico eletrnico prestado atende s
expectativas dos usurios e aos padres previamente definidos.
Qualidade percebida - julgamento do cliente sobre a superioridade ou excelncia de um servio de
governo eletrnico, fruto da comparao entre os servios esperados e a percepo dos servios
recebidos.
RECI - acrnimo formado pelas palavras: responsvel, executor, consultado e informado.
Resultados de um programa de governo - benefcios esperados em funo de um novo
comportamento ou prtica; efeitos desejados, que explicitam o propsito do programa, mas que
fogem do controle e da responsabilidade direta da gerncia (Pfeiffer & Cunha, 2000).
Sadas de um programa de governo - bens ou servios produzidos pelo programa, sob escopo
gerencivel pelo responsvel pelo programa, descritos em termos de metas fsicas e temporais
(quantidade, qualidade e prazo). (Pfeiffer & Cunha, 2000).
Satisfao - conforto e aceitabilidade do produto, medidos por meio de mtodos subjetivos e/ou
objetivos. As medidas objetivas de satisfao podem se basear na observao do comportamento do
usurio (postura e movimento corporal) ou no monitoramento de suas respostas fisiolgicas. As
medidas subjetivas, por sua vez, so produzidas pela quantificao das reaes, atitudes e opinies
expressas subjetivamente pelos usurios (Dias, 2001).
Satisfao geral sensao de prazer ou descontentamento com o servio de governo eletrnico
recebido, face s expectativas e exigncias pessoais do cliente.
Servidor web - computador integrante de uma rede cliente-servidor, responsvel pelos servios
relacionados com a Internet/Intranet (Dias, 2001).
77
Garantia de que a fonte ou o destino de uma informao, em um processo de comunicao, realmente quem diz ser.
78
Garantia de que a informao acessada apenas por pessoas explicitamente autorizadas, da forma previamente autorizada.
79
Garantia de que as informaes e os servios prestados por um sistema esto prontos para serem acessados por usurios
autorizados, sempre que necessrios, ou dentro do perodo previamente acordado.
80
239
Site - "qualquer servidor da web, ou o endereo em que pode ser acessado. Conjunto de documentos
apresentados ou disponibilizados na web por um indivduo, instituio, empresa etc., E que pode ser
fisicamente acessado por um computador e em endereo especfico da rede" (Ferreira, 1999). O
mesmo que stio.
Software aquilo que pode ser executado por um equipamento (o hardware); um produto
comercializado que consiste em um sistema de rotinas e funes (Ferreira, 1996).
Survey - expresso inglesa traduzida para o portugus, por alguns autores, como levantamento; por
outros, como simplesmente pesquisa quantitativa.
SWOT - acrnimo formado pelas palavras inglesas: Strengths (foras), Weaknesses (fraquezas),
Opportunities (oportunidades) e Threats (ameaas).
Tecnologia assistiva - software ou hardware especificamente concebido para ajudar pessoas com
incapacidades ou deficincias a executarem atividades do cotidiano. Esse novo termo, apesar de no
existir nos dicionrios de lngua portuguesa, nem to pouco nos de lngua inglesa, tem se incorporado
ao vocabulrio tcnico e popular de vrios idiomas, sendo classificado como todo e qualquer item,
equipamento, produto ou sistema que propicia, ao portador de deficincia, uma vida mais
independente, produtiva, agradvel e bem sucedida, por meio do aumento, manuteno ou devoluo
das capacidades funcionais dessa pessoa.
Tempo de atendimento - durao do processo de prestao do servio de governo eletrnico, desde
a primeira solicitao (ou acesso) at o recebimento final do resultado esperado.
URL - Endereo global de documentos e recursos na Internet.
81
Usabilidade - capacidade do portal web da instituio ser usado por seus clientes com eficcia ,
eficincia
82
83
e satisfao , durante a prestao do servio pblico via Web, tambm definida como
qualidade de uso.
Usurio - pessoa que interage com o produto (Dias, 2001).
Valor percebido - relaciona qualidade percebida pelo cliente do servio (benefcio percebido) e
recurso gasto (tempo, dinheiro, esforo). No modelo proposto, o valor percebido do servio pblico
81
Preciso e completeza com que os usurios atingem objetivos especficos, acessando a informao correta ou gerando os
resultados esperados. A preciso uma caracterstica associada correspondncia entre a qualidade do resultado e o critrio
especificado, enquanto a completeza a proporo da quantidade-alvo que foi atingida (ISO 9241, 1998).
82
Preciso e completeza com que os usurios atingem seus objetivos, em relao quantidade de recursos gastos.
Capacidade de evitar desperdcio de tempo, dinheiro e esforo (ISO 9241, 1998).
83
Conforto e aceitabilidade do portal web, medidos por meio de mtodos subjetivos e/ou objetivos. As medidas objetivas de
satisfao podem se basear na observao do comportamento do usurio (postura e movimento corporal) ou no
monitoramento de suas respostas fisiolgicas. As medidas subjetivas, por sua vez, so produzidas pela quantificao das
reaes, atitudes e opinies expressas subjetivamente pelos usurios (ISO 9241, 1998).
240
via Web medido em relao aos outros canais de prestao do mesmo servio, tais como telefone,
fax, correio, e-mail e atendimento presencial nas agncias governamentais.
Web - termo usado para designar a prpria rede Internet/Intranet ou a tecnologia que nela utilizada.
"Recurso ou servio oferecido na Internet (rede mundial de computadores), e que consiste num
sistema distribudo de acesso a informaes, as quais so apresentadas na forma de hipertexto, com
elos entre documentos e outros objetos (menus, ndices), localizados em pontos diversos da rede"
(Ferreira, 1999).
241
9 Apndices
9.1 Lista de documentos internos solicitados gerncia do
Programa
a) Relao dos indicadores utilizados e relatrios de superviso e monitoramento do
Programa;
b) Relao das atividades do programa, seus responsveis e executores;
c) Norma interna ou documentos, contendo dados sobre a definio dos responsveis pelo
programa, suas atribuies e os meios de divulgao interna das informaes sobre o
Programa;
d) Documentos, contendo dados sobre o desenho do programa, se houve, e seus objetivos;
e) Levantamento dos riscos do programa, levando em conta as suas peculiaridades (forma de
execuo, experincias similares) e as do rgo (disponibilidade de pessoal, infraestrutura, sistemas de informao);
f)
Lista dos responsveis pela gerncia dos portais web da Administrao Pblica Federal,
participantes ou no do Comit Tcnico de Gesto de Stios e Servios On-Line, com
endereos de correio eletrnico e telefones, se possvel;
j)
242
84
As perguntas foram divididas por assunto e aplicadas em datas diferentes e, por vezes, dirigidas a pessoas
diferentes, de acordo com sua responsabilidade em relao gesto do Programa E-Gov.
243
19. Quais os principais indicadores de desempenho construdos que iro permitir monitorar e
avaliar as aes do Governo Eletrnico?
20. De que forma esto sendo implementados os instrumentos para medio e pesquisas
sobre a qualidade dos servios e das informaes prestadas e, ainda, da satisfao dos
usurios? (controle e monitoramento dos stios)
21. H propostas de definio de mecanismos de monitoramento e avaliao dos portais e
servios e-gov a ser utilizado pela Administrao?
22. Quais as principais ferramentas de anlise de melhores prticas desenvolvidas?
23. De que maneira a coordenao do Programa vem promovendo a melhoria da prestao de
servios ao cidado?
24. Quais servios pblicos on-line ofertados ao cidado, na sua opinio, apresentam melhor
desempenho? Citar um de cada setor: sade, educao, assistncia social, trabalho,
outros.
25. Quanto oferta de servios pblicos on-line ao cidado (no estgio de transao
eletrnica), quais envolvem maior materialidade ($)? Quais os de maior relevncia (agenda
poltica)? Quais abrangem maior pblico-alvo? Quais atingem camadas mais pobres da
populao (eqidade)?
26. H mapeamento/catalogao de todos os servios oferecidos pelos diversos rgos? Na
elaborao das pginas da rede governo, os servios disponibilizados foram selecionados
pelos tcnicos do Departamento ou foram solicitados para os rgos responsveis?
27. Em que passo est o estudo e a implementao das solues baseadas na Linha da
Vida? H Plano de Ao estabelecendo cronograma? J h uma definio de adoo
desse padro pela Administrao? Nesse caso, como a aceitao dos diversos gestores
responsveis pelos portais nos diversos rgos?
28. H alguma avaliao do descompasso entre os rgos do ritmo de implantao das
solues de governo eletrnico baseadas nos padres definidas pelo Comit Executivo?
Tm sido adotadas medidas para diminuir o descompasso (alocao de recursos
financeiros e humanos, elaborao de planos de ao)? Quais so, na sua avaliao, os
rgos mais adiantados e quais os mais atrasados (no ritmo de implantao dos padres e
da adequao da apresentao dos stios segundo uma disposio lgica orientada aos
segmentos cidado, empresas e outros)?
29. Que medidas tm sido adotadas em relao capacitao dos responsveis pela alterao
dos contedos e da apresentao dos portais, nos diversos rgos, em relao aos
padres definidos para o governo eletrnico?
244
Seu oramento;
Seu pblico-alvo;
245
Papel do
Stakeholder na
implementao
das aes do
Programa
Interesse
do
Stakeholder
no
Programa
Grau de
interesse
Impacto
Prioridade
(se o
(interesse
Programa
para a
++; + ; 0; -;-- no atender avaliao de
os
programas)
interesses
do
stakeholder)
Ambiente Externo
Foras
Oportunidades
Fraquezas
Ameaas
85
246
Alto
Impacto
potencial
no alcance
dos objetivos
Baixo
Baixa
Probabilidade de ocorrncia
Alta
Mtodos
de
obteno
de dados
Mtodos
O que a
de
anlise vai
anlise Limitaes
permitir
de dados
dizer
247
Anlises e
evidncias
Causas
Efeitos
Boas
prticas
Recomendaes
Benefcios
esperados
248
Recomendao
Documento consultado
Utilizar apenas o nome do rgo no ttulo da pgina inicial Cart. Usab. (acessib. 7)
do stio (no incluir os termos stio, site, pgina,
homepage, entre outros).
Recomendao
Norma/documento consultado
Esto disponveis recursos para facilitar a navegao, por Cart. Usab. (navegab. 1, 3, 7)
exemplo: mapas do stio, indicadores de novas
Vilella (usab. apreensib. 1;
informaes disponveis, ferramentas de busca etc., Esto
funcional. interoperab. 2)
disponveis e so facilmente identificveis.
Cart. Acessib. 2.17
Criar mecanismos para que o usurio possa encontrar as
informaes sem a necessidade de seguir apenas um W3C 13.3
caminho.
Dias (flexib. e eficincia de uso)
86
Lista elaborada ao longo desta pesquisa a partir de documentos produzidos pelo Governo brasileiro e por
pesquisadores independentes, enumerados ao final deste apndice.
249
Recomendao
Norma/documento consultado
O mapa do stio/portal deve privilegiar a estrutura dos Cart. Usab. (navegab. 10)
menus principais e secundrios.
10
11
12
13
14
15
Acessibilidade (AC)
N
Recomendao
Norma/documento consultado
250
Acessibilidade (AC)
N
Recomendao
Norma/documento consultado
As pginas dos stios devero apresentar os contedos Resoluo n 7 (art. 5, II, III)
com clareza, simplicidade, objetividade, organicidade;
Cart. Acessib. 1.10
As pginas dos stios devero usar linguagem simples e
W3C 14.1
direta, especialmente nas pginas iniciais;
Cart. Usab. (acessib. 6)
Vilella (contedo objetiv. 3)
Dias (compatib. Com contexto)
Fornecer meios para ignorar e explicar inseres de arte Cart. Acessib. 1.2
ASCII com vrias linhas, tais como links de ncora ou
W3C 13.10
pginas alternativas.
Assegurar que todas as informaes veiculadas com cor Cart. Acessib. 1.4
estejam tambm disponveis sem cor.
W3C 2.1
10
Organizar os documentos de tal forma que possam ser Cart. Acessib. 1.7
lidos sem recurso a folhas de estilo. Por exemplo, se um
W3C 6.1
documento em HTML for reproduzido sem as folhas de
estilo que lhe esto associadas, deve continuar a ser
possvel l-lo.
11
12
Criar uma seqncia lgica de tabulao para percorrer Cart. Acessib. 1.9
links, controles de formulrios e objetos.
W3C 9.4
13
251
Acessibilidade (AC)
N
Recomendao
Norma/documento consultado
14
15
16
Em tabelas de dados com dois ou mais nveis lgicos de Cart. Acessib. 1.14, 1.15
cabealhos, seja de linha ou de coluna, utilizar marcaes
W3C 5.2
para associar as clulas de dados s clulas de
cabealho.
17
18
19
Dar, a cada frame, um ttulo que facilite a identificao dos Cart. Acessib. 1.18
frames e sua navegao.
W3C 12.1
20
21
22
Assegurar que todas as pginas possam ser utilizadas Cart. Acessib. 1.21
mesmo que os programas interpretveis, os applets ou
W3C 6.3
outros objetos programados tenham sido desativados ou
no sejam suportados.
23
24
25
252
Acessibilidade (AC)
N
Recomendao
26
27
Ao publicar
parmetros:
28
documentos,
Norma/documento consultado
observar
os
W3C 13.19
Recomendao
Norma/documento consultado
Os stios foraro a abertura de nova janela sempre que Resoluo n 7 (art. 4, IX)
houver ligaes para pginas externas ao domnio;
Cart. Usab. (navegab. 6)
253
Usabilidade (U)
N
Recomendao
Norma/documento consultado
Resoluo n 7 (art. 5, I)
Cart. Usab. (padron. Visual 4)
Vilella (usab. inteligib. 2)
Dias (projeto esttico)
As pginas dos stios devero utilizar imagens apenas Resoluo n 7 (art. 5, IV)
quando associadas diretamente com o rgo ou entidade
Cart. Usab. (padron. Visual 5)
ou, ainda, com o servio;
10
11
Os elementos visuais das pginas (textos, imagens e Cart. Usab. (padron. Visual 3)
espaos) devem ser organizados de acordo com os
princpios de design para web: contraste, repetio,
alinhamento e proximidade. O uso desses elementos deve
orientar o usurio, facilitando a localizao da informao
desejada.
12
13
Ao publicar
parmetros:
animaes,
observar
os
informao
seguintes Cart. Usab. (padron. Visual 5)
254
Usabilidade (U)
N
Recomendao
14
Norma/documento consultado
15
Diferenciar cores de hiperlinks e hiperlinks visitados. Essa Cart. Usab. (padron. Visual 9)
diferenciao deve ser uniforme e consistente em todo o
stio.
16
17
A terminologia de navegao deve ser padronizada para Cart. Usab. (padron. Visual 11)
proporcionar unidade visual e textual.
Cart. Acessib. 2.9
W3C 14.3
18
19
Na identificao do rgo, fazer link para a pgina inicial Cart. Usab. (navegab. 2)
do stio.
20
21
22
23
255
Usabilidade (U)
N
Recomendao
Norma/documento consultado
24
25
26
Recomendao
Norma/documento consultado
O portal pode ser acessado na maior parte do tempo, sem Vilella (usab. operacional. 10)
que esteja fora do ar.
Confiabilidade (CONF)
Recomendao
Norma/documento consultado
Somente inserir links internos com a garantia de seu pleno Cart. Usab. (navegab. 5)
funcionamento e que no remetam a paginas Em
Construo ou sem contedo.
256
Confiabilidade (CONF)
N
Recomendao
Norma/documento consultado
Vilella
(contedo
autoridade/copyright 3)
Recomendao
Norma/documento consultado
10
11
H pelo menos um responsvel tcnico para atuar como Resoluo n 7 (art. 28)
contato no que se refere segurana do ambiente do
stio.
257
Recomendao
Norma/documento consultado
12
13
So
estabelecidas
rotinas
de
programas
conscientizao de todos os envolvidos.
14
15
16
17
18
19
20
Caso os servios Web estejam sendo prestados por Resoluo n 7 (art. 36)
provedores externos, foram estabelecidas clusulas no
contrato de prestao de servio que estipulam a
observncia s normas sobre segurana de stios
aplicveis Administrao Pblica Federal.
21
22
23
24
258
Recomendao
Norma/documento consultado
25
Recomendao
Norma/documento consultado
Recomendao
3
4
Norma/documento consultado
Recomendao
Norma/documento consultado
Os textos da coluna Recomendao foram transcritos das normas e/ou documentos consultados. As recomendaes
marcadas com fundo cinza no foram consideradas na avaliao heurstica realizada nesta pesquisa, por limitaes da
tcnica de inspeo utilizada ou da falta de preciso das normas e documentos consultados.
259
Documentos consultados para elaborao dessa lista
1. BRASIL. Comit Executivo do Governo Eletrnico - CEGE. Resoluo n 7, de 29 de julho
de 2002. Estabelece regras e diretrizes para os stios na Internet da Administrao Pblica
Federal. Braslia: CEGE, 2002.
2. _____. Governo Eletrnico. Cartilha de Usabilidade para Stios e Portais do Governo
Federal . Verso 01. Braslia: Comit Tcnico de Gesto de Stios e Servios On-line,
2004. 11p.
3. _____. Ministrio do Planejamento, Oramento e Gesto - MP. Recomendaes de
Acessibilidade para a Construo e Adaptao de Contedos do Governo Brasileiro na
Internet: cartilha tcnica. Braslia: MP, Departamento de Governo Eletrnico - DGE, 2005.
41p.
4. DIAS, C. A. Mtodos de avaliao de usabilidade de portais corporativos: um estudo de
caso no Senado Federal. Braslia: Universidade de Braslia, 2001. 229p. (Dissertao de
mestrado em Cincia da Informao).
5. STUTZ, O. et al. Quality criteria for a public-user-friendly and secure website. In:
GERMANY. Bundesamt fr Sicherheit in der Informationstechnik BSI. E-government
manual. Bonn: BSI, 2002. 106p.
6. VILLELA, R. M. Contedo, usabilidade e funcionalidade: trs dimenses para avaliao de
portais estaduais de governo eletrnico na Web. Belo Horizonte: Universidade Federal de
Minas Gerais, 2003. 262p. (Dissertao de Mestrado em Cincia da Informao).
7.
WORLD WIDE WEB CONSORTIUM W3C. Web content accessibility guidelines 1.0. W3C
Recommendation 5 May 1999. 34p. [on-line], outubro de 2001. http://www.w3.org/TR/1999/WAIWEBCONTENT-19990505/.
260
( ) Os servios Web so providos por equipamentos dedicados com acessos fsico e lgico
controlados.
( ) As infra-estruturas computacionais e de rede dedicadas prestao dos servios Web so
isoladas da rede interna do rgo ou entidade.
( ) As pginas Web so providas e atualizadas de modo a no comprometer a segurana das
redes internas do rgo ou entidade.
( ) O servidor Web configurado de modo seguro tanto no que se refere segurana fsica,
quanto aos sistemas operacionais e aplicativos instalados.
( ) A segurana do stio permanentemente atualizada de modo a resistir aos ataques que
exploram vulnerabilidades para as quais j existem correes.
( ) So implementados mecanismos de registro de eventos e acessos ao stio e ao seu
ambiente de funcionamento.
( ) Os relatrios produzidos pelos mecanismos de registro de eventos e acessos ao stio e ao
seu ambiente de funcionamento so armazenados de modo seguro por perodo compatvel
com o carter da informao.
( ) Quando da ocorrncia de ataques bem sucedidos, preservada a maior quantidade
possvel de evidncias digitais relevantes.
( ) Os registros de eventos e acessos so monitorados regular e freqentemente, objetivando
a identificao de falhas relevantes.
( ) Para o ambiente do stio, so utilizados mecanismos de sincronizao automtica de tempo
por meio das fontes oficiais de tempo.
( ) O ambiente da rede do stio do rgo ou entidade conta com planos de contingncia
implementados e atualizados, visando ao pronto restabelecimento do ambiente e dos servios,
assim como o no comprometimento da imagem da Administrao Pblica Federal;
( ) Os planos de contingncia so periodicamente testados para que seja verificada a sua
eficcia ou necessidade de adequao.
( ) Foram estabelecidas diretrizes que orientam a realizao de cpias de segurana peridica
das informaes crticas dos ambientes dos stios governamentais.
261
( ) H pelo menos um responsvel tcnico para atuar como contato no que se refere
segurana do ambiente do stio.
( ) So estabelecidas rotinas de programas de treinamento e atualizao especficos aos
responsveis tcnicos pela segurana do ambiente do stio.
( ) So estabelecidas rotinas de programas de conscientizao de todos os envolvidos.
( ) Sempre que necessrio, os servidores Web so configurados para usar tecnologias de
autenticao e criptografia, visando a garantir a integridade, o sigilo e a autenticidade das
informaes.
( ) O responsvel tcnico se certifica de que entende todas as funcionalidades de qualquer
programa externo a ser utilizado e suas possveis vulnerabilidades.
( ) So adotados conceitos e procedimentos de auditoria interna que permitem anlise do
ambiente computacional.
( ) Toda a documentao tcnica referente aos componentes e configuraes do ambiente do
stio conservada para eventuais verificaes.
( ) Todos os documentos normativos elaborados e implementados pelo rgo ou entidade,
que versam sobre o ambiente do stio, so mantidos atualizados e em condies de sofrer
auditorias.
( ) No so utilizados provedores externos para prestar servios considerados sigilosos, bem
como aqueles que possam expor a privacidade dos usurios.
( ) Caso os servios Web estejam sendo prestados por provedores externos, foram
estabelecidas clusulas no contrato de prestao de servio que estipulam a observncia s
normas sobre segurana de stios aplicveis Administrao Pblica Federal.
( ) O servio de certificao dos stios dos rgos ou entidades feito por Autoridades
Certificadoras integrantes da ICP-Brasil, observado o disposto no Decreto no 3.996, de 31 de
outubro de 2001.
( ) O rgo ou entidade adota medidas necessrias para preservar a segurana dos stios sob
sua responsabilidade, inclusive se hospedados por provedores externos, e estipula de forma
clara as responsabilidades da unidade que gerencia o stio.
As questes acima foram elaboradas a partir dos artigos 14 a 38 da Resoluo n 7, de 29 de
julho de 2002, do Comit Executivo do Governo Eletrnico CEGE, que estabelece regras e
diretrizes para os stios na Internet da Administrao Pblica Federal.
262
263
6.5. Quais os principais avanos na atuao dos Comits Tcnicos e do CEGE?
6.6. Quais as maiores dificuldades, na perspectiva G2C, para a implantao do Programa Governo
Eletrnico?
7. OBSERVAES
Telefone:
E-mail:
Lotao:
Matrcula:
Telefone:
E-mail:
Lotao:
Local:
Data:
Nome:
Horrio
N. Fita:
264
5. APRESENTAO
APRESENTAO DO MODERADOR + ASSISTENTES
FALAR SOBRE A PESQUISA (TCNICAS DE PESQUISA UTILIZADAS) E SOBRE O CORTE TEMPORAL
DA PESQUISA: AES DE E-GOV PLANEJADAS/REALIZADAS CONSIDERANDO A ATUAL
ESTRUTURA DO PROGRAMA GOVERNO ELETRNICO (CEGE + cts OUT./2003)
ANONIMATO DAS OPINIES INDIVIDUAIS (OPINIO DO GRUPO)
APRESENTAO DOS PARTICIPANTES:
1) NOME
2) RGO/ENTIDADE
3) CARGO/FUNO
4) REA (GESTO/COMUNICAO/TI)
5) FORMA DE GESTO DO PORTAL (rea responsvel pelo portal, quem publica o qu, com autorizao
de quem)
265
6. INFORMAES REQUERIDAS
AVALIAO SOBRE AS DIRETRIZES DO PROGRAMA GOVERNO ELETRNICO
6.1. Como voc avalia as diretrizes da poltica de governo eletrnico oriundas dos Comits Tcnicos e do
Comit Executivo do Governo Eletrnico e a divulgao destas?
AVALIAO SOBRE A ATUAO DA SLTI E DO DEPARTAMENTO DE GOVERNO ELETRNICO
6.2. Quanto atuao da SLTI e do Departamento de Governo Eletrnico:
-
266
Telefone:
E-mail:
Lotao:
Matrcula:
Telefone:
E-mail:
Lotao:
Local:
Data:
Nome:
Horrio
Incio:
/
Trmino:
N. Fita:
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282