Professional Documents
Culture Documents
PROGRAMA DE PS-GRADUAO EM
ENGENHARIA DE PRODUO
Dissertao de Mestrado
Ieda Frasson
Florianpolis
2001
Ieda Frasson
Dissertao apresentada ao
Programa de Ps-Graduao em
Engenharia de Produo da
Universidade Federal de Santa Catarina
como requisito parcial para obteno
do ttulo de Mestre em
Engenharia de Produo
Florianpolis
2001
151
Ieda Frasson
____________________________
Prof. Ricardo Miranda Barcia, PhD
Coordenador do Curso
BANCA EXAMINADORA
_________________________
Prof. Jos Francisco Salm, PhD
Orientador
_________________________
Prof. Maria Ester Menegasso, Dra.
_________________________
Prof. Francisco Gabriel Heidemann,
PhD
152
DEDICATRIA
AGRADECIMENTOS
153
154
VIKTOR FRANKL
SUMRIO
155
156
157
LISTA DE QUADROS
158
RESUMO
159
ABSTRACT
This dissertation deals with some aspects concerning the assessment of projects in social
organizations. It is an attempt to identify the criteria for efficiency, efficacy and
effectiveness adopted by the assessors of non-governmental institutions funding social
projects. The assessment of such projects is an incipient activity in which the number of
questions is far greater than the number of answers, and in which predominate the
160
weaknesses of methodologies traditionally used to identify the complex realities that are
unique to social projects. Thus, the evaluation of projects of this nature must not be
understood and used merely as an inspection or punitive resource. Rather, it is a potential
tool that is able to determine if social projects are being developed efficiently, efficaciously
and effectively by social organizations. This dissertation is based on qualitative research of
an exploratory and descriptive kind. Its perspective is diachronic and cross-sectional. The
research mode is grounded on sample studies. The categories surveyed that are
contemplated by the process of assessing social projects are: basic funding criteria; followup/monitoring; data gathering; participation of the target public; participation of executors;
accounting system; application of resources; achieved results and social impact. In face of
the correlation established between the theoretical framework and the results of the
empirical research, inferences are drawn that contribute to propose an assessment process
of social projects that includes the criteria of efficiency, efficacy and effectiveness. One of
the conclusions of this thesis is that social organizations have difficulty in assessing if
projects are carried out efficiently, efficaciously and effectively. This is due to the lack of
theoretical studies endowed with conceptual clarity, as well as of methodological
procedures and strategies that allow social organizations to assess how such projects are
carried out.
161
1 INTRODUO
162
163
164
Para o alcance dos objetivos geral e especficos a que se prope esta dissertao,
seu desenvolvimento feito em sete captulos.
Este primeiro captulo compreende a introduo da dissertao, onde se expe o
assunto, definem-se os principais termos, define-se o problema, traam-se os objetivos
165
166
projetos, que mostra ser inadequada ao enfrentamento dos problemas com os quais estes
atores tm que lidar na realidade social. Por outro lado, em se tratando da literatura
desenvolvida por cientistas sociais ou polticos, percebe-se uma explcita negao dos
mtodos quantitativos e da abordagem racionalista, o que resulta em pouca utilidade
prtica para quem estiver buscando um ferramental para planejar, gerenciar e avaliar
projetos na rea social.
Diante deste cenrio, a avaliao de projetos sociais ainda um processo incipiente,
caracterizado pela diversidade de abordagens, o que reala tanto a dificuldade quanto a
necessidade de que sejam desenvolvidas e adotadas certas normas capazes de guiar todo o
trabalho dos avaliadores (Hatry, Newcomer e Wholey, 1994).
Constatada a fragilidade das metodologias tradicionalmente utilizadas nas
organizaes sociais para identificar as complexas realidades peculiares dos projetos da
rea social, esta dissertao visa identificar os critrios de eficincia, eficcia e efetividade
adotados pelos avaliadores de instituies no-governamentais financiadoras de projetos
sociais. Para isso, construiu-se a seguinte pergunta de pesquisa:
passem
se
caracterizar
pela
legitimidade,
pertinncia,
validade,
1.5 Objetivos
1.5.1 Geral
168
1.5.2 Especficos
169
170
Aliado s razes ora abordadas para a escolha do tema, est o interesse que ele foi
capaz de despertar na autora, a partir da sua formao na rea contbil e da necessidade de
continuar a pesquisa iniciada com a elaborao do trabalho de concluso do curso, que teve
como temtica a contabilidade das organizaes do terceiro setor. Esta dissertao
representa, para a autora, mais um passo dado em direo compreenso do multifacetado
e complexo universo das organizaes do terceiro setor.
171
172
173
Para fins deste estudo, emprega-se o termo categoria por contemplar um conjunto
de predicados, conceitos, idias, processos concernentes mesma dimenso (Menegasso,
1998, p.28). Desta forma, entende-se que cada categoria identificada a partir da construo
da base terica representa um conjunto de elementos ou aspectos que esto relacionados a
uma dimenso da avaliao de projetos sociais.
As categorias definidas a priori, ou seja, a partir da fundamentao terica, so:
critrios bsicos para financiamento; acompanhamento/monitoramento; coleta de dados;
participao do pblico-alvo; participao dos executores; sistema de contabilidade;
aplicao dos recursos; resultados alcanados; impacto social.
Uma vez estabelecidas as categorias a serem investigadas, tem incio o segundo
momento da construo desta dissertao: a pesquisa emprica. Nesta etapa, buscam-se na
realidade social as evidncias destas categorias, com a elaborao de questes especficas
para a investigao de cada uma delas.
Na busca pelas evidncias empricas, o instrumento de coleta de dados utilizado foi
a entrevista. Por meio desta tcnica, o pesquisador busca obter informaes atravs da fala
dos atores sociais (Minayo, 1994). Dentre as modalidades desta tcnica de coleta de dados,
optou-se por utilizar nesta pesquisa a entrevista no-estruturada do tipo focalizada, por
permitir que as questes pertinentes ao tema sejam tratadas de forma aberta. Com isso, h
um enriquecimento da investigao, uma vez que esta modalidade deixa o entrevistado
livre para falar, sem restries (Trivios, 1987).
No processo de investigao de campo, utilizou-se uma amostra intencional
composta por cinco avaliadores de instituies no-governamentais financiadoras de
projetos sociais. Dentre os sujeitos pesquisados, quatro integram o quadro funcional destas
instituies e um atua como consultor independente, prestando servios tcnicos s
instituies no-governamentais financiadoras de projetos sociais.
O ponto primordial que foi levado em considerao na deciso de realizar a
pesquisa com os referidos sujeitos o fato de possurem informaes sobre a forma como
estava sendo realizada a avaliao de projetos sociais, foco deste estudo. Buscou-se
entrevistar pessoas que estavam diretamente envolvidas na avaliao dos projetos sociais,
sendo elas detentoras de vnculo empregatcio ou no. No caso dos avaliadores que
possuam vnculo empregatcio com instituies no-governamentais financiadoras de
174
175
176
177
responsabilidade do poder privado para o pblico vista por Brando et al. (1998, p.5)
como uma espcie de privatizao da esfera pblica: o pblico passa a assumir a funo
da manuteno do indivduo.
As crises que acometeram o capitalismo, principalmente a ocorrida no ano de 1929,
resultaram na ampliao da ao estatal, atravs da adoo das medidas preconizadas pelo
pensador econmico John Maynard Keynes, medidas estas que determinavam a
interveno do Estado na economia com vistas a minimizar o efeito danoso das flutuaes
cclicas, criar empregos no servio pblico e promover aes na rea social.
A maior abrangncia das reas de interveno do Estado faz com que o mesmo
desempenhe duas funes bsicas e contraditrias: acumulao e legitimao. OConnor
(1977, p.19) aponta para a necessidade de equilbrio entre estas funes, pois um Estado
capitalista que empregue abertamente sua fora de coao para ajudar uma classe a
acumular capital custa de outras classes perde sua legitimidade e, portanto, abala a base
de suas lealdades e apoios.
O cumprimento das funes de acumulao e legitimao exige que o Estado
incorra em despesas sociais especficas para cada funo (OConnor, 1977). A funo de
acumulao privada lucrativa desempenhada por meio do Capital Social, ao passo que o
custeio de projetos e servios que cumprem a funo de legitimao ocorre atravs de
Despesas Sociais.
A crise financeira do Estado e o direcionamento das aplicaes estatais
precipuamente para a acumulao de capital reduziram consideravelmente o volume das
Despesas Sociais. Neste contexto, emerge o terceiro setor, que se distingue do Estado e do
mercado, como uma via eficaz para eliminar a ineficincia da burocracia estatal e assegurar
a eficcia na movimentao de recursos, na gerao de empregos e na prestao de
servios pblicos (Fischer e Falconer, 1998, Drucker, 1997).
Em que pese o reconhecido espao que o terceiro setor vem ocupando no final do
Sculo XX, a atividade voluntria organizada remonta Antiguidade. Na China, o
Budismo foi o responsvel pelo fortalecimento e institucionalizao do voluntariado a
178
Crise do desenvolvimento
Crise do socialismo
Mudanas revolucionrias
Revoluo nas comunicaes
Crescimento econmico
179
primeiro setor, e na esfera privada segundo setor. Neste pas, as organizaes que
compem o terceiro setor atuam em substituio ao governo na prestao de servios
sociais. O funcionamento e crescimento do terceiro setor nos Estados Unidos demonstram
que o processo de unidimensionalizao da sociedade est prximo do ponto de ruptura
(Ramos, 1983), pois uma das principais caractersticas do terceiro setor norte-americano
a capacidade de atrair tanto a cooperao individual das pessoas quanto a contribuio
expressiva das empresas (Fischer e Falconer, 1998).
A confiana depositada no terceiro setor tamanha que Drucker (1998), ao
considerar a civilizao das cidades como a principal prioridade de todos os pases,
defende serem as organizaes sem fins lucrativos, e no o governo ou o mercado, as
nicas capazes de criar comunidades para cidados.
A seguir, so discutidas as questes pertinentes ao surgimento do terceiro setor no
Brasil e s suas principais categorias, s organizaes sociais, aos desafios enfrentados
pelo terceiro setor diante da necessidade de equilibro entre voluntarismo e profissionalismo
e s teorias no-convencionais de administrao.
180
181
182
de articulao dos diferentes setores da sociedade civil (Teodsio e Resende, 2000, Pontes
e Bava, 1996).
Esta pluralidade corroborada por Tenrio (1998, p.20), ao considerar que as
associaes profissionais, associaes voluntrias, entidades de classe, fundaes
privadas, instituies filantrpicas, movimentos sociais organizados, organizaes no
governamentais e demais organizaes assistenciais ou caritativas da sociedade civil
representam as diversas formas organizacionais que compem o terceiro setor.
Neste sentido, Fischer e Fischer (1994, p.19) enfatizam que as organizaes do
terceiro setor tm se diferenciado pela eficcia de sua atuao, substituindo o Estado e a
iniciativa privada, na soluo criativa e econmica de problemas sociais que pareciam
insolveis, ou simplesmente, se acumulariam at se constiturem em catstrofes, se no
fosse sua presena.
A atuao do terceiro setor tem sido fundamental para a reduo dos desequilbrios
sociais que predominam no Pas e que se viram agravados pelo modelo de
redemocratizao que vem sendo adotado pelo governo com vistas a priorizar a
estabilidade da moeda e a modernizao econmica (Fischer e Falconer, 1998) e que
denota a ausncia de articulao positiva entre desenvolvimento econmico e equidade
social (Fagnani, 1998, p.124).
Desta forma, a crise social corolrio da noo de desenvolvimento que concebe a
rea econmica como desligada da rea social (Serva, 1997), desempenhando esta um
papel perifrico e assumindo seu pblico-alvo a condio de vtima, carente e excluda
(Gaetani, 1997). Neste contexto, oportuno observar que, a despeito da inexistncia de
polticas coerentes e contnuas por parte do Estado com relao ao terceiro setor, estas
organizaes sempre se fizeram presentes e vm consolidando seus espaos na formulao
e implementao de polticas pblicas (Landim e Vilhena, 1998, Gaetani, 1997).
O colapso que vem afligindo o modelo de administrao pblica implantado no
Brasil a partir da dcada de 1930 leva a sociedade a estruturar-se em organizaes para
autogerir a proviso das necessidades coletivas. Por meio destas organizaes, a sociedade
reage e passa a assumir certas funes na prestao de servios pblicos que at ento
eram de responsabilidade nica e exclusiva do Estado (Castor, 1994, Kliksberg, 1994,
Clarke, 1995).
183
184
185
Principais caractersticas
1. Associaes
2. Organizaes
filantrpicas,
beneficentes e de
caridade
3. Organizaes nogovernamentais
(ONGs)
4. Fundaes
privadas
5. Organizaes
Sociais (OS)
186
Atualmente, na discusso que vem sendo feita por alguns estudiosos sobre a
necessidade de redesenhar o Estado, destacam-se novas formas de relao com a sociedade
civil na busca de eficincia, eficcia e efetividade na prestao dos servios pblicos; e,
dentre as novas configuraes de que a ao estatal se reveste, a parceria tem-se revelado
uma das mais marcantes (Serva, 1997).
Neste sentido, qualquer iniciativa que pretenda solucionar os graves e urgentes
problemas que perpassam a questo social necessita incorporar a participao ativa da
sociedade civil (Pontes e Bava, 1996, Bayma et al., 1995, Tenrio et al., 1998, Pimenta,
1995). Diante da legitimidade alcanada pelas organizaes da sociedade civil, estas
passam a ser vistas como potenciais parceiras na formulao e implementao das polticas
pblicas (Reis, 2000a).
187
188
189
(1) uma crise fiscal, caracterizada pela crescente perda do crdito por parte do
Estado e pela poupana pblica que se torna negativa;
(2) o esgotamento da estratgia estatizante de interveno do Estado, a qual se
reveste de vrias formas: o Estado do bem-estar social nos pases desenvolvidos, a
estratgia de substituio de importaes no terceiro mundo, e o estatismo nos
pases comunistas; e
(3) a superao da forma de administrar o Estado, isto , a superao da
administrao pblica burocrtica.
190
191
Ao lado das formas de propriedade estatal e privada existe uma terceira forma, que
a propriedade pblica no-estatal, constituda pelas associaes civis sem fins
lucrativos, que no so propriedade de nenhum indivduo ou grupo e esto orientadas
diretamente para o atendimento do interesse pblico (Brasil, 1998a, p.13). Assim, a
prestao de servios pblicos no necessariamente coincide com a ao da esfera estatal,
pois as atividades pblicas tambm encontram-se na dimenso no-estatal (Ventura et al.,
1998, Vieira, 1999). E a dimenso no-estatal que Bresser Pereira (1995) considera como
a mais apropriada para a execuo dos servios sociais.
As organizaes sociais so definidas pelo Ministrio da Administrao Federal e
Reforma do Estado (Brasil, 1998a, p.13) como um modelo de organizao pblica noestatal destinado a absorver atividades publicizveis mediante qualificao especfica.
Trata-se de uma parceria entre o Estado e a sociedade civil na medida em que, qualificada
como Organizao Social, a entidade estar habilitada a receber recursos financeiros e a
administrar bens e equipamentos do Estado. Em contrapartida, ela se obrigar a celebrar
um contrato de gesto por meio do qual sero acordadas metas de desempenho que
assegurem a qualidade e a efetividade dos servios prestados ao pblico (Brasil, 1998a,
p.14).
A questo que perpassa o reconhecimento e a regulamentao do terceiro setor
atravs da qualificao de entidades como Organizaes Sociais , no mnimo, polmica.
Se por um lado h autores que vem na Reforma do Aparelho do Estado uma iniciativa no
sentido de legitimar o papel do terceiro setor no Brasil, por outro h autores para os quais o
Estado intervm com o propsito de tolher as iniciativas da sociedade civil (Carvalho,
1999).
Entre os crticos da reforma do Estado est Simionatto (1998, p.32), que considera a
criao das organizaes sociais como sendo a privatizao de hospitais, escolas tcnicas,
postos de sade, universidades, transformados em fundaes de direito privado que
recebero do governo subvenes praticamente simblicas. Neste sentido, as
organizaes sociais so percebidas como uma estratgia rumo ao progressivo
esvaziamento e desmonte das organizaes da sociedade civil, que passariam a
desempenhar o simples papel de executoras do Estado mnimo (Reis, 2000a).
192
racionalidade
instrumental,
predominante
nos
organismos
governamentais,
194
Seo I Da Qualificao
A Lei 9.637 estabelece que podero ser qualificadas como organizaes sociais as
pessoas jurdicas de direito privado, sem fins lucrativos, cujas atividades sejam dirigidas
ao ensino, pesquisa cientfica, ao desenvolvimento tecnolgico, proteo e preservao
do meio ambiente, cultura e sade (Brasil, Lei 9.637, art. 1).
A organizao qualificada poder ser uma entidade civil j constituda e que
proceda adequao estatutria ou uma entidade nova criada para pleitear a condio de
organizao social.
196
197
198
Seo VI Da Desqualificao
desqualificao
da
organizao
social
ocorre
quando
constatado
199
200
201
202
crescente
especializao,
profissionalizao
institucionalizao
das
203
204
No se pode deixar de levar em conta que, alm dos mitos que cercam a identidade
do terceiro setor, a carncia de profissionalismo deve-se tambm ao fato de que o ensino e
a pesquisa em Administrao se dedicam quase que exclusivamente aos setores estatal e
empresarial. Salm (1993) corrobora este fato ao mencionar a falta de interesse dos cursos
de administrao na discusso de tecnologias gerenciais para grupos isonmicos.
Esta negligncia das cincias administrativas em produzir estudos que envolvam os
espaos no econmicos tambm percebida por Chanlat (1993, p.23) ao defender que,
instalado o econmico, o quantitativo e as organizaes no centro de seu universo, nossa
sociedade parece ter esquecido o resto, isto , tudo o que no redutvel formalizao.
Diante disso, as organizaes do terceiro setor, que vm se multiplicando margem dos
setores estatal e empresarial, no dispem de estudos especficos voltados para suas
necessidades de gesto, to singulares (Fischer e Fischer, 1994, Rodrigues, 1998, Fischer e
Falconer, 1998, Salamon, 1998, Andion, 1998, Carvalho, 1999, Martins, 1999, Cunha,
1997, Motta, 1979).
No entanto, importante ressaltar que simplesmente transplantar para o terceiro
setor os mtodos e procedimentos de gesto empregados nos setores pblico e privado,
calcados na racionalidade instrumental, representa um perigo potencial (Cunha, 1997).
Por isso, o prximo tpico dedicado discusso de teorias no-convencionais de
administrao que se encontram mais prximas da complexidade imanente ao universo que
compe as organizaes do terceiro setor.
205
206
207
pois atravs dos bens produzidos e dos servios prestados pelas economias que as
necessidades bsicas individuais so atendidas.
A substituio do carter funcional pelo carter substantivo torna a fenonomia um
sistema social diametralmente oposto economia. As fenonomias so espaos em que os
indivduos tm o mximo de opo pessoal para, isoladamente ou em pequenos grupos,
desenvolver atividades sem o imperativo de subordinao a prescries impostas. o
sistema social em que impera a dimenso substantiva da razo, pois a palavra de ordem a
realizao pessoal.
A isonomia definida por Ramos (1989, p.150) como um contexto em que todos
os membros so iguais. oportuno salientar que a igualdade a que Ramos se refere a
correspondente aos ambientes sociais igualitrios, uma vez que nas organizaes
isonmicas h o reconhecimento da importncia da individualidade dos seus membros. A
isonomia o espao para o exerccio da convivncia, da dimenso social do ser humano,
que se relaciona com outras pessoas e desenvolve atividades em comunidade com vistas
busca de realizao pessoal. Nas isonomias, a superioridade da racionalidade substantiva
em relao racionalidade instrumental to marcante que Serva (1993) as denomina
organizaes substantivas.
Alm da relao existente entre as dimenses do ser humano e os cenrios sociais
propcios para a satisfao das necessidades surgidas a partir dessa multidimensionalidade,
possvel relacionar estes cenrios aos modelos de homem que Ramos (1984) apresenta ao
tentar reavaliar a evoluo da teoria administrativa. importante salientar, no entanto, que
Menegasso (1998, p.132) chama a ateno para o fato desses modelos de homem no
caracterizarem a unidimensionalizao do homem, j que o reducionismo no cabe na
teoria da delimitao dos sistemas sociais.
O primeiro modelo de homem identificado na teoria administrativa surge com a
administrao cientfica de Taylor (1909) e Fayol (1911) e recebe a denominao de
homem operacional. o homem que ocupa o espao da economia, onde reduzido a um
ser calculista, motivado por recompensas materiais e econmicas e, como se no bastasse,
considerado um recurso organizacional, tal qual peclio ou matria-prima, a ser
maximizado (Ramos, 1984, Chanlat, 1993). A este modelo de homem e ao espao no qual
se projeta s permitida a satisfao das necessidades decorrentes de sua dimenso
fsica/biolgica.
209
210
211
212
213
214
215
haja espao para idias arraigadas (Menegasso, 1998) e permitem que suas mentes estejam
permanentemente abertas para perceber o mundo.
A viso compartilhada a capacidade de reunir as pessoas em torno de uma
identidade comum e de um sentido de misso que levam a organizao a atingir seus
propsitos. Este aspecto observado nas organizaes do terceiro setor por Serva (1993,
p.37), ao enfatizar que elas parecem brotar pela fora espontnea de milhares de
indivduos, espalhados por todo mundo, que tm-se reunido em torno de ideais e princpios
determinantes de aes conjuntas [...]. Esta capacidade que as organizaes do terceiro
setor tm de reunir as pessoas deriva da qualificao e da natureza das atividades
desempenhadas, que se coadunam com os valores dos indivduos (Ramos, 1983).
A aprendizagem em equipe encontra o seu espao ideal em uma organizao do
terceiro setor, uma vez que consiste na capacidade que uma equipe tem de criar os
resultados que seus membros realmente desejam. E, por se tratar de pessoas que optaram
por participar de organizaes em que o reconhecimento no ocorre na forma de ascenso
hierrquica e que atuam margem do mercado, indiscutvel o fato destas pessoas estarem
buscando nas organizaes os resultados que realmente desejam.
O raciocnio sistmico est permanentemente presente nas organizaes do
terceiro setor, uma vez que elas so espaos propcios para a auto-realizao, para a busca
de um trabalho que no fragmente o ser humano, que no tolha a sua vontade de criar, de
viver com sentido (Ramos, 1983, Chanlat, 1993, Frankl, 1998).
Diante da breve anlise de cada uma das cinco disciplinas que do sustentao
organizao em aprendizagem, verifica-se que nas organizaes do terceiro setor a
aprendizagem contnua e efetiva encontra espao maior do que aquele que existe nas
organizaes que compem o Estado e o mercado.
As consideraes tericas feitas at aqui a respeito das organizaes do terceiro
setor, precipuamente no que diz respeito aos desafios que vm enfrentando na sua gesto,
tm estreita relao com o captulo que se apresenta a seguir. Isto porque a necessidade de
que sejam desenvolvidos mecanismos que contemplem a avaliao dos projetos sociais
executados por estas organizaes tambm est relacionada com a sua capacidade de
aprendizado. Diante disto, o captulo seguinte aborda os principais aspectos identificados
na literatura especializada acerca da avaliao de projetos sociais.
216
217
218
219
220
221
222
223
224
guia para uma tomada de decises racional e inteligente entre cursos de ao, ou para
solucionar problemas e promover o conhecimento e a compreenso dos fatores associados
ao xito ou ao fracasso de seus resultados.
225
fornecendo, portanto, subsdios aos decisores (Perez, 1998, p.67). O mesmo sentido da
avaliao concebido por Aguilar e Ander-Egg (1995, p.26) ao defender que a avaliao
s tem sentido na medida em que serve para tomar decises concretas.
Estes conceitos evidenciam que a avaliao no deve ser vista como uma rotina de
carter meramente burocrtico, uma ameaa aos administradores cujos projetos esto
sendo avaliados (Hatry, Newcomer e Wholey, 1994), uma espcie de munio para aqueles
que querem reduzir as despesas do projeto ou drasticamente mudar a sua direo ou, ainda,
uma estratgia punitiva e voltada apenas para resultados.
Desta forma, para que a avaliao seja prtica e o seu custo valha a pena
(Newcomer, Hatry e Wholey, 1994), deve ser compreendida e utilizada como um poderoso
instrumento para melhorar o desempenho dos projetos sociais existentes, aprimorar o
conhecimento sobre sua execuo e contribuir para seu planejamento futuro (Sonnichsen,
1994, Hatry, Newcomer e Wholey, 1994, Sulbrandt, 1994).
Concebida desta forma, a avaliao sistemtica, contnua e eficaz surge como uma
ferramenta gerencial poderosa (Costa e Castanhar, 1998, p.1) que cria condies para
aumentar a eficincia, a eficcia e a efetividade dos projetos sociais na medida em que
proporciona aos formuladores das polticas sociais e aos gestores dos projetos meios
adequados para avaliar o resultado de suas aes e decises. Com isto, a avaliao passa a
ser a nica ferramenta que pode nos falar, baseado em evidncia emprica, qual o nosso
problema e quais as aes que ns podemos tomar para solucion-lo (Chelimsky, 1994,
p.506).
No entanto, para que se torne factvel, faz-se necessrio que a avaliao expresse a
vontade poltica e administrativa dos responsveis pela execuo do projeto, que s vezes
consideram a avaliao de projetos um desperdcio de recursos (Aguilar e Ander-Egg,
1995, Affholter, 1994, Chelimsky, 1994).
Neste sentido, Wholey (1994) constata que, se os responsveis pelo projeto a ser
avaliado no puderem ou no estiverem dispostos a usar a informao da avaliao para
mudar o projeto, provvel que as concluses da avaliao produzam informao
procura de um usurio (Wholey, 1994. p.16).
Tomando-se como base os conceitos apresentados at aqui, depreende-se que
consenso no mundo das idias o fato da avaliao de projetos sociais ser imprescindvel na
226
Tipo de avaliao
Avaliao ex-ante
Avaliao ex-post
Avaliao de metas
Avaliao de impacto (somativa)
Avaliao de processos (formativa)
Avaliao externa
Avaliao interna
Avaliao mista
Avaliao participativa
Fonte: Elaborado por Frasson (2001) a partir dos fundamentos tericos dos autores pesquisados.
227
No que se refere ao momento em que se realiza, a avaliao pode ocorrer antes (exante) ou depois (ex-post) da execuo do projeto.
A avaliao ex-ante consiste em avaliar o programa ou projeto em si mesmo,
mediante estimao crtica de sua pertinncia, viabilidade e eficcia potencial, com a
finalidade de proporcionar critrios racionais sobre a convenincia ou no de levar a cabo
um programa ou projeto (Aguilar e Ander-Egg, 1995, p.41).
Neste tipo de avaliao, so antecipados fatores considerados no processo decisrio
(Cohen e Franco, 1998), procedendo-se ao levantamento das necessidades e estudos de
factibilidade que iro orientar a formulao e o desenvolvimento do programa (Faria,
1998, p.44).
Ao contrrio do que ocorre com os projetos econmicos, onde a nfase dada
avaliao ex-ante, nos projetos sociais aplica-se em maior escala a avaliao ex-post.
Contudo, esta particularidade dos projetos sociais vem sendo complementada pela
tendncia de avali-los tambm na etapa ex-ante, para que se possa analisar as capacidades
do projeto antes de sua implementao (Cohen e Franco, 1998).
A avaliao ex-post, ou seja, aquela que efetuada aps a execuo do projeto,
determina seu impacto e benefcios em relao situao inicial, assim como a execuo,
funcionamento e resultados ou efeitos do projeto, permitindo analisar as razes que
levaram ao seu fracasso ou sucesso e contribuindo desta forma para o xito de projetos
futuros (Doryan et al., 1990, Aguilar e Ander-Egg, 1995, Reis, 2000c).
Um conceito que difere dos autores anteriormente citados sobre a avaliao ex-post
apresentado por Cohen e Franco (1998), pois consideram que ela pode ser realizada
tambm durante a execuo do projeto, e no somente aps a sua concluso. Segundo estes
autores, a avaliao ex-post pretende estabelecer o grau de eficincia do desempenho do
projeto e determinar em que medida se esto atingindo os objetivos procurados na
populao-meta do mesmo (Cohen e Franco, 1998, p.139).
Segundo esta definio, a avaliao ex-post a que vai trabalhar com impactos e
processos (Lobo, 1998, p.76). Decorre da a segunda classificao da avaliao, que
baseada na sua funo.
228
De acordo com este critrio, pode-se distinguir trs tipos de avaliao: avaliao de
metas, avaliao de impacto (somativa) e avaliao de processos (formativa).
A avaliao de metas o tipo de estudo mais tradicional e que tem como propsito
medir o grau de xito que um programa obtm com relao ao alcance de metas previamente
estabelecidas (Costa e Castanhar, 1998, p.6).
Em um projeto social, as metas correspondem ao processo de quantificao dos
objetivos, sendo que estes representam a situao que se deseja obter ao final do perodo de
durao do projeto (Cohen e Franco, 1998, p.88). Desta forma, so atribudos valores a um
conjunto de metas e trata-se de estabelecer o xito relativo do programa conforme o grau em
que essas metas tenham sido cumpridas (Sulbrandt, 1994, p.370).
Os problemas encontrados na utilizao da avaliao de metas em projetos de
cunho social esto relacionados identificao correta da meta, existncia de metas
mltiplas, seleo de metas a ser includas na avaliao e s mudanas de metas
(Sulbrandt, 1994, Affholter, 1994).
Este tipo de avaliao criticado na medida em que a simples comparao entre as
metas previstas e alcanadas no permite atribuir causalmente o resultado ao programa,
mas apenas constatar que produziram-se mudanas de maneira concomitante com a
execuo do programa (Sulbrandt, 1994, p.370).
Da mesma forma, a crtica a este tipo de avaliao encontrada em Cohen e Franco
(1998, p.76), pois defendem que esta concepo centrada na apreciao do grau em que
foram alcanadas as metas resultante da translao acrtica ao campo social das tcnicas
de avaliao de projetos econmicos.
Por outro lado, a avaliao de impacto, tambm denominada avaliao somativa,
concentra-se em determinar at que ponto foram cumpridos os objetivos ou produzidos os
efeitos pretendidos, bem como o valor do projeto em relao s necessidades dos
beneficirios, julgando se o mesmo deve ou no ser mantido (Aguilar e Ander-Egg, 1995).
A avaliao de impacto direcionada no sentido de avaliar a efetividade, ou seja,
aos efeitos produzidos pelo projeto sobre o grupo-alvo (Faria, 1998, Perez, 1998, Costa e
229
230
Com relao ao autor da avaliao, esta pode ser externa, interna, mista ou
participativa.
A avaliao externa aquela que recorre a avaliadores especializados que so
contratados pela organizao executora do projeto, mas que no so vinculados a ela
(Aguilar e Ander-Egg, 1995, Reis, 2000c). defendida por Arretche (1998, p.38), ao
considerar que instituies independentes tm maiores condies e incentivos para, com
base em critrios valorativos explcitos e objetivos definidos, montar instrumentos
adequados para responder questo da relao entre as polticas, seus processos e seus
resultados.
Tem como vantagem no estar envolvida nem com o objeto a ser avaliado nem com
possveis grupos em conflito, o que garante maior objetividade avaliao (Tripodi et al.,
1975). Alm disso, supe-se que diante da experincia destes avaliadores, possvel
estabelecer comparaes com objetivos ou projetos similares que j tenham sido por eles
avaliados (Cohen e Franco, 1998).
Como desvantagem, cita-se a dificuldade de uma pessoa alheia organizao captar
vrios aspectos referentes natureza e funcionamento do projeto e da prpria organizao
que so familiares aos executores. Isto porque avaliadores externos podem possuir melhor
231
capacidade tcnica, mas menos conhecimento prtico do projeto a ser avaliado (Bell,
1994).
Por outro lado, a avaliao interna realizada dentro da prpria organizao gestora
do projeto, por pessoas que so vinculadas a ela (Aguilar e Ander-Egg, 1995, Reis, 2000c,
Cohen e Franco, 1998). Como vantagens deste tipo de avaliao destacam-se o maior
conhecimento dos avaliadores sobre o projeto que est sendo avaliado, o ambiente poltico
que impera na organizao e o acesso imediato s pessoas que trabalham diretamente no
projeto e aos seus beneficirios (Averch, 1994, Chelimsky, 1994).
As desvantagens que ela apresenta so a possibilidade de que aspectos negativos ou
fracassos sejam minimizados, sendo ressaltados somente os aspectos positivos ou os
xitos, alm de servir, adotando-se aqui o sentido restrito da avaliao, como instrumento
em disputas internas entre grupos em conflito. Este aspecto negativo da avaliao interna
abordado por Cohen e Franco (1998, p.112), ao citarem que contra esta forma de
avaliao se alega que proporcionaria menores garantias de objetividade, j que a
organizao agente seria juiz e interessado.
Diante das desvantagens de se restringir a avaliao ao mbito interno da
organizao, aponta-se para um sistema de avaliao (Sulbrandt, 1994) que represente o
reforo de uma rede de potenciais avaliadores (Lobo, 1998, p.78) formado por entidades
de cunho acadmico, organismos no-governamentais e organizaes de consultores.
Surge, com isso, uma forma de avaliao mista, que representa o terceiro tipo de avaliao.
A avaliao mista refere-se a uma combinao das avaliaes externa e interna, pois
conta com uma equipe de trabalho formada por avaliadores externos e internos (Aguilar e
Ander-Egg, 1995, Reis, 2000c, Cohen e Franco, 1998). Este tipo de avaliao defendido na
medida em que permite equilibrar os fatores desfavorveis e reforar os favorveis inerentes
s avaliaes externa e interna (Aguilar e Ander-Egg, 1995), alm de representar uma
forma de equilibrar os aspectos relativos objetividade e ao conhecimento necessrio
avaliao (Reis, 2000c, p.4). Este tipo de avaliao proporciona a troca de informao
entre o grupo de trabalho interno e o grupo externo organizao, normalmente aplicado
para garantir a qualidade da avaliao (Bell, 1994).
Concluindo a discusso dos tipos de avaliao, apresenta-se a avaliao
participativa, que caracterizada pelo envolvimento e participao dos formuladores,
232
233
234
embarao, que representa tanto uma ameaa ao seu progresso quanto um apoio aos seus
competidores (Chelimsky, 1994). Acrescenta-se a isto o fato de que o controle de
resultados particularmente problemtico no setor pblico, onde muitos programas tm
objetivos mltiplos e interrelacionados com aes de outras reas (Penteado Filho, 1998,
p.9).
Estes fatores explicam porque a avaliao dos projetos de cunho social que vem
sendo desenvolvida pela administrao pblica ao longo do tempo restringe-se a
esquemas formais de controle fsico-financeiro, no mais das vezes utilizados como
cobrana de prestaes de contas sobre transferncias de recursos financeiros (Lobo,
1998, p.75).
Esta forma de avaliao, caracterizada pela negligncia e renncia com relao aos
resultados da ao pblica, permite que no sistema vigente as organizaes responsveis
pela prestao dos servios recebam mais dinheiro quando fracassam. Por isso a
necessidade de que sejam desenvolvidos mtodos de avaliao prprios para as atividades
de cunho social.
No caso das organizaes sociais, onde a parceira estabelecida ocorre entre o
Estado e a sociedade civil, Fischer e Falconer (1998, p.17) defendem que somente o
estabelecimento de uma relao de parceria negociada entre Estado e organizaes do
Terceiro Setor, na qual vigorem critrios e indicadores aceitos formalmente e monitorados
por ambos os lados, permitir frutificar essa proposta de reformulao dos papis e das
relaes entre ambos.
Analisando-se os diferentes tipos de avaliao anteriormente apresentados, inferese que o tipo de avaliao proposto no contrato de gesto firmado entre o Estado e as
organizaes sociais o de avaliao de metas. Trata-se de uma avaliao em que so
comparadas as metas pactuadas na elaborao do contrato de gesto e as metas alcanadas
no trmino do contrato.
Esta inferncia pode ser comprovada na seguinte citao do Ministrio da
Administrao Federal e Reforma do Estado (MARE): as metas de desempenho so aes
mais concretas e objetivas, necessrias ao atingimento dos objetivos estratgicos e que vai
constituir a matria-prima da avaliao (e mensurao) do desempenho institucional
(Brasil, 1998a, p.26).
235
236
237
complexas da realidade que precisam ser apreendidas para que se possa identificar as
mudanas efetivamente decorrentes dos projetos (Valarelli, 2000b).
Assim como a avaliao deve preencher determinados requisitos, conforme visto
em tpico anterior, os indicadores elaborados tambm devem faz-lo. Para isso, Aguilar e
Ander-Egg (1995) relacionam os quatro requisitos que devem ser considerados na
elaborao dos indicadores: independncia (utilizar cada indicador para uma s meta),
verificabilidade (permitir a comprovao emprica das mudanas que vo ocorrendo com o
projeto), validade (servir para a medio de todos e cada um dos efeitos que o projeto
persegue) e acessibilidade (sua obteno deve ser relativamente fcil ou pouco custosa).
A utilizao de indicadores na avaliao considerada por Aguilar e Ander-Egg
(1995) como uma condio mnima para tornar possvel a avaliao de determinado
projeto pois, segundo os autores, se estes faltarem, toda avaliao que nos propusermos
ser intil ou pouco vivel, quando se trata de comparar objetivos propostos e realizaes
concretas (Aguilar e Ander-Egg, 1995, p.100).
A presena dos critrios de eficincia, eficcia e efetividade na avaliao de
projetos sociais pode ser percebida na conceituao que a ONU utiliza para definir o que se
entende por indicador, como se observa: os indicadores servem de padro para medir,
avaliar ou mostrar o progresso de uma atividade, com relao s metas estabelecidas,
quanto entrega de seus insumos (indicadores de insumos), obteno de seus produtos
(indicadores de produtos) e a consecuo de seus objetivos (indicadores de efeitos e
impactos) (ONU apud Aguilar e Ander-Egg, 1995, p.124). Ou seja, os indicadores de
insumos so utilizados para avaliar a eficincia, os indicadores de produtos avaliam a
eficcia e os indicadores de efeitos e impactos, por sua vez, so empregados para avaliar a
efetividade dos projetos sociais.
Da mesma forma, a presena destes critrios encontrada em Wholey et al. (1994),
ao defenderem que um projeto de avaliao deve incluir formas para descrever os recursos
do programa (eficincia), os resultados do programa (eficcia) e os mtodos para calcular
os impactos lquidos das atividades do programa (efetividade).
Esta idia corroborada por Valarelli (2000b, p.5), ao defender que
construir indicadores que traduzam concretamente os objetivos e resultados do projeto,
bem como negociar a prioridade de cada um, ajudar a tornar mais ntidas as posies em
jogo, aumentando o consenso em torno do que se pretende alcanar e diminuindo as
238
chances de conflito no futuro, pois estabelece previamente que parmetros sero utilizados
na avaliao.
Embora a utilizao de indicadores precisos de avaliao seja um imperativo para a
aferio do grau de eficincia, eficcia e efetividade dos projetos sociais, representa uma
questo polmica. Isto porque se, por um lado, a literatura existente enfatiza a necessidade
de criar sistemas de indicadores de avaliao, por outro enfatiza a dificuldade de faz-lo
devido s questes subjetivas como a percepo, os interesses, os princpios e os valores.
Isto explica a carncia de indicadores que possibilitem a aferio dos resultados obtidos
nos projetos sociais (Tenrio, 1999).
Uma avaliao que no seja realizada com base em um sistema de indicadores de
eficincia, eficcia e efetividade considerada incompleta, na medida em que estes
critrios esto necessariamente inter-relacionados, o que os torna indissociveis (Tripodi et
al., 1975). Da mesma forma, a importncia destes critrios mencionada por Tenrio
(1999, p.21), ao defender que o que garante a sobrevivncia da organizao uma
gerncia comprometida com a eficincia, a eficcia e a efetividade.
A adoo de indicadores de eficincia, eficcia e efetividade considerada por
Gaetani (1997) como um movimento que precisa ser difundido e aprofundado, pois cria
referncias, possibilita comparaes e auxilia na medio, qualificao e desenvolvimento
de sensibilidades em relao aos problemas.
Alm disso, torna-se um imperativo utilizar indicadores para que a avaliao dos
projetos sociais no seja fundamentada unicamente nas experincias pessoais dos
avaliadores ou em avaliaes informais anteriormente realizadas (Newcomer, Hatry e
Wholey, 1994). por isto que somente a construo de um conjunto de indicadores que
possa ser permanentemente monitorado permite avaliar de forma mais precisa os reais
impactos gerados pelos projetos sociais (Demajorovic e Sanches, 1999).
No entanto, importante levar em conta que, para que os indicadores possam
cumprir o objetivo de indicar a realidade do projeto social, precisam ser construdos a
partir desta realidade vigente em cada projeto. Isto porque a construo destes indicadores
deve considerar, alm dos critrios tcnicos, os critrios polticos e sociais que permeiam a
realidade do projeto a ser avaliado. E estes critrios polticos e sociais so diferentes de
projeto para projeto, uma vez que s podem ser identificados a partir da anlise da
realidade na qual o projeto social est inserido.
239
240
241
242
243
operacionais
envolvidas,
exige
que
sejam
isoladas
as
variveis
244
1. Tarefas preliminares
3. Trabalho de campo
4. Elaborao e apresentao de
resultados
245
246
Caractersticas
1. Observadores treinados
(Greiner, 1994)
2. Pesquisas sistemticas
(Miller, 1994)
4. Uso de role-playing
6. Entrevistas de campo
247
Na anlise e interpretao dos resultados obtidos por meio da coleta dos dados,
atividade que faz parte da ltima etapa do processo de avaliao, podem ser utilizadas
tcnicas estatsticas para fortalecer as concluses extradas dos resultados. Quando da
seleo da tcnica de estatstica mais apropriada, trs categorias de critrios deveriam ser
observadas: critrios relacionados pergunta, critrios relacionados mensurao e
critrios relacionados ao pblico (Newcomer, 1994).
Neste caso, problemas podem surgir quando houver uma discrepncia entre a
verdadeira situao e os resultados do teste de estatstica, podendo-se chegar a uma
concluso errnea com relao aos resultados do projeto. Duas situaes, segundo
Newcomer (1994), podem ento ocorrer: (1) a verdadeira situao que o projeto no tem
o efeito desejado, mas as estatsticas calculadas sugerem que tem; e (2) a verdadeira
situao que o projeto tem o efeito desejado, mas os dados do teste sugerem que no tem.
A forma com que os resultados da avaliao so elaborados e apresentados de
extrema importncia, na medida em que os responsveis pelo projeto podem at estar
dispostos a avaliar o programa, mas muitas vezes a natureza tcnica dos relatrios pode
causar dificuldades para que eles entendam quais so os resultados mais importantes e
como aplicar esses resultados a novos projetos sociais (Chelimsky, 1994).
A partir da apresentao das fases que compem o processo de avaliao dos
projetos sociais e dos principais aspectos dos critrios de eficincia, eficcia e efetividade,
o prximo tpico dedicado auditoria destes projetos, enfocando-se a prtica da auditoria
contbil como uma tcnica de avaliao utilizada em projetos da rea social.
248
249
250
divulgao das demonstraes contbeis que vem sendo denominado Contabilidade por
Fundos.
3.7.2 Contabilidade por Fundos
propsitos para os quais os recursos foram doados. Assim, quando as restries impostas
pelo doador deixarem de existir, os recursos sero transferidos para o fundo irrestrito. O
fundo permanentemente restrito refere-se aos ativos cuja utilizao est permanentemente
atrelada s condies impostas por seus doadores.
A Contabilidade por Fundos preconiza que, para o devido atendimento das
necessidades dos usurios, devem ser elaboradas e divulgadas as seguintes demonstraes
contbeis: Balano Patrimonial, Demonstrao do Resultado do Exerccio, Demonstrao
das Mutaes do Patrimnio Lquido, Demonstrao das Origens e Aplicaes de Recursos
e Demonstrao do Fluxo de Caixa, acompanhadas das notas explicativas.
Para cada um dos fundos anteriormente apresentados, devem ser elaboradas as
respectivas demonstraes contbeis, assim como para a organizao social como um todo,
na forma de demonstraes consolidadas. Os saldos referentes s operaes entre fundos
aparecero tanto no Balano Patrimonial do fundo irrestrito quanto do fundo restrito,
devendo ser eliminados na consolidao dos balanos. No Balano Consolidado s
podero constar ativos e passivos que representem bens, direitos e obrigaes pertencentes
entidade como um todo, desde que esses direitos e essas obrigaes sejam com relao a
terceiros. Esta restrio ocorre porque no Balano Consolidado no so possveis
transaes entre os prprios fundos.
Diante do exposto, depreende-se que, nas organizaes sociais, a Contabilidade por
Fundos exerce um papel de significativa importncia, uma vez que estas possuem diversas
fontes de recursos financeiros que vo desde o Estado, as instituies privadas e a
sociedade at os prprios membros das organizaes. Esta forma alternativa de
contabilizao permite, ento, que uma organizao social tenha controle eficiente dos
recursos que devam ser gastos em projetos especficos. Alm disso, a adoo deste sistema
de contabilizao exige o abandono do carter amador de prestao de contas (Carvalho,
1999, p.9), to freqente em organizaes sociais.
A partir da identificao dos principais aspectos tericos da avaliao de projetos
nas organizaes sociais, o captulo seguinte aborda os resultados da pesquisa emprica,
buscando-se descobrir como vem sendo realizada a avaliao de projetos sociais pelos
avaliadores de instituies no-governamentais financiadoras de projetos desta natureza.
252
No captulo que aqui se apresenta, busca-se descobrir como vem sendo realizada a
avaliao de projetos sociais pelos avaliadores de instituies no-governamentais
financiadoras de projetos desta natureza.
Inicialmente, procede-se contextualizao dos sujeitos pesquisados, traando-se
um breve perfil dos avaliadores de instituies no-governamentais financiadoras de
projetos sociais entrevistados.
Na seqncia, tendo-se como base as categorias levantadas na pesquisa terica, so
apresentadas e analisadas as suas subcategorias, identificadas a partir da pesquisa emprica.
Cada uma das subcategorias acompanhada dos correspondentes relatos dos entrevistados,
atravs dos quais realizada a anlise dos dados de campo.
Por fim, so apresentados os relatos dos entrevistados sobre como vem se dando o
processo de construo de indicadores para a avaliao dos projetos desenvolvidos pelas
organizaes sociais.
Neste tpico, busca-se traar um breve perfil de cada um dos sujeitos pesquisados
cujo conjunto, conforme pde ser observado nos procedimentos metodolgicos descritos
no captulo inicial desta dissertao, rene um total de cinco avaliadores de instituies
no-governamentais financiadoras de projetos sociais.
Tendo-se acordado com os sujeitos pesquisados que seria mantido o seu anonimato,
bem como o das organizaes com as quais possuem vnculo empregatcio, foram
utilizados nomes fictcios para a apresentao dos depoimentos dos sujeitos no decorrer do
captulo ora desenvolvido.
Desta forma, cada depoimento apresentado seguido de um nome fictcio
correspondente, utilizado para identificar o sujeito que est sendo referenciado. possvel,
253
com isto, que o leitor identifique a autoria do depoimento que est sendo apresentado.
Feitas estas consideraes, traado a seguir o perfil de cada um dos sujeitos pesquisados.
O primeiro sujeito pesquisado, aqui denominado Clara, tem curso superior na rea
de Psicologia, tendo obtido o ttulo de mestre e doutor na rea de Educao. Integra o
quadro funcional de uma fundao privada que financia projetos sociais voltados para as
reas de educao profissional para adolescentes e de iniciativas populares de gerao de
renda, onde ocupa o cargo de coordenadora geral.
A fundao privada com a qual Clara possui vnculo empregatcio uma instituio
de renome no sul do pas e atua no financiamento de projetos sociais desenvolvidos no
estado do Rio Grande do Sul, onde est localizada sua sede, bem como em Santa Catarina.
O segundo avaliador selecionado, Joana, tem formao na rea de Servio Social,
possui o ttulo de Especialista em Desenvolvimento de Comunidades e atua h
aproximadamente vinte anos na avaliao de projetos sociais. Possui vnculo empregatcio
com uma organizao no-governamental que apia o desenvolvimento de projetos sociais,
ocupando o cargo de coordenadora tcnica.
A instituio qual Joana est vinculada uma organizao no-governamental
autnoma e independente, que tem como foco principal de atuao contribuir para a
promoo, valorizao e qualificao do voluntariado na regio de Florianpolis,
representando desta forma um elo entre aqueles que desejam doar seu tempo e trabalho e
aqueles que precisam de apoio para o atendimento de suas necessidades.
O terceiro sujeito pesquisado, que recebe a denominao de Paulo, formado em
Agronomia, rea na qual obtm o ttulo de mestre. Ocupa o cargo de coordenador de uma
organizao no-governamental localizada em Florianpolis, organizao esta responsvel
pela coordenao de um fundo que abrange a regio sul do pas e que apia projetos de
grupos e organizaes populares, associaes comunitrias, movimentos sociais e
pastorais.
Alm do cargo que ocupa na referida organizao no-governamental, atua na
avaliao de projetos sociais tambm como consultor independente, razo pela qual conta
com uma experincia de dez anos na rea de avaliao de projetos sociais.
O quarto sujeito escolhido nesta pesquisa denominado Regina, tem curso superior
na rea de Servio Social e atua h dez anos na avaliao de projetos sociais. Pertence ao
254
quadro funcional de uma instituio religiosa que desenvolve projetos na rea social, onde
ocupa o cargo de coordenadora.
Alm da atividade que realiza na instituio mencionada, atua como consultora
independente na avaliao de projetos sociais desenvolvidos por organizaes nogovernamentais.
O quinto e ltimo sujeito pesquisado, aqui denominado Patrcia, tem formao na
rea de Servio Social e atua h trs anos como consultora independente na avaliao de
projetos sociais voltados principalmente para as reas de educao para o trabalho,
educao profissional, projetos ambientais e projetos de gerao de renda.
Os primeiros trabalhos de avaliao de projetos sociais foram realizados quando ela
integrava o quadro funcional de uma fundao privada que financia projetos sociais.
Tendo-se desligado desta instituio, passou a atuar como consultora independente na
avaliao de projetos sociais.
Feita a contextualizao dos sujeitos pesquisados, o tpico apresentado a seguir traz
a apresentao e anlise dos depoimentos coletados junto aos sujeitos sobre a concepo
que tm a respeito do papel da avaliao de projetos sociais.
255
A avaliao tem um papel muito importante que monitorar o projeto, ver o que est
acontecendo para mesmo durante o perodo de implementao dele ele j ser
aperfeioado, ento hoje em dia a gente procura ver a avaliao no s como uma
avaliao de resultados, mas uma reflexo e uma anlise do processo, pra a ir
aperfeioando o projeto (Clara).
256
A gente procura trabalhar com a instituio para que ela possa crescer e aprender com
esse processo de avaliao. Que a avaliao no seja s uma prestao de contas, mas
que seja um instrumento mesmo, uma oportunidade de aprendizagem. A avaliao uma
ferramenta de aprendizagem dos projetos, no s somativa de ver os resultados (Clara).
257
Torna-se oportuno enfatizar que o depoimento ora transcrito demonstra que o uso
de indicadores se faz imprescindvel para que a avaliao de projetos sociais cumpra o
papel de constatar se o projeto social foi bem sucedido ou no, ou seja, se os objetivos
estabelecidos quando da elaborao do projeto foram alcanados ou no.
At o momento, as concepes do papel da avaliao de projetos sociais
apresentadas esto relacionadas com o alcance dos objetivos ou com o benefcio
proporcionado aos atores sociais que esto envolvidos na execuo do projeto, lembrando
que a expresso atores sociais refere-se ao conjunto de indivduos que participam da
avaliao dos projetos sociais.
258
No entanto, para que o projeto possa ser avaliado de forma eficiente, eficaz e
efetiva, a avaliao tambm deve ter a capacidade de aproximar os financiadores dos
projetos sociais das organizaes que executam estes projetos e do pblico-alvo que
beneficiado. Surge, ento, a ltima percepo identificada nos depoimentos coletados junto
aos sujeitos a respeito do papel da avaliao de projetos sociais: esta deve permitir uma
aproximao da realidade social.
O depoimento a seguir comprova que a avaliao de projetos sociais assume um
papel extremamente importante na medida em que permite que os financiadores conheam,
alm das organizaes que recebem financiamento e do pblico-alvo que beneficiado, a
realidade social em que estes esto inseridos:
A auto-sustentabilidade da organizao, ou seja, a sua capacidade de se autosustentar aps o trmino do financiamento recebido depende fundamentalmente da
capacidade que a mesma tem de manter um equilbrio entre o voluntarismo e a
profissionalizao (Salamon, 1998). Isto porque a organizao no deve abandonar os
valores com os quais se identifica, como a sensibilidade social e a capacidade de
indignao (Gaetani, 1997), mas deve acrescer a estes valores a capacidade de manter uma
atitude de responsabilidade na gesto dos projetos sociais perante a sociedade beneficiada.
Identifica-se, ento, mais um critrio adotado pelos organismos financiadores: a
capacidade de gesto dos projetos sociais.
Esta preocupao em assegurar que, no momento da anlise do projeto a ser
financiado, a organizao tenha condies de gerir os projetos sociais, demonstrada por
um dos avaliadores entrevistados, ao enfatizar que necessrio
(...) perceber a capacidade de gesto do projeto com relao ao grupo (...) (Paulo).
260
261
Eu acho que depende do tipo de recurso que est sendo distribudo, que est sendo
determinado para financiar alguns projetos, acho que quem doa os recursos ou quem est
abrindo esta linha de financiamento para projetos que determina esses critrios (Joana).
Este critrio est diretamente relacionado com o impacto do projeto, uma vez que,
ao focarem a atuao, reduzindo a abrangncia de temas e aspectos nos quais atuam, as
organizaes esto se tornando mais aptas a produzir mudanas significativas e duradouras
na realidade do pblico-alvo. Decorre disto mais um critrio considerado para que um
projeto receba financiamento: a sua capacidade de mudar a situao do pblico-alvo.
O interesse pelo financiamento de projetos sociais que sejam capazes de mudar as
condies prvias em que se encontra o pblico-alvo notrio, conforme evidenciado no
depoimento que se segue, onde o sujeito defende que, para que determinado projeto receba
financiamento, necessrio comprovar se ele
262
(...) realmente vai mudar a situao que era vigente antes da execuo do projeto e depois
da execuo do projeto. Seno acho que no tem sentido a gente financiar proposta
nenhuma (Joana).
263
conta que est ajudando e o outro faz de conta que est, vamos dizer assim,
transformando, mas na realidade no est acontecendo nada (Paulo).
264
265
(...) perceber a idoneidade do grupo com relao aos propsitos que o projeto se
prope/tem (...) (Paulo).
266
Quando voc vai avaliar se um projeto est bem elaborado, se ele merece um apoio, o
ideal era que os prprios grupos j indicassem quais os indicadores que eles vo medir, e
em alguns projetos a gente v isso, voc v que o prprio proponente do projeto j indica
quais os indicadores que ele gostaria, que ele prope que vo ser observados para avaliar
se o projeto teve sucesso ou no e o grau de sucesso do projeto. Acho que um avano
neste sentido, na hora voc j montar os prprios indicadores. Agora, com movimentos e
projetos mais carentes, ns estamos muito longe ainda (...) (Paulo).
Estes
indicadores,
definidos
na
elaborao
do
projeto,
devem
ser
4.2.2 Acompanhamento/monitoramento
A avaliao dos projetos sociais deve ser percebida como um processo que permeia
a implementao, a execuo propriamente dita e a concluso do projeto. Trata-se,
portanto, de um processo e no de um evento isolado. Neste sentido, o processo de
execuo do projeto representa um aspecto fundamental para que o mesmo seja bem
sucedido e possa alcanar os objetivos a que se prope. Da a importncia de acompanhar a
sua execuo. O depoimento seguinte refora essa afirmao:
O monitoramento o momento da gente verificar no s se o que foi escrito est sendo
executado ou o dinheiro est sendo aplicado, mas poder estar corrigindo as imperfeies.
O monitoramento pra mim um espao privilegiadssimo, pra gente estar revisitando o
projeto, reescrevendo e corrigindo mesmo, e sempre estando em contato: o pblico-alvo,
est chegando neles a informao, est beneficiando eles? Seno pra tudo e corrige a
rota. Ento monitorar pra mim isso (Patrcia).
267
268
percebesse como algum que estava tentando se intrometer, que estava fiscalizando a
forma como o projeto vinha sendo executado simplesmente com o intuito de identificar
possveis falhas na execuo.
Em que pese o fato da organizao social ter elaborado e apresentado o projeto de
forma clara, especificando todos os itens que so considerados indispensveis para que um
projeto receba financiamento, deve-se levar em conta que um projeto social est inserido
em um ambiente complexo e imprevisvel.
Por
isso,
faz-se
necessrio
que
os
avaliadores,
no
processo
de
269
prprio crescimento do grupo, ento tanto o grupo quando o avaliador, os avaliados, tem
que ser uma relao construtiva, e isso muito rico tambm (Paulo).
confere um carter mais objetivo avaliao (Tripodi et al., 1975), o que permite que
sejam identificadas questes que muitas vezes no so percebidas por quem participa da
gesto destes projetos.
Diante dos depoimentos at ento apresentados, fica evidente a imprescindibilidade
do acompanhamento/monitoramento durante todo o ciclo de vida dos projetos sociais. No
entanto, este um processo que requer, alm do prprio trabalho do avaliador, recursos
financeiros e materiais. Da a importncia de que seja feita a previso dos recursos no
oramento quando da liberao do valor financiado, conforme ressalta o prximo
depoimento:
Uma coisa que eu acho que bsica que tem que estar previsto no oramento do fundo,
recursos especficos pra isso, muitas vezes isso no acontece, ento isso passa a ser um
projeto, uma coisa parece que pendurada al, acessria, e isso no bem assim, voc
precisa ter o que chama de PMA - processo de monitoramento e acompanhamento (Paulo).
271
A partir dos depoimentos dos sujeitos entrevistados, pde-se perceber que as visitas
e entrevistas representam as tcnicas de coletas de dados mais utilizadas pelos sujeitos
pesquisados. Nas entrevistas realizadas junto aos executores dos projetos sociais e ao
pblico-alvo destes projetos, os avaliadores buscam obter informaes qualitativas e
quantitativas sobre a forma como os projetos vm sendo executados (Nightingale e
Rossman, 1994).
Em que pese a importncia da entrevista como tcnica de coleta de dados, deve-se
enfatizar que nem todas as informaes sobre o andamento dos projetos podem ser obtidas
por meio delas. O prprio olhar do avaliador durante as visitas de acompanhamento
representa uma forma de colher informaes que voluntria ou involuntariamente deixaram
de figurar nas entrevistas realizadas junto aos executores e beneficirios do projeto.
Os documentos elaborados pela organizao executora do projeto social que est
sendo avaliado, onde so contemplados fatos e dados histricos que perpassam o ciclo de
vida do projeto, tambm representam uma importante fonte de informao para a
avaliao. Entre estes documentos, os sujeitos pesquisados mencionam a consulta ao
projeto original elaborado pela organizao, conforme aponta o depoimento a seguir.
272
Voc tem sempre presente o projeto que foi feito, qual o objetivo daquele projeto, o que
estava previsto para aquele projeto, pra ser desenvolvido, qual a demanda, qual a
justificativa daquele projeto. Ento, sempre o projeto relacionado prtica, maneira
como est sendo desenvolvida. Este pra mim o instrumental bsico pra voc poder fazer
a avaliao (Regina).
273
274
Um caminho a ser trilhado pelos avaliadores para suprir esta carncia estabelece
que, para que a coleta de dados seja capaz de surtir os resultados desejados, deve ser
iniciada tomando-se por base os indicadores do projeto previamente formulados. A
seguir, o depoimento que ilustra a relevncia dos indicadores para a coleta de dados.
Voc tem que construir indicadores, acho que esse um dado importante, do comeo do
grupo e do final, como que o grupo cresceu neste sentido, qual era o grau de
envolvimento, quantas reunies fazia, qual era o grau de envolvimento das mulheres, dos
jovens, qual era o grau de discusso que havia, amadurecimento, como que se fazia o
ritual, e como que isso no final do projeto aconteceu (Paulo).
275
Um dos aspectos de maior relevncia para que a avaliao de projetos sociais seja
bem sucedida em todo o ciclo de vida do projeto refere-se capacidade do avaliador em
assegurar a participao do pblico-alvo durante o processo de avaliao. A importncia de
que seja feita uma consulta sobre as necessidades do pblico-alvo do projeto, abrindo-se
espao assim para a sua participao no processo de avaliao, expressa no seguinte
depoimento:
(...) no d pra se prender num formulrio, num roteiro e vir aqui sentar e pergunta e
resposta, pergunta e resposta, voc vai resolver a questo. Eu acho que muito mais
importante voc ter um contato e tentar mergulhar na vida do grupo, compreender as
relaes que se estabelecem, conversar com diferentes pessoas do grupo, e poder a ento
perceber o grau de envolvimento, de participao que tem aquele grupo (Paulo).
276
277
278
279
Este depoimento ilustra porque na maior parte dos projetos sociais as organizaes
financiadoras exigem que o valor desembolsado seja depositado pela organizao social
em uma conta especfica referente ao projeto apoiado. Agindo desta forma, os
financiadores tm condies de avaliar se o valor liberado foi utilizado no projeto de forma
eficiente, independentemente do desempenho apresentado pela organizao social como
um todo no perodo.
A necessidade e a dificuldade que as organizaes enfrentam para deter este
conhecimento tcnico acerca do sistema de contabilidade influencia diretamente a
aplicao dos recursos financiados. O depoimento a seguir demonstra como a manuteno
deste sistema de contabilidade incipiente na prtica, o que vem a comprovar a
necessidade de maior profissionalizao destas organizaes.
A maioria das organizaes ainda carece de ter esse olhar do administrador, do
contabilista, adequada claro a essa viso social. Porque no tem como eu administrar
um projeto sem olhar o fluxo de caixa, sem olhar as receitas e despesas, efetivamente o que
eu estou ganhando e o que eu estou gastando, ento s vezes eles acabam no sendo
aplicados de forma eficiente porque a prtica de ter uma contabilidade, se ela acontece,
ela ainda acontece de forma ineficiente .Mas eu acho que a organizao social ainda est
muito aqum disto, de efetivamente conseguir usar os recursos da contabilidade, os
recursos da administrao e colocar a seu favor e administrar corretamente, na maioria
das vezes elas esto correndo atrs do prejuzo (Patrcia).
280
Conforme pde ser observado nos depoimentos ora apresentados, a capacidade, por
parte da organizao social, de adotar um sistema de contabilidade adequado para a
realidade do campo social influi diretamente na aplicao dos recursos nos projetos sociais.
Por isso, a categoria analisada na seqncia a que trata da aplicao dos recursos nos
projetos executados pelas organizaes sociais.
4.2.7 Aplicao dos recursos
281
282
possvel observar neste depoimento que o sujeito entrevistado d mais nfase aos
benefcios dos projetos sociais do que aos seus custos. Considerando-se que a eficincia se
refere avaliao da rentabilidade econmica dos projetos sociais, na qual se estabelece
uma relao entre o seu custo e os resultados obtidos (Reis, 2000c), explica-se porque h
autores que defendem a avaliao de eficincia como a mais necessria e a mais urgente a
ser desenvolvida (Arretche, 1998).
O fato do valor do projeto social ser considerado suficiente por si s, alm de
influenciar diretamente na carncia em se avaliar a aplicao dos recursos, acaba sendo
uma justificativa por parte da organizao social para a no construo de indicadores a
serem utilizados na avaliao destes projetos. Este fato evidenciado no depoimento que
se segue:
(...) essa coisa de indicadores de projetos sociais complicada porque tem alguns
indicadores que so a longo prazo e que so intangveis, so coisas que no d pra
283
mensurar muito quantitativamente. Mas isso no quer dizer que no d, que a gente no d
pra buscar esses indicadores e que eles no sejam importantes, porque existe essa cultura
de no avaliao dentro das organizaes sociais porque acham que esto fazendo
caridade, acham que esto fazendo assistncia e isso a gente no precisa mensurar, no
precisa avaliar (Clara).
O depoimento ora apresentado torna possvel divisar a estreita relao que existe
entre a categoria discutida neste tpico a aplicao dos recursos - e a prxima categoria
em anlise o alcance dos resultados.
284
do projeto, voc deve apontar, mas voc tambm tem que fazer com que o prprio grupo
compreenda as tuas crticas e possa process-las e melhorar a sua vida. No adianta voc
vir aqui e dizer: vocs no sabem nada, vocs esto fazendo tudo errado e vai embora,
voc tem que ter um procedimento educativo, que faz parte inclusive do processo de
avaliao, onde as pessoas possam, no se justificar, mas elas possam aprender e usar a
avaliao dos resultados como um processo tambm de crescimento do grupo (Paulo).
285
(...) o que significa dizer que os projetos no do certo? Por exemplo, se voc prope um
projeto de gerao de renda, e isso aconteceu vrias vezes, eu vi isso acontecer vrias
vezes aqui no Estado com projetos, ento aquele projeto em si ele no conseguiu atingir o
objetivo dele que era de gerar renda, mas o projeto acabou se transformando em uma
proposta mais ampla, de organizao comunitria, numa proposta educativa, ento ele
no atingiu aquele objetivo que ele tinha proposto, mas eu no posso dizer que de alguma
forma o projeto no tenha conseguido dar um outro rumo e que no tenha conseguido ir
adiante por outro caminho, que no tenha sido vlido (Regina).
286
(...) com indicadores concretos, algumas vezes quantitativos, mas tambm com indicadores
qualitativos, mas de novo, quem encabea esse processo de avaliao a organizao, a
Instituio s acompanha e trabalha junto com ela nessa avaliao, mas diferente de
outras instituies, por exemplo que vo l e fazem uma avaliao externa, mandam um
consultor pra ir l fazer uma avaliao. A gente orienta eles, por exemplo, ns tivemos um
curso na semana passada pra orientar os projetos sobre o que so indicadores, mas a
instituio que escolhe os indicadores e nos mostra (Clara).
287
288
289
Torna-se oportuno ressaltar que este aspecto da avaliao do impacto social est
intimamente ligado a um dos critrios considerados importantes pelos avaliadores para que
um projeto receba financiamento: a sua capacidade irradiadora. Depreende-se, ento, que a
capacidade de contribuir para os demais projetos desenvolvidos pela organizao tambm
representa um indicativo de que o projeto produziu o impacto desejado.
Este depoimento encerra a etapa ora desenvolvida com vistas a apresentar e analisar
as subcategorias da avaliao de projetos sociais identificadas na pesquisa emprica, tendose como base as categorias levantadas na pesquisa terica. Para que o leitor possa melhor
visualizar estas categorias e as subcategorias que as compem, as mesmas se encontram
resumidas no Quadro 6, que representa uma sntese da avaliao de projetos sociais:
Quadro 6: Quadro-sntese da avaliao de projetos sociais
Categorias
Critrios Bsicos para
Financiamento
Acompanhamento/
Monitoramento
Coleta de Dados
Participao do Pblico-Alvo
Participao dos Executores
Sistema de Contabilidade
Subcategorias
Auto-sustentabilidade da organizao
Capacidade de gesto do projeto
Viabilidade tcnica, financeira e econmica
Foco
Capacidade de mudar a situao do pblico-alvo
Inovao da idia
Capacidade irradiadora do projeto
Nvel de participao do grupo
Idoneidade dos executores do projeto
Atuao em parceria com a organizao
Visitas de acompanhamento
Definio dos indicadores na fase inicial do projeto
Iseno com relao ao grupo
Previso dos recursos no oramento
Visitas e entrevistas
Projeto original elaborado pela organizao
Relatrio de acompanhamento das atividades realizadas
Informaes referentes ao ambiente e contexto
Consultores regionais
Indicadores do projeto previamente formulados
Consulta sobre as necessidades do pblico-alvo
Preocupao com a opinio da maioria
Participao em todos os momentos da avaliao
Diferentes perspectivas do projeto
Encontros com cronogramas previamente estabelecidos
Controle das receitas e despesas do projeto
Exigncia de conhecimento tcnico especfico
Contabilidade de manuteno x Contabilidade do projeto
Acompanhamento da aplicao dos recursos
290
4.3 Sistema de indicadores na avaliao dos projetos sociais: o mundo das aparncias
Eu acho que a gente precisa aprofundar mais os mecanismos de avaliao para conseguir
captar esses resultados tangveis, essas coisas mensurveis que acontecem no projeto, mas
tambm coisas intangveis que so geradas pelo projeto. E eu acho que os atuais
mecanismos de avaliao s conseguem captar essas mudanas visveis e concretas que
acontecem (...) na avaliao a gente no deve ir pra nenhum dos dois extremos, no s
uma avaliao quantitativa com nmeros e indicadores concretos, nem s aquela coisa
subjetiva que era um costume da rea social, que era a avaliao s de percepes. Ento
acho que precisa ter esse equilbrio, a gente precisa encontrar o meio termo na avaliao
de projetos sociais e isso um grande desafio, porque no existe nenhum instrumento
pronto para avaliar (Clara).
291
292
293
organizaes sociais e dos prprios avaliadores que desejam construir indicadores que
permitam avaliar os projetos sociais. Tal construo, conforme comenta o sujeito
pesquisado, substituda pelo empirismo com que estes projetos so avaliados. Por outro
lado, tem-se a necessidade imperiosa de construir indicadores que permitam avaliar se os
projetos so executados com eficincia, eficcia e efetividade.
Diante dos depoimentos coletados junto aos sujeitos pesquisados sobre como deve
ser um sistema de indicadores para a avaliao de projetos sociais, depreende-se que os
entrevistados esto cientes da necessidade de se construir estes indicadores; no entanto,
deparam-se com uma srie de dificuldades a respeito de como faz-lo. Infere-se, tambm,
que na avaliao de projetos sociais, as dvidas, as dificuldades e as perguntas superam as
respostas e certezas.
Tendo-se apresentado e analisado os resultados da pesquisa emprica, por meio dos
quais foi possvel descobrir como vem sendo realizada a avaliao de projetos sociais pelos
sujeitos pesquisados, o captulo que se desenvolve a seguir busca correlacionar estes
resultados com o referencial terico, extraindo-se inferncias que contribuem para a
apresentao da proposta de um processo de avaliao de projetos sociais que contemple
os critrios de eficincia, eficcia e efetividade.
294
295
identifica as fases que compem o projeto social, bem como aquelas correspondes
avaliao:
Fase da Avaliao
Avaliao ex-ante
A vida do projeto tem incio com o seu desenho, se desenvolve no perodo posterior
de execuo e culmina com os resultados alcanados. Tendo-se identificado as fases que
constituem o ciclo de vida dos projetos sociais, ou seja, aquelas que correspondem ao
tempo de durao do projeto social, analisa-se na seqncia cada uma das fases da
avaliao correspondente, correlacionando-se a base terica com os resultados da pesquisa
emprica.
296
Definio
Auto-sustentabilidade da organizao
Foco
nesta etapa inicial do projeto social que devem ser definidos os indicadores para a
avaliao dos projetos. A definio dos indicadores nesta etapa do projeto importante na
medida em que permite monitorar e verificar os resultados que o projeto obtm, tanto
durante o seu processo de execuo como no trmino do projeto propriamente dito.
Considerando-se que o termo indicador representa um parmetro que indica
determinada realidade, infere-se que cada projeto requer um sistema de indicadores
prprio, que considere as particularidades do contexto e que sejam representativos do
projeto que est sendo elaborado pela organizao social.
297
298
Definio
Visitas de acompanhamento
Pesquisa emprica
Observadores treinados
Visitas e entrevistas
Pesquisas sistemticas
299
Uso de role-playing
Grupos focais
Consultores regionais
Entrevistas de campo
Definio
300
301
Definio
Anlise do projeto
302
Definio
303
304
6 CONCLUSES E RECOMENDAES
305
organizaes sociais que no podem ser aplicadas s demais categorias que compem o
terceiro setor. Da a necessidade de se realizarem estudos futuros que tenham como foco as
demais categorias do terceiro setor.
Em que pese o fato de serem abordados aspectos tericos especficos s
organizaes sociais, esta pesquisa se caracteriza pela no centralidade a esta categoria, na
medida em que foram buscadas as evidncias empricas em organizaes que pertencem a
um leque de instituies que no esto enquadradas na Lei n 9.637 de 15 de maio de 1998,
que regulamenta as organizaes sociais. Portanto, os sujeitos pesquisados integram
instituies que no so especificamente aquelas que esto inseridas no cmputo das
organizaes que estabelecem contrato de gesto com o poder pblico.
O levantamento realizado junto literatura especializada sobre os principais
aspectos da avaliao de projetos executados pelas organizaes sociais realizado no
terceiro captulo. A partir do desenvolvimento deste captulo, pde-se inferir que no mundo
das idias prevalecem dois extremos. De um lado, o contedo excessivamente mecanicista
e quantitativo da literatura pertinente a projetos, que demonstra ser inadequada aos
problemas com os quais os atores sociais envolvidos em projetos sociais tm que lidar na
realidade social. Por outro lado, a literatura desenvolvida por cientistas sociais ou polticos
que, na grande maioria, demonstram uma explcita negao dos mtodos quantitativos e da
abordagem racionalista, o que faz com que sua produo seja de pouca utilidade prtica
para quem estiver buscando um ferramental para planejar, gerenciar e avaliar projetos na
rea social.
Diante dos diferentes conceitos apresentados a respeito do que vem a ser a
avaliao de projetos sociais, foi possvel verificar que consenso no mundo das idias o
fato da avaliao no ser compreendida somente como uma atividade fiscalizatria ou
punitiva, mas principalmente como uma forma de determinar se os projetos esto sendo
desenvolvidos pelas organizaes sociais com eficincia, eficcia e efetividade.
Ainda no campo das idias, pde-se depreender que, sendo a auditoria contbil uma
tcnica de avaliao utilizada para estudar a consistncia, fidedignidade e exatido dos
registros referentes s receitas e despesas do projeto e distribuio de seus recursos,
torna-se necessria a adoo de um sistema de contabilidade que represente
fidedignamente o patrimnio e que, principalmente, permita discernir os recursos que esto
vinculados a projetos especficos e que possuem restrio na sua utilizao daqueles que
podem ser livremente utilizados pela organizao social. Esta forma no-convencional de
306
contabilizao recebe o nome de Contabilidade por Fundos, tendo seus principais aspectos
sido apresentados e analisados no decorrer do captulo.
A partir do referencial terico, foram levantadas as categorias necessrias
avaliao de projetos sociais e que foram objeto de investigao da pesquisa de campo.
So elas: critrios bsicos para financiamento; acompanhamento/monitoramento; coleta de
dados; participao do pblico-alvo; participao dos executores; sistema de contabilidade;
aplicao dos recursos; resultados alcanados; impacto social.
A busca pela evidncia destas categorias, bem como pelas subcategorias que as
compem, foi realizada no captulo quatro, por meio do qual pde-se descobrir como vem
sendo realizada a avaliao de projetos sociais pelos avaliadores de instituies nogovernamentais financiadoras de projetos desta natureza.
Na correlao que se estabeleceu no captulo cinco entre o referencial terico e os
resultados da pesquisa emprica, pde-se verificar que as categorias e subcategorias da
avaliao de projetos sociais fazem parte de um processo que contempla todo o ciclo de
vida dos projetos sociais.
A primeira fase do ciclo de vida dos projetos sociais a que corresponde ao
desenho do projeto. Nesta etapa do projeto, realiza-se a avaliao ex-ante, que consiste em
avaliar o projeto elaborado pela organizao social, verificando-se se foram explicitados
todos os critrios que assegurem a factibilidade do mesmo. A que se evidencia a
categoria que contempla os critrios bsicos para financiamento.
no desenho do projeto a ser apresentado pela organizao social que deve ser
construdo o sistema de indicadores para avaliar se os projetos so executados com
eficincia, eficcia e efetividade. Isto porque o sistema de indicadores representa a
principal ferramenta a ser utilizada pelo avaliador nas fases subseqentes da avaliao de
projetos sociais.
A segunda fase do processo de avaliao se refere avaliao de processos
propriamente dita, por ser a que se realiza durante a execuo dos projetos sociais com
vistas a estabelecer at que ponto se est cumprindo e realizando o projeto de acordo com a
proposta inicial. Identificam-se nesta fase da avaliao de projetos sociais as categorias de
acompanhamento/monitoramento, coleta de dados, aplicao dos recursos e sistema de
contabilidade.
A terceira e ltima fase da avaliao a que se realiza aps a concluso dos
projetos sociais, sendo denominada avaliao ex-post. Nesta fase da avaliao, busca-se
determinar at que ponto foram cumpridos os objetivos do projeto ou produzidos os efeitos
pretendidos. As categorias evidenciadas nesta fase da avaliao so os resultados
alcanados e o impacto social.
307
308
7 REFERNCIAS BIBLIOGRFICAS
309
BRANDO, Adalberto et al. Das origens do Estado ao advento do Terceiro Setor. In:
ENCONTRO ANUAL DA ANPAD, 22., 1998, Foz do Iguau. Anais ... Foz do Iguau:
ANPAD, 1998. 1 CD.
BRASIL. Lei n. 3.071, de 1 de janeiro de 1916. Cdigo Civil.
______. Presidncia da Repblica. Cmara da Reforma do Estado. Ministrio da
Administrao e Reforma do Estado. Plano Diretor da Reforma do Aparelho do Estado.
Braslia, 1995.
______. Ministrio da Administrao e Reforma do Estado. Organizaes Sociais.
Cadernos MARE da Reforma do Estado. Caderno 2. 4. ed. Braslia: MARE, 1998a.
______. Lei n. 9.637, de 15 de maio de 1998. Dispe sobre a qualificao de entidades
como organizaes sociais, a criao do Programa Nacional de Publicizao, a extino
dos rgos e entidades que menciona e a absoro de suas atividades por organizaes
sociais, e d outras providncias.
______. Lei n. 9.790, de 23 de maro de 1999. Dispe sobre a qualificao de pessoas
jurdicas de direito privado, sem fins lucrativos como Organizaes da Sociedade Civil de
Interesse Pblico, institui e disciplina o Termo de Parceria, e d outras providncias.
BRESSER PEREIRA, Luiz Carlos. As organizaes sociais. Folha de So Paulo. So
Paulo, 22 mai. 1995. Seo Tendncias/Debates, Opinio, p. 1-3.
______. Sociedade civil: sua democratizao para a reforma do Estado. Braslia: ENAP,
1998. 59 p. (Texto para discusso, n. 32).
BUARQUE, Cristovam. Avaliao econmica de projetos. 8. ed. Rio de Janeiro:
Campus, 1984.
CAMPOS, Jos Antnio. Cenrio balanceado: painel de indicadores para a gesto
estratgica dos negcios. So Paulo: Aquariana, 1998.
CARTER, Reginald. Maximizing the use of evaluation results. In: WHOLEY, Joseph S.;
HATRY, Harry P.; NEWCOMER, Kathryn E. Handbook of practical program
evaluation. San Francisco: Jossey-Bass, 1994. p. 576-589.
CARVALHO, Cristina Amlia Pereira de. Preservar a identidade e buscar padres de
eficincia: questes complementares ou contraditrias na atualidade das organizaes no
governamentais? In: ENCONTRO ANUAL DA ANPAD, 23., 1999, Foz do Iguau. Anais
... Foz do Iguau: ANPAD, 1999. 1 CD.
CARVALHO, Maria do Carmo Brant de. Avaliao participativa uma escolha
metodolgica. In: RICO, Elizabeth Melo. Avaliao de polticas sociais: uma questo em
debate. So Paulo: Cortez, 1998. p. 87-94.
310
CASTOR, Belmiro Valverde Jobim. Fundamentos para um novo modelo do setor pblico
no Brasil. Revista de Administrao Pblica, Rio de Janeiro, v. 28, n. 3, p. 155-61,
jul./set. 1994.
CAUDLE, Sharon L. Using qualitative approaches. In: WHOLEY, Joseph S.; HATRY,
Harry P.; NEWCOMER, Kathryn E. Handbook of practical program evaluation. San
Francisco: Jossey-Bass, 1994. p. 69-95.
CHANLAT, Jean-Franois. O indivduo na organizao: dimenses esquecidas. 2. ed.
So Paulo: Atlas, 1993.
CHELIMSKY, Eleanor. Making evaluation units effective. In: WHOLEY, Joseph S.;
HATRY, Harry P.; NEWCOMER, Kathryn E. Handbook of practical program
evaluation. San Francisco: Jossey-Bass, 1994. p. 493-509.
CLARKE, Thomas. Reinventando a gerncia no governo. In: CLARKE, Thomas;
MONKHOUSE, Elaine. Repensando a empresa. So Paulo: Pioneira, 1995. p. 80-115.
COHEN, Ernesto; FRANCO, Rolando. Avaliao de projetos sociais. 2. ed. Petrpolis:
Vozes, 1998.
CONTADOR, Cludio Roberto. Avaliao social de projetos. 2. ed. So Paulo: Atlas,
1988.
CORDRAY, David S.; FISCHER, Robert L. Synthesizing evaluation findings. In:
WHOLEY, Joseph S.; HATRY, Harry P.; NEWCOMER, Kathryn E. Handbook of
practical program evaluation. San Francisco: Jossey-Bass, 1994. p. 198-231.
COSTA, Frederico Lustosa; CASTANHAR, Jos Cezar. Avaliao social de projetos:
limitaes e responsabilidades. In: ENCONTRO ANUAL DA ANPAD, 22., 1998, Foz do
Iguau. Anais ... Foz do Iguau: ANPAD, 1998. 1 CD.
CUNHA, Augusto Paulo Guimares. Organizao do terceiro setor: um desafio para as
teorias organizacionais. Revista de Administrao Pblica, Rio de Janeiro, v. 31, n. 1, p.
135-8, jan./fev. 1997.
CUSTDIO, Helita Barreira. Associaes de utilidade pblica. 1972. Tese (Doutorado
em Direito) - Faculdade de Direito da Universidade Federal de So Paulo, So Paulo,
1972.
DEAN, Debra L. How to use focus groups. In: WHOLEY, Joseph S.; HATRY, Harry P.;
NEWCOMER, Kathryn E. Handbook of practical program evaluation. San Francisco:
Jossey-Bass, 1994. p. 338-349.
DELLAGNELO, Jos Renato Garcia. Concepes de eficcia e postura estratgica: um
estudo de caso. 1997. 127f. Dissertao (Mestrado em Administrao) - Universidade
Federal de Santa Catarina, Florianpolis. 1997.
311
312
313
KEE, James Edwin. Benefit-cost analysis in program evaluation. In: WHOLEY, Joseph S.;
HATRY, Harry P.; NEWCOMER, Kathryn E. Handbook of practical program
evaluation. San Francisco: Jossey-Bass, 1994. p. 456-488.
KLIKSBERG, Bernardo. Redesenho do Estado para o desenvolvimento scio-econmico e
a mudana: uma agenda estratgica para a discusso. Revista de Administrao Pblica,
Rio de Janeiro, v. 28, n. 3, p. 5-25, jul./set. 1994.
LANDIM, Leilah; VILHENA, Liliane dos Reis. O terceiro setor no Brasil. Encontro
Ibero-americano de Fundaes. Julho de 1998.
LANDIM, Leilah. Para alm do mercado e do Estado? Filantropia e cidadania no Brasil.
Rio de Janeiro: ISER, 1993.
LOBO, Thereza. Avaliao de processos e impactos em programas sociais algumas
questes para reflexo. In: RICO, Elizabeth Melo. Avaliao de polticas sociais: uma
questo em debate. So Paulo: Cortez, 1998. p. 75-84.
LDKE, Menga; ANDR, Marli. Pesquisa qualitativa em educao: abordagens. So
Paulo: EPU, 1996.
MAGALHES, Francisco das Chagas. Tcnica de elaborao e avaliao de projetos.
So Lus: UFMA; Fortaleza: BNB, 1986.
MARCANTONIO, Richard J.; COOK, Thomas D. Convincing quasi-experiments: the
interrupted time series and regression-discontinuity designs. In: WHOLEY, Joseph S.;
HATRY, Harry P.; NEWCOMER, Kathryn E. Handbook of practical program
evaluation. San Francisco: Jossey-Bass, 1994. p. 133-154.
MARINO, Eduardo. Manual de avaliao de projetos sociais. So Paulo: Instituto
Ayrton Senna, 1998.
MARTINS, Eliseu. Contabilidade de entidades de fins no lucrativos. Boletim IOB
Temtica Contbil e Balanos. So Paulo, Bol. 17/90, 1990a.
______. Contabilidade por fundos. Boletim IOB Temtica Contbil e Balanos. So
314
MELO, Marcus Andr. As sete vidas da agenda pblica brasileira. In: RICO, Elizabeth
Melo. Avaliao de polticas sociais: uma questo em debate. So Paulo: Cortez, 1998. p.
11-28.
MENDES, Luiz Carlos Abreu. Estado e Terceiro Setor: uma anlise de duas iniciativas de
aproximao. In: ENCONTRO ANUAL DA ANPAD, 23., 1999, Foz do Iguau. Anais ...
Foz do Iguau: ANPAD, 1999. 1 CD.
MENDES, Vera Lcia Peixoto S. Mendes. Estado e sociedade civil no Brasil: uma
maltratada relao? In: ENCONTRO ANUAL DA ANPAD, 22., 1998, Foz do Iguau.
Anais ... Foz do Iguau: ANPAD, 1998. 1 CD.
MENEGASSO, Maria Ester. O declnio do emprego e a ascenso da empregabilidade:
um prottipo para promover condies de Empregabilidade na empresa pblica do setor
bancrio. 1998. 327f. Tese (Doutorado em Engenharia de Produo e Sistemas)
Universidade Federal de Santa Catarina, Florianpolis. 1998.
MERTON, Robert King. Estrutura burocrtica e personalidade. In: CAMPOS, Edmundo
(Org.). Sociologia da burocracia. 4. ed. Rio de Janeiro: Zahar, 1978. p. 107-123.
MILLER, Thomas L. Designing and conducting surveys. In: WHOLEY, Joseph S.;
HATRY, Harry P.; NEWCOMER, Kathryn E. Handbook of practical program
evaluation. San Francisco: Jossey-Bass, 1994. p. 271-292.
MINAYO, Maria Ceclia de Souza. Cincia, tcnica e arte: o desafio da pesquisa social. In:
MINAYO, Maria Ceclia de Souza (Org.). Pesquisa social: teoria, mtodo e criatividade.
11. ed. Petrpolis: Vozes, 1994. p. 9-29.
MOHRMAN, Susan A.; MOHRMAN, Allan M. Jr. Mudanas Organizacionais e
aprendizado. In: GALBRAITH, Jay R. et al. Organizando para competir no futuro. So
Paulo: Makron Books, 1995. p. 69-89.
MOTA, Paulo Roberto. Planejamento estratgico em organizaes sem fins lucrativos:
consideraes sobre dificuldades gerenciais. Revista de Administrao Pblica, Rio de
Janeiro, v. 13, n. 3, p. 7-21, jul./set. 1979.
NEWCOMER, Kathryn E.; HATRY, Harry P.; WHOLEY, Joseph S. Meeting the need for
practical evaluation approaches: an introduction. In: WHOLEY, Joseph S.; HATRY, Harry
P.; NEWCOMER, Kathryn E. Handbook of practical program evaluation. San
Francisco: Jossey-Bass, 1994. p. 1-10.
NEWCOMER, Kathryn E. Using statistics appropriately. In: WHOLEY, Joseph S.;
HATRY, Harry P.; NEWCOMER, Kathryn E. Handbook of practical program
evaluation. San Francisco: Jossey-Bass, 1994. p. 389-416.
NIGHTINGALE, Demetra Smith; ROSSMAN, Shelli Balter. Managing field data
collection from start to finish. In: WHOLEY, Joseph S.; HATRY, Harry P.; NEWCOMER,
Kathryn E. Handbook of practical program evaluation. San Francisco: Jossey-Bass,
1994. p. 350-373.
315
NUNES, Pedro. Dicionrio de tecnologia poltica. 12. ed. Rio de Janeiro: Freitas Bastos,
1990.
OCONNOR, James. USA: a crise do estado capitalista. Rio de Janeiro: Paz e Terra, 1977.
OFFE, Clauss. O novo poder. Veja. So Paulo, ano 14, n. 31, p. 11-13, abr.1998.
OLAK, Paulo Arnaldo. Contabilidade de entidades sem fins lucrativos no
governamentais. 1996. 273f. Dissertao (Mestrado em Controladoria e Contabilidade)
Faculdade de Economia, Administrao e Contabilidade. Universidade de So Paulo, So
Paulo. 1996.
OLIVEIRA NETTO, Valdemar de. As ONGs e o fundo pblico. Servio Social &
Sociedade, So Paulo, ano 12, n. 37, p. 129-55, dez. 1991.
OSBORNE, David; GAEBLER, Ted. Reinventado o governo: como o esprito
empreendedor est transformando o setor pblico. 6. ed. Braslia: MH Comunicao, 1995.
PAULA, Sergio Goes de. H cinco sculos no Brasil. Revista do Terceiro Setor, Rio de
Janeiro, ano 2, n. 82, 24 abr. 2000. Seo Editorial. Disponvel em:
<http://www.rits.org.br/rets/re_editorial.cfm>. Acesso em: 27 abr. 2000.
PENTEADO FILHO, Paulo de Arruda. Desafios da reforma do Estado no Brasil: a questo
das Organizaes Sociais. In: ENCONTRO ANUAL DA ANPAD, 22., 1998, Foz do
Iguau. Anais ... Foz do Iguau: ANPAD, 1998.1 CD.
PEREZ, Jos Roberto Rus. Avaliao de processo de implementao: algumas questes
metodolgicas. In: RICO, Elizabeth Melo. Avaliao de polticas sociais: uma questo em
debate. So Paulo: Cortez, 1998. p. 65-73.
PERROW, Charles B. Anlise organizacional: um enfoque sociolgico. So Paulo: Atlas,
1976.
PESTANA, Maria Ins Gomes de S. Avaliao educacional - o sistema nacional de
avaliao da educao bsica. In: RICO, Elizabeth Melo. Avaliao de polticas sociais:
uma questo em debate. So Paulo: Cortez, 1998. p. 53-63.
PIMENTA, Carlos Csar. Novos modelos de gesto descentralizada e de parcerias para as
administraes estaduais. Revista de Administrao Pblica, Rio de Janeiro, v. 29, n. 3,
p. 171-87, jul./set. 1995.
PONTES, Lcia; BAVA, Silvio Caccia. As ONGs e as polticas pblicas na construo do
Estado democrtico. Servio Social & Sociedade, So Paulo, ano 17, n. 50, p. 133-42, abr.
1996.
POZZEBON, Marlei; FREITAS, Henrique M. R. de Freitas. Pela aplicabilidade com um
maior rigor cientfico dos estudos de caso em sistemas de informao. Revista de
Administrao Contempornea, v. 2, n. 2, p.143-70, mai./ago. 1998.
316
317
318
TRIPODI, Tony et al. Avaliao de programas sociais. Rio de Janeiro: Francisco Alves,
1975.
TRIVIOS, Augusto Nibaldo Silva. Introduo pesquisa em cincias sociais: a
pesquisa qualitativa em educao. So Paulo: Atlas, 1987.
TURNER, Margery Austin; ZIMMERMANN, Wendy. Acting for the sake of research: the
use of role-playing in evaluation. In: WHOLEY, Joseph S.; HATRY, Harry P.;
NEWCOMER, Kathryn E. Handbook of practical program evaluation. San Francisco:
Jossey-Bass, 1994. p. 310-337.
VALARELLI, Leandro Lamas. Os sentidos da participao no trabalho social das
organizaes sem fins lucrativos. Apoio Gesto. Seo Metodologias de Trabalho.
Disponvel em: <http://www.rits.org.br/gestao/ge_acaotxt1.cfm>. Acesso em: 11 mar.
2000a.
______. Indicadores de resultados de projetos sociais. Apoio Gesto. Seo Tema do Ms.
319