2

Sade & Transformao Social

Health & Social Change

Pesquisa Qualitativa, Teoria e Metodologia

Importncia da Avaliao Qualitativa combinada com outras

modalidades de Avaliao
The importance of qualitative evaluation combined with other evaluation methods

Maria Ceclia de Souza Minayo1

1
Pesquisadora Titular da Fundao Oswaldo Cruz

RESUMO - Neste texto promove-se uma discusso sobre avaliao qualitativa de projetos e programas sociais e de sade e suas vrias formas
de abordagem, mas sem separar essa atividade tcnica, acadmica e social do contexto das investigaes avaliativas. Por isso, o artigo d nfase
questo histrica da prtica de avaliar; aos conceitos principais de avaliao; s tipologias; s fases e a seu sentido social, pragmtico e tico.
Do ponto de vista da avaliao qualitativa se discutem as bases tericas, as modalidades e as questes de validade, especificamente levando-se
em conta a triangulao de perspectivas e a incluso de todos os atores no processo. Aprofunda-se a proposta do chamado RAP (Rapid
Assessment to Projects). A concluso do texto leva a considerar a importncia de incluir os diversos atores com suas crenas e expectativas no
processo avaliativo para que ele se constitua num ato de aprendizagem para todos os envolvidos.
Palavras-chave: Avaliao em sade; avaliao de programas sociais; avaliao; avaliao qualitativa; pesquisa avaliativa.

ABSTRACT - This text promotes a discussion on the "qualitative evaluation" of social and health and social programs and projects and their
various approaches, but without separating this technical, academic and social activity from the context of the evaluative research.
This article emphasizes the historical questions of the practice of assessment, the main concepts of evaluation, the types, the stages and
its social, pragmatic and ethical sense. From the standpoint of qualitative assessment, the theoretical foundations, the modalities and the issues
of validity are discussed, specifically considering the triangulation of perspectives and the inclusion of all stakeholders in the process.
The proposal called the RAP (Rapid Assessment to Projects) goes deeper. The conclusion of the text leads to the consideration of the
importance of including diverse actors, with their own beliefs and expectations, in the evaluation process so that it becomes
an act of learning for all involved..
Keywords: Evaluation in health; evaluation of social programs, qualitative evaluation, evaluative research

1. INTRODUO
A prtica avaliativa tem sido introduzida em
O hbito de avaliar instituies, programas e projetos
diferentes ambientes e de vrias formas, ora como
com mtodos e tcnicas cientficas relativamente
uma ao externa que analisa determinada
recente no mundo e no Brasil. Tornou-se freqente
interveno ou problema, ora como etapa do
aps a Segunda Guerra Mundial nos pases centrais
planejamento e da gesto das instituies, de
do capitalismo, acompanhando os macios
programas e projetos e no seu sentido mais nobre,
investimentos em polticas pblicas de bem estar
acompanhando concomitantemente as aes
social.
voltadas a mudanas desde o seu primeiro desenho.
com essa insero na realidade que a 3
Segundo Scriven , a avaliao deve ser
avaliao passou, nos ltimos 60 anos, a fazer parte
considerada, na atualidade, no apenas como uma
da pauta de investimentos tericos e prticos, ao lado
tcnica, mas como uma transdisciplina, ou seja, um
das metodologias e modelos de pesquisas sociais,
campo de estudo prprio que ao mesmo tempo
visando maior eficincia na aplicao de recursos e
oferece instrumentos de reflexo para outras reas
efetividade nas aes institucionais, sociais e
1,2.
econmicas Autor correspondente
Maria Ceclia de Souza Minayo
Pesquisadora titular da Fundao Oswaldo Cruz
Centro Latino Americano de Estudos sobre Violncia e Sade Jorge Careli
Av. Brasil, 4036 sala 700 - Manguinhos
CEP:21040-361 Rio de Janeiro-RJ
Tel.: (21) 2290.4893 - Fax: (21) 3882.9151
ceclia@claves.fiocruz.br
Artigo encaminhado 17/02/2011
Aceito para publicao em 28/04/2011

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.

de conhecimento.
Na etapa atual de evoluo do capitalismo
ps-industrial, a avaliao das instituies e das
polticas sociais passou a ser intensamente valorizada
no mundo. Isso se deve, sobretudo, a mudanas
profundas no paradigma das relaes sociais de
produo, cujas caractersticas so o acelerado
crescimento do fluxo de informaes, de economia de
escala e de focalizao de aes. Ela se torna
verdadeiro desafio quando se trata de tomar decises
2 privadas e do terceiro setor.
complexas de investimento frente a questes que
apresentam fortes componentes culturais e polticos
resistentes s mudanas, exigindo um desenho de
instrumentos que valorize a vasta gama de
intervenientes.
O processo de institucionalizao das
tecnologias de avaliao visando a acompanhar
projetos sociais e ou de mudanas institucionais, no
caso do Brasil, alm de ser recente, ainda muito
tmido, o que se deve principalmente cultura
autoritria e clientelista que costuma orientar a prxis
4 programa. Esse ltimo se configura como um
poltica do pas, independente dos governos vigentes .
No entanto, h exemplos notoriamente exitosos de
avaliao, como so os casos das conduzidas pela
CAPES e pelo CNPq que foram capazes de, no s
acompanhar, mas tambm de evidenciar os
problemas e as potencialidades da cincia e
tecnologia no pas, orientando seu rumo e a aplicao
de recursos pblicos. Embora no faltem crticas aos
sistemas utilizados pelas duas instituies, eles so
fortemente responsveis pelo elevado nvel
competitivo que as Ps-Graduaes e os Grupos de
Pesquisa no Brasil atingiram no pas e pelo seu
reconhecimento em mbito mundial.
No campo das polticas pblicas, preciso
reconhecer que, a partir dos anos 1990, tambm no
Brasil se intensificaram as prticas de avaliao na
rea social, de segurana e em vrios mbitos
5-10
institucionais . Vrios fatores tm contribudo para
isso. Dentre eles, destacam-se: (a) a reforma do
Estado que fez diminuir sua presena direta nas reas
sociais e aumentou seu papel de formulador de
polticas e de repassador de recursos para execuo
de polticas pblicas; (b) a focalizao da ao
governamental em determinadas atividades exigindo
anlise de eficcia dos investimentos; (c) a entrada de
organizaes no-governamentais e da iniciativa
privada na prestao de inmeros servios de
interesse pblico, em relao aos quais, h uma
concorrncia por recursos, pois tanto as empresas
como os governos cobram resultados; (d) as
exigncias dos rgos internacionais que financiam
projetos sociais e estratgicos; (e) a ampliao e o
3
aprofundamento dos mecanismos de controle social
sobre as polticas sociais e instituies, colocando os
recursos que utilizam sob vigilncia da sociedade civil
e gerando presso dos meios de comunicao e da
opinio pblica. No rumo desse crescimento das
prticas avaliativas, necessrio levar em conta,
tambm, o aumento da capacidade terico-
metodolgica, tcnica e crtica dos intelectuais e
pesquisadores brasileiros na anlise de programas e
projetos governamentais, das instituies pblicas e
Existem dois tipos de ao avaliativa que se
complementam: monitoramento e avaliao
propriamente dita. Entende-se por avaliao, a
realizao de um conjunto de atividades tcnico-
cientficas ou tcnico-operacionais que buscam
atribuir valor de eficincia, eficcia e efetividade a
processos de interveno em sua implantao,
implementao e resultados. Entende-se por
monitoramento, a observao e o registro regular das
atividades previstas dentro de um projeto ou
processo rotineiro de acmulo de informaes sobre
determinada proposta em todos os seus aspectos, por
meio de observao sistemtica e com propsitos
definidos.
O sentido da avaliao e do monitoramento
pode ser resumido em trs pontos: (a) compreender
o que contribui para o xito dos programas, projetos
e servios; (b) o que possibilita seu alcance e (c) o que
questiona seus limites. Por isso, toda avaliao que
acompanha o desenrolar e analisa os resultados de
uma proposta de interveno uma iniciativa que
deve subsidiar a correo de rumos e reorientar
estratgias de ao. Principalmente, deve ressaltar
lies que as experincias em execuo ou passadas
permitem aprender, trazendo informaes novas e
propiciando mais qualidade s operaes e aos
critrios de financiamento dos projetos e propostas.
Para o xito de uma avaliao ou
monitoramento, devem ser seguidos pelo menos
quatro parmetros: (a) a dimenso de utilidade, pois
jamais se deve empreender uma avaliao intil; (b) a
dimenso da viabilidade que significa levar em conta
o ambiente poltico, prtico e de custo-benefcio; (c) a
dimenso tica que ressalta o respeito aos valores
dos interessados e a seriedade intelectual com que
deve ser realizada a abordagem avaliativa e
obedecidos os devidos critrios de benemerncia e de
confidencialidade; e (d) a dimenso da preciso
tcnica, ou seja, uma avaliao para gerar
informaes importantes deve ser realizada dentro
Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.

de determinados parmetros que j esto hoje
11
universalmente consolidados cientificamente .
Do ponto de vista da sua utilidade prtica,
uma boa avaliao visa a reduzir incertezas, a
melhorar a efetividade das aes e a propiciar a
tomada de decises relevantes por meio de lies
1,12,13
aprendidas no processo . Uma avaliao deve
permitir identificar pontos fracos e fortes e destacar o
que mais produtivo visando a: (1) oferecer
respostas aos beneficirios, instituio, sociedade
e ao governo atendendo ao ator social que a
encomendou - sobre o uso dos recursos empregados;
(2) orientar os investidores sobre as melhores
aplicaes de seus recursos visando ao
desenvolvimento de pessoas, instituies e setores;
(3) responder aos interesses das instituies, de seus
gestores e de seus tcnicos; (4) buscar sempre uma
1
melhor adequao das estratgias e das prticas .
Quanto a sua utilidade, uma avaliao costuma ser
enquadrada em trs tipos: a diagnstica, que
proporciona informaes acerca da situao; a
formativa que visa a socializar o entendimento dos
problemas existentes para possveis solues; e a
somativa cujo propsito oferecer uma viso geral
do processo de interveno ou de soluo de um
problema, considerando as etapas em seu conjunto.
Essa ltima uma modalidade bastante utilizada na
rea de educao.
importante enaltecer tanto o sentido como
a orientao prtica social, pois, como lembra Penna
11
Firme , nem toda avaliao produtiva: avaliar
pode ser um empreendimento de sucesso, mas
tambm de fracasso; pode conduzir a resultados
significativos ou a respostas sem sentido; pode
11:p.1
defender ou ameaar , dependendo de seus
propsitos e da postura tica com que feita. Ou
seja, podem existir avaliaes tendenciosas, mal
elaboradas e superficiais que poucos resultados
trazem para a aprendizagem das instituies. Essas
correm o risco de prejudic-las quando as inferncias
no so contextualizadas e compreensivas. Deve-se
ressaltar, no entanto, que mesmo uma avaliao bem
realizada e cercada de cuidados, sozinha, no
consegue solucionar os problemas da prtica, pois
solucion-los uma tarefa da administrao e de
outros responsveis operacionais.
Para ser vivel, uma avaliao deve ter
condies de realizao do ponto de vista financeiro,
tcnico, e gerencial. Toda avaliao precisa de
oramento compatvel com o nvel de profundidade
que seu propsito e o objeto estudado requer.
4
Do ponto de vista tcnico, preciso que a
organizao de uma avaliao leve em conta o
desenvolvimento terico j consolidado
universalmente nessa rea, para que todo o
instrumental utilizado seja qualitativamente
adequado aos objetivos propostos.
Do ponto de vista tico, a avaliao de
intervenes e de investimentos se dirige para
mudanas que precisam ser construdas no cho da
realidade social: a populao brasileira anseia por
diminuir as desigualdades e ver erradicados o
mandonismo e o autoritarismo poltico, institucional e
acadmico. A competente anlise de um projeto,
programa ou conjunto de programas deve tornar
mais evidente para as instituies e a sociedade a
aplicao de seus recursos, evitando ou denunciando
desperdcios. Essa orientao tanto mais eficaz
quanto mais o conceito e a prtica avaliativa forem
cientificamente compreensivos e fundamentados e
passarem a fazer parte do cotidiano das instituies.
2. CONCEITOS QUE FUNDAMENTAM AVALIAES
QUALITATIVAS E QUANTITATIVAS
Tipologias de avaliao - O desenvolvimento do
campo da avaliao trouxe o aprimoramento de
alguns termos prprios que devem fazer parte das
abordagens quantitativas ou qualitativas. So eles:
eficincia, eficcia, efetividade e, mais
contemporaneamente, sustentabilidade. Esses
termos permeiam a linguagem de todas as estratgias
e instrumentos de avaliao.
O conceito de eficincia oriundo da noo
de otimizao dos recursos disponveis: ou seja, obter
a custo mnimo possvel o mximo de benefcio. A
avaliao de eficincia vem transbordando cada vez
mais seu nicho econmico, incluindo estratgias e
instrumentos para analisar custos sociais, polticos e
ambientais alguns deles intangveis - provocados
por projetos de interveno institucional, de polticas
pblicas ou do setor privado nas comunidades e no
meio ambiente. Muitas agncias, atualmente,
incluem na avaliao de eficincia, pesquisas
qualitativas ou quantitativas de satisfao da
populao atingida pelos projetos, com o intuito de
saber se sua aplicao est sendo social, poltica e
ambientalmente eficiente.
A avaliao de eficcia consiste na anlise do
cumprimento das metas traadas por um
determinado projeto. o tipo mais simples, comum e
difundido de anlise de determinada interveno,
geralmente realizada pelos prprios rgos
Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.

encarregados de execuo da proposta. Enquadram-
se aqui os dados apresentados nos relatrios anuais
das entidades e as estatsticas que elas produzem
com o intuito de demonstrar que "cumpriram as
expectativas", no que se refere ao volume e
quantidade do produto esperado. O critrio de
sucesso mais comumente usado o da eficcia
objetiva, isto , a constatao de que as metas
atingidas so iguais, superiores ou inferiores s metas
propostas. Os estudos de eficcia geralmente so
metrificados, ou seja, se apresentam com dados
quantitativos, ilustrados com grficos, figuras e
tabelas. Mas tambm podem incluir anlises de
14
eficcia subjetiva que constituem abordagens
qualitativas que corroboram ou criticam a consecuo
das metas a que custo social e emocional para os que
trabalham na instituio ou para os que so os seus
destinatrios.
A avaliao de efetividade mais profunda
que a avaliao de eficcia. Ela capta os efeitos de um
projeto ou programa e tem por finalidade aferir as
mudanas quantitativas e qualitativas promovidas
pela interveno. Considera o antes e o depois da
execuo de uma proposta ou compara os resultados
obtidos com outra situao em condies
semelhantes, sobre a qual no houve interveno. As
avaliaes de efetividade tm vrios pressupostos,
porm o mais bsico de que a ocorrncia de
mudanas no suficiente para referendar
concluses a respeito do xito de uma proposta:
necessrio demonstrar que elas no ocorreriam (total
ou parcialmente) sem a existncia da interveno em
pauta. Geralmente, as anlises de efetividade so
5
realizadas por meio de estudos de impacto que
captam os efeitos e as alteraes efetivas de uma
interveno em relao aos objetivos estabelecidos,
empiricamente: (a) se os resultados esperados foram
alcanados; b) que resultados no esperados
ocorreram; e se os resultados so positivos,
negativos, ou at perversos no mdio ou longo prazo
frente ao problema que se quis enfrentar. A avaliao
qualitativa costuma ser largamente utilizada nos
estudos de efetividade, para que o destinatrio final
(usurio, cliente e outros) se pronuncie sobre os
resultados de uma interveno ou de mudanas.
A avaliao da sustentabilidade se
fundamenta na construo de indicadores para
analisar padres sustentveis de desenvolvimento
quanto a aspectos tcnicos, ambientais, econmicos e
sociais. Fundamenta-se no termo desenvolvimento
sustentvel que substitui o conceito de progresso
como sinnimo de crescimento apenas econmico.
Embora desenvolvimento sustentvel ainda seja um
5
conceito em construo - por isso, alvo de muitas
controvrsias - ele representa a idia de que o avano
de uma dada sociedade medido no somente por
sua capacidade de gerar riqueza (dimenso
econmica), mas tambm pelas condies de diviso
da riqueza gerada (dimenso social), da preservao e
conservao do meio ambiente (dimenso
ambiental), quanto ao conhecimento e inovao
(dimenso conhecimento) e do investimento nas
instituies e pessoas para promov-lo (dimenso
15
institucional) . A avaliao de sustentabilidade vem
sendo incorporada anlise de projetos e aprimorada
terica e tecnicamente. E, o termo sustentabilidade
tornou-se um aposto imprescindvel s propostas de
desenvolvimento.
Especificidade do monitoramento - O
monitoramento pode ser interpretado como uma
etapa da avaliao e, ao mesmo tempo, tem o sentido
especfico de acompanhar a eficincia do processo de
implantao e implementao de uma proposta de
interveno, mas tambm, a eficcia de seus
resultados. O monitoramento da implantao e da
implementao constitui um olhar mais constante e
prximo sobre a realizao da ao proposta, por
meio de indicadores que permitam sugerir
adequaes durante o processo e dar cincia aos
financiadores, implementadores e beneficirios sobre
o andamento das intervenes. Geralmente, esse
acompanhamento registrado em relatrios curtos e
diretos contendo: (a) anlise da situao; (b) dados
sobre os investimentos feitos; (c) identificao dos
problemas e da busca de solues; (d) garantia de
que as atividades previstas estejam sendo executadas
corretamente ou sobre o porqu da proposta no
estar sendo bem sucedida; (e) anlise crtica voltada
para apreciar se o projeto em execuo vem sendo o
mais apropriado para a resoluo do problema em
questo.
O monitoramento da eficcia, que ocorre ao
final do projeto, apresenta informaes sobre as
metas alcanadas e se elas correspondem ou
divergem do que havia sido proposto no incio do
projeto. O relatrio desse monitoramento constitui
um dos elementos importantes para o processo de
avaliao como um todo, mas particularmente para
os estudos de impacto que vierem a ser feitos,
tambm depois do projeto concludo.
Ciclo de Avaliao - Uma avaliao completa
aquela que incorpora um ciclo inteiro de anlise de
determinada interveno ou ao, iniciando-se antes
que uma interveno ocorra (ex-ante), passando pelo
acompanhamento do processo de implantao e
implementao (monitoramento) e pela anlise dos
Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.
 6

efeitos e resultados (monitoramento e avaliao ex- Dentre suas vantagens, ainda possvel citar
post). No entanto, uma avaliao pode privilegiar o fato de que (1) o quadro lgico permite colocar foco
apenas um momento da realizao de uma poltica nos resultados; (2) facilita o monitoramento de
pblica, interveno ou ao institucional. Por alcance das metas e o uso prudente dos recursos; (3)
exemplo, pode-se avaliar: (a) apenas o processo de facilita a elaborao de relatrios e documentos
implantao de uma proposta; (b) somente sua baseados nos resultados alcanados e nas lies
implementao; (c) um problema institucional aprendidas. Mas o modelo, como todo modelo
especfico que requer anlise; (d) ou somente os tambm alvo de muitas crticas, sobretudo pelo seu
16
resultados de uma ao. Em todos os casos carter esttico, positivista e simplificado .
importante ter em mente todas as etapas do
Etapa de avaliao e o monitoramento da
processo e, no caso de avaliao institucional, o
implantao e da implementao - corresponde
estudo da origem, da histria e do contexto em que
anlise do processo de realizao das atividades
ela atua fundamental, sobretudo quando se trata de
previstas no momento ex-ante, por meio de
uma entidade consolidada em que ser impossvel
indicadores e acompanhamento das metas
reconstituir o ex-ante.
estabelecidas. O objetivo concreto dessa etapa
O estudo da etapa ex-ante muito promover ajustes e correes para que o projeto
recomendado quando se pretende obter produza os resultados previstos.
conhecimento sobre o impacto de determinada
A avaliao da implantao uma atividade
interveno ou mudana, para tornar possvel a
importante para assegurar a eficincia inicial que
comparao do estado inicial com as metas atingidas
corresponde ao ajuste entre as necessidades de
ao final. Para a preparao dessa etapa, um
recursos (humanos, materiais e de poder) e o comeo
instrumento que vem sendo muito utilizado hoje o
16 das atividades de interveno no tempo e na medida
chamado quadro lgico . Esse se constitui num
certa. A anlise da implementao corresponde ao
dispositivo que visa organizao racional de uma
acompanhamento do desenvolvimento da proposta
proposta de interveno, tanto para sua
de interveno por meio de indicadores e,
apresentao como para seu acompanhamento e
eventualmente, por meio de avaliaes extensas,
avaliao. Esse instrumento, desenvolvido nos anos
inclusive, avaliao qualitativa realizada com os
1960 nos Estados Unidos, passou a ser utilizado pela
17 realizadores da proposta e com os clientes ou
maioria das agncias internacionais para delinear o
usurios que so seu alvo, levando em conta os
momento inicial de seus emprstimos e
pontos crticos para correo de rumos durante o
investimentos a fim de compar-lo com os efeitos
processo.
gerados.
Em geral so objeto de avaliao da
Na elaborao do quadro lgico se
implantao e da implementao os seguintes
estabelecem o ponto de partida ou a linha de base,
elementos: (a) as estruturas necessrias para que o
assim como as metas e indicadores que devero ser
projeto ocorra sem atropelos: obteno de
acompanhados durante o processo e avaliados ao
informaes sobre recursos fsicos, humanos,
final de determinada interveno. Na sua
materiais, formas de organizao e de funcionamento
organizao, esse instrumento possui uma lgica
(normas e procedimentos), especificao de
vertical que clarifica a razo pela qual o projeto foi
equipamentos e tecnologias disponveis; (b) os
concebido e como ser executado (objetivo superior,
processos e movimentos de encaminhamento das
objetivo do projeto, resultados esperados e
atividades pelos diferentes atores com suas funes
atividades). E uma lgica horizontal que explica como
especficas e nveis hierrquicos, para garantir que as
os resultados do projeto sero expressos de forma
operaes de interveno tenham sucesso; (c) os
clara, realista e verificvel (indicadores, meios de
resultados e efeitos parciais: esperados ou no
verificao e fatores externos). Embora no fornea
esperados de acordo com as metas estabelecidas (d)
resposta a todas as perguntas, o uso do quadro lgico
a participao e as percepes dos diferentes atores
permite clarificar as seguintes questes: (1) Por que o
que influenciam os processos e os resultados, seja no
projeto deve ser realizado; (2) Qual o seu propsito
sentido positivo ou negativo.
e quais as mudanas a serem alcanadas; (3) Como se
pretende produzir melhorias; (4) Quais so as As avaliaes de processo trabalham,
condies externas que influenciam o alcance dos sobretudo, com indicadores de eficincia, no entanto,
resultados e dos seus efeitos; (5) Como possvel muitas instituies como o caso do Banco
18
identificar o alcance das melhorias e mudanas. Mundial , promovem avaliao de impacto mesmo

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.

durante o processo; e tambm no decorrer da
proposta, de satisfao dos usurios quando julga que
isso seja necessrio. Por exemplo, estudos de impacto
durante a implementao so importantes quando h
intervenes que provocam mudanas na vida das
pessoas. Quando essas mudanas so negativas, a
avaliao oferece elementos para correo de rumos
ou interrupo da proposta.
Etapa de avaliao dos resultados ex-post
O termo resultado bastante ambguo, pois se
espera que uma avaliao comece a produzir efeitos
desde a sua concepo, por exemplo, quando se
colocam gestores e profissionais juntos colaborando
na organizao das questes que devem ser
perguntadas e aprofundadas. Tambm, avaliam-se
resultados durante o processo de implantao e
implementao que, ao ser conduzido, promove
efeitos positivos ou negativos e oferece lies a
serem seguidas pelos diferentes atores envolvidos na
ao. No entanto, restringe-se aqui o sentido de
avaliao de resultados para as anlises de
efetividade e de impacto que ocorrem aps ser
concludo um projeto. Instituies e agncias
costumam dar grande nfase ao momento ex-post,
estabelecendo um intervalo de tempo de, por
exemplo, um ano a dois, depois de concluda
determinada interveno, para se observar,
dimensionar e compreender os efeitos que provocou.
Na finalizao de uma proposta, uma avaliao de
efetividade pode ocorrer em duas vias: por meio de
estudos mais simples e operacionais; ou por meio de
anlises mais profundas e complexas que incluem
abordagens quantitativas e qualitativas, no
conhecimento das dimenses do que ocorreu.
3. ESPECIFICIDADE DA AVALIAO QUALITATIVA DE
PROGRAMAS E INSTITUIES
Entende-se por avaliao qualitativa aquela que
busca analisar o papel das representaes, das
crenas, das emoes e das relaes no andamento
de um programa, projeto ou proposta de poltica
pblica ou institucional. A razo principal deste tipo
de avaliao se fundamenta na certeza de que os
valores, as injunes polticas e as relaes humanas
influenciam na realizao dos projetos e programas.
Portanto, saber como ocorre a dinmica
antropolgica subjacente s propostas de ao
pblicas ou institucionais fundamental para se
conhecer os motivos mais profundos que promovem
ou emperram os processos e os resultados de uma
ao social.
7
Muito frequentemente costuma-se opor a
avaliao qualitativa baseada em estudos
quantitativos que do nfase mtrica dos processos
19
e dos produtos . Contudo, considera-se que essas
duas abordagens se complementam uma vez que
sempre h aes quantificveis, assim como sempre
existe implicao subjetiva em todas as aes
humanas. Isso particularmente verdadeiro quando
se trata da anlise de programas e instituies, em
que o envolvimento, as opinies e as atitudes de
todos os atores que configuram a ao social (agentes
pblicos, membros de ONG, professores, estudantes,
gestores, administrativos, dentre outros) influenciam
fortemente os resultados almejados. Assim, o
objetivo de uma avaliao qualitativa permitir a
compreenso compreenso a palavra chave de
20
toda investigao qualitativa - dos processos e dos
resultados considerando-os como um complexo
integrado por idias, padres de comportamento e de
interaes, organizados em torno a interesses
consensuais e socialmente reconhecidos.
21,22
Segundo Zucker , a pujana de uma
poltica social ou de uma instituio dependem da
capacidade dos atores individuais e organizacionais
de serem agentes de seu processo de atualizao
permanente, o que envolve os conceitos de
interdependncia entre estruturas e aes sociais,
sem se sucumbir idia de causalidade linear entre
23 23
elas . Segundo Giddens , a recursividade entre
estruturas, as aes e as vontades fundamenta o
processo por meio do qual as polticas sociais e
instituies emergem, se transformam e so
permeadas por configuraes contnuas de
interpretao. Nesse sentido, a avaliao qualitativa
lida com os aspectos estruturais e funcionais de
polticas sociais ou de instituies e, de preferncia
concomitantemente, com os componentes
ideolgicos, relacionais e polticos.
Em si mesma e para que tenha sucesso, a
avaliao qualitativa precisa ser encarada como um
processo que reconhece os vrios atores
institucionais ou que compem uma poltica pblica
ou social em seus diversos papis e funes como
agentes de mudana ou conservadorismo atuando,
portanto, num ambiente de aprendizagem. Gestores
e tcnicos que vislumbram o papel da avaliao como
parte de seu planejamento e de sua programao
cotidiana criam espaos permanentes de reflexo
sobre a prxis. Isso lhes permite desconstrurem
idias pr-concebidas, alinhar conceitos, fazer
correo de rumos, mudar prioridades, abrir mo de
iniciativas que no se mostram frutferas e at trocar
seus lderes.
Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.

Do ponto de vista tico, a avaliao
qualitativa das instituies e das intervenes sociais
se orienta para mudanas a serem construdas no
cho da realidade social. por isso que a prtica
avaliativa mais eficaz quando passa pela viso e
crena das pessoas e sobre o cotidiano de atuao
institucional a partir de uma orientao como a
formulada por Silva e Brando. Entendemos
avaliao como a elaborao, a negociao, a
aplicao de critrios explcitos de anlise, em um
exerccio metodolgico cuidadoso e preciso, com
vistas a conhecer, medir, determinar e julgar o
contexto, o mrito, o valor ou o estado de um
determinado objeto, a fim de estimular e facilitar
processos de aprendizagem e de desenvolvimento de
7:p.2
pessoas e de organizaes .
7
Na abordagem de Silva & Brando , a
relevncia dada ao sentido construcionista da
parceria no processo. Os autores usam expresses
tais como elaborao, negociao, uso de critrios
explcitos, processo de aprendizagem,
desenvolvimento de pessoas e de organizaes. o
24
mesmo modelo tambm preconizado por Demo .
11
Ou coincide com Penna Firme , quando diz que
preciso investir em: Avaliaes sensveis
responsabilidade situacional e metodologicamente
flexveis no entendimento poltico e substancialmente
criativas para integrarem todas essas dimenses na
direo do desenvolvimento e do aperfeioamento de
seu objeto (pag.3). A concepo de avaliao
qualitativa aqui exposta se inclui nas tentativas
cientficas contemporneas que consideram essa
atividade no como um evento isolado e sim como
um processo cientfico que integra avaliadores e
avaliados em busca do comprometimento e do
aperfeioamento dos indivduos, dos grupos, das
instncias de gesto, dos programas e das
instituies.
Dentro das tipologias correntes, a avaliao
qualitativa tal como concebida neste texto insere-se
12,25
nas modalidades de investigao avaliativa ou
de pesquisa operacional, mas ambas vo alm da
proposta de avaliao normativa que costuma tratar
o evento a ser analisado isolado de qualquer
interferncia dos sujeitos e dos contextos. A
investigao avaliativa comporta outras
caractersticas como menciona
12
Contandriopoulos;Champagne; et al : pretende
analisar a pertinncia, os fundamentos tericos, a
produtividade, os efeitos e o rendimento de uma
interveno [ou ao institucional], assim como as
relaes existentes entre a interveno e o contexto
12:p.37
no qual ela se situa . J a avaliao qualitativa
8
de cunho operacional se fundamenta na apropriao
de estratgias de abordagem antropolgica de forma
ao mesmo tempo sistemtica e rpida.
Embora variem quanto s tcnicas
desenvolvidas e s finalidades para as quais se
realizam, as abordagens qualitativas tm um ncleo
comum e estruturante: (a) referem-se necessidade
de levar em conta a participao e as percepes dos
sujeitos envolvidos na criao e na implementao
dos processos institucionais ou programas em
avaliao; (b) consideram as relaes hierrquicas e
entre os pares e as representaes sobre a
instituio, sua atuao e problemas como parte
fundamental dos xitos e dos limites das aes; e (c)
partem da proposta de simplificar e tornar operativa,
para fins de anlise de intervenes, a abordagem
antropolgica. Os instrumentos geralmente utilizados
so descries socioculturais, econmicas e
demogrficas dos contextos analisados. E, empregam
entrevistas, grupos focais e observao de campo,
complementados com informaes institucionais,
orientaes escritas, dados de servios, mapas de
atividades, organogramas, cronogramas de trabalho,
estudos estatsticos j existentes, entre outros.
Por isso a expresso avaliao qualitativa
no significa a mesma coisa que avaliao de
8
qualidade . Essa ltima expresso, embora
excepcionalmente seja tratada por meio de
estratgias qualitativas, costuma compor-se de um
corpo terico-metodolgico em que de antemo so
estabelecidos critrios ou indicadores para
acreditao ou parmetros tcnicos por
especialidades, privilegiando-se a mensurao. J a
abordagem que se baseia nas correntes de
pensamento compreensivas deve ser realizada por
meios etnometodolgicos tais como exemplificados
26-30
acima e sempre inclui a participao dos atores .
Seu uso vem constituindo, alm de uma demanda
pragmtica, uma necessidade de aprofundamento
terico e validado e isso vem ocorrendo nos ltimos
26
anos .
Uma das modalidades hoje mais comuns e
mais utilizadas de avaliao qualitativa de programas
sociais e de sade atualmente de o chamado RAP
26-32
(Rapid Assessment) que foi concebido para
atender s necessidades prticas de conhecimento
dos profissionais dessas reas, de compreenderem o
quanto valores, crenas e relaes dificultam ou
facilitam a promoo social, a preveno de
enfermidades e a vida saudvel, sobretudo em
contextos tnicos ou de pobreza. O RAP trabalha
dentro de uma sistemtica operacional e etnogrfica
para coleta e anlise de dados, em geral,
Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.

complementado informaes quantitativas e
observao direta no campo. Essa estratgia se inclui
num conjunto de outros modelos de avaliao rpida
- todos eles desenvolvidos a partir dessa proposta
inicial e pioneira de Suzan Scrimshaw e Helena
27
Hurtado em cuja primeira implementao a autora
28,29
deste texto participou - como os que so
33 34
utilizados para avaliao rural ambiental , estudos
35
rpidos de problemas epidemiolgicos , estudos
36 37
imediatos de desastres e de condies biomdicas .
Hoje essa modalidade metodolgica vem sendo
utilizada com xito, sobretudo, por Organizaes
Internacionais como o Banco Mundial e a Organizao
38
Mundial de Sade . Mas h muitas outras iniciativas
de avaliao qualitativa que possuem as mesmas
8,24,31,37-41,
premissas e se regem pelo pressuposto da
possibilidade de treinar e sensibilizar profissionais de
sade e de outras reas sociais e institucionais para as
utilizarem. uma aposta na expectativa de que as
estratgias metodolgicas qualitativas possam tornar
mais compreensivas, sistemticas, estruturadas e
interativas as propostas de interveno e a definio
de sua situao por parte de todos os atores sociais
envolvidos na implementao de uma ao, de uma
mudana ou na soluo de um problema.
Embora se distinga do que historicamente foi
42,43
considerada pesquisa participativa a pesquisa
qualitativa sempre pressupe a participao dos
atores que so investigados. Essa postura tica e
terica que se fundamenta nos princpios da filosofia
44
comunicativa propicia meios para que, no
desenvolvimento do processo de anlise, os que o
implementam ou recebem seus influxos se apropriem
da compreenso dos dados quantitativos e
qualitativos gerados pelo trabalho e recolham
subsdios para liderar mudanas necessrias. No
entanto, existe uma diferena fundamental entre
pesquisa qualitativa e pesquisa participante. Essa
ltima tem como exigncia terica de seu modelo
42,43
, a integrao dos mltiplos interlocutores na
realizao de todas as fases da investigao: na sua
concepo, na definio do problema, na teorizao,
no levantamento de dados, nas anlises do material
coletado e na elaborao dos resultados. J pesquisa
qualitativa conta com os atores (entrevistados,
gestores, usurios, por exemplo) como um dos
agentes para discutir o objeto, os objetivos, os
instrumentos de pesquisa e a primeira verso do
relatrio, mas no os inclui em todas as etapas
tcnicas de realizao da investigao. Poder-se-ia
dizer que toda pesquisa participante uma
abordagem qualitativa e nem toda investigao
qualitativa se confunde com pesquisa participante.
9
4. AVALIAO POR TRIANGULAO DE MTODOS
A proposta defendida neste texto que a avaliao
que melhor consegue compreender e explicar as
situaes sociais e de sade alia abordagens
1,26
quantitativas ou qualitativas . Embora, cada uma
delas possa ser utilizada independentemente e com
sucesso, desde que seja rigorosa na contextualizao,
nas perguntas que faz e nos instrumentos que utiliza.
A viso que combina as abordagens quantitativas e
qualitativas aqui denominada como triangulao
de mtodos e encontra fundamento nas idias
45:p.115
filosficas de Kant , desenvolvidas no Sistema
dos Princpios do Entendimento em sua obra sobre a
Crtica da Razo Pura. Kant ensina que a a
possibilidade da experincia oferecida pela
realidade objetiva a todos os nossos conhecimentos a
45
priori. Para Kant o entendimento da realidade se
fundamenta em princpios bsicos: os axiomas da
intuio; as antecipaes da percepo. Num
fenmeno sempre existe uma quantidade extensiva
no tempo e no espao que s pode ser apreendida
pela composio de homogneos mltiplos e pela
conscincia da unidade sinttica deste mltiplo. No
entanto a conscincia emprica dos fenmenos, diz o
autor, permite perceb-los tambm em sua
intensidade, pois eles contm sensaes sob forma de
representao subjetiva. Ou seja, o sujeito afetado
e experimenta existencialmente o fenmeno que
vivencia: isso constitui uma unidade do sistema de
entendimento que ao mesmo tempo quantitativo e
45
qualitativo. Kant chamou a quantidade intensiva de
qualidade das sensaes, assinalando que a
vivncia dessa qualidade sempre emprica. Da
mesma forma, as quantidades s podem ser
conhecidas pela sua continuidade e repetio:
Chamarei matemticos, os dois princpios
precedentes, sendo ambos constitutivos dos
45:p.123
fenmenos Logo atuao concreta subjazem
princpios e regras universais relativas unidade na
sntese dos fenmenos, cuja realidade objetiva e
subjetiva pode ser mostrada e avaliada: no objeto
que a unidade sinttica dos conceitos evidencia uma
45:p.119
realidade . Ou seja, a realidade concreta pode
ser conhecida por meio de dados subjetivos
(significados, intencionalidade, interao,
participao) e de dados objetivos (indicadores,
distribuio de freqncia e outros) inseparveis e
interdependentes. Essa proposta propicia a
dissoluo de dicotomias que existem em nosso
esprito: entre quantitativo e qualitativo; entre macro
e micro; entre interior e exterior; entre sujeito e
objeto.
Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.

A modalidade de triangulao de mtodos se
fundamenta na teorizao do contexto e do contedo
do programa a ser avaliado e usa os instrumentos
operacionais para analisar os resultados, os efeitos e
o rendimento da interveno. Acrescenta, porm, a
esses elementos, a observao e a anlise da
dinmica visvel e subjacente dos atores sociais
envolvidos no processo e suas representaes. No
desdobramento metodolgico e prtico, retomam-se
os trs pilares da avaliao tradicional e a eles se
agregam os princpios bsicos da sociologia
compreensiva, no como superposio e sim como
39,40,46,47,
sntese de mltiplos olhares Mas dentro da
prpria abordagem qualitativa deve-se exercitar uma
viso triangulada que se faz pela: (a) combinao e
cruzamento de mltiplos pontos de vista; (b) tarefa
conjunta de pesquisadores com formao
diferenciada; (c) viso de vrios informantes e (d)
emprego de uma variedade de tcnicas de coleta de
dados que acompanha o trabalho de investigao.
Seu uso, na prtica, permite interao, crtica
39,40,48- 50
intersubjetiva e comparao .
5. ALGUMAS CONCLUSES
Os avanos recentes da avaliao, como uma rea de
conhecimento especfica, evidenciam importantes
mudanas na postura tantos dos pesquisadores como
dos gestores e profissionais das diferentes reas de
interveno. Em geral, a maioria deles hoje busca
integrar avaliados e avaliadores nos processos
analticos institucionais ou de prestao de servios,
pois considera esse par de oposies complementares
como aprendizes que, estudando e refinando
conceitos e tcnicas, crescem junto com a dinmica
avaliativa. Nessa concepo, a avaliao menos
classificatria do que melhor ou do que peor e
muito mais promocional. Serve para consolidar
entendimentos e parcerias, apoiar mudanas
sucessivas, corrigir rumos, ampliar o 15.
comprometimento dos diferentes atores e promover
o aperfeioamento dos indivduos, grupos instituies
e sistemas.
Um dos ganhos fundamentais da avaliao
ocorre quando a equipe que a realiza aceita o desafio
do trabalho cooperativo e inclui o grupo que objeto
de anlise em suas atividades por meio da auto-
avaliao e nos momentos de formulao do projeto,
de discusso dos instrumentos e dos resultados. Assim
se complementa o olhar interno e o olhar externo: o
labor de quem recolhe os dados, o envolvimento
intersubjetivo de quem investiga em campo, a viso de
quem atua na interveno, as preocupaes dos
10
usurios, e as indagaes de quem financia ou
patrocina.
REFERNCIAS BIBLIOGRFICAS
1. Minayo MCS, Assis SG; Souza ER. Avaliao por triangulao de
mtodos. Rio de Janeiro: Editora Fiocruz; 2005.
2. Braverman MT, Engle M, Arnold MA, Rennekemp R, (org.).
Program Evaluation in a Complex Organizational System:
lessons from cooperative extension: new directions for
evaluation. American Evaluation Association Editions; 2008.
3. Scriven M. Evaluation in the new millennium: the
transdisciplinarity vision. Pp.1-30. In: Donaldson P, Steward I
,Scriven M. (editors). Evaluating social programs and problems:
visions for a new millennium. New Jersey: Lawrence Earlbaum
Associates Publishers; 2005. p.1-30.
4. Silva PLB, Melo MAB. O processo de implementao de
polticas pblicas no Brasil: caractersticas e determinantes da
avaliao de programas e projetos. Repblica Dominicana:
CLADE; 2000.
5. Cohen E, Franco R. Avaliao de Projetos Sociais. Petrpolis:
Editora Vozes; 2003.
6. Hartz ZMA Explorando novos caminhos na pesquisa avaliativa
das aes de sade. In: Hartz ZMA (org.). Avaliao em sade:
dos modelos conceituais prtica na anlise da implantao de
programas. Rio de Janeiro: Editora Fiocruz; 1997.p.19-28.
7. Silva RS, Brando D. Construo da capacidade avaliativa em
organizaes da sociedade civil. So Paulo: Instituto Fontes;
2003.
8. Uchimura KY, Bosi, MLM. Qualidade e subjetividade na
avaliao de programas e servios de sade. Cad Sade Pblica
2002; 18(6),1561-1569.
9. Raposo R. Avaliao de Aes Sociais: uma abordagem
estratgica. In: vila CM. (org.) Gesto de Projetos Sociais. So
Paulo: APCCS; 2001. p. 90-101.
10. Carvalho MCB. Avaliao de projetos sociais. In: vila CM.
(org.) Gesto de Projetos Sociais. So Paulo: APCCS; 2001. p.59-
73.
11. Penna Firme T. Avaliao em rede. Disponvel em:
www.rits.org.br. Acesso em 04.06.2008.
12. Contandriopoulos AP, Champagne F, Denis JF, Pineault R. A
avaliao na rea da sade: conceitos e mtodos. In: Hartz
ZMA (org). Avaliao em sade. Rio de Janeiro: Editora Fiocruz;
1997. p. 29-48.
13. Posavac EJ, Carey RG. Program evaluation: methods and case
studies. New Jersey: Upper Saddle River; 2003.
14. Figueiredo MA, Figueiredo AMC. Avaliao poltica e avaliao
de Polticas. Anlise de Conjuntura 1986;1(3),107-127.
Sachs I. Desenvolvimento sustentvel, bioindustrializao
descentralizada e novas configuraes rural-urbana. Os casos
da ndia e do Brasil. In: Vieira PF, Weber J (org.). Gesto de
Recursos Naturais Renovveis e Desenvolvimento: Novos
Desafios para a Pesquisa Ambiental. So Paulo: Cortez; 1997. p.
29-37.
16. Gasper D. Logical Frameworks: problems and potentials.
Disponvel em: www.mande.co.uk/logframe.htm. Acesso em:
10.08.2010.
17. Mackay K. The World Banks ECB Experience. New directions
for evaluation2002; 93, 81-99.
18. World Bank (BIRD). Second Minas Gerais Development
Partnership: project appraisal document. BIRD; 2008.
19. Bernstein RJ. Beyond objectivism and relativism: science,
hermeneutics and praxis. Philadelphia: University of
Philadelphia Press, 1983.
20. Minayo MCS. Los conceptos estructurantes de la investigacin
cualitativa. Salud Colectiva 2010; 6(3), 251-261.
Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.
 11

21. Zucker LG. Institutional theories of organization. Annual 47. Samaja J. La Combinacin de Mtodos: Pasos para una
Review of Sociology 1987; 13, 443-464. Comprensin Dialectica del Trabajo Interdisciplinario.
22. Zucker LG. The role of institutionalization in cultural Educacin Medico-Social 1992; 26 (1), 4-34.
persistence. In: Powell WW, Dimaggio PJ. (editors). The new 48. Minayo MCS, Cruz Neto O. Triangulacin de mtodos en da
institutionalism in organizational analysis. Chicago: The evaluacin de programas y servicios de salud. 65-80. In:
University of Chicago Press;1991. p.83-107. Bronfman M, Castro R. (org). Salud, cambio social y poltica:
23. Giddens A. The constitution of society. Berckeley: University of perspectivas desde Amrica Latina. Mxico: Edamex; 1999.
California Press; 1984. p.65-80.
24. Demo P. Avaliao qualitativa. So Paulo: Editora Cortez; 1999. 49. Minayo MCS, Sanches O. Quantitativo-Qualitativo; oposio ou
25. Silva LMV, Formigli VLA. Avaliao em sade: limites e complementaridade? Cad Sade Pblica 1993; 9 (supl.1), 239-
perspectivas. Cad Sade Pblica 1994; 10 (2), 80-91. 262.
26. Trotter R, Needle RH, Goosby E, Bates C, Singer M. A 50. Minayo MCS, Souza E, Assis SG, Cruz Neto O, Deslandes SF,
methodological model por rapid assessment, responses and Silva CMPF. Avaliao dos Centros de Orientao e Apoio
evaluation: the RARE program in public health. Field Methods Sorolgico/CTA/COAS da Regio Nordeste. Cad Sade Pblica
2001; 13(2),137-139. 1999;15(1),355-367.
27. Scrimshaw S, Hurtado E. Rapid Assessment Procedures for
Nutrition and Primary Health Care: anthropological approaches
to improving program effectiveness. Tokio: The United Nations
University; 1987.
28. Patton MQ. How to use qualitative methods in evaluation.
Newbury Park: Sage Publications; 1987.
29. Minayo MCS. Abordagem Antropolgica para Avaliao de
Polticas Sociais. Rev Saude Publica 1991; 25 (3),233-238.
30. Minayo MCS, DElia JC, Svitone E. Programa Agentes de Sade
do Cear: Estudo de Caso. Fortaleza: UNICEF; 1990.
31. Atkinson S. 1993. Anthropology in research on the quality of
health services. Cad Saude Publica 1993;9(2),283-299.
32. Nuto SS, Nations MK.. Avaliao qualitativa dos servios com
processo de construo de cidadania. Ao Coletiva 1999;
2,25-29.
33. Heaver R. Participative rural appraisal: potential applications to
family planning, health and nutrition programs. Washington
DC: Technical Department Asia Region World; 1991.
34. Stohlgren TJ, Chong GW, Kalkhan MA, Shell LD. Rapid
assessment of plant diversity patterns: a methodology for
landscape. Environment monitoring and assessment 1997; 4
(1), 25-43.
35. International Epidemiological Association. Rapid epidemiologic
assessment. Official Journal or the International
Epidemiological Association 1989;18 (supl.2).
36. Malilay J, Flanders WD, Brogan DA. Mtodo modificado de
mostreo por conglomerados para evaluacin rpida de
necesidades despus de un desastre. Revista Pan Americana de
Salud Pblica 1997; 2(1),7-12.
37. Lee T, Price T. Indicators and research methods for rapid
assessment of a tuberculosis control program: case study of a
rural area of South Africa. Tubercle Lung Diseases 1995;
76(5),441-449.
38. World Health Organization. Rapid evaluation method:
guidelines for maternal and child health, family planning and
other health services. Geneva: WHO; 1993.
39. Denzin NK, Lincoln YS. Handbook of qualitative research.
Thousand Oaks: Sage Publications; 1994.
40. Denzin NK. The research act. Chicago: Aldine Publishing
Company, 1979.
41. Bebe J. Basic concepts and techniques of rapid appraisal.
Human Organization 1995; 54: 42-51.
42. Brando CR. Repensando a pesquisa qualitativa. So Paulo:
Editora Brasiliense; 1985.
43. Gajardo M. Pesquisa participante na Amrica Latina. So Paulo:
Editora Brasiliense; 1987.
44. Habermas J. Teora de la Accin Comunicativa. I, II. Madrid:
Taurus Editorial;1987.
45. Kant I. Crtica Razo Pura. Coleo os Pensadores. So Paulo:
Editora Abril;1980.
46. Jick TD. Mixing Quantitative and Qualitative Methods:
triangulation and action. Administrative Science Quarterly
1979; 24, 602-611.

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.