Avaliação de impacto social

AVALIAO
PARA NEGCIOS DE
IMPACTO SOCIAL
GUIA PRTICO
Concepo e Coordenao:
Realizao tcnica:
Quais so os principais conceitos em
PARA
avaliao de impacto social? Por que
e quando faz sentido avaliar? Como
criar uma cultura de avaliao em uma
iniciativa/empreendimento social?
AVALIAR
Avaliao interna ou avaliao externa;
como saber?Como devo me preparar
para conduzir uma avaliao? Por onde
comeo? Quais instrumentos podem
IMPACTO
ser aplicados dentro de casa? Quais
so e como podem ser comparadas as
diferentes metodologias e mtricas de
SOCIAL
avaliao? Como fazer a escolha certa?
Quais armadilhas evitar?
Encontre respostas a estas e outras perguntas

neste material! Ele est dividido em 5 unidades.
Em todas elas, h textos explicativos e links
para aprofundamento terico. H tambm ro-
teiros de exerccios e um convite para que voc
e sua equipe estudem e aprendam juntos sobre
avaliao.
SUMRIO
1
UNIDADE 0.1
POR QUE AVALIAR?
1 | O que avaliao? 08
2 | Para que avaliar? 10
3 | O que impacto? 14
2
UNIDADE 0.2
PREPARANDO O TERRENO
4 | Apostar no dilogo 24
5 | Planejar, fazer, avaliar e agir 25
6 | Teoria de Mudana: construo e usos 27
7 | O passo a passo de uma Teoria de Mudana 32
8 | Voc monitora metas, milestones, 38
entregas?
9 | Voc cuida da produo de informaes? 42
10 | Quem cuida do monitoramento e
avaliao? 45
3
UNIDADE 0.3
SETE PASSOS PARA
DESENHAR UMA AVALIAO:
(PASSOS 1 A 4)
11 | Passo 1. Anlise de contexto e 50
4
stakeholders
UNIDADE 0.4
12 | Passo 2. Formular Perguntas 55
SETE PASSOS PARA
5
avaliativas
DESENHAR UMA UNIDADE 0.5
13 | Passo 3. Avaliao de processos, 59 Anexo 1. Portais e listas sobre 123
resultados ou impactos? AVALIAO: APRENDIZAGEM, DECISO
monitoramento e avaliao
(PASSOS 5 A 7) E COMUNICAO
14 | Passo 4. Eleger o modelo de 65
investigao 15 | Passo 5. Construir 80 18 | Divulgao de dados 108 Anexo 2. Exemplos de bases e 125
indicadores e critrios de pesquisas pblicas para busca
julgamento 19 | Desenvolvimento 112
de dados
organizacional
16 | Passo 6. Eleger as fontes 89
e coletar informaes 20 | Capacidade avaliativa 115 Referncias bibliogrficas 128
17 | Passo 7. Analisar as 99 21 | Incidncia poltica 117

informaes 22 | A qualidade de uma avaliao 120
UNIDADE 0.1 /
POR QUE
AVALIAR?
Nesta primeira sesso, apresentamos a voc conceitos
importantes na avaliao de iniciativas/empreendimen-
tos sociais: o que avaliao? Para que fazer ava-
liao? O que impacto? Com um texto em carter
explicativo, um exerccio de Brainstorming, exemplos de
casos, vdeos, websites e dicas de leitura, esperamos que
voc amplie sua compreenso e seu interesse em avaliar
negcios de impacto, programas e polticas sociais.
8 Avaliao para Negcios de Impacto Social Unidade 0.1 / Por qu avaliar? 9
1| O QUE AVALIAO? ccio metodolgico rigoroso, capaz de produzir julgamento de mrito (efei-
tos) e de relevncia (utilidade, aderncia, viabilidade, eficincia, qualidade)
desta ao com base em critrios consistentes e vlidos para os stakehol-
ders.
H muitas maneiras de definir a palavra avaliao. Como mostraram Guba e Lin- Como veremos ao longo deste material, a prtica avaliativa ir requerer ativida-
coln , o conceito passou por vrias transformaes ao longo do Sculo XX; de
i
des de compreenso, medida, comparao e julgamento, de forma a assegurar o
sinnimo de medir, o conceito tornou-se tambm descrever, julgar e negociar olhar mais criterioso e justo possvel para um determinado objeto. Pretendemos
pontos de vista, num movimento que respeitou a evoluo poltica e epistmica tornar claro tambm que avaliao, aprendizagem e eficcia institucional so
dos ltimos 100 anos. conceitos que caminham juntos.
Vejamos como trs importantes autores definem avaliao, a fim de propor uma
definio-sntese. Para Sanders et alii, avaliar implica a identificao, esclareci-
mento e aplicao de critrios defensveis para determinar o valor, qualidade,
EXERCCIO
utilidade, eficcia ou importncia de um objeto avaliado em relao a estes cri-
trios.
Na perspectiva do Ministrio do Desenvolvimento Socialiii, avaliar implica O que avaliao?

o levantamento consistente, sistemtico e replicvel de dados, informa-
es e conhecimentos para aprimoramento da interveno programtica, Cada iniciativa/empreendimento social pode construir seu prprio
versando sobre caractersticas essenciais do contexto de atuao, os p- conceito de avaliao, bem como suas prticas avaliativas. Voc j
blicos-alvo, o desenho, os arranjos de implementao, os custos de ope- pensou sobre o que avaliao no seu negcio ou organizao? Que
rao, os resultados de curto prazo, os impactos sociais e de mais longo tal tomar as perguntas a seguir para disparar um Brainstorming com
prazo de um programa (...) com o objetivo de produzir evidncias, compilar sua equipe?
dados e sistematizar estudos que contribuam para o aperfeioamento dos
programas e projetos sociais e a consecuo de seus objetivos. No link a seguir voc encontrar todas as informaes sobre
esta tcnica. Clique e confira!
Para Contandriopoulos e colaboradores , avaliar consiste em fazer um
iv https://goo.gl/Ai9EYt
julgamento de valor sobre uma interveno que permita fornecer infor-
maes cientificamente vlidas e socialmente legtimas sobre a mesma
ou sobre qualquer um de seus componentes, de maneira que os diferentes
atores envolvidos, que podem ter campos de julgamento diferentes, este- E para voc, o que avaliar?
jam prontos a tomar posio sobre a interveno e a construir um julga-
mento que possa se traduzir em aes. Que experincias avaliativas voc j teve? O que marcou positiva-
mente? O que marcou negativamente? O que avaliar significa para
voc? Que lugar a avaliao pode ter na sua cultura organizacional?
Como se v, diferentes autores em diferentes contextos definiro avaliao a sua Que avaliao necessria para sua organizao ou seu negcio?
maneira, o que permite tratar o conceito de avaliao como uma gramtica em
construo permanente, objeto em constante reviso e disputa. Neste material,
definimos avaliao como a investigao de uma ao, com base em um exer-
2| PARA QUE AVALIAR? nos comunicamos, entre outras demandas comuns ao dia-a-dia
da gesto.
APRENDIZAGEM
Se a palavra avaliao possui suas distines histricas, polticas e epistmicas, Avaliamos porque nossas organizaes e nossos negcios de
o sentido ou o propsito das avaliaes tambm objeto de longos debates. Afi- impacto precisam aprender com as prprias prticas. Avalia-
nal de contas, porque devemos avaliar um programa social, por exemplo? Desta- mos porque necessrio que cada organizao reconhea e
camos aqui alguns conceitos-chave que vo lhe ajudar a pensar nesta pergunta. cultive seus maiores talentos, mas tambm enxergue seus
limites e corrija seus erros. Avaliamos porque a gesto um
campo de hipteses e apostas que precisam ser testadas.
UM IMPERATIVO TICO O carter formativo de uma avaliao apoia-se na ideia de que

Avaliamos nossas aes porque estamos comprometidos em uti- as organizaes so tambm escolas que preparam as pessoas
lizar recursos privados e pblicos da forma mais correta, susten- para a ao profissional. Aos que valorizam o learn-by-doing, vale
tvel e efetiva possvel. Avaliamos porque partimos da premissa sempre lembrar que o fazer transforma-se em saber enquanto
de que preciso e possvel melhorar as aes, fazer mais, al- atravessa uma ponte chamada avaliao.
canando mais eficincia e mais efetividade. Avaliamos porque
crucial conhecer as consequncias positivas e negativas
do que fazemos, a fim de viabilizar organizaes, negcios de CONSTRUO DE CAPITAL POLTICO
impacto, programas e polticas pblicas com a qualidade neces- Avaliamos para impulsionar as organizaes a amparar suas de-
sria. cises em processos rigorosos e racionais. Nesta dinmica, as
avaliaes tm sido vistas como maneiras de tornar mais con-
Avaliamos porque no podemos fechar os olhos s falhas e s sistentes os discursos e os posicionamentos organizacionais nos
inadequaes, sob o risco de penalizar ou onerar a sociedade e diversos espaos polticos nas sociedades complexas em que vi-
aqueles que diretamente se relacionam com nosso trabalho. vemos.
A gesto baseada em dilogo e evidncia tem ajudado a trazer

GESTO ADAPTATIVA legitimidade aos agentes sociais em seus campos de interesse.
Avaliamos porque sabemos que as organizaes e seus con- Se compreendemos que toda organizao moderna sempre
textos modificam-se o tempo todo, exigindo que aquilo que foi uma organizao comunicadora, torna-se necessrio produzir
planejado seja revisado e ajustado em resposta s mudanas comunicao com alma e consistncia, sentido e legitimidade.
internas (equipe, processos, tecnologias) e externas a uma orga-
nizao (recursos, mercado, pblico-alvo, normas, etc.). Ao contrrio de jogo de cena, as avaliaes podem produzir
discursos honestos, responsveis e convincentes.
Se queremos liderar nossas iniciativas/empreendimentos Mas h uma advertncia: tambm verdade que prticas de
com responsabilidade e apoiados em boas evidncias, as avaliao tm sido utilizadas como forma de dominao e ma-
avaliaes podem ser ferramentas para fortalecer ou cor- nipulaov, inserindo-se nas engrenagens de poder apenas para
rigir prticas, para alterar o enfoque dos investimentos, para perpetuar desigualdades. Por meio da avaliao, por exemplo,
buscar novas alianas estratgicas, para alterar a forma como possvel ditar os rumos das polticas pblicas de um pas a
partir do controle rgido da alocao de recursos, impactando

assim a vida das pessoas que mais necessitam. Gestores podem
ainda aproveitar os resultados de uma avaliao para legitimar
LEITURA
sua posio de poder ou suas prprias convices, sem passar
pelo escrutnio pblico. As escolhas que fazemos podem ajudar a Voc conhece a Carta de Princpios para Negcios de Impacto?
desvelar a viso de mundo praticada por uma organizao, abrir https://goo.gl/FnYzzs
portas para dilogos, ajustes e mudanas. Fazer das avaliaes
um exerccio de conscincia sobre a prtica pode levar a deci- VEJA COMO O PRINCPIO 2 EXPRESSA CLARAMENTE O
ses mais justas e responsveis e ampliar a conscincia sobre
vi COMPROMISSO COM AVALIAO E MONITORAMENTO!
onde a organizao est e para onde caminha.
Voc conhece o Painel Gife de Transparncia?
http://bit.ly/2vV4NYs
TRANSPARNCIA
Avaliamos porque cada vez mais importante tornar transpa- Voc conhece o GRI - Global Report Initiative?
rentes as prticas e os efeitos das organizaes na sociedade. http://bit.ly/1aVFfc3
Seja para demostrar a lisura fiscal de uma organizao,
para revelar sua pegada ambiental ou as consequncias so- Voc conhece os Indicadores Ethos para negcios sustentveis?
ciais de suas aes sobre a populao, diferentes prticas http://bit.ly/2vV5aCk
avaliativas tornaram-se cada vez mais comuns em diferen-
tes setores da sociedade. Algumas delas continuam volunt- Voc conhece o GIIRS Ratings?
rias, enquanto outras tornaram-se exigncias de mercado ou at http://bit.ly/2ipeOIS
mesmo exigncias legais.
Voc conhece o Sistema B?
Sejam processos internos ou externos, o recado que a sociedade http://bit.ly/1x9YnhV
tem insistentemente dado aos governos, empresas e ONGs :
seja transparente. Mostre o que voc faz. Prove que h coerncia
entre seu discurso e sua prtica. Seja mais visvel, claro, honesto,
etc. Apontamos a seguir links para quatro exemplos de siste-
mas voluntrios de avaliao.
14 Avaliao para Negcios de Impacto Social 15
3| O QUE IMPACTO? 5 CONCEPES

IMPORTANTES
Pode-se definir impacto como o conjunto de consequncias, positivas e negativas, O termo impacto no deveria ser usado
intencionais e no intencionais, que uma interveno produz em uma dada rea- 1 para definir qualquer tipo de resultado
lidade. Impacto, portanto, tem a ver com relaes de causa-e-efeito, com desdo- que configure mudana em um certo p-
bramentos, consequncias e influncias. blico, o que costuma ser compreendido
como Outcome.
No h, contudo, uma definio de impacto que alcance todos os campos de sa-
ber ao humana. Cada rea de conhecimento possui suas prprias construes Impactos so Ultimate ou Long Term Ou-
prticas e reflexes tericas a respeito do que ou no impacto. Cada conjunto
de profissionais define certas fronteiras nas quais observa impactos e, em certa
2 tcomes, enquanto resultados so Short
Term ou Intermediary Outcomes (termos
medida, cada organizao tambm precisa definir o alcance de suas aes. que abordaremos em maiores detalhes
na seo 6 de Teoria de Mudana)
No campo socioambiental, por exemplo, o impacto de uma barragem ou de um
novo empreendimento produtivo podem ser compreendidos por seus efeitos so- Os impactos podem ser vistos como os
bre a flora, a fauna ou a produo agrcola e pesqueira de uma regio. Os estudos
de impacto ambiental necessrios para obras de infraestrutura, por exemplo, si-
3 efeitos finais ou mudanas desejadas em
ltima instncia por uma iniciativa/em-
tuam-se neste campo especfico, que obedece lgicas bastante complexas que preendimento, como resultados superio-
miram consequncias temporais e geogrficas por vezes muito distantes do mo- res, como pontos de chegada desafiado-
mento ou local da ao. A relao entre a ruptura da barragem em Mariana/MG e res, distantes e influenciados por muitos
a atividade pesqueira no Esprito Santo um exemplo importante para expandir fatores.
o conceito de impacto socioambiental.
O impacto sempre algo para o qual a
4 iniciativa/empreendimento colabora e
quase nunca algo que ela consegue de
fato realizar sozinha. A governabilidade
sobre os impactos parcial.
Os resultados configuram-se como os
5 efeitos pelos quais a iniciativa/empreen-

dimento responde com maior governa-
bilidade.
No campo da sade, o impacto de um servio de pr-natal poder ser conhecido

nas taxas de mortalidade infantil e materna. O impacto de um novo medicamen-
to poder ser conhecido nas taxas de prevalncia de uma doena, o impacto da
VDEO
cobertura vacinal poder ser conhecido na incidncia de uma doena e o impacto
de um programa de fluorao da gua ser conhecido no nmero de dentes ob- Por que avaliar
turados, perdidos e careados de uma populao. Medidas ainda mais complexas, https://goo.gl/bN3Wb2
como os ndices de qualidade de vida ou a expectativa de vida ao nascer, podem
tambm ser tomados como formas de se conhecer o impacto de aes de sade.
No campo da educao, h tambm muitas possibilidades de se definir impacto.

Na educao infantil, o impacto pode se relacionar ao desenvolvimento motor e Para complementar a leitura em torno dos inmeros elementos que podem
cognitivo das crianas s quais se garante o direito da creche e da pr-escola. No demonstrar, de forma tangvel, o que impacto social, na prxima pgina
ensino fundamental, o impacto pode ser conhecido pelos nveis de proficincia elencamos cinco dimenses de impacto social que so importantssimas para
dos alunos em testes especficos ou pelo seu nvel de ingresso no ensino mdio. o entendimento e a promoo de impacto social positivo por negcios de im-
No ensino mdio e na educao superior, impacto pode se relacionar renda, pacto social. Alm disso, seguir reproduzimos um quadrovii que apresenta
empreendedorismo, expanso do universo cultural, entre tantas outras. diferentes elementos demonstrados por negcios de impacto.
Quaisquer destas definies devero ser vlidas do ponto de vista terico, de-
monstrando sua consistncia causal e sua viabilidade. Nestes e em quaisquer
outros casos, os impactos devem ser definidos em funo da interveno, que
ter seu potencial regulado em razo do conjunto de recursos que mobiliza, da
realidade na qual intervm e da qualidade de suas estratgias.
importante compreender que cada ao pertence a uma cadeia de resultados

especfica, seja ela mais ou menos explcita. Reside na cadeia de resultados, ou na
Teoria de Mudana, tambm abordada neste material, a projeo de impacto que
ser tomada como referncia avaliativa.
Para que voc comece a se familiarizar com as lgicas especficas que devem ser
construdas para cada interveno particular, indicamos um vdeo que narra a
histria de uma iniciativa social e sua avaliao de impacto.
5 DIMENSES DE IMPACTO SOCIAL - AMPLIAO DE POSSIBILIDADES DE AUMENTO DE RENDA
ARTEMISIAviii O aumento de renda no deve ser entendido apenas como o

aumento quantitativo de dinheiro, mas como a ampliao das
possibilidades de escolha de um indivduo de baixa renda, que
contribui tambm para a reduo de sua condio de vulnera-
bilidade.
REDUO DE CUSTOS DE TRANSAO
O custo de transao pode ser definido como o custo em dinhei- Empreendimentos/ iniciativas de impacto podem atuar no
ro e tempo gastos por um comprador no mercado. Pessoas de aumento das oportunidades de emprego estvel ou na me-
baixa renda pagam mais caro pelos mesmos produtos e servios, lhoria das condies de trabalho do microempreendedor.
por sua dificuldade de acesso quando vivem distantes dos gran-
des centros, pelas assimetrias de informao impostas queles
que possuem baixa escolaridade ou pela burocracia e custo do
risco embutidos nos negcios direcionados a essa populao.
Mesmo o acesso a servios pblicos gratuitos impe elevados
custos populao de baixa renda. PROMOO DE OPORTUNIDADES DE DESENVOLVIMENTO
Pessoas de baixa renda so privadas de oportunidades que pro-
Empreendimentos/ iniciativas de impacto podem oferecer movam o desenvolvimento de suas capacidades, o que as impe-
produtos e servios que diminuam ou eliminem barreiras de de utilizar seu pleno potencial.
de acesso a bens e servios essenciais.
Empreendimentos/ iniciativas de impacto podem promover
oportunidades para que pessoas de baixa renda fortaleam
seu capital humano e social.
REDUO DE CONDIES DE VULNERABILIDADE

A condio de vulnerabilidade refere-se fragilidade a que uma
pessoa fica exposta em situaes de risco. Pessoas de baixa ren-
da esto sujeitas a condies de vulnerabilidade com mais faci- FORTALECIMENTO DA CIDADANIA E DOS DIREITOS INDIVI-
lidade e frequncia, especialmente em situaes de crise (perda DUAIS
de bens, doenas, falecimentos e gravidez no planejada). Pessoas de baixa renda podem estar privadas de direitos indi-
viduais bsicos de vida, liberdade e segurana, como o acesso
Empreendimentos/ iniciativas de impacto podem oferecer moradia digna e regularizada.
produtos que facilitem a proteo de bens conquistados e a
antecipao ou preveno de riscos futuros, como seguros Empreendimentos/iniciativas de impacto podem contribuir
de vida, sade, trabalho e assistncia funeral. para o fortalecimento da cidadania por meio de produtos e
servios essenciais para uma qualidade de vida digna.
NATUREZA DOS IMPACTOS GERADOS E agora, que tal voc e sua equipe se lanarem num exerccio que prope ob-
PARA A SOCIEDADE servar o impacto de sua organizao / negcio ou de um de seus programas ou

servios. Vamos tentar?
AUMENTO DE RENDA ACESSO A BENS

Matrias-primas produzidas principalmente Reduo de preos.
em reas rurais para as empresas,
particularmente produtos agrcolas ou
Pagamento fragmentado de bens e EXERCCIO
servios e sistemas pr-pagos.
relacionados agricultura.
Presena fsica em reas rurais e reas Qual a pegada da sua iniciativa/empreendimento?
Organizao de produtores, e associao ou
pobres urbanas.
incorporao cadeia produtiva.
Investimentos privados em equipamentos, Cada iniciativa/empreendimento social tem uma certa leitura da
Aumento de produtividade decorrido de
infraestrutura e redes de distribuio.
treinamento e assessoria tcnica. realidade, rene recursos de certa natureza, desenha um jeito particular
Acesso flexvel a emprstimos. de agir e espera mudar a realidade na qual intervm. Parece fcil!
Eliminao de intermedirios.
Eliminao de barreiras educao. Mas, que tal promover uma Conversa Generativa em torno destes
Certificao para produtores diferenciados.
elementos?
Melhores canais de comercializao para
pequenos produtores.
Primeira parte (10)
Economia em compras frequentes.
Individualmente, cada participante responde as seguintes perguntas:
(1) em que realidade intervimos (pblico, territrio) e quais suas
caractersticas mais marcantes?
PROMOO DE CIDADANIA CAPITAL SOCIAL
2) que transformaes queremos gerar nesta realidade?
Reconhecimento e exerccio de direitos Construo de redes, relacionamentos (3) que recursos e estratgias utilizamos para produzir as transformaes
bsicos (vida, trabalho, etc.). locais e fortalecimento de capacidades. que desejamos?
Defesa de interesses pblicos. Construo do sentimento de pertencer
sua comunidade. Segunda parte (20)
Maior visibilidade e dignidade para
setores de baixa renda e grupos de Construo de rede social: confiana, Em uma rodada, cada membro da equipe partilha sua produo.
excludos. reciprocidade e desenvolvimento de Cabe aos demais participantes escutar com ateno. Ao olhar para
cooperao.
Intermediao de oportunidades de o conjunto de apresentaes comea a terceira parte do exerccio.
trabalho para pessoas com deficincia, Maior disponibilidade de recursos prprios
grupos de excludos ou indivduos no e de terceiros por meio de contatos e
Terceira parte (30)
qualificados. interaes.
O que estamos chamando de transformao? Convergimos no
Acesso fsico ao mercado para vender a Capacitao do setor de baixa renda para
impacto que queremos? Convergimos no impacto que podemos
produo do setor de baixa renda. agilizar e expressar as demandas.
alcanar? A final, o que estamos chamando de impacto? Ser que o
Conscincia ambiental. Elevao da autoestima.
pblico-alvo e nossos parceiros ou financiadores pensam o mesmo que
Promoo de bons hbitos de higiene, Associao de interesses individuais.
ns?
ordem e consumo racional.
Ligar grupos dispersos a administraes,
empresas, novos mercados ou clientes locais.
UNIDADE 0.2 /
PREPARANDO
O TERRENO
Nesta segunda sesso, apresentamos caminhos para favore-
cer a cultura de avaliao em seu negcio ou organizao:
sua iniciativa/empreendimento tem clareza sobre o que
ela ou quer ser? H uma viso clara sobre a mudana
que se espera gerar? Existe um bom plano estratgico
e bom processo de monitoramento? Quem respons-
vel pela organizao e armazenamento de dados? Quem
cuida da avaliao? Combinando texto, exemplos de casos,
ferramentas e leitura, esperamos que voc fortalea sua ca-
pacidade de monitorar e avaliar sua iniciativa/empreendi-
mento.
24 Avaliao para Negcios de Impacto Social Unidade 0.2 / Preparando o terreno 25
4| APOSTAR NO DILOGO 5|PLANEJAR, FAZER,

AVALIAR E AGIR: OS VNCULOS
Um dos maiores desafios das organizaes contemporneas est na criao de
ambientes de dilogo, reflexo e produo coletiva, condies fundamentais para
inovao e para alcanar bons resultados de interesse pblico. Habituados a no
ENTRE O PLANEJAMENTO E A
atravessar fronteiras ou a viver concentrados em tarefas especficas, muitos pro-
fissionais se enroscam diante do trabalho cooperativo, barreira que precisa ser
superada a fim de produzir organizaes mais plurais e inteligentes.
AVALIAO
As avaliaes tm demonstrado a importncia de estimular as mltiplas vozes
como condio fundamental para uma prtica que se prope a compreender, Toda avaliao requer um objeto, seja um projeto, programa, poltica ou organi-
analisar, julgar, aprender e decidir. Se em uma organizao, palavra que circula zao. A tarefa avaliativa requer que este objeto seja compreendido da melhor
saber que circula, poder que opera e se movimenta , a construo de avaliaes
ix
forma possvel para que ele seja mais bem julgado. Compreender as relaes en-
que realmente faam sentido e se apoiem na experincia das pessoas envolvidas tre pblicos, resultados, estratgias, aes e recursos imprescindvel para fazer
no pode abrir mo de espaos onde se possa conversar sem constrangimento. avaliaes mais precisas, teis e justas. Afinal, como saber o que importante,
igualmente importante que o pblico-alvo da organizao ou clientes do negcio ou como julgar uma iniciativa/empreendimento se no a conhecemos de forma
sejam permanentemente ouvidos e includos nos dilogos sobre avaliao. apropriada?
Ao mesmo tempo, avaliao no planejamento. Tentemos diferenciar as duas

coisas para reconhecer sua interdependncia. Planejar implica decidir anteci-
padamente o que fazer e fazer escolhas que ajudem a guiar uma iniciativa
ao futuro. Planejar um exerccio de projeo e de desenho de caminho, de
criao e inovao, de escolha de alianas e de mobilizao de recursos. Planejar
requer olhar para hoje e amanh, reconhecendo a distncia entre estas realida-
des e elegendo maneiras de avanar na direo do que desejado e necessrio.
Proposto por Shewhartx e popularizado por Demingxi, o Ciclo PDCA - Plan (pla-
nejar), Do (fazer), Check (confirmar), Act (agir) - aponta um processo virtuoso
para uma gesto de qualidade. As quatro etapas que j foram objeto de debates
e transformaes em diferentes evolues tericas, apostam que sempre haver
diferenas entre o planejado e o realizado, diferenas que precisam ser compre-
endidas num processo avaliativo contnuo que leve a descobertas e ajuste
Etapa que vai orientar o fazer.

Implica decises sobre qual o
Etapa que empreende, realiza,
experimenta o que havia sido 6|TEORIA DE MUDANA:
CONSTRUO E USOS
futuro desejado e sobre como planejado. Implica encontro
chegar a ele com a realidade e requer
adaptao
PLAN DO
Uma teoria de mudana a aposta que uma iniciativa faz em relao ao futuro da
realidade na qual ela intervm. Reunindo elementos em uma cadeia lgica que
ACT CHECK relaciona aes, produtos, resultados e impacto, uma teoria de mudana pro-
cura traduzir, de maneira simples e criativa, os maiores compromissos de
Etapa que requer o Etapa que observa, estuda, uma iniciativa. A figura a seguir traz uma simplificao do conceito.
reordenamento do planejado, reconhece e avalia o que
a mudana adaptativa est sendo feito. Pode se O QUE FAZEMOS? PARA QUEM? PARA QU?
realidade, o ajuste atento concentrar em processos
para continuar o teste, a e resultados e implica INTERVENES
experimentao. aprendizagem. INPUTS PBLICOS OUTPUTS RESULTADOS IMPACTOS
ATIVIDADES MACRO
Recursos Atividades Quem recebe Produtos, Resultados Resultados
necessrios centrais a interveno. alcances intermedirios finais - efeitos
para operar realizadas A quem as imediatos das - efeitos de de longo prazo.
a iniciativa, para um ou atividades intervenes. curto ou mdio Mudanas mais
realizar as mais pblicos macro se Natureza prazo. complexas
verdade que muitas iniciativas/empreendimentos nascem de um bom exerccio intervenes com fins de dirigem mais quanti. Mudanas indiretas
transformao Ex: oficinas diretas na na vida de
de planejamento, mas tambm verdade que outras tantas se apoiam em um realizadas, vida de indivduos ou
alunos indivduos ou em dinmicas
fazer pouco planejado, no gozam de momentos reflexivos sobre sua prtica e formados... em dinmicas grupais ou
por vezes no possuem um plano que explicite seus propsitos. grupais ou ambientais
ambientais
Para um bom pensamento avaliativo, importante ter clareza de como

uma organizao concebida, que misso ela cumpre, os principais proble-
mas sobre os quais atua e seus modos de operarxii, bem como as ativida- As teorias de mudana derivam do que costumamos chamar de Program Theory
des que prev realizar, os pblicos prioritrios e os resultados e impactos Evaluation, ou das avaliaes baseadas em Teorias de Programas, corrente que
esperados. desta estrutura lgica, das relaes entre etapas e dos resultados advoga que a principal funo de uma avaliao compreender qual teoria sus-
projetados que derivam os indicadores de monitoramento e avaliao, ou seja, tenta um determinado objeto na realidade social, ou seja, que fundamentos teri-
elementos capazes de demonstrar se as coisas caminham como esperado e se cos, lgica estratgica, relaes entre componentes e expectativas de resultados
produzem o que se espera delas. do forma a um programa ou poltica, por exemplo.
Dentre as ferramentas existentes para pensar na lgica de uma iniciativa/em- Por teoria, portanto, nos referimos ao conjunto de pressupostos, propostas de
preendimento a Teoria de Mudana tem sido utilizada largamente tanto para aes e os caminhos gerais que so definidas previamente e com as quais prome-
apoiar as fases de planejamento quanto s fases de avaliao. temos alcanar os nossos objetivos. Huey Chenxiii, Peter Rossixiv, Michael Pattonxv e
28 Avaliao para Negcios de Impacto Social
Carol Weissxvi so alguns de seus principais autores, cujas obras podem ser visita-
das. Dentre eles, foi Carol Weiss quem primeiro apresentou o conceito de teoria
de mudanaxvii como o conhecemos hoje. Selecionamos aqui os aspectos que para
a autora fundamentam e justificam a utilidade das teorias de mudana:
preciso conhecer o caminho: a falta de clareza sobre os passos a se-

rem dados em busca de um resultado de longo prazo torna a avaliao
desafiadora e menospreza fatores relacionados ao impacto almejado, uma
vez que no possvel mensurar impacto se no temos clareza daquilo
que estamos fazendo.
Os atores precisam partilhar a viso: stakeholders de iniciativas com- QUANDO

plexas geralmente so pouco conscientes de como se dar o processo de
mudana e do pouca ateno s mudanas de curto e mdio prazo que
USAR TEORIAS
levaro ao alcance de um impacto de longo prazo.
DE MUDANA
preciso ter hipteses sobre causas e efeitos: teorias de mudana
implicam uma maneira de descrever uma srie de pressupostos que expli- Quando necessrio planejar
cam tanto o passo a passo que leva a uma mudana social como as cone- 1 algo novo, neste caso pondo
xes entre as atividades e resultados que ocorrem em cada momento do nfase no desenho da futura
caminho de mudana. interveno
No se controla, mas preciso conhecer a realidade onde se atua: Quando h necessidade de es- Quando uma avaliao est
pressupostos pobremente articulados dificultam a avaliao de progra- 2 tudar o que est acontecen- 3 para comear mas no h
mas complexos e por isso necessrio investig-los e elucid-los. do para melhor compreender compreenso clara sobre seu
uma iniciativa, produzir alinha- objeto.
As teorias de mudana vm sendo utilizadas de diferentes modos para mento entre equipe e stake-
apoiar as iniciativas/empreendimentos a elaborar e qualificar vises sobre holders, identificar e corrigir
o que fazem ou pretendem fazer e sobre as mudanas que querem gerar. problemas. Quando se deseja engajar di-
Os apontamentos a seguir demonstram as diferentes situaes em que 5 ferentes atores, buscando
uma teoria de mudana pode ser importante: tambm escutar como eles
Quando se faz necessrio um enxergam a iniciativa/empre-
4 esquema visual mais claro, sis- endimentoiniciativa/empreen-
tmico e criativo da iniciativa, dimento.
o que d nfase s necessida-
des de comunicao.
6 Quando preciso revisar as
estratgias.
UM DIFERENCIAL IMPORTANTE
EXERCCIO
As teorias de mudana costumam dar muita ateno ao que chamamos de
Compreendemos os pressupostos com os quais opera-
pressupostos da interveno. Mas, o que um pressuposto? Os pressupostos so
mos?
as explicaes tcnicas, polticas e culturais que sustentam as estratgias,
ou seja, que conferem firmeza s relaes causais presentes em uma teoria
Cada iniciativa/empreendimento social tem seus prprios arranjos cul-
de mudana. Algumas vezes elas so explcitas (visveis e declaradas), outras
turais, polticos, tericos e financeiros. s vezes tais elementos so mui-
vezes so tcitas (invisveis ou no declaradas). Algumas vezes so tericas
to visveis e evidentes, outras vezes no. Este exerccio convida voc e
(advindas da literatura cientfica), outras vezes econmicas (relacionam-se ao
seus colegas a olhar para isso lanando mo de uma tcnica de siste-
acesso a recursos) e outras vezes culturais (advindas dos padres culturais de
matizao de saberes.
uma comunidade). Vejamos.
Primeira parte (20)

Em grupo, vocs elegem um programa ou projeto para o qual
desejam olhar. Utilizando cartelas que possam ser coladas em
PRESSUPOSTOS CULTURAIS E PRESSUPOSTOS TERICOS:
uma parede ou painel, vocs procuram definir duas categorias gerais: os
ECONMICOS: UM EXEMPLO UM EXEMPLO
resultados que o programa persegue e as estratgias que ele utiliza
Um negcio social deseja alterar os padres Uma organizao da sociedade civil trabalha Segunda parte (30)
de educao financeira de uma comunidade e para retardar a idade de incio de consumo de Olhando para as estratgias, o grupo convidado a responder s
quer como resultados a bancarizao das pes- lcool bem como para reduzir o consumo de seguintes perguntas:
soas, a reduo do endividamento, o acesso a lcool entre adolescentes. A interveno est
Por que elegemos cada uma destas estratgias?
microcrdito sustentvel e a formao de pou- baseada no papel dos educadores, que so tec-
pana comunitria. nicamente preparados para abordar o proble- Que pressupostos tericos do sustentao a nossas estratgias?
ma e recebem materiais que apresentam dife- Que pressupostos culturais do sustentao a nossas estratgias?
A interveno se baseia em sesses coletivas rentes linhas de trabalho coletivo e individual. Havia outras estratgias possveis para alcanar os resultados que
de formao de adultos no tema. Tais sesses
queremos?
utilizam materiais didticos especficos e vo- Neste caso, opera um pressuposto terico.
luntrios com boa formao acadmica. Alm Uma srie de estudos mostra que os educado-
disso, a interveno disponibiliza um aplicativo res so os sujeitos mais capazes de estabelecer Terceira parte (10)
que ajuda as pessoas a controlarem seus gas- relaes de confiana por meio das quais os Ao final da conversa, o grupo procura sistematizar suas
tos, com lanamentos de entradas (receitas) e adolescentes podero admitir suas curiosida- compreenses sobre o que so pressupostos, e qual a importncia
sadas por categorias de consumo. des, desejos e usos do lcool, o que condio
de torn-los claros nos processos de planejamento e avaliao.
fundamental para que um trabalho preventivo
Neste caso, operam dois pressupostos. Um ou de recuperao possa ter sucesso.
deles cultural, e considera que a formao
ser mais efetiva medida que for coletiva e
fomentar uma cultura de controle financeiro
e de poupana. O segundo pressuposto eco-
nmico, porque considera que as pessoas da
comunidade possuem smartphones e acesso
Internet e podero baixar e utilizar o aplicativo
de controle financeiro.
7| O PASSO A PASSO DE Listamos a seguir algumas etapas que ajudam a construir uma teoria de mu-
dana. Compreendemos que a importncia e o tamanho de cada passo varia de
UMA TEORIA DE MUDANA

contexto a contexto, e que os mesmos no devem ser tomados como lineares.
Quanto mais um grupo se apropria da lgica de uma teoria de mudana, mais
liberdade ele ganha para constru-la.
1 ETAPA
Qualquer teoria de mudana exigir construo coletiva. Por sua vez, uma boa COMPREENDER O CONTEXTO
construo coletiva necessita de alguns acordos de trabalho. O que sugerimos?
importante que aqueles que constroem uma teoria de mudana conheam com
a) Um grupo disponvel para o trabalho coletivo; propriedade a realidade onde pretendem intervir, seus ativos e problemas, seus
atores e dinmicas, os riscos e as oportunidades. O uso de tcnicas voltadas a
b) O respeito s ideias, leituras e opinies dos colegas, num exerccio cria- melhor compreender a realidade e os problemas pode ser til nesta etapa: voc
tivo, inspirador e centrado em comunicao no violenta. conhece a rvore de problemas e objetivos ou o Ecomapa?
DICAS APROFUNDE-SE
Sobre rvores de Problemas Sobre Ecomapas
https://goo.gl/thuajW https://goo.gl/LQe6NJ
https://goo.gl/LDfODT https://goo.gl/u6hvBp
c) algum que cumpra o papel de facilitadora ou facilitador, seja interno

ou externo iniciativa; 2 ETAPA
EXPLICITAR QUAIS MUDANAS QUE SE DESEJA ALCANAR
d) algum que assuma a funo de controlar o tempo disponveis para a
tarefa. essencial que se defina com clareza e com o maior grau de consenso as mudan-
as que uma iniciativa/empreendimento deseja e precisa alcanar. Em uma pri-
meira rodada, menos importante separar o que resultado e o que impacto,
mas sim ampliar a compreenso e explicitar tudo o que o grupo considera crucial,
Quanto tempo? Isto ir variar em razo da complexidade da iniciativa/
eliminando os excessos e as distores com o processo de dilogo.
empreendimento, da clareza dos atores sobre ela e da dinmica
de trabalho do grupo. Nunca, contudo, espere produzir uma teoria
de mudana com menos de 6 horas de trabalho coletivo e alguma 3 ETAPA
tarefa remota (preparo, sistematizao, etc.)
REGISTRAR O QUE OU DEVE SER FEITO PARA GERAR MUDANAS
Este o campo das intervenes ou atividades-macro e no da descrio de todas

e) algum (pode ser a prpria facilitadora) que ajude o grupo a representar as atividades que esto includas em um plano de ao. Apontar, por exemplo, os
esquemtica e visualmente a construo. Seminrios presenciais para formao de educadores ou Laboratrios de Ino-
vao com os empreendedores a medida mais exata para esta fase, ao contr-
rio de detalhar o conjunto de aes necessrias tanto para realizar um seminrio

7 ETAPA
presencial quanto um laboratrio de inovao.
APRIMORAR O DESENHO
4 ETAPA medida que a imagem da Teoria de Mudana vai se tornando mais clara, a arti-
EXPLICITAR E REGISTRAR O PBLICO ALVO culao entre produtos, resultados e impactos ganhando fora e os pressupostos
tornando-se mais explcitos, oportuno revisar o desenho geral, observando sua
Definir quais os pblicos que sero tocados ou afetados diretamente pelas ativi- coerncia e lacunas. Alguns costumam batizar esta etapa como o momento de
dades primordial. Ao tornar claros os pblicos, as prprias estratgias se torna- pentear a teoria de mudana, que pode estar um tanto descabelada em fun-
ro mais claras e o desenho comear a se tornar mais consistente. Responder a o da dinmica criativa e plural de construo.
pergunta a quem se destina nossas atividades? costuma iluminar bons dilogos
sobre pblicos diretos e indiretos, sobre pressupostos que possam estar implci-
tos ou invisveis, sobre o efetivo foco de trabalho, entre outros. Outras dicas para aprofundar uma teoria de mudana
possvel avanar em mais alguns passos para aprimorar uma teoria de mudana.
5 ETAPA Cada grupo poder decidir quando fazer isso. Veja algumas dicas a seguir.
REGISTRAR OS PRINCIPAIS PRODUTOS (OUTPUTS)
Definir as condies das quais os efeitos dependem, estudando em
importante que os produtos ou as entregas mais tangveis da iniciativa/empre- grupo os nveis de dependncia externa ou fragilidades de determinados
endimentos sejam conhecidos. Esta etapa permitir que impactos, resultados resultados.
e produtos tornem-se diferentes entre si, e ao mesmo tempo, logicamen-
te encadeados. Os produtos tendem a ser tangveis, quantitativos, como por Escrever um texto breve (600 a 800 palavras) que traga uma narrativa
exemplo: nmero de oficinas de formao ofertadas a educadores; nmero de sobre a teoria de mudana, uma narrativa que explique a imagem e a ela
educadores formados; nmero de kits distribudos ou adquiridos; frequncia de atribua mais sentido estratgico.
participao esperada para determinada atividade, etc.
Construir indicadores centrais para cada resultado expresso na teoria de
mudana, o que ser crucial para futuras avaliaes.
6 ETAPA
ESCLARECER, REGISTRAR E QUESTIONAR PRESSUPOSTOS Representar a teoria de mudana em um infogrfico, com ajuda
profissional de um designer, o que pode trazer visibilidade, transparncia
H algumas perguntas capazes de ajudar o grupo a enxergar e problematizar e elevado poder comunicacional.
os pressupostos subjacentes iniciativa/empreendimento: o que justifica nossa
opo por fazer desta maneira? Por que esperamos estes efeitos? Que crenas, expe-
rincias ou teorias esto por trs destas escolhas? Os dilogos sobre os pressupos- ALGUNS EXEMPLOS DE TEORIAS DE MUDANA
tos podem ser feitos em qualquer momento do trabalho. Visualmente falando, https://goo.gl/5HgMKh
costuma ser oportuno registrar os pressupostos num mural, parede ou painel https://goo.gl/yY3DPU
a parte, provocando um dilogo permanente entre a lgica da interveno e os
pressupostos.
Unidade 0.2 / Preparando o terreno 37
Aps empreender a construo de sua Teoria de Mudana, podemos checar sua Por fim, uma ltima advertncia: importante dar ateno ao fato de que a forma
qualidade avaliando em que medida ela responde aos seguintes pontosxvii. A Te- como iremos construir uma Teoria de Mudana se relacionada s nossas convic-
oria de Mudana: es prvias, enraizadas em tradies filosficas, cientficas, ideolgicas, metodo-
lgicas e conceituais que possumos, ou seja, forma como vemos e compreen-
Est suficientemente relacionada ao contexto? demos o mundo a nossa volta.
Foi construda a partir de debates e anlises coletivas Estar ciente de tais convices abre caminho para formularmos ferramentas ana-
e profundas? lticas capazes de superar as concepes meramente lineares de causa e efeito
to comuns ao cotidiano das organizaes. Alm disso, importante considerar
compreensvel (inteligvel), especialmente em sua a dinmica e o papel dos atores sociais implicados em uma determinada inter-
lgica, relaes causais e pressupostos? veno, bem como a as relaes entre eles e seus contextosxviii. Longe de serem
entendidos enquanto desvios, os fatores que influenciam uma interveno so
ou foi utilizada ativamente no planejamento, estudo componentes de uma realidade complexa, significada a partir de mltiplas deter-
ou avaliao? minaes e interaes entre sujeito-estrutura, objetividade-subjetividade. O re-
cado que nos enviam inmeras autoras e autores da rea que preciso refletir
Est documentada? criticamente acerca das teorias de mudana que estamos construindo, de
modo a evitar formas simplistas de enquadrar os fenmenos sociais.
Foi amplamente assumida, incorporada, aceita pelo
grupo ou organizao /negcio?
Foi comunicada a outros atores de fora da organizao

/negcio?
Estimula novas reflexes, atualizaes, revises?

8|VOC MONITORA METAS,

MILESTONES, ENTREGAS? Alunos utilizando os
jogos para fortalecer
seus saberes em
100% dos professores
preparados para o uso
dos jogos pedaggicos
% de professores
nos seminrios de
formao para uso dos
matemtica at 28/02/2017 jogos
Se at aqui estivemos falando bastante a respeito da importncia de conhecer
como uma iniciativa funciona e foi planejada, queremos agora abordar outro as- Uma meta bem Um marco intermedirio Indicador tangvel
fixada (neste caso (milestone) relacionado e capaz de mostrar
pecto que pode influenciar positivamente a cultura de avaliao de um negcio de
um Output) meta avanos
impacto social ou organizao da sociedade civil. Vejamos o que significa, como
realizar e qual a importncia de investir em monitoramento.
NO QUE CONSISTE O MONITORAMENTO DE UMA AO?
Acompanhar periodicamente o status de desenvolvimento de uma

atividade. FRMULA DE INSTRUMENTO
INDICADOR RESPONSVEL DESTINO
CLCULOx 100 DE COLETA
Observar em que medida uma atividade caminha na direo de
% de Nmero de Listas de Assistente de Anlise na
alcanar o que se esperava dela.
professores professores presena coordenao reunio
nos seminrios presentes / dos semanal
Analisar indicadores que demonstrem quo saudvel, correto e
de formao Nmero de seminrios de equipe
efetivo est o curso de uma ao.
para uso dos professores
jogos esperados x 100
Demonstrar em que medida um plano estratgico tem sido bem
implementado.
Produzir informaes que apoiem tcnicos e gestores a fazer

ajustes, correes e mudanas ao longo do caminho, numa prtica No exemplo, o monitoramento est concentrado no alcance de um dos produtos
de gesto adaptativa. que compem um plano ou teoria de mudana. A seguir, outros exemplos ilus-
traro que uma atividade de monitoramento poder se concentrar em produtos
(outputs), mas tambm em resultados (outcomes), o que tornar mais exigente o
Tradicionalmente, um processo de monitoramento exige que as iniciativas/ processo de definio de indicadores, coleta e anlise de informaes.
empreendimentos possuam um plano estratgico claro, com marcos que possam
balizar o monitoramento. Com clareza a respeito do que precisa ser alcanado, O aspecto mais importante lembrar que qualquer meta, milestone ou entrega
ser mais possvel eleger indicadores, definir a periodicidade de coleta de dados pode ser objeto de monitoramento, e que a escolha sobre o que monitorar deve
e desenhar um fluxo que articule produo de informao, anlise, aprendizagem se concentrar em variveis-chave que permitam compreender e zelar pelo curso
e deciso. da ao. Da mesma forma que o marcador de combustvel avisa ao motorista que
hora de abastecer, sob pena de se ficar pelo caminho, as prticas de monito- Qualquer plano ou teoria de mudana encontrar uma srie de obstculos e opor-
ramento devem buscar a mesma preciso e utilidade estratgica. A final, de que tunidades ao operar na realidade social. Por melhor que sejam os planos e mes-
adiantaria ao motorista monitorar a temperatura externa ao veculo, enquanto mo considerando a mxima de que planejar dedicar tempo ao clculo que pre-
o seu combustvel acaba de forma silenciosa? Nem toda informao bacana cede e preside a aoxix, o cotidiano de um servio ou a venda de produtos exigir
informao relevante. ateno das equipes. por reconhecer a diferena entre planejamento e realida-
de, por compreender que a realidade social se altera constantemente, que muito
esforo deve ser feito para construir organizaes que faam gesto adaptativa.
OUTRO EXEMPLO DE MONITORAMENTO
Ao longo de um ano de interveno, uma iniciativa estabelecera que 500 famlias

seriam alcanadas por um programa de preveno da diabetes, em um determi- Quais elementos caracterizam uma gesto adaptativa?
nado municpio. Este programa procurava responder a um diagnstico que mos-
trava que as complicaes por diabetes eram a principal causa de internao, o Sensibilidade para reconhecer que os planos so distintos da
que tinha terrveis consequncias para os usurios e encarecia a gesto do SUS. realidade, e que sempre exigiro ajustes.
Vejamos o quadro. Dedicao para observar indicadores, acompanhar metas, observar

efeitos e compreender que a ao que modifica permanentemente
INDICADORES DE FREQUNCIA E a realidade deve tambm ser modificada por ela.
METAS DESTINO
MONITORAMENTO MTODO
Abertura para dialogar com os diferentes atores sociais envolvidos
500 famlias visitadas % de famlias cobertas Mensal no aplicativo Reunio mensal de em um processo de implementao, tanto internos quanto externos
por agentes de sade pelas visitas de visitas domiciliares gesto
iniciativa/empreendimento.
% de famlias que
500 kits de preveno Mensal no sistema de Reunio mensal de Disposio para alterar a dinmica de trabalho com base no que se
retiraram o kit de
da diabetes entregues controle de estoque gesto
preveno na UBS aprende com a observao do cotidiano. Planos claros e firmes so
to importantes quanto ter flexibilidade para ajustar a velocidade, a
Grupos para % de pacientes Mensal no sistema intensidade e a direo das aes.
atendimento diagnosticados como com base no Reunio mensal de
a diabticos diabticos em grupos pronturio eletrnico gesto
implementados de apoio da famlia
% de pacientes importante ainda lembrar que a iniciativa/empreendimento que monitora da-

Medicamentos
diagnosticados como Mensal no sistema dos e o faz de modo organizado, reduz os custos dos processos avaliativos. Boa
e insumos Reunio mensal de
diabticos com acesso com base no
farmacuticos para gesto parte das avaliaes encarecida pela necessidade de produzir dados primrios
a medicamentos e pronturio da famlia
diabticos garantido
insumos (novas pesquisas) medida que no conta com dados secundrios (bancos de
dados, arquivos, registros). Alm disso, comum que um monitoramento j de-
Nmero de monstre resultados suficientes para informar financiadores e outros interessa-
Intercorrncias por intercorrncias no Mensal no sistema Reunio semestral dos, reduzindo a presso por avaliaes externas.
crises de hiperglicemia semestre em relao com base no com conselho de
reduzidas em 80% ao nmero no pronturio da famlia sade
semestre anterior
9|VOC CUIDA DA PRODUO Na estrutura apresentada, h exemplos de variveis em trs campos: (a) pblico-
-alvo, (b) atividades, (c) resultados. Qualquer sistema de informao deve se ater
DE INFORMAES?
inicialmente a estes campos, e tambm pode evoluir para outros, tais como for-
necedores, apoiadores, colaboradores, etc. A seguir algumas dicas para apoiar a
construo de sistemas de informao que tornem a gesto mais inteligente
e as prticas de monitoramento e avaliaes mais viveis.
No haver bom monitoramento sem boa produo de informaes. Da mesma

forma, no haver avaliao de baixo custo que no possa contar com dados se- Dicas sobre sistemas de informao
cundrios. Neste sentido, investir na produo e armazenamento de informaes
torna mais rica e inteligente uma iniciativa/empreendimento. Saiba bem que tipos de informao voc precisa, antes de comprar
ou desenvolver solues tecnolgicas. Os sistemas mais inteligen-
MAS, A QUE DADOS DEVEMOS DAR ATENO PRIORITRIA? tes comeam com uma boa conversa.
Tenha informaes sobre seu pblico-alvo. Quem so as pessoas

INFORMAES
para quem voc trabalha? Como as caracteriza? Quais caractersti-
BSICAS
cas devem ser conhecidas? Quais caractersticas podem ajudar fu-
turas prticas de monitoramento e avaliao?
Tenha informaes sobre linha-de-base. Se h variveis claramente

relacionadas aos resultados que voc deseja (renda, escolaridade,
PBLICO-ALVO ATIVIDADES RESULTADOS incidncia de doenas, habilidades tcnicas, etc.) construa um siste-
ma que capture tais informaes de seu pblico-alvo.
Tenha informaes sobre atividades. O que voc oferece? Quais ati-

vidades alcanam o pblico-alvo? Com que frequncia? Com que
intensidade (horas)? Em que momentos do tempo? Em que locais?
ENTREGAS, MUDANAS Como as pessoas percebem as atividades? Como os tcnicos ou
CARACTERIZAO LINHA DE BASE FREQUNCIA, ESPERADAS educadores percebem as atividades? Tais informaes podem ser
INTENSIDADE
cruciais para determinar os nveis de exposio do pblico-alvo a
sua estratgia, ou o quanto de esforo realizado pela iniciativa.
Se a iniciativa visa alterar a escolaridade ou a ren-

Gnero, Raa, Tenha informaes sobre resultados. Se voc espera determina-
Status das variveis da, estas passam a ser as variveis dependentes
Idade, Endereo, das mudanas no pblico-alvo, algumas delas de curto prazo e sob
que se pretende (que se espera mudar em como efeito da ao).
Escolaridade,
alterar maior governabilidade de sua iniciativa ou empreendimento, cons-
Renda, etc.
trua sistemas capazes de capturar tais resultados. Elas podero ser
Se a iniciativa visa alterar o esprito empreendedor,
cruciais para monitoramento, avaliao e reviso de estratgia.
voc dever eleger indicadores capazes de demons-
trar tal esprito, e voc pode colher dados sobre
isso ao incio da ao.
Quanto tecnologia, tem sido cada vez mais comum o uso de ferramentas de
monitoramento. Alm de aplicativos especificamente desenhados para monitorar 10|QUEM CUIDA DE
MONITORAMENTO E
e acompanhar projetos, tais como o TeamGantt, Asana e Trello, h ferramentas
simples como o GoogleForms, Survey Monkey e Guizmo, que podem servir
para a entrada permanente de dados. Quanto menos fluxo de papel, menos infor-
maes repetidas e menos tempo destinado a esta atividade, melhor. O processo
de coleta precisa ser leve e inteligente, ou colocar em cheque a qualidade das
informaes.
AVALIAO?
Toda iniciativa/empreendimento que deseja desenvolver sua cultura avaliativa
precisa atribuir esta responsabilidade para uma pessoa ou grupo de pessoas. As
tarefas de registrar informaes, monitorar indicadores-chave (KPI ou Key Pro-
ject Indicators) e conduzir avaliaes ganham qualidade medida que h pes-
soas responsveis por elas, dispostas a estudar e a realizar. Mais ainda, pessoas
que gostem desta tarefa, que tenham perfil mais analtico, sejam organizadas e
cuidadosas nas relaes. Anlise, organizao e cuidado so peas-chave a qual-
quer cultura de monitoramento e avaliao.
NO QUE CONSISTE A TAREFA?
Preparar e validar metas, milestones e entregas e construir ou ele-

ger indicadores.
Liderar a construo de um sistema de informao e o processo de

coleta de dados.
Liderar o processo de anlise de dados e garantir que os dados ou

um painel de monitoramento (Dashboard) estejam periodicamente
atualizados.
Assegurar que as informaes produzidas alimentem reunies de

anlise e deciso, tendo ateno para corrigir indicadores, ajustar
informaes e adaptar o prprio sistema s necessidades de gesto
e s mudanas do plano.
Recomendamos que mesmo que haja apoio externo para algumas dessas aes,
as prticas de monitoramento e avaliao sejam coordenadas pela equipe
interna. Mantendo interno este processo, assegura-se que a equipe desenvolva
competncias de observao e anlise, reduz-se o custo das contrataes exter-
nas e recorta-se a participao de consultores externos exclusivamente a
momentos ou demandas nas quais a organizao /negcio precisa dar um
salto qualitativo.
Cuidar destas atividades traz poder s pessoas que a fazem, o que pode tambm
ser seguido de autoritarismo e exigncias burocrticas. fundamental que os
responsveis por tais funes desenvolvam capacidade de dilogo, de atuar como
apoiadores e facilitadores e de ajudarem as iniciativas/empreendimentos a se
tornarem mais inteligentes, sensveis e eficazes, caractersticas que no combi-
nam com burocracia, centralizao e abuso de poder.
UNIDADE 0.3 /
SETE PASSOS
PARA DESENHAR
UMA AVALIAO:
DO CONTEXTO DA INICIATIVA AOS MODELOS
DE AVALIAO (PASSOS 1 A 4)
Nas unidades 0.3 e 0.4, apresentamos a voc uma sequncia

de 7 passos metodolgicos que consideramos simples
e viveis para guiar uma avaliao. Combinamos textos,
ferramentas, sugestes de exerccios e dicas de leitura para
mobiliz-lo a se lanar numa jornada avaliativa. Se h uma
forma infalvel para aprender avaliao aprender fazendo.
11|PASSO 1. ANLISE DE
CONTEXTO E STAKEHOLDERS
No se faz avaliao sozinho. Uma vez que trabalhamos com objetos de interesse
pblico, em instituies e dentro de equipes, porque dependemos de investidores
ou porque queremos dar visibilidade a nossas aes, qualquer prtica avaliativa
sustenta-se numa arena onde muitas pessoas atuam, interagem, pensam, con-
versam, se apoiam e disputam projetos.
Em alguma medida, todo processo avaliativo se depara com perguntas tais como:
avaliar com quem? Avaliar para quem? A quem escutar? A quem dar vozes? H
UM EXEMPLO DE ENVOLVIMENTO DE DIVERSOS NVEIS
maneiras muito diferentes de responder a estas perguntas. Enquanto algumas
A iniciativa visava ampliar a qualidade da gesto de resduos slidos no munic-
abordagens propem que as avaliaes sejam construdas inteiramente no di-
pio. Por meio de um processo que articulava o executivo e o legislativo munici-
logo com os diferentes atores de um projetoi, outras abordagens centraro todas
pal, os empresrios e a sociedade civil organizada em instituies e coletivos
as decises nas mos daqueles que investem ou governam as iniciativas/em-
informais, o projeto garantia uma srie de estratgias.
preendimentos. Como voc j est a imaginar, entre estes dois polos, h muitas
variaes possveis.
Tais estratgias englobavam (a) conscincia populacional sobre a produo e des-
carte de resduos; (b) coleta seletiva; (c) gerao de trabalho e renda para cata-
As correntes que propem avaliaes pragmticasxx procuram destacar que ha-
dores; (d) construo de um aterro sanitrio microrregional e (e) produo de
ver diferentes nveis de envolvimento das pessoas com uma avaliao, sendo
energia com a incinerao.
crucial regular este processo de forma que a participao tanto ilumine tecnica-
mente o caminho avaliativo quanto o legitime politicamente.
Para avaliar a iniciativa, os consultores propuseram a criao de um Grupo de
Trabalho, com representantes dos quatro conjuntos de atores que se viam fami-
liarizados ou interessados em pesquisa e anlise de dados, mas tambm abertos
a cuidar do percurso poltico do estudo. Reunies quinzenais marcaram a primei-
ra fase do trabalho em que o desenho avaliativo foi construdo, enquanto encon-
tros mensais foram usados para construir o relatrio final.
O estudo trouxe contribuies importantes iniciativa, porque soube equilibrar

um olhar crtico e apreciativo ao que fora feito, cobrindo as diversas estratgias
com um juzo que pareceu justo, mesmo sendo rigoroso em suas crticas.
52 Avaliao para Negcios de Impacto Social Unidade 0.3 / Sete passos para desenhar uma avaliao 53
Mesmo quando h disposio para envolver diferentes atores numa avaliao,

importante fazer escolhas que levem em conta o uso do tempo, a disponibilidade
das pessoas e seu real interesse em participar. H casos em que a participao
ser densa e permanente, enquanto outros em que ela ser leve e pontual. Tais
O que pode ajudar grupos a trabalhar a distncia
escolhas exigem que quem conduz um estudo ocupe-se em pactuar os nveis de
participao e revisar periodicamente os acordos.
#slack para grupos de discusso e trocas de arquivos
https://slack.com/
Do ponto de vista tcnico, a participao deve tornar a avaliao inteligvel para
os atores, e deve garantir que suas leituras e demandas componham a matriz de
#lommio para decises coletivas online
resultados. ainda desejvel que os participantes ampliem seus saberes sobre
https://www.loomio.org/
como fazer avaliao, o que tanto os ajudar a utilizar os resultados quanto a
conduzir avaliaes no futuroxxi. Do ponto de vista poltico, ser preciso asse-
#appearin para reunies virtuais
gurar que as pessoas realmente entendam o que funciona bem ou no em uma
https://appear.in/
interveno, o que tende a gerar forte adeso e compromisso com mudanas
a medida que ampliar o poder de anlise e fomentar o poder de influncia e de-
#dropbox para documentos colaborativos
cisoxii.
https://www.dropbox.com/
Uma alternativa comumente utilizada para ampliar a participao a constitui-

o de Comits de Seguimento ou Grupos de Trabalho, cuja tarefa passa
tanto por dirigir a qualidade tcnica de uma avaliao quanto por assegu-
rar seu valor poltico. Se estamos dispostos a construir espaos de participao
capazes de promover a partilha de poder entre os stakeholders, devemos ter
em mente que este princpio muitas vezes usado de forma superficial. Sherry Todo processo participativo traz tambm seus desafios e sombras, sendo funda-
Arnstein xxii
adverte que existem diferentes nveis de participao relacionados mental ter ateno a isso. Listamos a seguir alguns pontos de atenoxvi, v.
extenso e profundidade da cogesto. O mais importante no nomear de
participativos processos que na realidade no o so.
sempre oportuno esclarecer que a participao e a incluso de
atores em processos avaliativos no devem ser idealizadas. Tra-
ta-se de um processo especialmente complexo e delicado que
deve constituir-se enquanto pano de fundo das aes cotidianas.
A participao importante tanto do ponto de vista metodolgico quanto pol-

tico, sendo necessrio superar a ideia de participao como algo naturalmente
assimilado por aqueles atores envolvidos em uma determinada interveno.
A participao se caracteriza ainda pela entrada de diferentes atores so-

ciais nos processos avaliativos, para alm do mero fornecimento de infor-
maes. Trata-se do envolver os diferentes atores em alguma ou todas as
etapas da avaliao de modo que possam de fato influenciar no percurso
com algum grau de cogesto.
EXERCCIO
12|PASSO 2. FORMULAR
Quem envolver num processo de avaliao? PERGUNTAS AVALIATIVAS
Cada iniciativa/empreendimento social possui sua prpria dinmica de
poder e est inserida em malhas de relacionamento tambm especfi- Qualquer boa avaliao comea com boas perguntas. Elas orientam a direo da
cas. Quais so os atores cruciais para participarem das avaliaes em investigao, mostram onde esto os pontos de dvida e curiosidade, iluminam
sua organizao? Voc j pensou nisso? o que este exerccio prope. relaes causais e formulam um discurso que pode nortear o estudo. Assim como
formulamos perguntas de pesquisa no momento de um TCC ou dissertao, toda
Primeira parte (10) avaliao deve comear com a formulao de perguntas.
Em grupo, vocs elegem um programa ou produto/servio para o
qual desejam olhar. Eventualmente vocs podero eleger a iniciati- Metaforicamente falando, a pergunta avaliativa o sinal de que o estudo se cur-
va/empreendimento como um todo. var realidade, que a proposta realizar uma jornada de aprendizagem que visa
melhorar o objeto de estudo. Quando no h curiosidade, dvidas ou hipteses a
Segunda parte (40) estudar, as avaliaes costumam tornarem-se enfadonhas.
Quais atores contribuem para o trabalho que realizamos? Como
cada um deles contribui ou que papel cada um deles exerce? As perguntas avaliativas costumam se ancorar em dois pontos cruciais:
Quo prximos ou distantes cada grupo est da organizao? Que tipo de
olhar (e de saber) cada um desses atores agregaria a nossas avaliaes? (a) devem ser capazes de traduzir aquilo que os atores querem e pre-
Quanto interesse e disposio tais atores teriam por nossas avaliaes? cisam compreender melhor;
Terceira parte (10) (b) devem ser capazes de apontar para direes que possam agregar
possvel priorizar os atores interessados mais relevantes para valor ao objeto avaliado, seja por iluminar suas limitaes, seja por re-
ns? Quais deles devem estar necessariamente envolvidos? Quais conhecer seus resultadosviii.
deles podem ser envolvidos? Quais deles no precisam ser envolvidos?
Por qu? Uma das formas de construir perguntas avaliativas oferecer a um grupo de pes-
soas, como a equipe de uma iniciativa/empreendimento um flipchart ou lousa na
qual est escrito o seguinte:
O QUE REALMENTE PRECISAMOS SABER SOBRE NOSSO PRO- Uma avaliao verdadeiramente relevante depende das perguntas apro-
GRAMA/NEGCIO ... priadas, ou seja, depende de haver clareza sobre o que realmente importante.
Uma avaliao pode ter uma ou mais perguntas, sendo fundamental, contudo,
Numa dinmica conversacional, este exerccio pode ser extremamente potente garantir que o que se pergunta crucial e que possvel e vivel responder s
para identificar as zonas de curiosidades, dvidas e incmodos, abrindo com isso perguntas. Quanto mais perguntas e maior o foco do estudo, mais denso, con-
um interessante campo de elementos que podero guiar uma avaliao, o moni- sumidor de tempo e caro ele ser e menor ser a preciso de anlise. Vejamos
toramento ou mesmo outros estudos. Este tipo de conversa serve tambm para a seguir uma maneira de checar a qualidade de perguntas avaliativas, numa
que as pessoas tenham a chance de esclarecer umas s outras sobre o projeto, adaptao do trabalho de importantes autoresii.
cobrindo zonas que podem ser de dvida para alguns, mas que so de certezas
para outros. O quadro a seguir traz um exemplo de quais questes um exerccio
como este pode gerar.
CHECK-LIST PARA ANALISAR E ELEGER PERGUNTAS Perguntas avaliativas
AVALIATIVAS 1 2 3 4 5
1. A pergunta tem efetiva importncia para os principais

O QUE REALMENTE PRECISAMOS
NO QUE AS PERGUNTAS SE interessados? x x
SABER SOBRE NOSSO PROGRAMA/
TRANSFORMARAM?
NEGCIO ...
2. A pergunta contribui para diminuir dvidas existentes?

Busca informaes desconhecidas? x x x x
Se os recursos financeiros que temos per- Uma reunio especfica de acompanhamen-
mitiro pagar os educadores em Janeiro e to financeiro, que permitiu tranquilizar os 3. A pergunta possibilita gerar informaes importantes,
Fevereiro educadores quanto a seu futuro. que podem facilitar a tomada de decises operacionais x x x
ou mesmo de poltica do programa?
4. A pergunta est centrada em elementos crticos do

programa, que sero de interesse constante das pessoas x x x
Tema levado s reunies pedaggicas com e no apenas de interesse momentneo?
Se os adolescentes realmente confiam nos
superviso externa, para melhor com-
educadores para conversar sobre suas curi-
preender as incertezas e os potenciais do
osidades em torno de drogas e lcool
trabalho dos educadores. 5. A importncia da avaliao seria comprometida se esta
pergunta fosse retirada do estudo? x x
6. possvel responder a esta pergunta com os recursos

Se os jovens esto de fato retardando a
financeiros e de pessoal disponveis? x x x
idade de incio do consumo de lcool
Tema de avaliao, sendo um dos resul-

7. possvel responder a esta pergunta com os mtodos e
tados esperados do projeto a merecer
investigao cuidadosa. as tecnologias disponveis? x x x
Se as festas sem lcool esto mostrando
aos adolescentes que no preciso beber
para ficar feliz, namorar, danar e curtir os
8. possvel responder a esta pergunta com o tempo que
amigos
se dispe? x x x
EXERCCIO
13|PASSO 3. AVALIAO DE
Que perguntas avaliativas voc quer responder? PROCESSOS, RESULTADOS OU
Cada iniciativa/empreendimento social organiza suas prprias inter-
venes, pactua os resultados que quer alcanar e se organiza para
IMPACTOS?
isso. Cada iniciativa deve tambm nutrir sua prpria cultura avaliativa.
Que tal eleger um programa ou produto/servio para avaliar?
Embora haja um forte apelo por avaliao de impacto, o que est nitidamente
Fase divergente (25) relacionado ao desejo de transformao e s presses por eficcia e eficincia vi-
Nesta primeira etapa, que poder at durar mais do que 30 minu- vidas pelas iniciativas/empreendimentos, as avaliaes podem ser de diferentes
tos, o grupo convidado para dialogar sobre a frase o que real- naturezas, mirar diferentes etapas de um programa ou produto/servio e servir
mente precisamos saber sobre nosso projeto /negcio .... Com a escuta a propsitos distintos. O desenho de uma avaliao depende da situao, do mo-
aberta a todas as curiosidades e dvidas, ajude o grupo a produzir um am- mento e das pessoas envolvidasxxiii.
plo campo de curiosidades, hipteses, dvidas, incmodos, etc.
Fase convergente (20)

Definio da Agenda
Tendo em mos todas as perguntas produzidas pelo grupo, pro- Temas Prioritrios
cure classificar as perguntas em blocos similares e compreender
em que medida as perguntas so mesmo avaliativas e quais delas mere-
cem outro tratamento.
FORMULAO
Diagnstico e Desenho
Pactuao (15)
Tendo em vista as perguntas escolhidas como prioritrias, procu-
re checar cada uma delas luz do check-list apresentado neste
texto, a fim de eleger as perguntas avaliativas que devero guiar o estudo.
PROBLEMAS
SOCIAIS DECISES
Piloto, Prioridades,
Recursos
AVALIAO SOMATIVA
IMPLEMENTAO
Impactos, externalidades, etc
Atividades e entregas
Olhamos uma vez mais para o conceito de ciclo de gesto, j abordado neste ANLISE DE PRODUO
material. Desta vez, consideremos uma abordagem mais moderna do Ciclo Quando o interesse da avaliao recai nos resultados tangveis
PDCA, uma adaptao do que definido como ciclo de polticas e programas de uma interveno, naquilo que foi diretamente produzido (pro-
pblicos .
xxiv
cedimentos realizados, pessoas atendidas etc.)
Adaptvel a qualquer iniciativa/empreendimento que se proponha a enfrentar

um problema social, o ciclo de polticas e programas demonstra que a avaliao ANLISE DA EFICINCIA
somativa o componente da gesto ocupado de compreender resultados e efeitos, Quando a avaliao quer comparar custos e benefcios gera-
positivos e negativos, da iniciativa na realidade. Ela a etapa responsvel, ao final dos pela iniciativa/empreendimento, a partir da relao entre
do ciclo, por produzir juzo de valor a respeito de um programa, determinando em recursos gastos e os objetivos alcanados e em relao a outras
que medida ele valeu a pena, transformou a realidade, sustentou-se na sociedade, iniciativas possveis.
etc.
Ao mesmo tempo, as demais fases do ciclo podem tambm merecer avaliao, ANLISE DE IMPLANTAO
o que vem sendo abordado por diferentes autores ao longo do tempo. Se as Quando a avaliao procura compreender em que medida as
avaliaes somativas concentram-se nos finais de ciclos e querem testar concepes e o planejamento da interveno foram transpos-
a relevncia e o mrito de uma iniciativa/empreendimento, as avaliaes tos para a prtica, a partir da observao e anlise das intera-
formativas so aquelas ocupadas em produzir informaes que qualifiquem es entre o projeto e o contexto no qual se realizou sua imple-
a iniciativa/empreendimento, que enriqueam e corrijam sua gesto, que mentao.
alterem suas operaes, etc.
Vejamos, por exemplo, a forma como autores da escola avaliativa canadense ANLISE DOS EFEITOS
tratam as avaliaes e seus possveis enfoquesxxv. Quando a avaliao estuda a eficcia da interveno em relao
soluo ou no dos problemas que constituram alvo da mes-
ma. O impacto faz parte desta dimenso.
ANLISE ESTRATGICA
Quando a avaliao examina a pertinncia de uma dada inter-
veno (o problema foi bem escolhido? Seria essa a melhor for-
ma de intervir no problema escolhido, dentre outras possveis?) Outra maneira de ampliar a compreenso sobre as possibilidades de uma avalia-
o reside no olhar sobre a trade estrutura, processos e resultados, que traz
outra maneira de olhar para a realidade de uma iniciativa/empreendimento e
ANLISE LGICA eleger focos (e perguntas avaliativas) que fazem mais sentido. Para o autor desta
Quando a avaliao enfoca a coerncia, os fundamentos, con- tradexxvi, a classificao significa o seguinte:
cepes e validade operacional de um determinado plano que
sustenta a interveno avaliada (o plano faz sentido? realista
e aplicvel?)
ESTRUTURA PROCESSOS RESULTADOS fatores, onde uma interveno pode ser apenas mais uma varivel entre muitas.
Logo, como atribuir interveno um determinado efeito observado se no h
Elementos estveis, tais Elementos relacionais, As modificaes, clareza acerca das atividades realizadas em seu processo? O quadro a seguir
como infraestrutura, saberes tcnicos, alteraes, transformaes procura resumir as principais caractersticas das avaliaes de processos, re-
equipamentos, tecnologias, procedimentos, interaes, produzidas na realidade sultados e impactos, contribuindo para que a fase de construo de perguntas
recursos humanos, tempo, fluxos, atuaes e todas em funo da articulao avaliativas ganhe ainda mais potencial ao se definir que avaliao deve ser feita
recursos financeiros, etc. as aes humanas dos insumos (estrutura) no momento particular que a iniciativa/empreendimento se encontra.
necessrias para produzir com os processos.
resultados.
AVALIAES DE AVALIAES DE AVALIAES DE
PROCESSO RESULTADOS IMPACTO
Durante o Em marcos Ao final de ciclos de

medida que apresentamos esta imagem, importante lembrar-se da forma
desenvolvimento de intermedirios de uma teorias de mudana,
como as Teorias de Mudana tratam estes elementos e os aprofundam, o que
uma iniciativa, ou ao iniciativa ou ao final de de investimento ou de
refora a importncia daquela ferramenta para o desenho de iniciativas/empre- QUANDO longo das operaes ciclos de entregas gesto
endimentos e para sua avaliao. O aspecto importante da trade proposta por
ou das fases de
Donabedian diz respeito demonstrar que os resultados sero alcanados em
implementao
funo da articulao entre estrutura e processos, numa dada realidade
que tambm atuar sobre a interveno.
Aprendizagem, Gerar aprendizagens Determinar o mrito
correo de rumos, para os e relevncia das
Os enfoques exageradamente centrados nos resultados lquidos das intervenes,
ajustes de estratgia, implementadores, aes e garantir sua
nos quais a mensurao dos efeitos so a tnica, em detrimento da descrio dos
melhoria de servios apoiar a expanso de continuidade, expanso
vnculos complexos entre os recursos, as atividades e os resultados, chamamos PROPSITO tcnicos, priorizao na prticas e tecnologias, ou substituio por
de avaliaes tipo caixa pretaxxvii.
alocao de recursos buscar novos apoios outra tecnologia social
para novas fases ou
Os modelos caixa preta tendem a ignorar os fatores relacionados ao processo,
aes
dimenso essencial para se compreender como uma interveno transforma re-
cursos em resultados. Em realidades sociais nas quais os fins no justificam os
Processos tcnicos, Conjunto de Conjunto de
meios, torna-se cada vez mais importante balancear o olhar entre resultados
relao com usurios resultados pelos transformaes na
(mrito das intervenes) e as formas como as mesmas operam (relevncia).
ou consumidores, quais uma iniciativa realidade esperadas
qualidade da equipe, se sente diretamente pela iniciativa, mas
RECURSOS RESULTADOS ENFOQUE procedimentos responsvel, sobre os sobre as quais possui
EMPREGADOS CAIXA PRETA ALCANADOS implementados, quais tem o maior grau menor governabilidade
consumo de recursos de governabilidade
possvel
Os limites deste modelo so evidentes porque no ser possvel definir os im-
pactos de uma interveno se no h clareza acerca do processo, ou seja,
Equipes internas com Equipes internas Equipes externas
quais atividades foram realizadas, de que forma foram executadas, para quem
QUEM FAZ ou sem apoioSexterno com desejvel apoio
foram direcionas e qual o vnculo entre tais atividades e os resultados obtidos.
externo
Lembrando que qualquer realidade social impactada por mltiplos e complexos
EXERCCIO
14|PASSO 4. ELEGER O
Voc est avaliando processos, resultados ou impactos? MODELO DE INVESTIGAO
Se voc est construindo uma avaliao de sua iniciativa/empreendi-
mento, hora de retomar as perguntas avaliativas e pensar: vocs es-
to avaliando estrutura, processos, resultados ou impactos? medida que as iniciativas/empreendimento sociais incrementam o uso das ava-
liaes, inquietaes e ideias crescem nas equipes, gestores e avaliadores, o que
d sinais de um campo que amadurece seu pensamento estratgico. Ser que
voc j se deparou com perguntas como essas: qual mtodo mais adequado
para avaliar este ou aquele programa? Qual tipo de abordagem mais pre-
cisa? Que abordagem pode ser mais profunda e sensvel realidade social?
Que estratgia metodolgica mais abrangente?.
Em artigo que trata da escolha de mtodos para fazer avaliao, leitura comple-
mentar discusso, Silva e Brandovi projetam a escolha dos mtodos em funo
de seis variveis-chave, vejamos.
O ATO MULTIDIMENSIONAL E DINMICO DA ESCOLHA

METODOLGICA
Posies
Posies tico- tericas dos
polticas interessados
Natureza
do objeto
de estudo Viabilidade
Enquadre econmica
gerencial
Cultura
organizacional
O que deve ficar claro que a escolha de mtodos para avaliar no uma questo mais precisa possvel, luz de diferentes modelos estatsticos que
de percorrer um menu com os dedos em busca de algo de sua preferncia. bem podem ser utilizados.
verdade que sua preferncia importa, mas ela ser to importante quanto outros
critrios que devero compor esta escolha. Elegemos aqui quatro mtodos ou A garantia de que o pesquisador controla as demais variveis da re-
modelos de investigao e, depois de apresentar em linhas gerais cada um deles, alidade e assegura que as mesmas no interfiram no estudo, ou seja,
proporemos um exerccio de escolha. no experimento.
OS MODELOS EXPERIMENTAIS
Do ponto de vista dos autores que advogam pela preciso tcnica dos modelos UM EXEMPLO DO USO DO MODELO EXPERIMENTAL
experimentais , h um problema de fundo que merece ser observado todas as
xxviii
vezes que queremos atribuir um resultado a uma ao. Dizendo de outra maneira, Um programa que visava reduzir a violncia fsica e sexual contra as mu-
grande o desafio para estabelecer causalidade entre o que fizemos (programa, lheres trabalhava com a hiptese de que ao dar s mulheres (vtimas po-
servio) e as mudanas que ocorreram no pblico alvo (resultados). Para eles, tenciais) um telefone celular equipado com um boto de emergncia, as
qualquer conhecimento que procure se sustentar com base em evidncias mesmas acionariam a rede de segurana de vizinhos, parentes e autorida-
cientficas deve lanar mo de ao menos um nvel de comparao que fosse capaz des em momentos de agresso iminente.
de demonstrar o resultado real de uma ao, ou resultado lquido. Enquanto
o resultado bruto pode produzir a iluso de sucesso, apenas o resultado lquido O teste distribuiu aleatoriamente as candidatas ao projeto piloto em dois
mereceria ateno. grupos. Um dos grupos recebeu o telefone com o boto de emergncia
(um aplicativo), enquanto o outro no recebeu qualquer orientao ou
Usamos aqui os conceitos de resultado bruto e resultado lquido para diferenciar equipamento.
a poro de resultados efetivamente atribuda a uma interveno. Se a
implementao do Programa A leva ao Resultado B no grupo de tratamento Desta maneira, constitui-se um grupo de tratamento (mulheres que re-
(populao beneficiado), a ausncia do Programa A, no grupo de controle, deveria ceberam o telefone celular) e um grupo de controle (mulheres que no
levar a um Resultado B (menos), ou seja, a um resultado estatisticamente inferior receberam o telefone celular). As mulheres estavam na faixa etria de 20
ao resultado alcanado no grupo de tratamento. A diferena entre B e B (menos) a 25 anos, eram solteiras e estavam no mesmo perfil socioeconmico,
o resultado lquido. apresentando tambm nveis equivalentes de casos de violncia sofrida.
Os modelos experimentais esto guiados por alguns princpios fundamentais 180 dias depois percebeu-se que os dois grupos apresentavam resultados
que merecem ateno. Vejamos estes princpios, para depois entrarmos num bastante similares quanto s agresses. Na verdade, as taxas de agresso
exemplo capaz de ilustra-los. haviam cado de maneira significativa nos dois grupos, o que relativizava o
sucesso que os empreendedores queriam atribuir ao aplicativo.
A constituio aleatria de grupos de tratamento (pessoas que rece-
bem a interveno, participam do programa ou consomem o servio) Neste caso, o resultado lquido formado pela diferena entre os resultados
e controle (pessoas que no recebem a interveno, no participam no grupo tratamento e os resultados no grupo controle eram estatistica-
do programa ou consomem o servio). mente irrelevantes. A reduo da violncia encontrava outras explicaes
que no a varivel em estudo, ou seja, o uso do boto de emergncia nos
O estudo anterior (ex-ante) e posterior (ex-post) nos dois grupos a telefones celulares.
fim de que a variao entre resultados seja determinada da forma
Com isso, seria hipoteticamente possvel

UMA NARRATIVA MAIS TCNICA SOBRE comparar se dois alunos cujos pais tm su-
MODELOS EXPERIMENTAIS perior completo, que so interessados em
matemtica e que compartilham seu domi-
clio com 3 pessoas, mas onde apenas um
Os experimentos so tidos como a condio ideal para testes de hipteses. Ga- deles participou do programa, tm mdias
rantindo a similaridade e pareamento entre os grupos de controle e tratamento, de matemtica estatisticamente diferentes
seria possvel isolar o efeito do tratamento (projeto/ produto ou servio/ iniciati- entre si.
va/empreendimento), de modo que a observao de determinada diferena fosse
atribuda ao tratamento, encontrando-se assim uma relao causal entre o tra- O controle pelas demais variveis torna-
tamento e o resultado obtido. ria crvel o argumento de que a diferen-
a encontrada se deve exclusivamente
Depreende-se disso que um experimento precisa ter condies de manipular interveno do programa. Percebe-se
uma determinada varivel o tratamento e conservar ou manter constante, que a realizao do experimento em si no
entre os dois grupos, todas as demais variveis que poderiam afetar o resultado. difcil, mas sim a aderncia s condies
para a realizao de um experimento vlido.
Assim, suponhamos que se deseja avaliar o impacto de um determinado progra-
ma que visa aumentar as notas de matemtica de um conjunto de escolas, Experimentos desta natureza costumam
sendo que o programa incide sobre o aluno e no sobre a escola. enfrentar implicaes ticas, sobretudo em
pesquisas em sade. J que a seleo de in-
A pesquisadora responsvel define que alm do prprio programa, existem trs divduos para o recebimento de uma nova
fatores que afetaro as notas dos alunos: o grau de instruo dos pais, o in- droga em teste se d aleatoriamente e
teresse em matemtica do prprio aluno e quantas pessoas vivem em seu preciso isolar o efeito dessa droga, um gru-
domiclio. Temos, portanto, que a nota de matemtica y de cada aluno i uma po de pessoas acaba por no receber tra-
funo dessas trs variveis (, e , respectivamente), da participao do aluno tamento algum para a doena que a droga
no programa () e de um erro aleatrio (), como a equao a seguir. deseja curar.
Yi = + i + i + i + i +
Para realizar um experimento puro, preciso que, em primeiro lugar, se defina

aleatoriamente os alunos que faro parte da pesquisa e, em seguida, se determi-
ne, tambm aleatoriamente, quais sero os alunos que sero includos no grupo
de tratamento e quais o sero no grupo de controle.
A seleo aleatria importante porque capaz de controlar , e , fazendo

com que no exista uma variao significativa entre os membros de cada grupo
nesses parmetros. Ou seja, a seleo aleatria forma grupos nos quais as 3
variveis esto presentes de forma equivalente: o grau de instruo dos pais,
o interesse em matemtica do prprio aluno e quantas pessoas vivem em
seu domiclio
OS MODELOS QUASE-EXPERIMENTAIS 7 DESENHOS CLSSICOS DE AVALIAO

MAIOR
PRECISO INCIO FIM
Pela rigidez das condies exigidas para a realizao de avaliaes segundo os
modelos experimentais, os modelos quase-experimentais ganharam consider- ANTES DA MEIO TERMO IMEDIATAMENTE APS ACOMPANHAMENTO
MODELOS INTERVENO (T0) (T1) A INTERVENO NO LONGO PRAZO
vel importncia no mundo da avaliao. O uso do termo quase ou quasi advm (T2) (T3)
do fato de que tais modelos dispensam a necessidade da alocao aleatria 1. Em todos os perodos
dos participantes do estudo. H outras variaes comumente aplicadas aos com o grupo
participante e controle.
modelos quase-experimentais, como ilustraremos no esquema a seguir.
2. No incio e no fim da
interveno com grupo
MODELOS EXPERIMENTAIS OU
participante e grupo
Retomemos, contudo, o caso do programa que visa afetar a nota de matemtica controle.
QUASE EXPERIMENTAIS
e que foi ilustrado na sesso anterior, uma narrativa mais tcnica sobre mo-
3. No meio e no fim da
delos experimentais. Imaginemos que uma determinada fundao j desenhou interveno com grupo
participante e grupo
e aplicou esse programa e agora deseja auferir o impacto do mesmo. Os avalia- controle.
dores envolvidos obteriam as informaes para resumir descritivamente as ca- 4. No incio com grupo
ractersticas da populao afetada pelo programa. Hipoteticamente, imaginemos participante. No fim da
interveno com grupo
que 23% desses alunos tm pais que possuem o ensino fundamental completo, participante e controle.
64% no tm interesse em matemtica e 50% vivem com 3 pessoas em seus 5. No fim da interveno
com grupo participante
respectivos domiclios. e grupo controle.
6. No comeo e no fim
Com base nestas caractersticas, deveramos constituir grupos de estudantes que da intervenao com
EXPERIMENTAIS
MODELOS NO
grupo participante.
apresentam caractersticas similares, o que levaria o estudo a comparar apenas
7. No fim da interveno
uma varivel, o desempenho em matemtica, nos dois grupos. Neste caso, nem com grupo
houve seleo aleatria, nem coleta de dados ex-ante ex-post. Contudo, tecnica- participante.
TEMPO
mente este um trabalho possvel e que pode ter elevada qualidade tcnica.
MODELO EXPERIMENTAL MODELO QUASE-EXPERIMENTAL MODELO NO EXPERIMENTAL
Introduo da causa (varivel independente) Emprego de grupo particpante e de No utilizam grupos controle/
Mesmo havendo limitaes a este modelo, h muitos esforos para realizar ava- pelo pesquisador. grupo controle. comparao.
Controle da situao experimental, para Grupos so selecionados
liaes nesta direo. O esquema a seguir, por sua vez, construdo a partir de evitar interferncias de outros fenmenos aleatoriamente.
referncias internacionaisxxix, mostra que diferentes desenhos podem ser classifi- alm dos pesquisados.
Designao aleatria das unidades para o GRUPO PARTICIPANTE GRUPO CONTROLE
cados como quase-experimentais. grupo participante e para o grupo controle. (TRATAMENTO) GRUPO COM AS MESMAS CARACTERSTICAS
GRUPO QUE PARTICIPA DA DO GRUPO PARTICIPANTE, EXCETO PELO FATO
INTERVENO DE QUE NO PARTICIPA DA INTERVENO
LEITURA
No artigo a seguir, veja como outras perspectivas epistmicas
questionam o conceito de experimento, enquanto advogam
pelo conceito da experincia subjetivaxxx
https://goo.gl/Eu5UFE
OS MODELOS QUALITATIVOS NO-EXPERIMENTAIS A anlise tende a ser predominantemente indutiva,

como argumentam os autores da Teoria Enraizadaxxxi;
Se os modelos quantitativos operam num paradigma que considera que a reali-
dade um todo objetivo que pode ser apreendido pelos nmeros e por medidas
igualmente objetivas, o paradigma naturalista, no qual encontram-se os mode-
los qualitativos, reside na compreenso de que a realidade subjetivamente
construda e experimentada, e deve ser compreendida, tambm, na relao
LEITURA
entre pesquisador e realidade.
Neste artigo, veja como se define e se utiliza a Teoria Enraizada,
Os modelos qualitativos implicam em uma significativa mudana de vocabulrio, Teoria Fundamentada ou Grounded Theory
no estando entre seus propsitos tratar das relaes entre os objetos e eventos https://goo.gl/JFCvdK
pela via da causalidade, do determinismo ou da probabilidade. Haver, por isso
mesmo, outras implicaes ticas, polticas e tecnolgicas nesses estudos. Entre
elas, a condio de que a experincia cientfica seja realizada em cenrios
naturais, o que d origem ao conceito de naturalismo.
Do ponto de vista da qualidade dos estudos, enquanto os modelos experimen-
Reparemos que enquanto a lgica experimental prope manipular a realidade tais pautam-se pelos critrios da Generalizao, Confiabilidade, Replicabilidade
em um experimento cientfico que procura eliminar riscos, a lgica naturalista e Neutralidade, os modelos qualitativos requerem outro recorte, como indicado
pressupe uma experincia de proximidade, aculturamento, encontro rela- a seguir.
cional entre pesquisador e pesquisado, ambos sujeitos da pesquisa ou da
avaliao. Nos modelos qualitativos, o instrumento humano: um pesquisador REFLEXIVIDADE: COMPARAO:
que interage, percebe, se vincula e escolhe; um sujeito atravessado pela experi- um pesquisador que o dilogo entre os padres
ncia da pesquisa. Nos modelos qualitativos: observa, experimenta emergentes em diferentes
e reconstri o que v; cenrios e estudos;
A amostragem tende a ser intencional, com critrios de escolha cla-

ros e consistentes; IMPLICAO: CONFIRMABILIDADE:
um pesquisador que o objeto de pesquisa se
Casos individuais podem cumprir importante papel investigativo, explicita seus pressu- reconhece na produo, nas
tanto quanto a investigao em grandes grupos populacionais; postos e valores; anlises;
A nfase est no discurso dos sujeitos e nas imagens, e no em n-

meros advindos de questionrios fechados. TRIANGULAO: CREDIBILIDADE:
diferentes fontes e a seriedade, o cuidado pro-
As entrevistas so as fontes prioritrias de informao, sejam indi- tcnicas para acessar cedimental, o senso crtico
viduais ou coletivas, virtuais ou presenciais; a realidade conferem e autocrtico, o respeito
a possibilidade de ob- realidade e o arcabouo
A leitura e anlise de textos e documentos, respostas, cartas e manifes- servar suas mltiplas conceitual tornam crveis
tos, notas e bilhetes, registros e dirios de extremo valor investigativo; dimenses; as hipteses e anlises do
pesquisador.
Mas, como o conceito de causalidade considerado nos modelos qualitativos? OS MODELOS MISTOS
Navegando em outra trilha epistmica, o conceito da influncia emerge em al-
ternativa ao da causalidade. As premissas da verdade como aproximao, per- Interessados no que a cultura contempornea demanda e em como ela desafia as
cepo e construo parcial sustentam esta corrente. As ideias de sinergia, blo- iniciativas/empreendimentos sociais, a cincia passou a combinar 2 ou mais m-
queio, apoio, obstruo, impedimento e permisso operam de maneira relativa todos para ampliar sua compreenso da realidade. Para aqueles que trabalham
entre os eventos, convidando a uma leitura complexa de dilogo interdependente com modelos mistos, cada sistema de pensamento se aproxima de seu objeto de
de variveis. forma no apenas a conhec-lo, mas a mold-lo e conceb-lo. Ao mesmo tem-
po, reconhecem que todo sistema de pensamento produz no mais do que uma
Tendo a Influncia a operar as relaes entre eventos, prope-se abandonar a aproximao imprecisa de seu objeto, sua traduo ou representao em funo
premissa de controlar causas e variveis que central aos modelos experimen- dos enquadres da cultura, da poltica, da subjetividade e do instrumental utilizado
tais, mantendo-se o desejo de explicar a realidade. Neste caso, a explicao num certo momento histrico.
mais a emergncia de um entendimento, a compreenso forjada na relao en-
tre pesquisador e objeto. medida que se reconhece que qualquer pesquisa Mais importante ainda, os modelos mistos se fundamentam na ideia de que ne-
tambm uma interveno em uma dada iniciativa/empreendimento, a prpria nhum objeto pode ser apreendido em sua totalidade. J que cada sistema de
pesquisa ou avaliao influenciam a ao e so influenciadas por ela. pensamento que dele se aproxima no alcana mais do que uma viso parcial
do objeto, no h acesso possvel a sua inteireza. Ao reconhecer o limite de cada
Os modelos qualitativos so um convite a que a pesquisa e a avaliao dirijam mtodo se ganha na justeza de cada leitura parcial e na possibilidade de produzir
a interveno no sentido de permitir, favorecer, ativar, autorizar, facilitar a encontros entre as distintas imagens alcanadas. Toda interveno que se reco-
emergncia de saberes, a circulao de poderes, os novos arranjos. Trata-se nhea no paradigma dos Mtodos Mistos parte da necessidade de eleger mtodos
de uma interveno que deseja que haja descobertas, encontros, rearranjos, e em dilogo com a realidadexxxii.
que tem, ao mesmo tempo, noo da sua falibilidade e limites.
Nos Mtodos Mistos, as diferentes vozes da sociedade so tomadas como cons-
trutoras da realidade, que, para ser reinventada em direes mais consequentes,
precisa abrigar em um delicado equilbrio dinmico, interesses, compreenses e
demandas. Enquanto a poltica sustenta a coexistncia das posies, o pluralismo
epistemolgico ganha espao, operando primeiro, ao reconhecer que diferentes
culturas dialogam, vibram e aprendem mais com certas disciplinas e linguagens,
em detrimento de outras.
Quem j no se deparou com a empolgao de uma pessoa frente a grficos

robustos produzidos com tcnicas estatsticas, enquanto outra arrebata-
da com a narrativa etnogrfica sobre o modo de viver de certa populao?
Se h diferenas to fundamentais naquilo que traz sentido ao olhar e ao dilogo,
por que supor que uma nica disciplina e uma nica linguagem devam ser utili-
zadas?
DIFERENTES POSSIBILIDADES DE ARMAR A TRIANGULAO

COM MTODOS MISTOS, VARIAO DE MTODO, DO MOMEN- EXERCCIO
TO DE COLETA DE DADOS (TEMPO) E DAS FONTES DE INFOR-
MAO. Que mtodos podem ser mais adequados para avaliar
nossa iniciativa/empreendimento?
FONTE DE
INFORMAO X
Se voc est construindo uma avaliao de sua iniciativa/empreendi-
TEMPO 1 mento e vem realizando os exerccios propostos, possvel que voc
MTODO A j tenha definido as perguntas avaliativas que deseja responder. Isto
implica que o foco da avaliao j est definido e que voc conhece os
stakeholders com os quais a avaliao deve dialogar.
Mas, como responder s perguntas avaliativas que iro guiar sua avalia-
o? Preparamos algumas perguntas para que voc e sua equipe dialo-
guem, analisem possibilidades e elejam os mtodos que parecem mais
adequados.
MTODO B
OBJETO FONTE DE TEMPO 2 A avaliao requer um modelo exclusivamente experimental? Por qu?
INFORMAO
A avaliao requer um modelo exclusivamente quase-experimental? De
qual natureza? Por qu?
O pluralismo apostar no dispositivo da Triangulao como alternativa para en-

A avaliao requer um modelo exclusivamente qualitativo? Por qu?
riquecer a qualidade dos estudos, combinando sensibilidade e preciso. Triangu-
lar significa armar leituras diferentes a respeito de um mesmo tema, objeto ou
A avaliao requer o uso de mtodos mistos? Por qu?
varivel, para confrontar, comparar e articular leituras, em busca de um critrio
que constitua e regule as caractersticas que sero atribudas ao objeto em in-
O que se ganha e o que se perde com cada modelo?
vestigaoxxvii. Na articulao dos mtodos, a possiblidade de aprofundamento
tambm deve ser explicitada. Enquanto um mtodo particular esgota sua possi-
O tempo e os recursos disponveis viabilizam qual tipo de estudo?
bilidade de descrever um objeto, seu ponto de chegada inicia uma nova rodada
de investigao por meio de um novo caminho metodolgico. De um mtodo a
O que parece ser capaz de produzir um estudo mais consistente para os
outro, de uma linha terica a outra, trata-se de encadear abordagens no intuito
stakeholders?
de aprofundar e enriquecer a experincia.
UNIDADE 0.4 /
SETE PASSOS
PARA DESENHAR
UMA AVALIAO:
DOS INDICADORES ANLISE DOS
RESULTADOS (PASSOS 5 A 7)
15|PASSO 5. CONSTRUIR
INDICADORES E CRITRIOS
DE JULGAMENTO A Taxa de Mortalidade In-
fantil um indicador que
tem como frmula de cl-
culo o nmero de nascidos
Como j abordamos o tema das perguntas avaliativas e dos modelos de inves- vivos que morrem antes de
tigao, esta unidade concentra o olhar no tema dos indicadores e critrios de completar um ano de vida,
julgamento, considerados o centro nervoso das prticas avaliativas. E, afinal, dividido pelo nmero total
o que so indicadores? Por que tanta conversa em torno de sua construo? Por de nascidos vivos. O resulta-
que precisamos de critrios de julgamento? do ento multiplicado por
mil para se alcanar uma
A Taxa de Inflao, a Taxa
Todo indicador um resumo da realidade. Ou seja, deve ser capaz de revelar o taxa tal como 14/000, pr-
de Variao do Produto
funcionamento ou desempenho de um objeto e deve conter na parte que ele evi- ximo ao nmero brasileiro
Nacional Bruto de um pas,
dencia algo do todo ao que ele se relaciona. em 2016. Tal indicador foi
o ndice de Congestiona-
escolhido porque capaz
mento de uma grande cida-
Os indicadores so fragmentos de uma realidade ampla que no pode ser repre- de apontar algo relevante
de, o ndice Pluviomtrico,
sentada com simplicidade, o que faz com que um indicador seja sempre um a respeito das condies de
a Taxa de Desemprego, a
elemento ousado, uma tentativa de colocar uma lupa ou um foco de luz pr-natal, parto e puerp-
Taxa de Homicdios ou o
nos pontos mais relevantes da realidade. Vejamos alguns exemplos que nos rio. Isoladamente, o indica-
IDH so alguns dos indica-
ajudam a ilustrar estes argumentos. dor no revela em qual ou
dores diariamente anuncia-
A Taxa de Aprovao Es- quais dessas etapas h pro-
dos e debatidos na grande
colar outro exemplo que blemas, mas oferece a pos-
imprensa ou nas conversas
permite comparar diferen- sibilidade de analisarmos
informais. Em todos casos,
tes realidades nas quais as condies de nascimento
os indicadores so variveis
apliquemos a mesma fr- das crianas em um deter-
escolhidas por sua capaci-
mula. Ao padronizar a fr- minado territrio.
dade de traduzir algo com-
mula de clculo (numerador
plexo em algo tangvel, vis-
e denominador), indicado-
vel e capaz de mobilizar os
res como este permitem
atores a tomar decises.
comparaes ao longo do
tempo dentro da mesma
populao ou entre popula-
es, alm de ser variveis
de fcil produo e, ao mes-
mo tempo, bastante tang-
veis.
82 Avaliao para Negcios de Impacto Social Unidade 0.4 / Sete passos para desenhar uma avaliao: dos indicadores anlise dos resultados (passos 5 a 7) 83
um indicador de vergonha? Algum deixar uma reunio de maneira abrupta no

Na perspectiva quantitativa, que quase hegemnica quando se estuda a defini-
pode indicar descontentamento? Se esperamos que os indicadores sejam um
o de indicadores, vejamos alguns elementos cruciais.
sinal da realidade, no difcil supor que existiro sinais de natureza qualitativa.
No caso do Respeito aos Educadores, a forma de construir o indicador distinta

do uso de uma frmula matemtica, como no caso dos exemplos quantitativos.
CARACTERSTICAS DEFINIO
Enquanto um indicador quantitativo demanda clculo, o indicador qualitativo
demanda um texto ou um anncio que o transforma numa categoria de anlise
que poder ser observada na realidade. E se o Respeito aos Educadores for
Todo indicador deve se sustentar em uma relao terica com o
definido com um texto tal como: os estudantes cumprem os acordos de
objeto que descreve. Desempenho em um teste est relacionado
convivncia pactuados na turma, seguem as orientaes dos educadores nas
TEORICAMENTE aprendizagem. Frequncia em um curso est relacionada
atividades e reconhecem seu papel de orientao, facilitao e transmisso
EMBASADO qualidade do mesmo. Pluviosidade est relacionada produo
de conhecimento.
agrcola. Venda de um produto est relacionada sua aceitao
pelo consumidor, e assim sucessivamente.
Nesse caso, estamos trocando uma frmula de clculo pela leitura da maneira
como estudantes se relacionam com os educadores. Escolhemos este exemplo
A frmula de clculo, seja simples ou complexa, deve estar porque para alguns, o Respeito aos Educadores poderia ser resumido no nmero
CLARAMENTE de eventos de agresses verbal e fsica registrados na escola a cada semana.
claramente apontada e ser facilmente reprodutvel em outras
DEFINIDO Contudo, enquanto um nmero recorta a varivel de forma muito especfica, a
situaes.
definio qualitativa tem outra abrangncia, abrindo a investigao a sutilezas
que estaro fora dos livros.
Um indicador deve dizer respeito a apenas um, e no a vrios
elementos ao mesmo tempo. Cabe aos ndices, a capacidade de Quando afirmamos que certos objetos necessitam olhares qualitativos, enquanto
ESPECFICO
agregar diferentes variveis em uma mesma frmula de clculo. outros requerem olhares quantitativos, pelo reconhecimento de que cada
Mesmo assim, todo ndice (como o IDH ou o IDEB) so especficos. abordagem ilumina certos elementos e enfatiza aspectos distintos. Esperamos,
portanto, que seu uso combinado eleve a qualidade de uma avaliao.
Qualquer indicador escolhido ou construdo para uma determinada

VIVEL realidade deve ser possvel de ser obtido e calculado, ou seja, deve Usamos indicadores qualitativos quando queremos compreender
ser um exerccio vivel. mais profundamente os fenmenos.
Usamos indicadores qualitativos quando observamos variveis com

Espera-se que um indicador possa ser seguido ao longo do tempo, vrios tipos de manifestaes possveis.
RASTREVEL possa permitir o desenho de sries histricas ou de estudos ex-
ante ex-post. Usamos indicadores qualitativos quando conhecemos pouco um cer-
to objeto e queremos entende-lo melhor.
Usamos indicadores qualitativos quando buscamos histrias mais in-

Mas tomemos agora um indicador no tradicional ou no quantitativo, algo tegrais e narrativas capazes de tocar as pessoas.
como o de Respeito aos Educadores. Neste caso, admitimos que um indicador
no precisa ser sempre quantitativo. A face ruborizada de algum no pode ser
CRITRIOS DE JULGAMENTO os parmetros sejam slidos e justos: nem impossveis de alcanar, nem baixos o
bastante para esconder fragilidades.
Sejam quantitativos ou qualitativos, os indicadores no so suficientes para que
uma avaliao cumpra sua finalidade central, que subsidiar a formao de ju-
zo de valor sobre determinado objeto. Para criar as condies necessrias a um
julgamento justo, crucial que avancemos dos indicadores para o que chamamos ESCALAS DE DESEMPENHO QUE DEFINEM OS CRITRIOS DE JULGAMENTO
de critrios de juzo ou critrios de julgamento.
DESEMPENHO DESEMPENHO DESEMPENHO
INDICADORES
Tomemos como exemplo um programa de combate Diabetes em uma comu- SATISFATRIO RAZOVEL INSATISFATRIO
nidade quilombola, na qual essa enfermidade est fortemente presente e tem
dramticas consequncias. Taxa de acesso a 91% ou mais Entre 70% e 90% Menos de 70%
medicamentos de dos usurios dos usurios dos usurios
Para avaliar os resultados desse programa, um grupo de trabalho constitudo uso contnuo com diagnstico com diagnstico com diagnstico
pelo Conselho Municipal de Sade formulou algumas perguntas avaliativas e, de Diabetes de Diabetes de Diabetes
para uma delas, elegeu trs indicadores: (1) Taxa de acesso a medicamentos de tm acesso aos tm acesso aos tm acesso aos
uso contnuo; (2) Participao dos usurios nos grupos de controle de peso; (3) Papel medicamentos medicamentos medicamentos
dos agentes de sade na reduo do consumo de doces e farinhas. prescritos pelo prescritos pelo prescritos pelo
mdico de famlia mdico de famlia mdico de famlia
Cada um desses indicadores est relacionado ao combate Diabetes. Enquan-
to o acesso a medicamentos visa controlar os casos medicamentosos e reduzir Participao 80% ou mais dos Entre 50% e 79% Menos de 50%
complicaes, a participao dos usurios nos grupos de controle de peso busca dos usurios usurios com dos usurios com dos usurios com
reduzir fatores de risco em usurios especficos. Ao olhar o papel dos agentes de nos grupos de IMC acima de IMC acima de IMC acima de
sade na reduo do consumo doces e farinhas, a avaliao observa os potenciais controle de peso 30 participam 30 participam 30 participam
efeitos do programa no longo prazo. dos grupos de dos grupos de dos grupos de
controle de peso controle de peso controle de peso
Entretanto, e se descobrirmos que a taxa de acesso a anti-hipertensivos
de 78%? E se descobrirmos que a participao dos usurios nos grupos
Papel dos agentes Agentes de sade Agentes de Agentes de
intermitente, com pouco vnculo e muitas faltas? E se descobrimos que
de sade na esto convencidos sade esto sade no esto
os agentes de sade no esto convencidos de que a alimentao seja um
reduo do da relao entre parcialmente convencidos da
problema e evitem abordar o tema para no parecerem pretensiosos? Tais
consumo acar consumo elevado convencidos da relao entre
descobertas so importantes, mas s ganharo status avaliativo na medida em
na comunidade de acar e relao entre consumo elevado
que aquilo que for constatado for comparado com algum parmetro, possibilitan-
Diabetes e atuam consumo elevado de acar e
do a formulao de juzos de valor sobre as variveis e o programa.
de maneira firme de acar e Diabetes e no
para reduzir seu Diabetes, mas atuam para
Sempre h expectativas e compromissos que constituem uma imagem daquilo
consumo pela no atuam ou reduzir seu
que consideramos ideal, uma base partir do qual se pode fazer juzo de valor. No
comunidade quase no atuam consumo pela
exemplo a seguir apontamos as expectativas para cada um dos trs indicadores.
para reduzir seu comunidade
Essa base pode ser proveniente da literatura cientfica, da experincia concreta
consumo pela
dos atores com o tema, da projeo feita no momento de planejamento ou mes-
comunidade
mo de um pacto construdo pelos atores no processo avaliativo. elementar que
Unidade 0.4 / Sete passos para desenhar uma avaliao: dos indicadores anlise dos resultados (passos 5 a 7) 87
Neste caso, os critrios de classificao esto numa escala que oferece trs tipos
RUBRICAS QUE ARTICULAM DIFERENTES VARIVEIS A FIM DE PERMITIR
de variao. Nos dois primeiros indicadores, o critrio evidentemente quantita-
tivo, enquanto no terceiro qualitativo. Como se torna visvel, os critrios criam
UM JUZO DE VALOR MAIS ABRANGENTE, TRANSPARENTE E JUSTO
condies para que os indicadores sejam melhor compreendidos e classificados
PROGRAMA TEM
com base em um parmetro explcito. desse exerccio que nasce o que es- PROGRAMA TEM PROGRAMA TEM
DESEMPENHO
sencialmente deveria ser uma avaliao: a aplicao de critrios explcitos DESEMPENHO DESEMPENHO
PERGUNTAS RAZOVEL E PRECISA
e justos, compreendidos e legitimados pelos atores, para julgar relevncia SATISFATRIO E DEVE INSATISFATRIO
AVALIATIVAS DE CORREES
SER CONTINUADO PARA E PRECISA SER
e mrito. PONTUAIS PARA
GARANTIR IMPACTOS REDESENHADO
MELHORAR ENTREGAS
Mas a tarefa no cessa a. O juzo de valor a respeito de um objeto complexo
As estratgias 91% ou mais dos usurios Entre 70% e 80% dos Menos de 70%
no deveria ser feito com base em apenas dois ou trs indicadores, tampouco do programa com diagnstico de usurios com diagnstico dos usurios com
apartado do contexto no qual o programa se desenvolve. Um juzo slido capaz tm incidido de Diabetes tm acesso de Diabetes tm acesso diagnstico de
de articular os critrios associados a cada indicador, combinando-os de forma maneira potente a medicamentos; 80% a medicamentos; entre Diabetes tm acesso
contextualizada e justa. nos principais ou mais dos usurios 50% e 70% dos usurios a medicamentos;
fatores de risco com IMC acima de 30 com IMC acima de 30 menos de 50%
para a populao participam dos grupos participam dos grupos dos usurios com
No exemplo do programa de combate ao Diabetes, a avaliao buscava responder
quilombola coberta? de controle de peso; e os de controle de peso; e os IMC acima de 30
a outras perguntas e, nesse sentido, o juzo de valor deveria ser composto dos
agentes de sade esto agentes de sade esto participam dos
elementos relacionados a todas elas. A associao de critrios tem sido denomi- convencidos da relao parcialmente convencidos grupos de controle
nada de rubricas avaliativas. Vejamos a combinao de do que possibilitaria um entre consumo elevado da relao entre consumo de peso; e os agentes
juzo mais cuidadoso. O essencial neste exemplo perceber que de forma de acar e a Diabetes e elevado de acar e a de sade no
isolada, sem pano de fundo e sem contexto, um indicador no quer dizer atuam de maneira firme Diabetes, mas no atuam esto convencidos
muita coisa e poder ser usado de forma a manipular o interlocutor e a para reduzir seu consumo ou quase no atuam para da relao entre
dissimular as falhas. pela comunidade reduzir seu consumo pela consumo elevado de
comunidade acar e a Diabetes
e no atuam para
reduzir seu consumo
pela comunidade
As equipes de As equipes conhecem, As equipes conhecem, As equipes

sade da famlia compreendem e utilizam compreendem os conhecem, mas
tm sido capazes os protocolos de maneira protocolos, mas o utilizam pouco compreendem
de compreender adaptada ao contexto de forma parcial e tm ou se importam
e adaptar os local e tm sido capazes sido pouco capazes com os protocolos,
protocolos de de ampliar a deteco de ampliar a deteco sendo incapazes de
cuidado de forma precoce de Diabetes precoce de Diabetes ampliar a deteco
a ampliar sua e de atuar para evitar e de atuar para evitar precoce de Diabetes
capacidade de complicaes complicaes e de atuar para evitar
deteco precoce e complicaes
manejo dos casos de
Diabetes?
O quadro anterior demonstra que o juzo de valor abrange distintos componentes

do programa de maneira articulada, convidando os atores a formarem seu juzo 16|PASSO 6. ELEGER
AS FONTES E COLETAR
de valor de forma contextualizada. Em algumas situaes, a prtica investigada
pode at no corresponder exatamente especificao de cada critrio presente
em um mesmo nvel da rubrica.
Nesse sentido, a rubrica deve ser tomada como a descrio de um domnio

de resultado que abrange todos os critrios, sendo necessrio o exerccio
INFORMAES
de encontrar o nvel de rubrica que melhor representa a situao investi-
gada, permitindo um juzo de valor consciente e sensvel realidade.
Fontes de informao so os sujeitos ou objetos das quais advm os dados, dis-
No exemplo que estamos a analisar, uma terceira pergunta avaliativa poderia cursos ou materiais necessrios para que uma avaliao possa se sustentar
focalizar o componente econmico do programa, enquanto outra poderia inves- com base em evidncias. Tendo em vista que os indicadores possuem natureza
tigar a forma como a Secretaria de Sade tem criado efetivas condies para o qualitativa e quantitativa e que podem se relacionar a quaisquer recortes da rea-
trabalho das equipes de sade da famlia. lidade, as fontes de informao podem ser muito distintas entre si, ainda que em
categorias gerais elas possam ser facilmente identificadas. Vejamos:
Lembrando que o contexto poltico local poderia ser de turbulncia, que poderia
estar em curso uma forte crise de arrecadao, que profissionais poderiam ter
sido aprovados em um concurso pblico no municpio vizinho e deixado o traba-
lho, entre outros. O juzo de valor deveria abranger esse conjunto a fim de FONTES DE INFORMAO FONTES DE INFORMAO
PRIMRIAS SECUNDRIAS
formular afirmaes precisas sobre o programa e favorecer que decises
efetivamente estratgicas fossem tomadas com base na avaliao.
Membros da equipe, gestores, Bases de dados, estatutos,
empreendedores, consumidores, atas de reunio, registros,
usurios, educadores, crianas, portflios, artigos, livros, revistas,
adolescentes, participantes de um photobooks, timelines em redes
programa, familiares, parceiros, sociais, etc.
etc., alm do prprio pesquisador
ou pesquisadora
As fontes primrias so aquelas acessadas diretamente por uma pes- As fontes secundrias so aquelas acessadas pelos pesquisadores, mas
quisadora ou uma avaliadora. Esto, portanto, relacionadas a produo nas quais as informaes j esto catalogadas, registradas, sistematizadas,
de informaes novas e originais sobre a realidade, como ocorre numa como acontece quando usamos um banco de dados financeiros para ob-
entrevista, por exemplo. servar os volumes de transferncia de renda para os participantes de uma
cooperativa, por exemplo.
EXEMPLO
EXEMPLO
Na avaliao de um negcio de impacto que adquire produtos elaborados a partir
Na avaliao de outro negcio de impacto que produz e distribui culos de
de material reciclado de 50 cooperativas de artesos em diversos lugares do
baixo custo para crianas e adultos de regies distantes e com acesso limitado
Brasil, e os comercializa em lojas de decorao e diretamente junto a empresas,
a oftalmologistas e ticas, as perguntas avaliativas, indicadores e fontes de
o processo de avaliao de resultados tinha as seguintes perguntas, indicadores
informao foram definidas da seguinte forma.
e fontes de informao.
FONTES DE FONTES DE
PERGUNTAS INDICADORES PERGUNTAS INDICADORES
INFORMAO INFORMAO
Os artesos e artess Nvel de renda dos Questionrios on-line Em que medida os culos Desempenho na Prova Dados da Prova Brasil
tiveram efetiva melhoria artesos respondidos pelos artesos distribudos nas escolas Brasil para as escolas pblicas
de renda depois de e artess publicas favoreceram o municipais beneficiadas
Estabilidade da renda de
ingressarem na rede de desempenho escolar das pela campanha, analisados
artesos e artess
apoio? crianas? em srie histrica
Em que medida a Inovao da produo Visitas as cooperativas para Em que medida os culos Nmero de pacientes Lista de espera para
rede de apoio tornou entrevistas e atividades de distribudos na comunidade na fila de espera oftalmologia sistematizada
Destino de resduos
as cooperativas mais observao reduziram a fila de espera para a especialidade pela Secretaria de Sade
Reduo do trabalho
sustentveis pela especialidade da oftalmologia
precarizado
oftalmologia no municpio? Clculo do tempo mdio
Tempo mdio de
Receitas financeiras de espera com base nos
espera dos pacientes
tempos individuais de
para a especialidade
espera dos pacientes
oftalmologia
na lista fornecida pela
Secretaria de Sade
Escolhidas quais destas fontes (ou ambas) constituir a base para a coleta das Se a anlise se basear em documentos como guias e manuais de referncia
informaes que ajudaro a responder as perguntas avaliativas, hora de se ou dirios de classe, a leitura poder ser qualitativa. A anlise documental
perguntar de que forma tais informaes sero construdas. Algumas perguntas tcnica eficaz e de baixssimo custo para aproximao e conhecimento do objeto
ajudaro no exerccio de priorizao destas fontes: avaliado, podendo servir tambm para elaborar outros instrumentos de coleta.
Quais as estratgias mais adequadas para alcanar cada um dos p- QUESTIONRIOS OU SURVEYS
blicos da avaliao?
Tcnica que lana mo de um conjunto de perguntas a serem aplicadas para su-
Qual a disponibilidade de recursos financeiros, humanos e de tempo jeitos ou coletivos. Costumam ser formulados com respostas pr-determinadas
para a coleta de informaes? (questionrios fechados) de forma que o conjunto de respostas seja facilmente
articulado em um banco de dados e possa ser estatisticamente estudado. H
Como levantar dados referentes a projetos realizados concomitante- diversas plataformas virtuais que apoiam a elaborao, coleta e anlise de resul-
mente em vrias regies? tados de surveys, como mostra a lista a seguir.
Quais tcnicas respondem melhor aos indicadores que orientam a

avaliao?
LEITURA
Lanar mo de diferentes tcnicas para construo e coleta de informaes impli-
ca balancear escolhas tericas com escolhas prticas, como mostram as pergun- https://pt.surveymonkey.com/
tas anteriores. Enquanto o enfoque quantitativo envolve a apreenso extensiva
dos fenmenos investigados e apresenta informaes nas formas de percentuais, https://www.surveygizmo.com/
ndices, frequncias e correlaes de incidncia e prevalncia, o enfoque qualita-
tivo reconhece a subjetividade da realidade e apresenta informaes em textos, https://www.google.com/forms/about/
esquemas, ilustraes, depoimentos escritos ou em vdeo, quadrinhos, etc.
http://www.tableau.com/
Vejamos algumas tcnicas de coleta de informaes partindo do referencial
dos mtodos mistos, a fim de provocar a interao entre as distintas aborda- https://voyant-tools.org/
gens .
xxxiii
http://www.qsrinternational.com/
ANLISE DOCUMENTAL http://www.iramuteq.org/
Tcnica que pode combinar elementos quantitativos e qualitativos, dependendo Outras dezenas de aplicativos que apoiam gesto e pesquisa
do teor dos documentos consultados. Podemos utilizar documentos referentes ao
sistema de monitoramento de determinado projeto e com estes dados (nmero https://goo.gl/vzIiSl
de atendimentos, nmero de pessoas participantes, nmero de oficinas realiza-
das, nmero de campanhas desenvolvidas) produzirmos uma anlise quantitativa.
Os questionrios podem tambm ser utilizados para a coleta de informaes

qualitativas, lanando mo de perguntas abertas nas quais as pessoas escrevem
o que pensam sobre determinado aspecto. importante ter em mente que
LEITURA
respostas abertas exigem mais tempo de anlise e mais preparo de quem
analisa. Existem tambm ferramentas adequadas para anlises qualitativas. Histrias de vida e avaliao de impacto
https://goo.gl/J1HR3Z
Um questionrio pode implicar respostas annimas (que so mais Most Significant Change
comuns) ou no. https://goo.gl/tWq3n4
Um questionrio sempre contm uma sesso que caracteriza os res-

pondentes: idade, gnero, cor da pele, renda, escolaridade, funo,
etc. estas variveis apoiaro a futura anlise.
Um questionrio contm outras sesses que investigam as vari- GRUPOS FOCAIS

veis-chave (tambm chamadas de variveis dependentes) de uma
pesquisa ou avaliao. A tcnica a mais utilizada no campo das entrevistas coletivas. Sugere a reunio
de 6 a 8 pessoas que compartilham um perfil social no qual se deseja explorar uma
Um questionrio deve sempre ser testado e ajustado (corrigido) an- ou duas variveis centrais. Um grupo focal aposta na produo de um ambiente
tes de ser efetivamente utilizado. o que chamamos de pr-teste. seguro e dialgico no qual as pessoas so convidadas a expor suas experincias e
opinies sobre um determinado objeto, a fim de que as semelhanas e diferenas
sejam percebidas e que novos padres de leitura coletiva possam emergir. Os
ENTREVISTA EM PROFUNDIDADE grupos exigem um mediador e um observador. Enquanto aquele ajuda o grupo
a conversar, com pouqussimas perguntas e um certo cuidado com a circulao
Tcnica comum para o estudo de casos particulares nos quais se deseja explorar da palavra e o manejo das divergncias, o observador registra movimentos,
o conjunto de efeitos de uma iniciativa/empreendimento, o que tanto permitir falas, impresses, etc. advindas do convvio grupal. Um bom roteiro crucial
eleger casos de insucesso quanto de avano, como sugere a linha terica da para garantir uma conversa concentrada no ponto que requer aprofundamento.
Most Signifcant Change. Para conhecer e aprofundar aspectos relevantes para a Vejamos um exemplo de roteiro que parte de uma nota tcnica especfica da
investigao, comum que as entrevistas lancem mo de um roteiro de perguntas Move sobre grupos focais.
abertas que permitem navegar com a entrevista tanto dentro quanto fora de
uma estrutura investigativa pr-definida. Por isso os roteiros so nesses casos
chamados de abertos ou no estruturados.
EXEMPLO DE 1
Recebimento dos participantes
Deve incluir a apresentao do moderador
RESUMO DE e do observador, a leitura e a assinatura

em duas vias do termo de consentimento
ROTEIRO informado, solictar autorizao para grava-

ao e distribuir crach.
Apresentao da avaliao e acordos de trabalho.

2 Apresentao do foco da avaliao (influncia do curso no trabalho),
acordos de trabalho (tempo de durano, celulares, saber ouvir, se
colocar, gravao da entrevista, uso de sanitrio, alimentos e bebidas
disponveis); Comunicar o papel do pesquisador e do observador.
Questo introdutria
5 Considerando o seu dia-a-dia, suas tarefas
na sua organizao, etc. Que tipo de mu-
Apresetao dos participantes
3 Quem sou eu?
danas voc reconhece em seu trabalho
a partir da participao no Curso? Vamos
Em que organizao trabalho?
falar sobre isso em termos gerais
Questo de abertura Questo chave Questo de fecha-

4 Como um dia normal em 6 Dentre as mudanas organi- 7 mento
seu trabalho, sua rotina? Que zacionais que vocs identifi- O que mais contribuiu pra
aes, tarefas, voc geral- caram, qual vocs escolhe- a implementao dessas
mente realiza l? riam como a mais expressiva mudanas? Se voc pu-
e a mais sustentvel a partir desse recomear o curso,
da participao no Curso? o que voc faria diferente?
Questes de verificao
8 De todas as coisas que discutimos, o que lhes parece mais importante?
Em relao s mudanas em seu perfil profissional, ns deixamos de falar
a respeito de algo muito importante para vocs?
9. Encerramento
9 Observador faz breve resumo (5) verbal das questes
apontadas pelo grupo. Registrar os agradecimentos
participao.
LEITURA 17|PASSO 7. ANALISAR

Grupos focais
https://goo.gl/4PdCpk
AS INFORMAES
Quando concludas as etapas de coleta e construo das informaes, temos em
mos um amplo material para processar. Transcries de entrevistas e grupos
OBSERVAO PARTICIPANTE focais, dirios de campo, amontoados de questionrios ou longas planilhas de da-
dos digitalizados e uma infinidade de coisas que no dizem muita coisa. O desafio
Oriunda da Antropologia, a observao participante uma abordagem que pro- de analisar as coisas de forma inteligente comea a.
cura mergulhar a avaliadora no contexto real de uma determinada iniciativa/
empreendimento. Apoia-se na premissa de que, a partir do contato direto e expe- A etapa de anlise aquela em que organizamos, de forma sistemtica, o con-
rincia vivida junto s pessoas, grupos e organizaes possvel apreender e in- junto de informaes construdas a partir do uso das tcnicas de investigao
terpretar a cultura especfica de cada contexto. Um avaliador sempre exercer qualitativas e quantitativas. Existem algumas tcnicas que auxiliam na anlise
influncia no contexto em que adentrar, mas esta influncia tambm pode e que sero teis no momento de se compreender e interpretar o que os dados
se converter em material para anlise. Mais do que uma tcnica, a observao trazem. Pode ocorrer de as informaes produzidas superarem aquilo que foi ori-
participante constitui uma abordagem etnogrfica de produo de informaes e ginalmente planejado, ampliando assim a riqueza do material produzido. Encon-
exige capacidades relacionais, tempo e sensibilidade. trar respostas para perguntas que no foram necessariamente elaboradas pode
ser til para ampliar a compreenso daquilo que se pretende avaliar. Vejamos a
Alguns autores advogam que essencial conhecer os contextos reais onde se seguir duas das tcnicas de anlise comumente utilizadas: anlise de con-
concretizam as prticas das intervenes avaliadas a fim de evitar leituras distan- tedo e anlise descritiva.
ciadas e descontextualizadas. Para eles, trata-se de operar uma verdadeira
fuso entre texto (dados possveis de serem obtidos distncia) e contexto
(que s poder ser acessado por meio da vivncia direta)xxxiv. ANLISE DE CONTEDO
O objetivo da anlise de contedo buscar o sentido do discurso ou de um docu-

mento. Trata-se de classificar aquilo que dito pelos atores e realizar inferncias
tericas relacionadas ao tema em investigao, tanto em funo da frequncia do
LEITURA que dito, quanto em relao intensidade e carga simblica de uma expresso.
Aquele que analisa o discurso dever interpretar os contedos considerando que

Observao Participante: limites e potenciais
nem sempre aquilo que expresso em palavras pelas pessoas reflete exatamen-
https://goo.gl/MDi3uR
te suas perspectivas. Criatividade e capacidade intuitiva so necessrias a quem
analisa, mas deve-se tomar cuidado para no sobrepor suas prprias ideias e
valores sobre as perspectivas alheias. A seguir, algumas etapas propostas para a
anlise de contedo, baseado no texto de Campos xxxvi.
Unidade 0.4 / Sete passos para desenhar uma avaliao: dos indicadores anlise dos resultados (passos 5 a 7) 101
RESPOSTAS A UMA DAS

PERGUNTAS DO SURVEY
1. Os produtos orgnicos ficaram

de fato melhores. Hoje temos mais
Reparemos que a leitura dos textos per-
variedade de produtos e, ao mesmo
mite que identifiquemos as ideias centrais,
tempo, encontramos preos um
que vo criando blocos comuns, ou cate-
pouco mais justos, que permitem
gorias de anlise. As cores amarela e azul
que a gente compre os produtos. apenas ilustram possveis grupos de ideias.
As categorias podem ter sido definidas a

PRIMEIRA ETAPA. priori. Ou seja, pode ser que a avaliao
2. Sentimos uma melhoria na
Pr-explorao do material j tinha a expectativa de que o preo fosse
oferta de produtos. Temos agora um tema central (indicador) e que a expec-
o primeiro momento de contato com o material a ser analisado. O ava- os produtos frescos refrigerados, tativa era a de que os respondentes reco-
liador dever se deixar levar pelo material, e organizar de forma no es- e temos os produtos a granel, que nheceriam que os preos esto melhores e
truturada aspectos importantes para as fases posteriores da anlise. Aqui tambm ajudam muito que cada mais acessveis.
indicado se permitir obter impresses e orientaes mais gerais, a partir um compre a quantidade exata que
de uma relao com o material como um todo. Um voo panormico pelo precisa comprar, o que muito bom Mas as categorias tambm podem ser cria-
material que ser destrinchado auxiliar o pesquisador a identificar pistas das a posteriori. Por exemplo, no terceiro
para quem mora sozinho, como
de pouso para as aterrisagens que viro. recorte (em verde), h um novo campo
eu. Mas os preos ainda precisam
aberto quando um dos respondentes fala
melhorar. No mudaram muito.
da importncia dos alimentos orgnicos
SEGUNDA ETAPA. para as crianas.
Seleo das unidades de anlise
Sejam quais forem as categorias, o exerc-
Nesta etapa o avaliador define, a partir dos problemas elencados na ava- 3. H muito mais produtos hoje em cio pressupe este tipo de esforo. Leitura,
liao e o tema que pretende investigar, quais unidades de anlise sero dia no mercado, e isto muito bom. releitura, anlise cuidadosa, separao de
selecionadas para o exame detalhado e posterior categorizao. As unida- ideias, criao de categorias e explicao
Realmente possvel fazer toda
des de anlises so palavras, sentenas, pargrafos, frases ou outros frag- das mesmas. Na explicao ser o mo-
a alimentao orgnica, o que
mentos definidos a partir dos quadros tericos e objetivos da avaliao. mento de buscar a Teoria de Mudana (por
muito bom pra ns, especialmente
Vejamos no esquema a seguir como esta etapa pode se materializar. exemplo) ou qualquer outro referencial.
para as crianas. Mas o problema
continua sendo o preo, que ainda
est um pouco longe do que
podemos pagar aqui na regio.
TERCEIRA ETAPA. ANLISE DESCRITIVA

Categorizao e subcategorizao
A abordagem descritiva a tcnica mais primria para emprestar sentido a da-
Nesta etapa o avaliador classifica os contedos presentes nas unidades de anlise dos quantitativos. A organizao dos dados quantitativos por meio da anlise
a partir de suas semelhanas e proximidades, produzindo categorias que permi- descritiva tem por objetivo relatar o comportamento de um fenmeno em
tam uma anlise explicativa daquilo que se pretende avaliar. Pode-se elaborar um determinado contexto. Os nmeros obtidos podem expressar comporta-
categorias que pertenam ao prprio pesquisador (a isso chamamos de catego- mentos, respostas a uma problemtica apresentada ou ainda resultados de uma
rias apriorsticas), ou seja, que j figuram enquanto preocupao e se baseiam em interveno, e para isso necessitam ser organizados, relacionados s situaes
elaboraes tericas prvias, ou nos problemas e objetivos alvo da avaliao. As especficas e variveis, e apresentados estatisticamente, em nmeros ou grficos.
categorias podem emergir tambm dos contextos das respostas produzidas pelos
sujeitos (categorias no apriorsticas). Para tanto, recorre-se a um amplo conjunto de ferramentas de clculo para trata-
mento dos dados, que podem se expressar na forma de taxas, distribuio, frequ-
ncias, propores, variabilidades, padres, scores, entre outros. H muitos sof-
twares disponveis para realizar anlises descritivas estatsticas, mas os mesmos
exigem razovel conhecimento de estatstica.
LEITURA
Quando cada caso no um caso

https://goo.gl/ba5Cjj
Como reconhecer padres e construir anlises qualitativas robustas
LEITURA
http://www.stata.com?/
https://www-01.ibm.com/software/br/analytics/spss/
https://www.r-project.org/
https://www.cdc.gov/epiinfo/index.html/
Um dos papis fundamentais da anlise descritiva quantitativa construir

compreenses detalhadas sobre um objeto, essencial para trazer evidncias para
o exerccio de julgamento, pois os critrios so o dispositivo que permite julgar as
mudanas em determinada situao, sendo condio necessria para avaliarxxxvii.
Dados consistentes, analisados de forma profunda e sistematizados
certamente produziro boas avaliaes, mas para isso necessrio dispor de
qualificao tcnica, sensibilidade analtica e dedicao.
EXERCCIO
Organizando a Matriz Avaliativa
Agora que voc conhece os passos necessrios a construir uma avalia-

o, que tal organizar sua produo em uma matriz avaliativa?
Etapa 1
Utilizando a estrutura a seguir, que pode estar em um redator de texto
ou planilha de dados, disponha toda a construo avaliativa segundo as
categorias.
Perguntas Critrios de Fontes de Formas de Linhas de

Indicadores Produtos
Avaliativas Julgamento Informao Coleta Anlise
Etapa 2
Procure revisar a relao lgica dentro da Matriz, entre seus componen-
tes. Ao olhar para o conjunto, coloque em questo o volume de trabalho
da avaliao: seu foco, os indicadores, a natureza das informaes a
serem coletadas, as fontes de informao, etc. mesmo um processo
vivel? Alguma mudana necessria? Os responsveis esto seguros
sobre o caminho avaliativo?
Etapa 3
Implemente seu estudo! Tente, navegue e viva um processo avaliativo
UNIDADE 0.5 /
APRENDIZAGEM, DECISO
E COMUNICAO
Nesta quinta unidade, apresentamos diferentes maneiras de
usar as avaliaes para aprendizagem, desenvolvimento or-
ganizacional e mobilizao de atores: como transformar in-
formaes em saberes e saberes em decises? Como nu-
trir os processos de aprendizagem organizacional com
as avaliaes? Como registrar e disseminar o conheci-
mento avaliativo gerado? Como fazer incidncia pol-
tica? Aproveitamos tambm para concluir o material com
uma breve conversa sobre a qualidade das avaliaes. Com-
binamos textos, ferramentas, sugestes de exerccios e dicas
de leitura para mobiliz-lo a fazer o melhor uso possvel de
uma avaliao.
108 Avaliao para Negcios de Impacto Social Unidade 0.5 / Aprendizagem, deciso e comunicao 109
18|DIVULGAO DE DADOS SUMRIO

2 a 3 pginas que tragam respostas resumidas e assertivas s perguntas
avaliativas. Em muitos casos tambm desejvel que sejam apresentadas
recomendaes para a ao.
20 a 30 pginas que faam brevssima caracterizao do objeto (1 a 2 pgi-

Comunicar os resultados de uma avaliao exige enorme ateno e criatividade. nas), brevssima descrio metodolgica (1 pgina) e, centralmente, a anli-
CORPO
Algumas razes justificam esta advertncia: se de dados de acordo com as perguntas avaliativas, que devem ser respon-
didas de forma consistente. O uso de representaes grficas crucial.
O momento de comunicao de uma avaliao pode ser a culminn- Documento que detalha o mtodo de trabalho e partilha os instrumentos
ANEXOS
cia de um processo dialgico e de aprendizagem que se estabeleceu utilizados na avaliao.
durante a avaliao.
Uma boa comunicao determinante para que os resultados pos-

sam ganhar legitimidade entre os interessados. Assim como para qualquer pea de comunicao, quanto maior for a adequao
do material a seu pblico alvo, maior ser a chance de trazer respostas e mo-
A forma como os resultados so apresentados determinante para bilizar os atores. Portanto, alm de documentos de inspirao acadmica, h ou-
seu uso. O balano entre apreciao e crtica, o tom do texto, a na- tros elementos visuais ou audiovisuais, como infogrficos e vdeos, por exemplo,
tureza das ilustraes, a extenso do material; tudo isso determina para que a linguagem seja adaptada e efetiva aos atores envolvidos. Os elemen-
quanto vnculo ser produzido entre o estudo e quem dele precisa tos visuais a seguir so todos ilustrados com produes do jornal digital Nexo, os
para aprender e tomar decises. quais voc ter acesso via os links.
Para minimizar riscos e favorecer o uso das avaliaes preciso que os mate- Grficos e infogrficos so peas que agregam e relacionam um con-
riais produzidos tragam mensagens diretas e oportunas aos interlocutores. junto de informaes-chave para uma avaliao, lanando mo de
Quando se apresenta uma avaliao, finalmente estar em teste a qualidade e cones, fluxos e quadros que iluminam o que tem mais relevncia.
o sentido das perguntas e indicadores, e comum que uma parte daquilo que
foi coletado e analisado mostre-se desimportante. No se assuste! Aprenda com
isso. A figura a seguir apresenta uma sntese do que deveria orientar a constru-
o de um relatrio de avaliao. Depois expandiremos este olhar para pensar https://goo.gl/3wh89w
em outros produtos para alm de relatrios de inspirao acadmica. Como o Nexo mostra a evoluo da taxa de homicdio por
armas de fogo e evidencia o aumento da violncia contra a
populao negra?
https://goo.gl/P367FD
Como o Nexo mostra o gosto musical em diferentes pases,
segundo o SpotiFy?
Vdeos e animaes tm sido cada vez mais utilizados pelas organi- DEVOLUTIVAS E SENSE MAKING
zaes. Os vdeos possuem elevado poder de mobilizar (emocionar)
e convencer. Os processos de comunicao nunca devem ser encarados em uma avaliao
como via de mo nica. So espaos de troca de mensagens, leituras e anlises.
So espaos para aprendizagem e deciso.
https://goo.gl/YxUpEd O desenho de reunies especficas para analisar dados e envolver os stakeholders

Como o Nexo explica o mecanismo da inflao de maneira num processo de reflexo e dilogo tem sido definido como processos para dar
simples? sentido das informaes (sense making), ou processos coletivos de anlise de
dados (data party).
https://goo.gl/OfJItr
Como o Nexo mostra os desafios que os pedestres enfrentam Essas tcnicas convidam construo de anlises junto com os stakeholders,
nas cidades? utilizando as reflexes, insights e pactuaes no produto final de comunicao da
avaliao. Para montar boas reunies de anlise e sentido preciso:
Garantir que os principais atores interessados na avaliao estejam

Apresentaes ao estilo Ted Talks. Narrativas bem encadeadas, em presentes.
tempo resumido e que coloquem os resultados numa perspectiva
mais pessoal, emprestando aos dados o perfil de quem os apresenta, Cuidar do processo de trabalho fazendo bons acordos de dilogo.
uma maneira importante de capturar a ateno. Uma vez que as avaliaes costumam tocam em pontos sensveis,
fcil que uma reunio torne-se um campo de batalha.
Assegurar que as diferentes vozes sejam ouvidas, moderando o gru-

po para que no apenas quem tem mais poder tenha tambm mais
https://goo.gl/Zm2g6d fala.
Como o Instituto Socioambiental permite que os prprios
povos indgenas narrem as mudanas no Parque Nacional do Trazer informaes-chave com algum grau de anlise, mas com no-
Xingu vas perguntas que ajudem o grupo a aprofundar seus saberes.
https://goo.gl/NhlxTw Conectar a reunio com o futuro e no apenas com o passado. Apren-

Como o Fale com Estranhos favorece a reflexo sobre o der com o que foi realizado s crucial se tais aprendizagens forem
cotidiano e revela a trajetria das pessoas? levadas ao futuro.
Perfis no Facebook podem trazer resumos, GIFS e depoimentos com

a capacidade de alcanar um nmero maior de pessoas.
19|DESENVOLVIMENTO quer avaliao que se queira fazer relevante precisa compreender

de que forma se relaciona com esta dinmica, com que grupo se alia
ORGANIZACIONAL
ou de qual se aliena, a quem d mais ou menos voz.
Como so os processos decisrios na organizao e que papel uma

avaliao pode cumprir nestes processos?
As expresses desenvolvimento organizacional ou desenvolvimento institucional Quais atores devem ser estrategicamente envolvidos numa avaliao a
esto estreitamente ligadas ideia de que a vida das organizaes implica um fim de conferir valor poltico-estratgico a ela?
processo dinmico e de longo prazo. Nada para ontem neste aspecto, como j
sabem os gestores com um pouco mais de experincia. No plano terico, inme-
ros autores j abordaram o desenvolvimento e seus caminhos, o que pode ser As organizaes lidam com as falhas e erros, bem como com os acer-
comprovado pela vasta literatura disponvel. tos e sucessos, de formas muito distintas. Para que uma avaliao
encontre o espao necessrio para produzir saberes e influenciar
Se tomamos desenvolvimento organizacionalxxxviii como os processos e inicia- escolhas, crucial que se compreenda o papel da avaliao nestas
tivas que visam assegurar de forma duradoura a realizao da misso ins- dinmicas.
titucional e fortalecer o posicionamento estratgico de uma determinada
organizao na sociedade, podemos relacionar as avaliaes a esta caminha- Quo apreciativo deve ser uma avaliao para que ela possa penetrar
da. Cada organizao possui sua prpria cultura, ou seja, sua maneira de pensar, na organizao e produzir reflexo e saberes? Por outro lado, quo
tratar as pessoas, organizar os processos, manejar o poder e se relacionar com a crtica pode ser uma avaliao? O que possvel expor e no expor?
sociedade. Uma avaliao poder aderir mais ou menos a esta cultura medida
que dialogue com ela, respeite-a e construa seu lugar na malha organizacional. Quais linguagens funcionam melhor na organizao? Algo objetivo, nu-
Algumas perguntas podem ajudar nesta construo. mrico e produzido com rapidez? Algo discursivo, com espao para
subjetividade e produzido gradualmente?
As organizaes enfrentam diferentes desafios a cada momento de
sua biografia. Os desafios nem sempre so os mesmos, o que implica
que os campos de interesse e as perguntas que mobilizam uma orga- Como j apontaram diferentes autores, continua sendo um erro tratar as ava-
nizao tambm mudam. Para que uma avaliao tenha aderncia a liaes como prteses organizacionaisxxxix, ou como processos padronizados que
uma organizao, preciso que ela dialogue com estes momentos, devem funcionar em quaisquer contextos. Sem leituras e escolhas que construam
com estas perguntas. as melhores pontes possveis entre avaliao e cotidiano organizacional (cultura
organizacional), so grandes as chances de a avaliao tornar-se mais um relat-
Quais dilemas a organizao enfrenta no momento particular da ava- rio na prateleira ou na gaveta do gestor.
liao? Em que medida a avaliao pode dialogar ou ajudar a solucio-
nar tais dilemas? A mensagem central as avaliadoras, sejam agentes externos ou internos, com-
preender que para fazer sentido, os processos avaliativos devem evitar travar
quedas de brao com gestores e tcnicos, mas sim construir um posicionamento
As organizaes colecionam muitos subgrupos e diferentes foras centrado em relaes de ajuda, ou seja: os processos avaliativos devem ser
em uma dinmica permanente de poder que opera entre dilogo e instigadores de reflexes e aprendizagens, devem ser inspiradores e enco-
silncio, possibilidade e impedimento, abertura e fechamento. Qual- rajadores para inovaes e mudanas, devem ser justos em sua capacidade
de anlise, respeitando o contexto real onde as prticas se do e os atores

que as realizam; afinal, se no h desejos, interesses e perguntas reais, que des-
coberta possvel? Que aprendizagem se produz?xxxx
20|CAPACIDADE AVALIATIVA
grande o debate em torno do desenvolvimento de capacidades avaliativas. Se-
jam nos governos, organizaes da sociedade civil, empresas ou negcios de im-
EXERCCIO pacto, crescente o desejo de construir organizaes mais capazes de com-
preender os efeitos de suas aes na sociedade, de operarem de formas
Refletindo sobre a cultura de sua organizao mais sustentveis e, sobretudo, com mais transparncia.
Voc e seu grupo j refletiram sobre quais princpios, valores e estilos O desenvolvimento de capacidades avaliativas tem sido pensado num contexto
definem sua organizao? Vocs j pensaram sobre como lidam com os mais abrangente de Capacity Development que compreende que sem fortalecer
acertos e erros, sucessos e fracassos? Como sua organizao aprende? outros elementos da cultura organizacional, torna-se difcil fortalecer apenas as
Como as decises so tomadas? O quanto as evidncias so importan- prticas de avaliao. Vejamos algumas lies sobre capacidade avaliativa que
tes? Que relaes efetivamente vocs querem construir entre avaliao esto amplamente distribudas na literatura especializada.
e aprendizagem organizacional?
Devem ser prticas sistemticas, permanentes e que combinem o

desenvolvimento de saberes em mtodos qualitativos e quantitati-
vos.
Devem ser processos relacionados a outros processos de fortaleci-

mento organizacional, de forma a garantir balano na agenda orga-
nizacional.
Devem ter propsitos claros, evitando que fantasmas se formem so-

bre os reais motivos pelos quais as avaliaes so realizadas.
Devem ser liderados ou coordenados por pessoas ou ncleos dedi-

cados a estudar tecnicamente o tema, zelando por sua presena na
agenda institucional.
Devem dialogar com vrios nveis organizacionais, e evitar a concen-

trao nos crculos de direo estratgica ou de execuo tcnica.
Unidade 0.5 / Aprendizagem, deciso e comunicao 117
A literatura e a prtica lembram ainda que a construo de capacidades avaliati-

vas toma tempo, dependente do quanto se toma decises com base nas avalia-
es, alm de se tratar de um processo no linear e dependente dos profissionais
21|INCIDNCIA POLTICA
e gestores.
Se em boa parte deste material nos concentramos nas relaes das avaliaes
com aprendizagem organizacional, preciso tambm iluminar seu potencial para
LEITURA as prticas de incidncia poltica, ou seja, para os esforos que uma organizao
faz para alterar o ecossistema em que est inserida.
Sobre desenvolvimento de capacidades avaliativas Para requerer influncia estratgica e incidncia poltica, a avaliao deve
https://goo.gl/y52bnF produzir informaes crticas e consistentes sobre a relevncia e o mrito
de uma iniciativa/empreendimento. Perguntas como Fizemos diferena no
desenvolvimento das crianas acompanhadas pelos educadores que formamos?,
Garantimos o ingresso dos jovens beneficiados a posies no-marginais no
mercado de trabalho?, Que mudanas induzimos nas relaes entre a socieda-
de civil e poder pblico municipal? precisam ser respondidas de forma a conferir
crdito a um programa, poltica ou servio da forma mais inequvoca possvelxxxxi.
Assim, a capacidade de alcanar resultados e de demonstrar o seu alcance

dos e impactos condio fundamental de uma avaliao estratgica. Em
complemento, o ato de medir resultados deve ser acompanhado de anlises que
permitam que uma interveno seja ajustada na direo de ampliar seu poten-
cial, ao menor custo possvel. Numa sociedade atravessada por grande disputa
por recursos e com demandas crescentes, demonstrar resultados e formas de
increment-los fundamental.
Julgar uma iniciativa/empreendimento pode significar pouco se no se compara

as diversas possibilidades de interveno. Avaliar a relevncia de uma ao re-
quer o reconhecimento da realidade na qual ele se instaura, com suas demandas
e possibilidades, passivos e ativos. Requer construir relaes entre aquilo que
se ofertou e o conjunto de elementos ticos e tcnicos existentes e disponveis.
Quanto mais se demonstra a firmeza e a responsabilidade com que se reali-
zou uma interveno, maior credibilidade se confere a ela, posicionando-a
como recurso fundamental.
Est no fortalecimento de capital poltico uma chave ampliar a fora estratgica

de uma organizao. Este movimento, contudo, no pode aprisionar a avaliao
a um dispositivo de relaes pblicas, mas disparar a construo de avaliaes
comprometidas a favorecer o dilogo entre os diferentes atores interessados.
Neste sentido, fundamental eleger modelos e definir linhas de anlise que prioritrios para os processos de avaliao. De que vale um sistema de
dialoguem com as diferentes expectativas, oferecendo informaes inteli- avaliao educacional que no produz melhoria nas prticas docente? De que
gveis e confiveis queles que se desejam como aliados e queles que se vale se ele no influencia os processos de gesto que incidem sobre os docentes,
reconhecem como adversrios. os alunos e os funcionrios?
Algumas dicas importantes para pensar a incidncia poltica das avaliaes esto
a seguir.
OS QUATRO COMPONENTES DAS AVALIAES ESTRATGICAS XXXV
As construes e decises polticas no so campos puramente tc-

Avaliaes capazes Avaliaes que mostrem nicos e nem sempre baseadas em evidncias. Logo, no alimentemos
de demonstrar as o impacto social da
diferenas tico-polticas nterveno e que a ideia de que uma boa avaliao ser, por si s, capaz de convencer
DIFERENCIAR AMPLIAR
de uma interveno A POSIO O IMPACTO apontem caminhos gestores e mudar o curso do processo poltico.
em relao a outras, ESTRATGICA SOCIAL que a qualifiquem e a
posicionando-a como amplifiquem
inovadora, relevante e Para alm de demonstrar produtos (outputs), uma avaliao amplia
exitosa sua capacidade de incidir no debate pblico medida que mostra
resultados (outcomes) e impactos.
Avaliaes capazes Avaliaes capazes de Quanto mais legtimo o processo de construo de uma avaliao
de agregar atores e CRIAR E AMPLIAR ampliar a capacidade
recursos em torno de FORTALECER CAPACIDADES de escuta, articulao, - legitimidade que tcnica (preciso) e que processual (articula
projeto poltico que CAPITAL DE GESTO deciso e realizao das diferentes interesses), - maior seu potencial poltico porque maior
sustenta a iniciativa e POLTICO equipes e gestores
sua interveno
a chance de que seus resultados tenham sentido e sejam utilizados.
Nos debates pblicos, a imprensa muitas vezes tem um papel mais

relevante do que o ator poltico imbudo do papel executivo, legisla-
tivo ou judicirio. Quem quer incidir no debate pblico deve conside-
rar a imprensa entre seus stakeholders centrais.
argumentao sobre as avaliaes estratgicas produziu at agora certa nfase
nos modelos quantitativos, queremos ampliar o foco para diferentes modelos
tcnicos, tanto no que diz respeito aos momentos nos quais avaliar, quanto no
uso combinado de diferentes mtodos, como j abordamos neste material. Tal
combinao precisa equilibrar afinidade entre modelo avaliativo e objeto avaliado
e, ao mesmo tempo entre modelo avaliativo e expectativas dos interessados
LEITURA
diretos.
Para avaliaes menos ingnuas
O esquema ao lado procura ilustrar os componentes fundamentais para que https://goo.gl/VKxhor
uma avaliao possa fazer incidncia poltica. Na perspectiva de que o potencial
estratgico das avaliaes se relaciona com sua capacidade de qualificar a O fosso entre sociedade civil e elite poltica
gesto, estimulando aprendizagens e superando limites tcnicos, crucial https://goo.gl/4bvWuG
ainda que os nveis organizacionais diretamente responsveis por aquilo
que uma organizao entrega sociedade sejam direta e enfaticamente
22|A QUALIDADE lidade no tempo certo e de forma adequada aos meios de

verificao e informao. necessrio alcanar um equil-
DE UMA AVALIAO
brio entre cobertura, complexidade e recursos avaliativos.
Devem-se reconhecer claramente as limitaes da avalia-
o e explicitar o modo como se buscar resolv-las.
H amplos debates e produes a respeito de como se garantir qualidade nas ava- III. AVALIAO CONDUZIDA COM PRINCPIOS TI-
liaes. Centralmente coordenados por associaes de profissionais e organizaes COS E JURDICOS
multilaterais, h diferentes Padres ou Guias de Referncia para orientar quem
faz, contrata ou estuda avaliaes. Vejamos a seguir os 5 padres de qualidade Processos de avaliao devem ser transparentes e leg-
para avaliaes na Amrica Latina, lanados pela Rede Latino Americana de timos, garantindo que os direitos e responsabilidades de
Seguimento, Monitoramento e Avaliao (RELAC). Publicados em 2016, eles quem dele participa sejam reconhecidos e respeitados. Os
ajudam a pensar e revisar vrios dos componentes presentes neste material. procedimentos a serem adotados nas avaliaes no devem
afetar os direitos e a integridade dos participantes, quer como
membros de alguma instituio ou como pertencentes s comu-
I. AVALIAO RIGOROSA nidades.
As avaliaes devem usar mtodos rigorosos que permitam

determinar com preciso os feitos observados, mostrando evi- IV. COMPREENSO CULTURAL ADEQUADA
dncias que as. preciso garantir que a avaliao esteja
contextualizada, que tenha validade e que empregue uma As avaliaes devem respeitar a linguagem, cdigos e sentidos
metodologia rigorosa com respeito ao desenho, planeja- culturais de populaes que podem ser afetadas ou beneficiadas
mento e execuo, orientada para a qualidade, com tcnicas pelas avaliaes. Os processos de avaliao devem ser sens-
e ferramentas apropriadas de coleta, anlise e interpreta- veis aos diferentes contextos histrico-culturais, manifes-
o dos dados. Uma avaliao de qualidade deve ser precisa em tando uma boa comunicao e empatia com as culturas e
seus resultados e oferecer, de maneira oportuna, proposies, pessoas com as quais trabalham.
concluses e recomendaes teis para a tomada de decises.
IV. RELEVNCIA E UTILIDADE

II. AVALIABILIDADE ADEQUADA
As avaliaes devem atender s necessidades de informao e
As avaliaes precisam ser realistas, prudentes, apropriadas e conhecimento dos usurios, ao mesmo tempo em que as partes
conscientes dos custos que implicam. Antes de iniciar, deve-se interessadas se apropriem dela. desejvel que os participantes
determinar se o objeto a ser avaliado foi definido adequadamen- valorizarem os processos e produtos da avaliao, reconhecen-
te e se a metodologia e instrumentos desenhados permitem do-os como significativos para satisfazer as suas necessidades.
obter evidncias verificveis para responder s hipteses e s As avaliaes devem ser oportunas e prticas a fim de aportar
perguntas avaliativas propostas. Antes de iniciar a avaliao sugestes teis para melhorar as aes, a tomada de decises e
necessrio determinar e garantir um nvel de pertinncia, a aprendizagem para o seu uso global e em diferentes contextos
oportunidade, mensurabilidade, independncia e acessibi- e situaes.
LEITURA ANEXO 1. PORTAIS E LISTAS

Conhea os standards para avaliao de programas (EUA) SOBRE MONITORAMENTO E
AVALIAO
https://goo.gl/enlyE2
Conhea os Princpios Orientadores para Avaliadores (EUA)

https://goo.gl/WtBY9c
Conhea os standards para avaliao do United Nations Evaluation https://redebrasileirademea.ning.com/

Group Rede Brasileira de Monitoramento e Avaliao
https://goo.gl/Yz9CCr
http://www.abave.org.br/
Associao Brasileira de Avaliao Educacional
http://avaliacaodeimpacto.org.br/
Associao Brasileira de Avaliao de Impacto, Conhecimento e Colaborao para
Qualidade Socioambiental
http://noticiasrelac.ning.com/
Rede de Avaliao, Seguimento e Sistematizao da Amrica Latina e Caribe
http://RealEvaluation.com/
E. Jane Davidson tem um site com contedos referentes avaliao, inclusive
guias, orientaes prticas e treinamentos on-line.
http://www.theoryofchange.nl/
Portal online que difunde o pensamento e a prtica baseada no uso da Teoria
de Mudana, no qual nos baseamos em grande medida para a construo deste
material.
http://www.3ieimpact.org/
Iniciativa Internacional para Avaliao de Impacto
http://www.wmich.edu/evaluation
The Evaluation Center Western Michigan University
http://www.claremontevaluationcenter.com
The Claremont University Evaluation Center ANEXO 2. EXEMPLOS DE BASES
http://www.europeanevaluation.org/
Sociedade Europeia de Avaliao
E PESQUISAS PBLICAS PARA
http://betterevaluation.org/
Better Evaluation
BUSCA DE DADOS
http://www.ioce.net/
International Organization for Cooperation in Evaluation http://www.atlasbrasil.org.br/2013/
Atlas do Desenvolvimento humano
http://caci.rosaluxspba.
org/#!/?loc=-13.068776734357694,-63.80859374999999,4
Cartografia de Ataques contra Indgenas Fundao Rosa Luxemburgo
http://dados.mj.gov.br
Dados do Ministrio da Justia
http://datapopular.com.br/
Data Popular
http://datasus.saude.gov.br/
Data SUS - Informao em Sade
http://www.foradaescolanaopode.org.br/
Fora da Escola no Pode
http://www.forumseguranca.org.br/produtos/anuario-brasileiro-de-
seguranca-publica/10o-anuario-brasileiro-de-seguranca-publica
Frum Brasileiro de Segurana Pblica
http://www.ibge.gov.br/home/mapa_site/mapa_site.php#canais
Instituto Brasileiro de Geografia e Estatstica IBGE (canais)
http://www.ipea.gov.br/portal/
Instituto de Pesquisas Econmicas Aplicadas IPEA
http://www.reduca-al.net/observatorio/inicio
Observatorio ciudadano de la educacin AUTORES
http://www.observatoriodopne.org.br/
Observatrio do PNE
Rogrio Renato Silva
http://www.ibge.gov.br/home/estatistica/pesquisas/pesquisa_resultados. Max Gasparini
php?id_pesquisa=40 Elis Alquezar
Pesquisa Nacional por Amostra de Domiclios PNAD Paola Gongra
Antonio Ribeiro
http://planocde.com.br/cases/
Plano CDE
2017
http://aplicacoes.mds.gov.br/sagirmps/portal-censo
Portal do Censo SUAS
http://www.relatoriosdinamicos.com.br/portalodm/
Portal do ODM
http://www.qedu.org.br/
QEdu - Informaes sobre educao bsica
http://simec.mec.gov.br/pde/graficopne.php
Sistema Integrado de Monitoramento da Execuo e Controle
REFERNCIAS BIBLIOGRFICAS x
Shewhart, W. A. Statistical Method from the Viewpoint of Quality Control. De-
partment of Agriculture. Dover, 1986.
xi
Deming, W.E. Elementary Principles of the Statistical Control of Quality, JUSE,
i
Guba, E. G.; Lincoln, Y. S. Avaliao de quarta gerao. Campinas: Unicamp, 2011. 1950.
ii
Sanders, J.; Fitzpatrick, J. Worthen, B. Uma introduo a avaliao de Progra- xii
DFurtado, J.P. Avaliao para o conhecimento e transformao. In: Avaliao
mas. Conceitos e Prticas. So Paulo: Gente/EDUSP/Instituto Fonte/IAS; 2004. qualitativa de programas de sade. Enfoques emergentes. Bosi, M.L.M; Mercado,
F.G. (orgs) 3.ed. Petrpoles, RJ: Vozes, 2013. 191-206.
iii
Brasil. Ministrio do Desenvolvimento Social e Combate fome. Avaliao de
polticas pblicas: reflexes acadmicas sobre desenvolvimento social e combate xiii
Chen , T. H. Theory-Driven Evaluations. Beverly Hills: Sage, 1990.
fome. V.4. Segurana alimentar e nutricional. Brasilia, DF: MDS. Secretaria de
avaliao e gesto da informao, 2014. xiv
Chen , T. H. Theory-Driven Evaluations. Beverly Hills: Sage, 1990.
iv
Contandriopoulos A.P; Champagne F, D. J.L; Pineault R. A avaliao na rea da xv
Patton M.Q. Practical evaluation. Sage Publications, Beverly Hills, 1982.
sade: conceitos e mtodos, pp. 29-47. In: Z.M.A, Hartz (org.). Avaliao em sade:
dos modelos conceituais prtica da implantao de programas. Editora Fiocruz, xvi
Weiss, C. New Approaches to Evaluating Comprehensive Community Initiatives,
Rio de Janeiro, 1997. 1995
v
Gasparini, M. F. V.; Furtado, J. P. Avaliao de Programas e Servios Sociais no xvii
Rogers, P.J. Methodological Brief No.2: Theory of Change . UNICEF, 2014. Dis-
Brasil: uma anlise das prticas no contexto atual. Serv. Soc. Soc., So Paulo, n. ponpivel em: https://goo.gl/ykcgpT
117, p. 122-141, mar. 2014.
xviii
Potvin, L.; Gendron, S; Bilodeau, A. Trs posturas ontolgicas concernentes
vi
Brando, D. B.; Silva, R.R.; Palos, C.M.C. Da construo de capacidade avaliatria natureza dos programas de sade: implicaes para a avaliao. In: Bosi, M.L.M.;
em iniciativas sociais: algumas reflexes. Ensaio: aval. pol. pbl. Educ., Rio de Ja- Mercado, F.J. Avaliao qualitativa de programas de sade: enfoques emergen-
neiro, v.13, n.48, p. 361-374, jul./set. 2005. tes. Petrpolis, RJ: Vozes, 2006.
vii
Oliveira Filho, G.R.; Kiyama, R.S.; Comini, G. Os desafios de mensurar o impacto xix
Matus, C. Poltica, planejamento e governo. Braslia, DF: IPEA, 1993.
social. In: Negcios com impacto social no Brasil. In: BARKI, E. et al. (Org.). Neg-
cios com impacto social no Brasil. So Paulo: Petrpolis, 2013. p. 211-235. xx
Davidson, E. J. Tornar as avaliaes estrategicamente prticas e relevantes.
In.: A relevncia da avaliao para o investimento social privado / organizao
viii
Artemisia. Impacto Social. Website. Disponvel em: http://artemisia.org.br/con- Fundao Ita Social, Fundao Roberto Marinho, Move. So Paulo : Fundao
teudo/negocios/impacto-social.aspx Santillana, 2012.
ix
Silva, R. R. Sobre avaliao e desenvolvimento organizacional. In: Otero, M. Con- xxi
Furtado, J. P. A avaliao participativa. In.: Contexto e prtica da avaliao de
texto e prtica da avaliao de iniciativas sociais no Brasil: temas atuais. So iniciativas sociais no Brasil: temas atuais /Otero, M. R. (org.). So Paulo: Petrpo-
Paulo: Instituto Fonte/Peirpolis, 2012. Pg. 43-60. lis, 2012.
xxii
Arnstein, S. R. Uma escada da participao cidad. Revista da Associao Brasi- xxxiii
Minayo, M. C. S. (Org.). Pesquisa social: teoria mtodo e criatividade. 17 ed.
leira para o Fortalecimento da Participao PARTICIPE, Porto Alegre/Santa Cruz Petrpolis, RJ: Vozes, 1994.
do Sul, v. 2, n. 2, p. 4-13, jan. 2002.
xxxiv
Minayo, M. C. S. (Org.). Pesquisa social: teoria mtodo e criatividade. 17 ed.
xxiii
Kusters, C. S. L. et al. Making evaluations matter: a practical guide for evalua- Petrpolis, RJ: Vozes, 1994.
tors. Wageningen: Centre for Development Innovation, Wageningen University &
Research Centre, 2011. xxxv
Lejano, R. Frameworks for policy analysis: mergin text and context. Nova York:
Routledge, 2006, 269 pp.
xxiv
Januzzi, P. Monitoramento e Avaliao de programas sociais. Uma introduceo
aos conceitos e tcnicas. Campinas: Alnea Editora; 2016. xxxvi
Campos, C.J.G. Mtodo de anlise de contedo: ferramenta para a anlise de
dados qualitativos no campo da sade. Ver. Bras. Enferm, Braslia (DF) 2004 set/
xxv
Champagne, F. et al. A anlise de implantao. In: BROUSSELE, A. et al. (Orgs.). out;57(5):611-4.
Avaliao: conceitos e mtodos, Rio de Janeiro: Fiocruz, 2011.
xxxvii
Alves, C. K. A. et al. Interpretao e anlise das informaes: o uso de matri-
xxvi
Donabedian. A. Evaluating the Quality of Medical Care. Milbank Q. 2005 Dec; zes, critrios, indicadores e padres. In: SAMICO et al. (Org.). Avaliao em sade:
83(4): 691729. bases conceituais e operacionais. Rio de Janeiro: Medbook, 2010.
xxvii
Medina, F.G. et al. Uso de modelos tericos na avaliao em sade: aspectos xxxviii
Armani, D. Concepes e prticas de desenvolvimento institucional na Rede
conceituais e operacionais. In: HARTZ, Z.M. de A.; VIEIRA-DA-SILVA L.M. (Org.). PAD. Relatrio da Sistematizao Nacional sobre DIDO. Porto Alegre: setembro
Avaliao em sade: dos modelos tericos prtica na avaliao de programas e 2000.
sistemas de sade. Salvador: EDUFBA, 2005.
xxxix
Silva, R. R. Avaliao e Desenvolvimento Organizacional. In: Um panorama da
xxviii
Campbell, D.T. e Stanley, J.C. Delineamentos experimentais e quase-experi- avaliao de programas sociais no Brasil. So Paulo: Instituto Fonte/Peirpolis,
mentais de pesquisa. Traduo de R.A.T. Di Dio. So Paulo: EPU-EDUSP, 1979. 2012.
xxix
Bamberg, M. , Rugh,J.; Mabry,L. Real World Evaluation. SAGE Publications, xxxx
Silva, R. R. possvel avaliar para aprender? Instituto Fonte. Editorial. Dispon-
2006. vel em: http://www.fonte.org.br/conteudo/-possvel-avaliar-para-aprender
xxx
Bondia, J.L. Notas sobre a experincia e o saber de experincia. Rev. Bras. xxxxi
Silva, R. R. Avaliaes de programas sociais e de polticas pblicas. Ideias em
Educ., Rio de Janeiro, n. 19, p. 20-28, Apr. 2002. Gesto, v. 1, p. 32-35, 2013. Disponvel em: http://www.aiec.br/revista/edicoes/
novembro_2013/ideias.html
xxxi
Cassiani, S.B.; Caliri, M.H.L.; Pel, N.T.R. A teoria fundamentada nos dados
como abordagem da pesquisa interpretativa. Rev.latino-am.enfermagem, v. 4, n.
3, p. 75-88, dezembro 1996.
xxxii
Silva, R. R. Para objetos complexos, olhares plurais: A importncia dos mto-
dos mistos para planejar e avaliar. In: Composies: mtodos mistos em planeja-
mento e avaliao. Relatrio Anual 2012/2013. P. 05-08. So Paulo: Move, 2013.
Concepo e Coordenao:
Realizao tcnica:

Avaliação de impacto social

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Avaliação de impacto social

Uploaded by

Copyright:

Available Formats

AVALIAO

Encontre respostas a estas e outras perguntas

17 | Passo 7. Analisar as 99 21 | Incidncia poltica 117

Na perspectiva do Ministrio do Desenvolvimento Socialiii, avaliar implica O que avaliao?

UM IMPERATIVO TICO O carter formativo de uma avaliao apoia-se na ideia de que

A gesto baseada em dilogo e evidncia tem ajudado a trazer

partir do controle rgido da alocao de recursos, impactando

3| O QUE IMPACTO? 5 CONCEPES

Os resultados configuram-se como os

5 efeitos pelos quais a iniciativa/empreen-

No campo da sade, o impacto de um servio de pr-natal poder ser conhecido

No campo da educao, h tambm muitas possibilidades de se definir impacto.

importante compreender que cada ao pertence a uma cadeia de resultados

5 DIMENSES DE IMPACTO SOCIAL - AMPLIAO DE POSSIBILIDADES DE AUMENTO DE RENDA

ARTEMISIAviii O aumento de renda no deve ser entendido apenas como o

REDUO DE CONDIES DE VULNERABILIDADE

PARA A SOCIEDADE servar o impacto de sua organizao / negcio ou de um de seus programas ou

AUMENTO DE RENDA ACESSO A BENS

4| APOSTAR NO DILOGO 5|PLANEJAR, FAZER,

Ao mesmo tempo, avaliao no planejamento. Tentemos diferenciar as duas

Etapa que vai orientar o fazer.

Para um bom pensamento avaliativo, importante ter clareza de como

preciso conhecer o caminho: a falta de clareza sobre os passos a se-

Os atores precisam partilhar a viso: stakeholders de iniciativas com- QUANDO

Primeira parte (20)

UMA TEORIA DE MUDANA

c) algum que cumpra o papel de facilitadora ou facilitador, seja interno

Este o campo das intervenes ou atividades-macro e no da descrio de todas

rio de detalhar o conjunto de aes necessrias tanto para realizar um seminrio

Foi comunicada a outros atores de fora da organizao

Estimula novas reflexes, atualizaes, revises?

8|VOC MONITORA METAS,

NO QUE CONSISTE O MONITORAMENTO DE UMA AO?

Acompanhar periodicamente o status de desenvolvimento de uma

Produzir informaes que apoiem tcnicos e gestores a fazer

Ao longo de um ano de interveno, uma iniciativa estabelecera que 500 famlias

Vejamos o quadro. Dedicao para observar indicadores, acompanhar metas, observar

% de pacientes importante ainda lembrar que a iniciativa/empreendimento que monitora da-

No haver bom monitoramento sem boa produo de informaes. Da mesma

Tenha informaes sobre seu pblico-alvo. Quem so as pessoas

Tenha informaes sobre linha-de-base. Se h variveis claramente

Tenha informaes sobre atividades. O que voc oferece? Quais ati-

Se a iniciativa visa alterar a escolaridade ou a ren-

NO QUE CONSISTE A TAREFA?

Preparar e validar metas, milestones e entregas e construir ou ele-

Liderar a construo de um sistema de informao e o processo de

Liderar o processo de anlise de dados e garantir que os dados ou

Assegurar que as informaes produzidas alimentem reunies de

Nas unidades 0.3 e 0.4, apresentamos a voc uma sequncia

O estudo trouxe contribuies importantes iniciativa, porque soube equilibrar

Mesmo quando h disposio para envolver diferentes atores numa avaliao,

Uma alternativa comumente utilizada para ampliar a participao a constitui-

A participao importante tanto do ponto de vista metodolgico quanto pol-

A participao se caracteriza ainda pela entrada de diferentes atores so-

1. A pergunta tem efetiva importncia para os principais

2. A pergunta contribui para diminuir dvidas existentes?

4. A pergunta est centrada em elementos crticos do

6. possvel responder a esta pergunta com os recursos

Tema de avaliao, sendo um dos resul-

Fase convergente (20)

Adaptvel a qualquer iniciativa/empreendimento que se proponha a enfrentar

Durante o Em marcos Ao final de ciclos de

O ATO MULTIDIMENSIONAL E DINMICO DA ESCOLHA