See

discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/267697707

INDICADORES E A GESTO DE POLTICAS

PBLICAS

Article

CITATIONS READS

0 56

3 authors, including:

Paulo Jannuzzi
Escola Nacional de Cincias Estatsticas
45 PUBLICATIONS 110 CITATIONS

SEE PROFILE

All content following this page was uploaded by Paulo Jannuzzi on 21 April 2016.

The user has requested enhancement of the downloaded file.

INDICADORES E A GESTO DE
POLTICAS PBLICAS

Cludia Antico
Paulo de Martino Jannuzzi

1
 INDICADORES E A GESTO DE POLTICAS PBLICAS1

Introduo
A Administrao Pblica, em geral, vem passando por mudanas institucionais
relacionadas consolidao da sistemtica do Planejamento Plurianual, ao
aprimoramento dos controles administrativos dos Ministrios, mudana da nfase da
auditoria dos Tribunais de Contas da avaliao da conformidade legal para a avaliao
do desempenho dos programas, reforma gerencial da Gesto Pblica em meados dos
anos 1990 (GARCIA 2001, COSTA e CASTANHAR 2003). O interesse crescente pelo
uso de indicadores nas atividades ligadas gesto de polticas pblicas deve-se, em
grande parte, a tais fatores, assim como ao aprimoramento do controle societal do
Estado Brasileiro nos ltimos 20 anos. A mdia, os sindicatos, a sociedade civil
passaram a ter maior poder de fiscalizao do gasto pblico, exigindo o uso mais
eficiente, eficaz e efetivo do mesmo, e a reorganizao das atividades de planejamento
em bases mais tcnicas.
O acesso crescentemente facilitado s informaes mais estruturadas de
natureza administrativa e estatstica que as novas tecnologias de informao e
comunicao viabilizam tambm tem contribudo para a disseminao do uso dos
indicadores na gesto pblica. Dados cadastrais antes armazenados em armrios e
fichrios passam a transitar pela rede, transformando-se em informao estruturada para
anlise e tomada de deciso. Dados estatsticos antes inacessveis em enormes arquivos
digitais passam a ser customizados na forma de tabelas, mapas e modelos
quantitativos construdos por usurios no especializados. Sem dvida, a Internet, os
CD-ROMs inteligentes, os arquivos de microdados potencializaram a disseminao da
informao administrativa compilada por rgos pblicos e a informao estatstica
produzida pelas agncias especializadas.

1
Esse texto est baseado em idias expostas em oportunidades anteriores (Jannuzzi 2001, 2002 e em
especial Jannuzzi 2005), valendo-se, ainda, das experincias de capacitao de tcnicos de ONGs e
gestores do setor pblico, desenvolvidas no mbito do convnio ENCE/IBGE e Fundao FORD, nas
experincias de participao em cursos de formao e extenso da Escola Nacional de Administrao
Pblica, da Fundao do Desenvolvimento Administrativo, e de Gesto Pblica da PUC-Campinas.

2
 com o objetivo de apresentar como essas informaes estruturadas podem ser
empregadas nas diferentes etapas do ciclo de formulao e avaliao de polticas
pblicas que se apresenta este texto. Em sua forma clssica, o ciclo de formulao e
avaliao de polticas pblicas composto pelas etapas de Diagnstico, Formulao,
Implementao e Avaliao (Figura 1). Cada etapa desse ciclo envolve o uso de um
conjunto de indicadores de diferentes naturezas e propriedades, em funo das
necessidades intrnsecas das atividades nelas envolvidas (Quadro 1).

Figura 1: Ciclo de Formulao e Avaliao de Polticas Pblicas

Diagnstico

Avaliao Formulao

Implementao

Este texto est estruturado em quatro tpicos correspondentes a cada uma das
etapas do ciclo, discutindo o uso dos indicadores tipos e propriedades desejveis em
cada fase, assim como as ferramentas analticas e aplicativos que podem potencializar o
uso dos mesmos na gesto das polticas pblicas.

Quadro 1: Indicadores requeridos nas etapas do Ciclo de Formulao e Avaliao de Polticas

Pblicas
Etapas Tipos e Propriedades Fontes de Dados Predominantes
Amplo escopo temtico
Elaborao do Diagnstico Ampla desagregabilidade
Censos Demogrficos
Indicadores que permitam retratar geogrfica e populacional
Pesquisas amostrais
a realidade Validade de constructo
Boa confiabilidade
Formulao de programas e
Indicadores sintticos
seleo de alternativas Censos Demogrficos
Indicadores multicriteriais
Indicadores que orientem Pesquisas amostrais
Tipologias de situaes sociais
objetivamente a tomada de deciso
Implementao/Execuo Esforo (insumos/processos) Registros Administrativos
Indicadores que permitam filmar Atualidade/regularidade Registros gerados nos
o processo de implementao dos Sensibilidade procedimentos dos prprios
programas formulados e a eficincia Especificidade programas
Pesquisas amostrais
Avaliao
Resultados e Impactos Registros administrativos
Indicadores que permitam revelar
Distncia s metas Grupos focais
a eficcia e efetividade social dos
Tipologias Pesquisas de egressos e
programas
participantes no programa

3
Indicadores na Elaborao do Diagnstico

Na etapa de elaborao do Diagnstico, so necessrios indicadores de boa

confiabilidade, validade e desagregabilidade, cobrindo as diversas temticas da
realidade. preciso um retrato amplo e detalhado da situao vivenciada pela
populao para orientar, posteriormente, as questes prioritrias a atender, os formatos
dos programas a implementar, as estratgias e aes a desenvolver. Trata-se de
caracterizar o Marco Zero, a partir do qual se poder avaliar se o programa est
provocando as mudanas desejveis. Os indicadores usados nesta etapa so construdos,
em geral, a partir dos Censos Demogrficos ou pesquisas amostrais multitemticas
(como as PNADs Pesquisa Nacional por Amostra de Domiclios).
O Censo Demogrfico 2000 constitui-se em uma fonte muito rica de indicadores
para elaborao de um diagnstico, pelo escopo temtico, desagregabilidade territorial e
popuplacional e comparabilidade inter-regional. Foram levantados na amostra do Censo
mais de 70 quesitos de informao, cobrindo caractersticas domiciliares, infra-estrutura
urbana, caractersticas demogrficas e educacionais dos indivduos, insero da mo-de-
obra, rendimentos, acesso a alguns programas pblicos etc. Os indicadores dessas
dimenses analticas podem ser computados para diversos grupos sociodemogrficos
(por sexo, raa/cor, estratos de renda etc) e escalas territoriais que chegam ao nvel de
agregaes de bairros de municpios (reas de ponderao) e at mesmo ao nvel de
setor censitrio (conjunto de cerca de 200 a 300 domiclios na zona urbana, para os
quesitos levantados no questionrio bsico, aplicados em todos os domiclios do pas).
Atravs de um software de fcil manipulao Estatcart pode-se extrair estatsticas e
cartogramas da quase totalidade de municpios de mdio porte no pas, ao nvel de setor
censitrio ou reas de ponderao, como ilustrado atravs da Figura 2.

4
Figura 2: Cartograma produzido pelo Estatcart ilustrando diferenciais socioeconmicos ao nvel
de setor censitrio e mapa de um setor (com ruas e quadras)
Sumar SP 2000

Esta possibilidade de dispor de informao estatstica por setor censitrio (ou

rea de ponderao) no parece ter sido explorada em toda sua potencialidade por parte
de formuladores e gestores de programas pblicos, seja no mbito federal, estadual ou
municipal. Quando se trata de fazer diagnsticos sociais mais detalhados
territorialmente emprega-se, em geral, indicadores mdios computados para os
municpios, escondendo-se os bolses de iniquidades presentes dentro de cada um dos
municpios brasileiros. Os indicadores mdios de rendimentos ou infra-estrutura urbana
do Municpio de So Paulo so, por exemplo, bem melhores que a mdia geral dos
municpios brasileiros. Contudo, se os indicadores forem computados ao nvel de
setores censitrios se poder constatar no territrio paulistano a diversidade de situaes

5
de condies de vida encontrada pelo territrio nacional. Ou seja, possvel encontrar
bolses de pobreza na capital paulistana com caractersticas de alguns municpios no
Nordeste2.
Um dos recursos que tem auxiliado na elaborao e apresentao de
Diagnsticos Sociais a proposio de Tipologias, Agrupamentos ou Arqutipos,
usados para classificar unidades territoriais segundo um conjunto especfico de
indicadores sociais e, portanto, apontando os dficits de servios pblicos, de programas
especficos etc. O ndice Paulista de Responsabilidade Social um exemplo neste
sentido, ao classificar os municpios paulistas em cinco grupos, de acordo com os nveis
observados de indicadores de sade, escolaridade e porte econmico municipal
(SEADE 2002).
Alm dos indicadores multitemticos para retratar as condies de vida,
referentes sade, habitao, mercado de trabalho etc, tambm devem fazer parte de um
Diagnstico Social os indicadores demogrficos, em especial, aqueles que permitem
apresentar as tendncias de crescimento populacional passado e as projees
demogrficas futuras, para dimensionamento de pblicos-alvo dos diversos programas
em termos de idade e sexo. As mudanas demogrficas foram bastante intensas no pas
nos ltimos 30 anos, com impacto significativo e regionalmente diferenciado sobre a
demanda de vagas escolares, postos de trabalho etc (MARTINE et al. 1994).

Indicadores na Formulao de Programas

Na segunda etapa do ciclo de gesto pblica Formulao , requer-se um

conjunto mais reduzido de indicadores, selecionados a partir dos objetivos norteadores
dos programas definidos como prioritrios pela Agenda Poltico-Social vigente. Por
meio do Diagnstico, so identificados, em tese, os bolses de pobreza, as reas com
maior dficit de servios urbanos, com maior parcela de crianas fora da escola, com
maior nmero de responsveis sujeitos ao desemprego etc. Na etapa de Formulao,
deve-se definir, a partir da orientao poltica governamental, a natureza dos programas,
as questes sociais prioritrias a enfrentar e os pblicos-alvo a atender.
Nesta fase, os Indicadores Sintticos podem ter maior aplicao, na medida em

2
De fato, o que o ndice Paulista de Vulnerabilidade Social calculado por setor censitrio permite

6
que oferecem ao gestor uma medida-sntese das condies de vida, vulnerabilidade,
desenvolvimento social de municpios, estados ou outra unidade territorial de
implementao de programas. O IDH-Municipal foi, por exemplo, o indicador
empregado pelo Programa Comunidade Solidria para selecionar os municpios para
suas aes, o que certamente representou um avano em termos de critrio tcnico-
poltico de priorizao. Contudo, a escolha desse indicador acabou por excluir do
programa todas as cidades mdias e populosas do Sudeste, j que suas medidas sociais
mdias calculadas para a totalidade do municpio eram sempre mais altas que as dos
municpios do Norte e Nordeste. Se fosse usado um indicador calculado para domnios
sub-municipais (setor censitrio, bairros, reas de ponderao etc), os municpios do
Sudeste certamente teriam bolses que se enquadrariam entre os pblicos-alvo
prioritrios do programa.
Esse exemplo deixa claro a importncia do diagnstico micro-espacializado
comentado anteriormente, em especial o realizado ao nvel de setor censitrio.
possvel, desta forma, no s garantir maior preciso e eficincia na alocao dos
programas que devem ser focalizados, como tambm acompanhar, posteriormente, os
seus efeitos. Alm disso, o uso do setor censitrio (ou rea de ponderao) garante, em
alguma medida, a compatibilizao dos quantitativos populacionais de cada pequena
rea, amenizando os efeitos potencialmente destoantes da tomada de deciso baseada
em indicadores expressos em termos relativos. Dois municpios podem ter, por
exemplo, percentual similar de famlias indigentes, mas totais absolutos de indigentes
muito distintos. Municpios populosos podem apresentar cifras relativamente mais
baixas de indigentes, mas ainda assim podem reunir totais absolutos bastante
significativos. Em qual municpio deve se priorizar as aes de Programas de
Transferncia de Renda: naquele em que a intensidade de indigncia elevada ou
naquele em que o quantitativo de indigentes maior? Quando se tm indicadores
calculados para reas com totais populacionais mais compatveis, rankings de
priorizao baseados em indicadores relativos ou absolutos diferem pouco3.
A diferena na focalizao com uso de indicadores relativos e absolutos fica
evidente na Figura 3, em que se representa, esquerda, a proporo de responsveis

constatar (vide em www.seade.gov.br).

3
Vale observar, contudo, que os setores censitrios apresentam variabilidade significativa em termos de
quantitativos populacionais pelos municpios brasileiros.

7
sem rendimento ou com at um salrio mnimo, e direita, o total de responsveis com
mesma caracterstica. Se fato que a intensidade relativa de pobreza alta nos
pequenos municpios do Serto Nordestino, tambm verdade que nos municpios
mdios e grandes do Sudeste (e em todo territrio nacional) os quantitativos
populacionais nesta situao so muito expressivos. A adoo do setor censitrio como
unidade de representao territorial dos indicadores pelo fato de garantir certa
compatibilidade dos totais populacionais eliminaria, em larga medida, este problema
na identificao de pblicos-alvo baseados em medidas relativas e absolutas.

Figura 3: Responsveis por domiclio sem rendimento ou com rendimento at 1 salrio mnimo,
representado como proporo e total populacional
Brasil 2000
Proporo de chefes sem rendimento ou Total de chefes sem rendimento ou
at 1 salrio mnimo at 1 salrio mnimo

Idealmente, a tomada de deciso com relao aos pblicos-alvo a serem

priorizados deve-se pautar em um indicador mais especfico e vlido para o programa
em questo, mais relacionado aos seus objetivos, como a taxa de mortalidade infantil
em Programas de Sade Materno Infantil, dficit de peso ou altura em Programas de
Combate Fome, ou proporo de domiclios com baixa renda em Programas de
Transferncia de Renda. Se vrios indicadores devem ser usados e os critrios de
elegibilidade referem-se a variveis existentes no Censo Demogrfico possvel fazer
processamentos especficos, de forma relativamente rpida atravs de um pacote
estatstico (com os microdados do Censo em 16 CDRoms), ou mesmo atravs de uma
ferramenta disponibilizada pela Internet (Banco Multidimensional de Estatsticas) no
stio do IBGE. Um desses indicadores, construdos atravs do cruzamento de variveis
do Censo 2000, o trazido na ltima tabela da publicao Indicadores Municipais do
IBGE (2002). Trata-se de um indicador combinado, construdo a partir do cruzamento

8
simultneo de diversos critrios, representando a proporo dos domiclios particulares
permanentes que no tm escoadouros ligados rede geral ou fossa sptica, no so
servidos de gua por rede geral, no tm coleta regular de lixo, seus responsveis
(chefes) tm menos de 4 anos de estudo e rendimento mdio mensal at 2 salrios
mnimos. Este indicador pode ser calculado tambm por reas de ponderao do Censo,
e tem se mostrado com grande poder de discriminao e validade em representar
situaes de carncias de servios pblicos bsicos pelo territrio nacional.
Em alguns casos de programas inter-setoriais, que envolvem esforos de equipes
de diferentes reas e o alcance de vrios objetivos, pode ser interessante tomar a deciso
acerca das reas prioritrias de implantao dos programas a partir da combinao de
vrios critrios (indicadores). Neste caso, pode-se empregar a Anlise Multicritrio,
tcnica estruturada para tomada de decises em que interagem vrios agentes, cada um
com seus critrios e juzos de valor acerca do que mais importante considerar na
deciso final (ENSSLIN et al. 2001). A vantagem do uso dessa tcnica em relao a
outras, como o emprego de Indicadores Sintticos, que ela permite que a deciso seja
pautada com base nos critrios (indicadores) considerados relevantes para o programa
em questo pelos agentes decisores, e que a importncia dos critrios seja definida pelos
mesmos, em um processo de interatividade com outros atores tcnico-polticos. Alguns
algoritmos que implementam a tcnica produzem solues hierarquizadas como um
Indicador Sinttico e robustas, no dependentes da escala de medida ou disperso das
variveis.
H diferentes formas de implementar de forma estruturada o processo coletivo
de tomada de deciso, entre os quais, o implementado computacionalmente no software
Programa para Apoio tomada de Deciso baseada em Indicadores (PRADIN)4. Na
forma como foi implementada a tcnica no programa, necessrio especificar quem so
os decisores, o poder de influncia de cada um, os indicadores usados como critrios de
avaliao, os pesos e valores destes indicadores para cada alternativa considerada,
possveis escolhas a serem avaliadas como programas alternativos ou municpios-alvo
de um programa (Quadro 2). Deve-se, tambm, escolher a funo de preferncia e seus

4
Este programa foi desenvolvido para a ANIPES Associao Nacional de Instituies de Planejamento,
Pesquisa e Estatstica e SEI Superintendncia de Estudos Econmicos e Sociais da Bahia como
ferramenta para uso por gestores na seleo de pblicos-alvo de programas sociais. Est disponvel como
recurso de capacitao em tcnicas multicritrio em www.anipes.org.br. Para aplicaes prticas h
vrios softwares disponveis na Internet.

9
parmetros, o nvel de indiferena, relacionado confiabilidade dos indicadores e ao
que se considera como padro normativo esperado (ou boas prticas) , que definiro a
regra de comparao, duas a duas, entre as alternativas, para cada indicador ou critrio
definido.

Quadro 2: Etapas de Construo do Indicador Multicriterial para seleo de pblico-alvo de

programas sociais usando o PRADIN

1a.etapa
Definio do programa, agentes envolvidos e poder de
influncia dos mesmos (com base na posio hierrquica,
recursos aportados etc)

2a.etapa
Explicitao dos indicadores que sero tomados como
critrios para deciso, bem como a importncia que cada
agente confere ao mesmo

3a.etapa
Etapa recorrente
Definio dos parmetros do algoritmo de comparao das
Simulaes
alternativas segundo os critrios como a funo de
segundo avaliao
preferncia, nveis de indiferena e preferncia
coletiva dos
resultados

4a.etapa
Cmputo do Indicador Multicriterial

5a.etapa
Anlise de Sensibilidade para validao do Indicador
Multicriterial

6a.etapa
Gerao dos Agrupamentos de Solues

10
 Com o emprego do programa, as alternativas so hierarquizadas pelo resultado
lquido entre superaes e subordinaes, definidas pelas comparaes, duas a duas das
alternativas, para cada indicador, usando a funo de preferncia. Ao final da aplicao
do algoritmo, tem-se o conjunto de alternativas classificadas por um indicador-sntese
indicador multicriterial , ordenando as alternativas, da menor para aquela de maior
potencialidade, segundo os critrios e pesos estabelecidos (Figura 4).

Figura 4: Exemplo de uso do Pradin na construo e validao de indicador multicriterial

1) Definindo decisores e poder de deciso 2) Definindo pesos para os indicadores e a funo de preferncia

3) Computando o indicador multicriterial 4) Testando a soluo atravs da Anlise de Sensibilidade

Um aspecto interessante no uso desta tcnica para a tomada de deciso que ela
permite a simulao de solues, mediante variaes nos pesos, introduo ou retirada
de indicadores e alternativas, ou ainda troca de parmetros e funes usadas para
comparao das alternativas a serem avaliadas.
Na forma em que a tcnica foi implementada no PRADIN possvel, ainda,
validar a soluo encontrada atravs de uma Anlise de Sensibilidade, avaliando o
impacto na soluo final de pequenas variaes nos pesos dos indicadores, no poder de

11
influncia dos decisores ou ainda da retirada de algumas alternativas. Implementou-se
tambm no programa o recurso de definio de clusters Anlise de Agrupamentos
por proximidade do indicador multicriterial, para situaes em que se busca no apenas
uma hierarquizao das alternativas, mas tambm grupos de alternativas similares
segundo os critrios usados.
Para ilustrar o uso da Anlise Multicritrio na identificao de pblicos-alvo
prioritrios a atender, seguindo o Quadro 2, suponha a existncia de um programa
pblico que envolva diferentes Ministrios ou Secretarias Sade, Desenvolvimento
Social, Infra-estrutura Urbana, Habitao, cada um com volume de recursos especficos
para o programa (Etapa 1 do Quadro 2). Suponha, ainda, que tal programa est voltado
diminuio do Dficit Social mais bsico nos municpios brasileiros, expresso, por
exemplo, pela demanda no atendida de ensino bsico para crianas e adolescentes, de
programas de assistncia social de transferncia de renda e proteo ao risco de
desemprego de chefes de famlia, de servios bsicos de preveno sade pblica
(minimamente garantidos pelo acesso a servios de infra-estrutura urbana como
abastecimento de gua, saneamento bsico adequado, coleta de lixo) e programas de
habitao popular.
Considerando a natureza intersetorial deste programa, seus objetivos e a
disponibilidade de informaes estatsticas municipais, possvel que o processo de
busca, discusso e seleo dos indicadores acabe resultando no conjunto apresentado no
Quadro 2 (Etapa 2 do Quadro 2). Esses indicadores podem ser computados por meio das
informaes do Censo Demogrfico 2000, dimensionando, para cada municpio, a
parcela da populao que no reside em uma moradia adequada, no tem acesso a
servios bsicos de infra-estrutura urbana, no tem acesso a oportunidades educacionais,
ou no dispe de rendimentos suficientes provenientes do seu trabalho, aposentadoria
ou programas pblicos de transferncia de renda para manuteno de um padro
adequado de vida.

12
Quadro 3: Possvel conjunto de Indicadores analticos usados na construo do Indicador
Multicriterial de Dficit Social no Brasil

Critrio normativo de
Dimenso do Dficit Indicadores
adequao (em %)

dficit em educao Pessoas de 7 a 14 anos analfabetas 0% analfabetos

Chefes sem instruo ou at 1 ano de escola 0% analfabetos

dficit em renda, trabalho e

Chefes sem rendimento ou com rendimento at 1 sm 0% Chefes
assistncia social

Domiclios urbanossem acesso rede gua ou poo 0% Domiclios

dficit em sade e Domiclios urbanos sem esgotamento sanitrio

0% Domiclios
saneamento adequado

Domiclios urbanos sem coleta de lixo 0% Domiclios

dficit em habitao Domiclios invadidos ou improvisados 0% Domiclios

Domiclios com 10 ou mais moradores 0% Domiclios

Introduzindo-se tais indicadores, para todos os municpios brasileiros, fazendo-

se diferentes escolhas de ponderao e parmetros no programa (Etapa 3 do Quadro 2),
chega-se a solues do tipo da ilustrado na Figura 5, retratando a dicotomia NorteSul
no nvel de atendimento de servios bsicos populao (Etapa 4 do Quadro 2). Tem-
se, assim, depois de testada a robustez da soluo e sua validao pelos rgos
financiadores do programa, os pblicos-alvo prioritrios a atender.

Figura 5: Possvel Ilustrao dos Muncpios-alvo a atender em um programa pblico voltado

diminuio do Dficit Social no Brasil, com a aplicao do Pradin

13
 Essa proposta metodolgica de construo de indicadores de priorizao atravs
da Anlise Multicritrio certamente mais interessante que a oferecida pelos
Indicadores Sintticos mais gerais, j que permite a computao de uma medida
especfica para cada programa pblico, considerando seus objetivos, pblicos-alvo
especficos e escolhas tcno-polticas dos gestores pblicos encarregados de tomar as
decises.

Indicadores na Implementao e Monitoramento

Na etapa de Implementao e execuo dos programas so necessrios

indicadores de monitoramento, que devem primar pela sensibilidade, especificidade e,
sobretudo, pela periodicidade com que esto disponveis. As informaes produzidas
pelas agncias estatsticas no so, em geral, especficas para os propsitos de
monitoramento de programas, seja na escala territorial desejada, seja na regularidade
necessria.
Contudo, procurando atender demanda por informaes municipais mais
peridicas, o IBGE tem realizado de forma mais regular a Pesquisa Nacional de
Assistncia Mdico-Sanitria (AMS), a Pesquisa de Informaes Bsicas Municipais
(MUNIC) e a Pesquisa Nacional de Saneamento Bsico (PNSB).
A AMS corresponde a um censo de estabelecimentos de sade no pas,
identificando volume e qualificao de pessoal, equipamentos e outros recursos
disponibilizados para atendimento mdico-sanitrio da populao. Com isso, pode-se ter
uma idia mais clara e precisa do nvel e diversidade da oferta de servios de sade pelo
pas, atravs da construo de indicadores de esforos de polticas na rea de sade.
A MUNIC contempla, anualmente, o levantamento de um conjunto amplo de
informaes junto s prefeituras dos mais de 5 mil municpios brasileiros. So
levantados dados sobre a estrutura administrativa, o nvel de participao e formas de
controle social (existncia de conselhos municipais), existncia de legislao e
instrumentos de planejamento municipal (como a institucionalizao do Plano de
Governo, Plano Plurianual de Investimentos, Plano Diretor, Lei de Parcelamento do
Solo, entre outros), a disponibilidade de recursos para promoo da justia e segurana
(existncia da delegacia de mulheres, juizados de pequenas causas, etc), alm da

14
existncia de equipamentos especficos de comrcio, servios da indstria cultural e
lazer como bibliotecas pblicas, livrarias, jornais locais, ginsios de esporte. Essa
pesquisa permite, pois, construir indicadores que possibilitam retratar o grau de
participao e controle popular da ao pblica, e caracterizar o estgio de
desenvolvimento institucional das atividades de planejamento e gesto municipal pelo
pas.
A PNSB complementa esse quadro informacional sobre os municpios
brasileiros com a coleta de dados sobre Abastecimento de gua, Esgotamento sanitrio,
Limpeza Urbana e Sistema de Drenagem urbana. Pode-se dispor de outros indicadores
mais informativos sobre a estrutura e qualidade dos servios de infra-estrutura urbana,
que no se limitam a apontar o grau de cobertura populacional atendida. Com os dados
levantados nessa pesquisa, possvel construir indicadores de volume de gua ofertada
per capita, do tipo de tratamento e volume da gua distribuda populao, de volume e
destino do esgoto e lixo coletado, entre outros aspectos.
H tambm esforos louvveis de vrias instituies pblicas, alm do IBGE,
em disponibilizar informaes de seus cadastros e registros de forma mais peridica,
fato que se deve no s a necessidade de monitoramentos da ao governamental, mas
tambm das facilidades que as novas tecnologias de informao e comunicaes tm
proporcionado. Os rgos estaduais de estatstica, o Ministrio da Sade, da Educao,
do Trabalho, do Desenvolvimento Social, da Previdncia Social, das Cidades, a
Secretaria do Tesouro Nacional disponibilizam pela Internet informaes bastante
especficas em escopo temtico e escala territorial- a partir de seus registros e sistemas
de controle internos, que podem ser teis para construo de indicadores de
monitoramento de programas (Quadro 3).

15
Quadro 3: Algumas das fontes oficiais para atualizao peridica de indicadores
Fonte Stio Contedo
Estatsticas scias e econmicas diversas, em diferentes
IBGE www.ibge.gov.br nveis de atualizao e desagregao territorial,
acessveis nas publicaes, no @Cidades, Sidra e BME
Pelo stio da Associao Nacional das Instituies de
rgos estaduais
www.anipes.org.br Planejamento, Pesquisa e Estatstica pode-se acessar os
de estatstica
rgos estaduais e as informaes dos mesmos
Estatsticas de mortalidade por causas
Ministrio da
www.datasus.gov.br Atendimentos no SUS
Sade
Registro de Vacinaes
Estatsticas educacionais
Ministrio da
www.inep.gov.br Docentes e equipamentos
Educao
Avaliao de desempenho educacional
Estatsticas mensais do Cadastro Geral de Empregados e
Ministrio do
www.mte.gov.br Desempregados
Trabalho
Relao Anual de Informaes Sociais
Ministrio do
Indicadores de Pobreza e Indigncia
Desenvolvimento www.mds.gov.br
Acesso aos Programas de Transferncia de Renda
Social
Ministrio da Benefcios e Auxlios concedidos
Previdncia www.mpas.gov.br Contribuintes
Social Acidentes de Trabalho
Ministrio das Indicadores urbanos e saneamento
www.cidades.gov.br
Cidades Dficit habitacional
Transferncias de recursos
Secretaria do
www.stn.fazenda.gov.br Execuo oramentria
Tesouro Nacional
Receitas e Despesas municipais

A lgica de acompanhamento de programas requer a estruturao de um sistema

de indicadores que, alm de especficos, sensveis e peridicos, permitam monitorar a
implementao processual do programa na lgica insumo-processo-resultado-impacto.
So necessrios indicadores que permitam monitorar o dispndio realizado por algum
tipo de unidade operacional prestadora de servios ou sub-projeto; o uso operacional
dos recursos humanos, financeiros e fsicos; a gerao de produtos e a percepo dos
efeitos sociais mais amplos dos programas. Assim, a distino entre a terceira e quarta
etapa do Ciclo de Programas pode ser menos evidente que nas demais, sobretudo em
programas de longa durao. Monitoramento e Avaliao de Programas so ambos
termos cunhados para designar procedimentos de acompanhamento de programas,
focados na anlise da eficincia, eficcia e efetividade dos mesmos (COHEN e
FRANCO 2000). So processos analticos organicamente articulados, sucedendo-se no
tempo, com o propsito de subsidiar o gestor pblico com informaes acerca do ritmo

16
e forma de implementao dos programas (indicadores de monitoramento) e dos
resultados e efeitos almejados (indicadores de avaliao).
Em muitas situaes, pode ser interessante dipor de um Paniel de Indicadores de
Monitoramento, construdo a partir da seleo de 5 a 10 indicadores do Sistema de
Informaes elaborado. Painis de Indicadores so apostas mais pragmticas, em geral
voltadas para monitoramento de programas mais especficos, envolvendo um conjunto
mais reduzido de informaes que podem ser produzidas de forma mais regular, sem a
pretenso de abarcar as mltiplas facetas da realidade, mas aquelas mais impactadas
pelas aes governamentais ou que mais interessa enfocar. Os indicadores dos Objetivos
de Desenvolvimento do Milnio e os indicadores do Radar Social do IPEA so
exemplos de propostas de conjuntos de indicadores organizados na forma de painis de
monitoramento.

17
Quadro 4: Exemplo de Painel de Indicadores de Monitoramento

18
Indicadores na Avaliao de Resultados e Impacto

A avaliao de um programa pblico requer indicadores que possam

dimensionar o grau de cumprimento dos objetivos dos mesmos (eficcia), o nvel de
utilizao de recursos frente aos custos em disponibiliz-los (eficincia) e a efetividade
social ou impacto do programa.
Os indicadores de desembolso de recursos e produtos construdos a partir de
registros prprios de controle e gerenciamento de programas podem permitir uma
avaliao indireta da eficcia dos programas no alcance das metas estabelecidas, quando
as estatsticas pblicas ou os dados administrativos de Ministrios e Secretarias
Estaduais no disponibilizarem dados especficos, peridicos e na escala territorial
desejada. Na falta de pesquisas amostrais regulares que contemplem temticas relativas
ao consumo de produtos culturais e hbitos de lazer, por exemplo, ainda no
incorporado Agenda Poltico-Social nacional de forma imperativa , a eficcia de
programas na rea (como Programas de Fomento Leitura) ter que ser inferida a partir
de produtos previstos nas aes desencadeadas, tais como volume de livros distribudos
s escolas e bibliotecas. Neste caso, indicadores de resultados mais vlidos para avaliar
a eficincia do programa como nmero mdio de livros lidos no ltimo ano, por
exemplo, so apenas ocasionalmente levantados pelo IBGE ou pela Cmara Brasileira
do Livro.
Na avaliao da eficincia, importante analisar os indicadores de resultados a
partir dos indicadores de esforos e recursos alocados, o que permite o
dimensionamento da eficincia dos programas. O emprego da Anlise Envoltria de
Dados (DEA) pode representar um grande avano metodolgico neste sentido (LINS e
MEZA 2000). Trata-se de uma tcnica derivada dos mtodos de pesquisa operacional,
que visa a identificao das unidades de operao mais eficientes, tendo em vista como
os recursos (retratados atravs de vrios indicadores de insumo) so utilizados para
gerar os resultados finais (medidos atravs de diversos indicadores-resultados),
considerando as condies estruturais de operao dos programas. Determinados
programas, implementados em regies mais pobres, podero no ter resultados to
promissores como em outras mais desenvolvidas. Assim, preciso avaliar a eficincia
dos programas em funo no apenas do resultado obtido e quantidade de recursos

19
alocados, mas considerando as dificuldades ou potencialidades existentes na regio em
que os programas esto operando. O que torna essa tcnica particularmente interessante
que se pode considerar os recursos e resultados como vetores de indicadores em suas
escalas originais, e no variveis representando valores monetrios de custos e
benefcios.
Como ilustra a Figura 6, a DEA permite identificar as boas prticas ou
benchmarks reais, isto , unidades de implementao de programas municpios,
escolas, hospitais em que os resultados so, de fato, compatveis com o nvel de
esforo e recursos empreendidos. Com tal identificao possvel ter referncias
especficas em termos de porte e caractersticas socioeconmicas para que outras
unidades de implementao de programas possam avaliar qual e em que intensidade
devem ser efetuados esforos corretivos.

Figura 6: Aplicao da Anlise Envoltria de Dados na identificao de Boas Prticas

Resultados Envoltria

+ +
+
R max +
Esforo
+ + + necessrio
Boas + +
Prticas + +
+ + +
+
+ +

Mdia
I1 Recursos

Outra demanda no ciclo de gesto de polticas pblicas, em particular na etapa

de Avaliao, a identificao dos seus impactos. Para tanto, deve-se empregar
indicadores de diferentes naturezas e propriedades, de forma a conseguir garantir tanto
quanto possvel a vinculao das aes do programa com as mudanas percebidas (ou
no) nas condies de vida da populao, tarefa sempre difcil de ser realizada (ROCHE
2002). Em primeiro lugar, a menos que a realidade social vivenciada antes do incio do
programa (Marco Zero) fosse muito trgica, ou que o programa tenha recebido recursos
muito expressivos para serem gastos em curto espao de tempo, no se pode esperar que

20
os produtos e resultados gerados no mbito dele possam ser imediatamente impactantes
sobre a sociedade. Programas de Transferncia de Renda ou Distribuio de Leite ou
Cestas Bsicas em periferias de grandes cidades do Sudeste proporcionam impactos
sociais comparativamente menos intensos e rpidos que Programas de Investimento em
Saneamento Bsico, por exemplo, no que diz respeito s condies de mortalidade
infantil. Contudo, ao longo do tempo, a transferncia de renda ou distribuio de
produtos contribuir para melhoria na nutrio de crianas, garantindo ganhos
adicionais contra mortalidade infantil, assim como, mais a mdio prazo, na melhoria do
desempenho escolar das mesmas. Esse exemplo revela, pois, a dificuldade de se atribuir
os efeitos de programas especficos sobre as mudanas estruturais nas condies sociais,
dificuldade que, paradoxalmente, cresce medida em que tais transformaes e os
impactos tendem a se tornar mais evidentes. A dificuldade ainda maior quando se
observa problemas de descontinuidades e de implementao nos programas pblicos.
Para perceber de forma mais clara os impactos dos programas deve-se buscar
medidas e indicadores mais especficos e sensveis aos efeitos por eles gerados. Uma
das formas de se operacionalizar isso avaliando efeitos sobre grupos especficos da
populao, seja em termos de renda, idade, raa, sexo ou localizao espacial. Se os
programas tm pblicos-alvo preferenciais, localizados em determinadas regies ou
estratos de renda, deve-se buscar indicadores de impacto que privilegiem a avaliao
dos mesmos, no do conjunto da populao, que pode estar, inclusive, sob o risco de
efeitos estruturais mais gerais (que podem no afetar o pblico-alvo na mesma
intensidade). Deve-se procurar tambm desenvolver estratgias metodolgicas
avaliativas de natureza qualitativa, com pesquisas de opinio ou grupos de discusso,
incorporando indicadores subjetivos na avaliao. Neste sentido, os impactos podem ser
avaliados em uma perspectiva mais restrita ou mais ampla, considerando o tamanho da
populao afetada, o espao de tempo considerado para a referncia dos indicadores e a
natureza mais objetiva ou subjetiva dos impactos percebidos pela populao.

21
Consideraes Finais

Uma das grandes dificuldades atuais no acompanhamento de programas pblicos

o de dispor de informaes peridicas e especficas acerca do processo de
implementao dos mesmos, do alcance dos resultados e do impacto social que tais
programas tm nos segmentos sociodemogrficos ou comunidades focalizadas pelo
programa. Seja em uma perspectiva de Avaliao Formativa isto , avaliao com
propsitos de acompanhar/monitorar a implementao de programas, a fim de verificar
se os rumos traados esto sendo seguidos e permitir intervenes corretivas , seja em
uma perspectiva de Avaliao Somativa isto , avaliao ao final do processo de
implementao, com propsitos mais amplos e meritrios (CANO 2002) o gestor de
programas sociais defronta-se com a dificuldade de obter dados vlidos, especficos e
regulares para seus propsitos.
Se fato que as informaes produzidas pelas agncias estatsticas so, em boa
medida, pouco especficas para os propsitos de monitoramento de programas, no
provendo informao na escala territorial desejada ou na regularidade necessria,
tambm verdade que elas podem se prestar para elaborao de diagnsticos bastante
detalhados em escopo e escala, como no caso das informaes provenientes dos Censos
Demogrficos. As informaes produzidas no mbito dos processos administrativos dos
Ministrios e Secretarias estaduais e municipais podem tambm suprir boa parte da
demanda de dados para construo de indicadores peridicos de monitoramento,
requerendo, contudo, algum re-trabalho de customizao em funo das necessidades
de delimitao territorial dos programas (desde que exista um cdigo de localizao da
escola, posto de sade, delegacia etc).
De qualquer forma, as estatsticas e dados do IBGE e outros rgos pblicos
dificilmente atendero todas as necessidades informacionais requeridas para o
monitoramento e avaliao de programas pblicos mais especficos. Assim,
necessrio, quando da formulao dos programas, prever a organizao de
procedimentos de coleta e tratamento de informaes especficas e confiveis em todas
as fases do ciclo de implementao, que possam permitir a construo de indicadores de
monitoramento desejados.

22
 Bibliografia

CANO, I. Avaliao de programas sociais. Rio de Janeiro: FGV, 2002.

COSTA, F.L. e CASTANHAR, J.C. Avaliao de programas pblicos: desafios

conceituais e metodolgicos. Revista Brasileira de Administrao Pblica, Rio de
Janeiro, 37(5): 969-992, 2003.

COHEN, E. e FRANCO, R. Avaliao de projetos sociais. Petrpolis: Vozes, 2000.

ENSSLIN, L. et al. Apoio Deciso: Metodologias para Estruturao de Problemas

e Avaliao Multicritrio de Alternativas. Florianpolis: Insular, 2001. v. 1000. 296
p.

GARCIA, R.C. Subsdios para organizar avaliaes da ao governamental.

Planejamento e Polticas Pblicas, Braslia, 23, 7:70, 2001.

IBGE. Indicadores Sociais Municipais. Rio de Janeiro, 2002.

JANNUZZI, P.M. Indicadores sociais no Brasil: conceitos, fonte de dados e

aplicaes. Campinas: Alnea, 2001.

JANNUZZI, P.M. Consideraes sobre o uso, mau uso e abuso dos indicadores sociais
na formulao e avaliao de polticas pblicas municipais. Revista de
Administrao Pblica, Rio de Janeiro 36 (1):51-72. Jan/Fev. 2002.

JANNUZZI, P.M. Indicadores para diagnstico, monitoramento e avaliao de

programas sociais no Brasil. Revista do Servio Pblico. Braslia 56(2):137-160,
abr/jun 2005.

LINS, M.E e MEZA, L.A. Anlise envoltria de dados e perspectivas de integrao

no ambiente de apoio deciso. Rio de Janeiro, COPPE/UFRJ, 2000.

ROCHE, C. Avaliao de impacto dos trabalhos de ONGs. So Paulo: Cortez, 2002.

SEADE. Monitorao de prioridades de desenvolvimento com equidade social. In:

KEINERT, T. e KARRUZ, A.P. (orgs). Qualidade de vida: observatrios,
experincias e metodologias. So Paulo: Annablume: Fapesp, 2002.

23

View publication stats