#Direito Administrativo Descomplicado (2017) - Marcelo Alexandrino e Vicente Paulo

XIV Semana de Administração Orçamentária, Financeira e de Contratações Públicas
Avaliação de Políticas
Públicas – um enfoque
orçamentário
Fernando Sertã Meressi

Coordenador-Geral de Avaliação de Políticas Públicas
SEARI/SOF/MP
Slide 1
Avaliação de Políticas Públicas – um

enfoque orçamentário
• Para a realização de uma boa alocação de recursos, é necessário
conhecer bem a política pública
•
• na esfera técnica, tal conhecimento propicia opinião mais qualificada
sobre a alocação de recursos
• opinião técnica com base em “evidências”, visando ao “realismo

orçamentário”
•
• busca-se reduzir a orçamentação com base em “achismos”, pré-
conceitos ou opiniões pessoais superficiais
•
• Necessita-se de cultura de aprendizado institucional contínuo
•
• Slide 2
Avaliação de políticas públicas – enfoque

• Contexto de restrição fiscal (EC 95/2016, queda de arrecadação,
orçamentário
trajetória de aumento de despesas–obrigatórias,
contextodéficit primário)
•
• Demandas sociais pressionam por políticas públicas: são muitas as
necessidades...somos um “país em desenvolvimento”
•
• Isso exige que a despesa pública seja mais eficiente, que a aplicação
do recurso público tenha maior rendimento, respeitando as
necessidades da população
•
• Como saber se a despesa é mais eficiente? Avaliando a despesa
• Aumento da importância da avaliação

•
Slide 3
Contexto de restrição fiscal
•
•
•
Fonte: SOF/MP.
Slide 4
24.0
Contexto de restrição fiscal
Evolução das despesas primárias em % do PIB – 1995 - 2016 23.44
23.0
22.73
•
• 22.0
21.67
• 21.43
21.04
21.0
20.73 20.67
20.58
20.32 20.51 20.44
20.25
20.0
19.59
19.19
19.0
18.68
18.0
2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016
Fonte: SOF/MP.
Slide 5
Composição do Gasto Primário em 2016

•
•
•
•
•
Obtido de PPT do MP.
Slide 6
Composição do Gasto Primário em 2016

•
•
•
•
•
Obtido de PPT do MP.
Slide 7
Avaliação de políticas públicas – enfoque

• Busca-se avaliar:orçamentário – contexto
i) se a alocação de recursos respeita as prioridades da sociedade e do

Governo;
ii) se a política pública tem bom desempenho, evitando-se desperdícios;
iii) se o governo dispõe de recursos para financiar a política pública
(equilíbrio fiscal)
• Com a crise fiscal, ganha relevância as esferas da economicidade

(redução de custos) e da eficiência (desempenho, relação custo-
benefício)
•
•
•
Slide 8
O que é avaliação de políticas públicas*?

• Conjunto de procedimentos técnicos para produzir informação e conhecimento para
desenho de políticas, sua implementação e validação ex-post de políticas
públicas
•
• geralmente tem a finalidade de verificar:
- o cumprimento dos objetivos de programas e projetos (eficácia)
- os custos e benefícios da intervenção (eficiência)
- seus impactos mais abrangentes (efetividade)
• tem o objetivo de produzir evidências, compilar dados e sistematizar estudos que

contribuam para o aperfeiçoamento de políticas públicas
• pode avaliar: o desenho; os arranjos de implementação; os custos de operação; a

focalização do público-alvo; os resultados de curto prazo; os impactos sociais e
de mais longo prazo de um programa etc.
* Ideias apreendidas de Jannuzzi (2014)
Slide 9
Objetivos da avaliação?
• Determinar o mérito ou o valor de alguma coisa (WORTHEN, 2004).
• Ajudar os tomadores de decisão a definir suas políticas
• A avaliação serve para identificar pontos fortes e fracos e destacar o

que é bom e expor defeitos
• A avaliação deve se debruçar não só sobre o programa, mas também

sobre o contexto em que está envolto
•
Slide 10
Características das avaliações*

• Pode utilizar diferentes abordagens metodológicas: não existe um método ou
estratégia “padrão-ouro” para a produção de uma avaliação
• o melhor método é o que produz informações consistentes, ao tempo de seu uso

na decisão da gestão pública. Importa também as habilidades do avaliador
• perspectiva multidisciplinar de investigação, triangulação de métodos (utilização

de mais de um método de análise) e de sujeitos entrevistados
•
• impossível ser expert em todas as temáticas, metodologias e instrumentos
• esforços combinados de avaliação interna – com gestores e técnicos que

conhecem os problemas e as atividades do programa e projeto – e de
avaliação externa – com pesquisadores especializados e apoio de equipe de
campo
• uma boa avaliação requer entendimento profundo do programa, seu arranjo

operacional, sua complexidade de implementação, objetivos, papel dos atores
etc
Slide
*Ideias retiradas de Jannuzzi 11
(2014)
Alertas nas avaliações

• Avaliação: mais provoca ansiedade e gera postura defensiva do que
receptividade: é comum as pessoas não gostarem de ter seu trabalho
avaliado
• Intempestividade: informação precisa, mas produzida a custos e tempo
não condizentes com a tempestividade da gestão
• Conclusões precipitadas: informação rapidamente produzida, mas não
consistente em termos metodológicos
• Encontrar um equilíbrio entre a profundidade e a tempestividade dos
achados
• Avaliadores devem entender os estilos cognitivos dos usuários da
informação
• A avaliação deve ser sensível às questões políticas
• Se os tomadores de decisão encontram-se focados em outras
problemáticas, serão menos receptivos a novas considerações
-
Slide 12
Alertas nas avaliações*

• A informação completa sobre problemas complexos é inalcançável
• A pretensão da informação completa é um autoengano que conduz ao
reducionismo inconsciente e à não consideração de variáveis críticas, iludindo o
destinatário da avaliação
• As capacidades individuais e institucionais de processamento de informações são
limitadas. Muita informação desinforma
• Busca-se soluções satisfatórias, já que as soluções ótimas apresentam grande
dificuldade
• Mitos da avaliação:
1) mito da facilidade: resultante do desconhecimento da complexidade envolvida
no processo, fazendo que este seja entregue a equipes ou pessoas de boa vontade,
mas sem o devido preparo; e
2) o mito da impossibilidade de julgar ações complexas, por não existirem
instrumentos capazes de fazê-lo. Tal mito se constituiria em apenas um mecanismo de
defesa daqueles que temem a avaliação.
* Ideias apreendidas de GARCIA (2015)
Slide 13
Certo desencanto com as avaliações

• “Avaliações” podem fornecer resultados inconclusivos, inoportunos,
irrelevantes e tendenciosos.
• Uma “avaliação” mal concebida ou mal executada pode produzir

informações que, no melhor dos casos, seriam enganosas e, no pior,
absolutamente falsas. (...) Como geralmente têm ar de
respeitabilidade, essas avaliações não costumam ser questionadas, e
o resultado é que decisões importantes sobre programas e serviços
essenciais baseiam-se inadvertidamente em informações falaciosas.
(WORTHEN et al. 2004, apud PPT Jannuzzi).
Slide 14
Alguns benefícios das avaliações

•
• Institucionalização da avaliação contribui para orientação para
resultados
• Aprendizado institucional permitindo melhor tomada de decisão
• Desloca a energia da organização para onde ela é mais

necessária
•
Slide 15
Tipos de Avaliação: formativas e somativas

• Avaliação formativa é realizada para dar informações avaliatórias à equipe do
programa, com o objetivo de aperfeiçoamento / correção de rumos
Tem a hora certa de fazer a avaliação. Não pode ser no final do programa
• Avaliação somativa visa a aferir o mérito ou valor do programa, subsidiando os

tomadores de decisão quanto à implantação, continuidade ou
descontinuidade do programa, sua expansão ou redução etc
•
OBS: Avaliações formativas e somativas: quanto mais novo o programa, maior a
ênfase a ser dada na avaliação formativa e vice-versa.
É um grande risco realizar avaliações somativas em programas que ainda não

se desenvolveram plenamente! A questão do tempo é fundamental!
Slide 16
Tipos de avaliação: internas ou externas

• avaliação interna – com gestores e técnicos que trabalham no
programa ou projeto
• avaliação externa – realizada por pessoas de fora do programa.
Pesquisadores especializados, consultores externos, etc.
OBS:
i) A avaliação interna tem como vantagem o conhecimento prático da
intervenção (minúcias etc) .
Como desvantagem, a avaliação tende a ter viés favorável aos gestores. Estes
também podem estar imersos em problemas rotineiros insignificantes, de forma
que não percebem variáveis críticas ao programa.
ii) As avaliações externas tendem a ser menos viesadas (não necessariamente),
mas os avaliadores externos, em geral, não conhecem em profundidade a esfera
prática do programa.
Supõe-se que o ideal seria uma combinação de avaliadores internos e externos na
equipe.
Slide 17
Tipos de avaliação: quanto ao tempo de

realização
• Avaliação ex-ante (prévia): realizada ao começar o

projeto, antecipando fatores considerados no
processo decisório.
• Avaliação ex-post: ocorre quando o projeto está em

execução ou já foi concluído.
Slide 18
Dimensões da avaliação prévia
• Análise do desenho da política, com finalidade de avaliar sua

consistência interna (por meio, por exemplo, do estudo do
modelo lógico – teoria do programa)
• Análise do diagnóstico apresentado (se está baseado em
dados corretos, se o problema foi bem caracterizado)
• Análise da estratégia da intervenção (como a política
pretende resolver o problema a ser enfrentado)
• Análise da cobertura, especialmente se o público-alvo foi
corretamente caracterizado
Slide 19
Dimensões da avaliação prévia
• Análise das metas pretendidas pela política: i) se são

condizentes com os objetivos da política; ii) se são
modestas ou ambiciosas demais.
• Análise dos indicadores que se pretende aplicar para
monitorar e avaliar a política
• Verificação da adequação da estimativa de recursos
orçamentários, especialmente se são compatíveis
com produtos e resultados almejados.
Slide 20
Avaliação prévia (enfoque orçamentário)

Seria recomendável que as propostas de criação, expansão ou
aperfeiçoamento de políticas públicas fossem acompanhadas de uma análise
prévia, que compreenderia os seguintes aspectos:
1. Apresentação sucinta da política

2. Diagnóstico do Problema
3. Desenho da Política
4. Fundamentação para o Desenho da Política
5. Estratégia de Monitoramento e Avaliação
6. Impacto Orçamentário e Financeiro
Slide 21
Impacto orçamentário e financeiro

Política proposta deve respeitar legislação orçamentária,
financeira e fiscal.
• Constituição Federal
• LRF e EC 95/2016
• PPA
• LDO
• LOA
• Orientações técnicas (MTO, por exemplo)
Slide 22
Impacto orçamentário e financeiro

Aspectos da LRF a serem observados:
• comprovação de que a despesa pública não
prejudica o atingimento das metas de
resultado fiscal (art. 9º)
• obediência aos requisitos para autorização da
renúncia de receita (art. 14)
• cumprimento dos requisitos para criação,
expansão ou aperfeiçoamento de ação
governamental que acarrete aumento da
despesa (art. 16)
• respeito aos critérios para criação de despesas
obrigatórias de caráter continuado (art. 17)
Slide 23
Avaliação prévia – enfoque orçamentário

(pontos possíveis de serem analisados)
• Indicação do programa do PPA ao qual a política
está associada
• Indicação das fontes de financiamento da despesa
• Indicação do caráter obrigatório ou discricionário
da despesa
• Se for obrigatória, informar a legislação que a
respalda, bem como os critérios, parâmetros e
metodologia utilizados para o cálculo do valor da
despesa
• Se for discricionária, explicar o motivo pelo qual o
gasto pretendido se justifica, bem como
esclarecer se não haveria formas alternativas de
resolver o problema com menor custo para o
erário
Slide 24
Avaliação prévia - enfoque orçamentário

• Apresentar estimativa do impacto orçamentário-

financeiro no exercício em que deva entrar em
vigor e nos dois subsequentes, informando, de
forma clara e detalhada, as premissas e
metodologias de cálculo utilizadas, inclusive:
1. se as medidas foram consideradas nas metas de
resultados fiscais previstas na lei de diretrizes
orçamentárias;
•
Slide 25
Avaliação prévia - enfoque orçamentário

2. simulação que demonstre o impacto da despesa
com a medida proposta, detalhada, no mínimo, por
elemento de despesa
3. se, além da despesa finalística da política
pública, existe previsão de aumento de despesas
administrativas, pessoal etc necessárias para a sua
implementação;
4. se as medidas de compensação foram
consideradas na proposta que implique renúncia de
receitas ou benefícios de natureza financeira e
creditícia.
Slide 26
Avaliação prévia – enfoque orçamentário

• Efetuar análise de potenciais riscos fiscais da proposta
que possam suscitar futuros aportes não previstos de
recursos orçamentários
• Informar se a política pode gerar impactos cruzados em

outras rubricas orçamentárias, tais como aumento ou
redução de outra despesa, ou elevação da
arrecadação
Slide 27
AVALIAÇÃO EX-POST
(PROGRAMAS EM ANDAMENTO
OU JÁ FINALIZADOS)
Slide 28
Ciclo das políticas públicas

Avaliação da necessidade
do programa
Avaliação de desenho
Avaliação de custo- Avaliação de

efetividade implementação
Figura adaptada de PPT de Jannuzzi

Avaliação de
focalização
Slide 29
Tipos de avaliação
QUAL É A PERGUNTA DA AVALIAÇÃO? QUEREMOS SABER SOBRE QUE ASPECTO:
• Desenho (teoria do programa)

• Implementação (processo)
• Resultado
• Impacto
• Custo-benefício ou custo-efetividade
• Focalização
• Orçamentação (alocação de recursos, desempenho e impacto fiscal)
•
Slide 30
Avaliação de Desenho
•
AVALIAÇÕES DE DESENHO (mais relacionada à etapa de formulação da política):
• Diagnóstico sobre o problema a ser enfrentado ou oportunidade a ser aproveitada

• Análise do papel do programa dentro de um contexto (de certa política pública como
um todo)
• Análise das causas e consequências do problema
• Análise do objetivo da intervenção
• Análise do arranjo institucional – estratégia de atuação
• Análise dos papéis dos atores
• Análise dos produtos esperados e das metas definidas vis-à-vis os insumos a serem
aportados
• Verificar se o público-alvo e a cobertura do programa foram bem delimitados
Em suma, trata-se de avaliar a teoria do programa (modelo lógico)
Slide 31
Teoria do programa (modelo lógico)

• diagnóstico do problema, suas causas e consequências
• insumos do programa, tais como recursos humanos, financeiros e
materiais
• atividades programadas, que representam a maneira como o
programa será implementado (processo, estratégia de atuação)
• os produtos a serem entregues
• os resultados desejados, de curto, médio e longo prazos
a)
Estrutura
b) simplificada do
c) modelo lógico
(saúde)
Para aprofundamento sobre construção de modelo lógico, ver Cassiolato e Gueresi (2010), em:
http://repositorio.ipea.gov.br/bitstream/11058/5810/1/NT_n06_Como-elaborar-modelo-logico_Dis
oc_2010-set.pdf
Slide 32
Avaliação de Implementação (ou de Processo)

• Avaliação da etapa de execução do programa
• Verificar se a implementação reflete na prática a teoria do programa

•
• Avaliar a capacidade operacional das instituições de prover bens ou serviços ao
público-alvo (estão obtendo desempenho satisfatório?)
• Verificar se houve incidência de fatores que facilitaram ou dificultaram (entraves) o

desempenho do programa
• Confirmar, na etapa de implementação, se o programa foi bem desenhado ou se

necessita de ajustes
•
• Verificar se há problemas na oferta de bens e serviços, sua regularidade (prazo) e
qualidade
• Slide 33
Avaliação de Resultado
• Relacionada à ideia de eficácia (grau em que se alcançam os objetivos e as metas)
e eficiencia (relação entre custos e benefícios)
•
• Trata-se de investigação mais exaustiva sobre os diversos componentes de uma
intervenção, abordando não apenas o cumprimento de seus objetivos, mas
também seu desenho e implementação
• Deve-se conhecer o processo de produção do bem ou serviço, a capacidade

operacional do órgão responsável, os insumos necessários e os respectivos
custos
• O bom governo é o que faz o que anuncia, no prazo certo, com a melhor
qualidade, para o maior número de pessoas, ao menor custo possível (GARCIA,
2015).
OBS:
1. avaliação precipitada, antes de dar o tempo necessário para o programa mostrar
seus resultados, pode levar à descontinuidade de um bom programa, que
talvez precisasse apenas de simples ajustes
2. Avaliação tardia pode inviabilizar a correção de rumos
Slide 34
Avaliação de impacto
•
• Verificar se o programa produziu os efeitos desejados nas populações
atendidas – resultados de médio e longo prazos
•
• Avaliar efeitos indiretos na sociedade como um todo
•
• Avaliar se os efeitos são atribuídos ou não à intervenção do programa.
Outras intervenções podem ser as verdadeiras responsáveis pelos
resultados obtidos
•
• Em geral, são avaliações mais longas, custosas e de cunho mais acadêmico.
•
OBS: não adianta ser eficiente ou eficaz, se a política não for efetiva, não ter
impacto. Exemplo da estrada construída a baixo custo, 100% realizada, mas
que beneficia pouca gente.
Slide 35
Avaliação de focalização
•
• Verificar se o desenho da política está compatível com o público que
se pretende atingir
• Verificar se o público-alvo foi, de fato, o público beneficiário da

política
•
•
•
•
•
•
•
Slide 36
Avaliação de custo-benefício ou custo-efetividade

• Pretendem levar em conta todos os custos e benefícios ou resultados da
política
• requerem nível de contabilização de custos e clareza de indicadores de
efetividade que poucas políticas e programas já conquistaram
• não é fácil apurar todos os custos e benefícios envolvidos, pois envolvem
impactos indiretos (externalidades positivas e negativas), de longo
prazo etc
• Qual o valor monetário de ter mais saúde mental? Do ar limpo? De mais
um ano na escola? De menos assassinatos?
• Compara intervenções alternativas, buscando verificar qual é a mais
eficiente. Pode-se utilizar benchmarking
• incentiva a prática de tentar identificar os custos e benefícios
econômicos, mesmo que haja dificuldades de mensuração
• ao se buscar a eficiência, há de se ter cuidado com a perda de qualidade
• Slide 37
•
Avaliação orçamentária: possíveis abordagens
•
• Análise da alocação de recursos a partir de olhar global da política
pública
•
• Análise do desempenho de programas específicos
•
• Análise do impacto fiscal
•
•
•
•
•
•
Slide 38
•
Avaliação orçamentária: olhar global da política
• pública
Como a intervenção (ação orçamentária, programa fantasia etc) contribui
para a política pública como um todo? Qual o seu papel dentro de um
contexto?
• A alocação de recursos está conectada com as prioridades de governo?
Vínculo entre a decisão política, o planejamento (PPA) e o orçamento (pé
no chão quanto à disponibilidade de recursos)
• A alocação de recursos está conectada com as demandas prioritárias da
sociedade?
• Não avaliar programas como ilhas isoladas de um todo: impactos em outras
políticas, políticas complementares etc.
• Evitar sobreposições de ações
• Buscar oportunidades para sinergias e economias de recursos
• Não avaliar apenas os resultados de curto prazo
•
Slide 39
Avaliação orçamentária: desempenho do programa

• Verificação do desempenho do programa. Relação entre os insumos empregados e os
produtos ou resultados obtidos
• Analisar se os insumos são suficientes ou excessivos para produzir os resultados

esperados. Verificar o “realismo” orçamentário.
• Avaliar o custo-benefício ou custo-efetividade dos programas
• Existe programa ou desenho alternativo mais eficiente

•
• Analisar a evolução da cobertura do programa vis-à-vis o orçamento
•
OBS: Desempenhos são somente mais uma informação para a tomada de decisão. O
fator político pode decidir que a tomada de decisão vá em sentido contrário ao do
resultado da avaliação.
Atrás de cada política pública tem um grupo de interesse ou pessoas beneficiadas.
Exemplos….
•
Slide 40
Avaliação de desempenho do programa

• Definir com clareza o objeto a ser avaliado
• Este pode ser política pública, programa, conjunto de ações ou de

planos orçamentários, “programa fantasia”, ou ainda outro recorte
• Dado o cenário de restrição fiscal:

Sugere-se que:
A escolha do objeto deva levar em consideração:
i) a magnitude da despesa
ii) se a despesa é emblemática ou prioritária para o órgão e o
Governo
iii) se existe percepção de importante fonte de economia de
recursos ou de ineficiência
iv) a capacidade da equipe de realizar a avaliação
•
Slide 41
Avaliação de desempenho do programa

Algumas fontes de informação:
•
• i) entrevistas com executores da política pública
• ii) informações do Acompanhamento Orçamentário
• iii) informações sobre monitoramento e avaliação de objetivos e metas do Plano
Plurianual (PPA)
• iv) pesquisas do IBGE ou de outras instituições de pesquisa
• v) registros administrativos
• vi) estudos do IPEA e outros institutos
• vii) acórdãos e avaliações do TCU
• viii) relatórios de avaliação e de auditoria da CGU
• ix) papers e estudos de organismos internacionais (OCDE, Banco Mundial, FMI)
• x) literatura acadêmica etc.
•
OBS: Sugere-se utilizar um mix de algumas dessas fontes, pois muitas delas são
complementares.
•
• Slide 42
Avaliação orçamentária: impacto fiscal

• Estimativa do montante da despesa ou da receita no curto e no longo prazo
• Verificação se a despesa é compatível com as metas fiscais
• Verificação se a despesa produz redução ou aumento de gasto ou de receita

em outras rubricas (impacto cruzado)
Ex:
- despesa com investimento gerando despesas correntes em exercícios futuros
- geração de energia e linhas de transmissão
- despesa com intermediação de mão-de-obra e redução de gasto com seguro-
desemprego
- despesas com C&T e educação superior e aumento do IR no futuro etc.
•
Slide 43
Implementação da avaliação nas organizações –

• algumas dicas
• Considerar a avaliação num contexto de implantação de “cultura de
aprendizagem institucional contínuo”, visando a proporcionar
subsídios mais consistentes para a tomada de decisão
•
• A avaliação é parte integrante do aprendizado institucional. Como
parte integrante do aprendizado organizacional, a avaliação é um
processo contínuo e interativo (GARCIA, 2015)
• Capacitação do servidores para a realização de avaliações

•
•
•
•
Slide 44
Implementação da avaliação nas organizações –

algumas dicas
EVITAR “ESPASMOS AVALIATIVOS”
Quando, por algum motivo, determina-se aos subordinados a elaboração de
avaliações das ações sob sua responsabilidade, sem planejamento e preparação
prévia (capacitação etc):
“... produz-se um transtorno na rotina dos subordinados, que, sem as condições

apropriadas, irão desenvolver esforços adicionais de monta na busca de informações não
organizadas, de dados defasados e pouco confiáveis, de opiniões pessoais, de evidências
factuais esparsas. Conseguido o mínimo, inicia-se um processo extremamente criativo e
esgotante de construção de uma miscelânea impressionista, que, após muitas horas extras
e finais de semana de trabalho intenso, irá receber o pomposo título de Avaliação do
Programa XYZ. Apresentado o documento, tudo voltará a ser como antes, até que,
passados muitos meses ou até anos, uma nova demanda surja e, sempre como um estorvo,
provoque mais um espasmo avaliativo” (GARCIA, 2015, p 237).
Tais avaliações geram resultados inconclusos e vagos além de não gerarem

recomendações, não alterando o ambiente para tomada de decisão. Podem gerar
informações equivocadas.
Slide 45
AVALIAÇÃO NO GOVERNO FEDERAL
• PPA – Plano Plurianual

- Avaliação das Variáveis Macroeconômicas: desempenho dos agregados
econômicos considerados relevantes para o PPA 2016-2019
- Avaliações dos Programas Temáticos: capítulo que traz uma avaliação de cada um
dos 54 programas temáticos, elaborada pelos órgãos responsáveis, com quadros
complementares sobre a evolução de metas e indicadores
•
• CMAP - Comitê de Monitoramento e Avaliação de Políticas
Públicas Federais
• Avaliações realizadas em Ministérios Setoriais

•
•
•
•
• Slide 46
INDICADORES
• Recurso para “retratar” a realidade de forma simplificada, mas objetiva e
padronizada
• os indicadores apontam, indicam, aproximam, traduzem
• eles subsidiam as atividades de planejamento público e formulação de políticas e

possibilitam o monitoramento
• a análise deve considerar o contexto no qual se desenvolvem as ações (restrições,

imprevistos, surpresas, oportunidades), pois afetam os indicadores
• os indicadores são apenas um dos elementos que integram o amplo conjunto de

informações utilizadas na gestão dos programas
• A informação traduzida pelo indicador será tão melhor quanto mais específico for o
aspecto de interesse e quanto mais confiável e precisas as informações usadas
para cômputo do indicador (consideração apreendida de PPT de Jannuzzi)
•
Slide 47
TIPOS DE INDICADORES*
• Indicadores de insumo (antes): relacionados com os recursos a serem alocados

(recursos humanos, materiais, financeiros etc).
Exemplos: médicos/mil habitantes e gasto per capita com educação
• Indicadores de Processo (durante): traduzem o esforço empreendido na obtenção

dos resultados, ou seja, medem o nível de utilização dos insumos.
Exemplos: o percentual de atendimento de um público alvo e o percentual de
liberação dos recursos financeiros
• Indicadores de Produto (depois): medem o alcance das metas físicas. Expressam as

entregas de produtos ou serviços ao público-alvo.
Exemplos: o percentual de quilômetros de estrada entregues, de armazéns
construídos e de crianças vacinadas em relação às metas estabelecidas
* Informações obtidas de MP (2012).
Slide 48
TIPOS DE INDICADORES
• Indicadores de Resultado (depois): expressam os benefícios no público-alvo

decorrentes das ações empreendidas.
Exemplos: as taxas de morbidade (doenças), taxa de reprovação escolar e de homicídios
• Indicadores de Impacto (depois): de natureza abrangente e multidimensional, têm

relação com a sociedade como um todo e medem os efeitos das estratégias
governamentais de médio e longo prazos.
Exemplos: o Índice Gini de distribuição de renda e o PIB per capita
•
•
•
• Slide 49
INDICADORES (da área do desenvolvimento social)
•
•
•
•
•
•
•
* Figura obtida de PPT de Jannuzzi
Slide 50
INDICADORES DE AVALIAÇÃO DE DESEMPENHO*
• Indicadores de Economicidade: medem os gastos envolvidos na obtenção dos

insumos (materiais, humanos, financeiros etc).
- visa a minimizar custos sem comprometer os padrões de qualidade
- requer um sistema que estabeleça referenciais de comparação
•
• Indicadores de Eficiência: possuem estreita relação com produtividade, ou seja, o
quanto se consegue produzir com os meios disponibilizados.
- a eficiência será tanto maior quanto mais produtos forem entregues com a mesma
quantidade de insumos, ou os mesmos produtos e/ou serviços sejam obtidos com
menor quantidade de recursos
* Informação obtida de TCU (2000) apud MP (2012)

•
•
• Slide 51
INDICADORES DE AVALIAÇÃO DE DESEMPENHO*
• Indicadores de Eficácia: apontam o grau em que um programa atinge as metas e

objetivos planejados. Utiliza-se indicadores de resultado para a aferição.
• Indicadores de Efetividade: medem os efeitos positivos ou negativos na realidade que

sofreu a intervenção, ou seja, aponta se houve mudanças socioeconômicas, ambientais
ou institucionais com a política. É o que realmente importa para efeitos de
transformação social.
* Informação obtida de TCU (2000) apud MP (2012)

•
•
•
• Slide 52
ALGUMAS PROPRIEDADES DOS INDICADORES

• Validade (capacidade de refletir o conceito abstrato a que se propõe)
• Confiabilidade (os dados utilizados no seu cômputo são confiáveis?)
• Sensibilidade
• Especificidade
• Inteligibilidade/comunicabilidade (transparência na construção do indicador)
• Periodicidade na atualização
• Factibilidade para obtenção (inclui custo)

•
•
• Slide 53
REFERÊNCIAS SUGERIDAS
• GARCIA. Ronaldo. C. Subsídios para organizar avaliações da ação governamental. In:
CARDOSO JR. José Celso e CUNHA, Alexandre. Planejamento e Avaliação de
Políticas Públicas. IPEA, 2015.
• JANNUZZI, Paulo. Avaliação de programas sociais no Brasil: repensando práticas e
metodologias das pesquisas avaliativas. Planejamento e Políticas Públicas. nº
36, 2011.
• ________. Indicadores, Painéis de Monitoramento e Pesquisas de Avaliação como
instrumentos para aprimoramento de programas e projetos sociais.
Apresentação de Power Point, 2013. Disponível em: http://
institutofonte.org.br/sites/default/files/PPT%20Paulo%20Jannuzzi.pdf
• ________. Avaliação de programas sociais: conceitos e referenciais de que a realiza.
Est. Aval. Educ., São Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014.
• MINISTÉRIO DO PLANEJAMENTO, ORÇAMENTO E GESTÃO. Indicadores - Orientações
Básicas Aplicadas à Gestão Pública. 2012.
• WORTHEN, B. R.; SANDERS, J. R.; FITZPATRICK, J. L. (2004) Avaliação de Programas:
concepções e práticas. São Paulo: Editora Gente.
Slide 54

#Direito Administrativo Descomplicado (2017) - Marcelo Alexandrino e Vicente Paulo

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

#Direito Administrativo Descomplicado (2017) - Marcelo Alexandrino e Vicente Paulo

Uploaded by

Copyright:

Available Formats

XIV Semana de Administração Orçamentária, Financeira e de Contratações Públicas

Fernando Sertã Meressi

Avaliação de Políticas Públicas – um

• opinião técnica com base em “evidências”, visando ao “realismo

Avaliação de políticas públicas – enfoque

• Aumento da importância da avaliação

Contexto de restrição fiscal

Composição do Gasto Primário em 2016

Obtido de PPT do MP.

Composição do Gasto Primário em 2016

Obtido de PPT do MP.

Avaliação de políticas públicas – enfoque

i) se a alocação de recursos respeita as prioridades da sociedade e do

• Com a crise fiscal, ganha relevância as esferas da economicidade

O que é avaliação de políticas públicas*?

• tem o objetivo de produzir evidências, compilar dados e sistematizar estudos que

• pode avaliar: o desenho; os arranjos de implementação; os custos de operação; a

• Ajudar os tomadores de decisão a definir suas políticas

• A avaliação serve para identificar pontos fortes e fracos e destacar o

• A avaliação deve se debruçar não só sobre o programa, mas também

Características das avaliações*

• o melhor método é o que produz informações consistentes, ao tempo de seu uso

• perspectiva multidisciplinar de investigação, triangulação de métodos (utilização

• esforços combinados de avaliação interna – com gestores e técnicos que

• uma boa avaliação requer entendimento profundo do programa, seu arranjo

Alertas nas avaliações

Alertas nas avaliações*

Certo desencanto com as avaliações

• Uma “avaliação” mal concebida ou mal executada pode produzir

Alguns benefícios das avaliações

• Aprendizado institucional permitindo melhor tomada de decisão

• Desloca a energia da organização para onde ela é mais

Tipos de Avaliação: formativas e somativas

• Avaliação somativa visa a aferir o mérito ou valor do programa, subsidiando os

É um grande risco realizar avaliações somativas em programas que ainda não

Tipos de avaliação: internas ou externas

Tipos de avaliação: quanto ao tempo de

• Avaliação ex-ante (prévia): realizada ao começar o

• Avaliação ex-post: ocorre quando o projeto está em

Dimensões da avaliação prévia

• Análise do desenho da política, com finalidade de avaliar sua

Dimensões da avaliação prévia

• Análise das metas pretendidas pela política: i) se são

Avaliação prévia (enfoque orçamentário)

1. Apresentação sucinta da política

Impacto orçamentário e financeiro

Impacto orçamentário e financeiro

Avaliação prévia – enfoque orçamentário

Avaliação prévia - enfoque orçamentário

• Apresentar estimativa do impacto orçamentário-

Avaliação prévia - enfoque orçamentário

Avaliação prévia – enfoque orçamentário

• Informar se a política pode gerar impactos cruzados em

Ciclo das políticas públicas

Avaliação de custo- Avaliação de

Figura adaptada de PPT de Jannuzzi

• Desenho (teoria do programa)

• Diagnóstico sobre o problema a ser enfrentado ou oportunidade a ser aproveitada

Em suma, trata-se de avaliar a teoria do programa (modelo lógico)

Teoria do programa (modelo lógico)

Avaliação de Implementação (ou de Processo)

• Verificar se a implementação reflete na prática a teoria do programa

• Verificar se houve incidência de fatores que facilitaram ou dificultaram (entraves) o