Professional Documents
Culture Documents
Introduccin
El presente estudio se enmarca en la investigacin general impulsada por el Centro
Latinoamericano de Administracin para el Desarrollo (CLAD), con el objetivo de aportar
conocimientos prcticos y tcnicos sobre el papel de la evaluacin en el mejoramiento de la gestin
pblica. En particular se busca identificar reas crticas que influyan en el diseo e implementacin
de la evaluacin de la gestin pblica, orientada a resultados, con el inters de formular hiptesis
sobre el papel que la evaluacin juega en la modernizacin y democratizacin del Estado. Se asume
que la creacin de sistemas de evaluacin de resultados o el desarrollo de instrumentos en ese
sentido, es un componente fundamental de la modernizacin gubernamental.
El estudio auspiciado por el CLAD comprende un anlisis de la prctica de la evaluacin en
diversos pases, el presente documento reporta la experiencia mexicana. Debe aclararse que, siendo
Mxico un pas federal, donde cada Estado que conforma el pas tiene rangos de autonoma
importantes, y con administraciones pblicas diferentes, el anlisis realizado solo tom en cuenta al
gobierno nacional, reconociendo que en los Estados existen experiencias tiles e importantes en los
esfuerzos modernizadores del aparato administrativo pblico. Un estudio en profundidad como el
que se propone aqu no se ha realizado an para Mxico en contraste con el alto grado de atencin
que se le ha prestado al estudio de este tpico en otras regiones.
Para realizar el estudio se tomaron en cuenta los documentos oficiales, as como entrevistas a
funcionarios pblicos involucrados en el rea de evaluacin, tanto por ser parte del diseo como por
ser instrumentadores del proceso evaluatorio. Hubo necesidad de considerar varias instancias por
disponer de diferentes vertientes de evaluacin. Tambin se tuvo la posibilidad de entrevistar a un
asesor que colabor en una de los sistemas de evaluacin y que aun contina apoyando el esfuerzo.
Podemos decir que formalmente existen herramientas tiles y con un diseo tcnico adecuado,
incluso con una clara ptica a evaluar resultados e impactos, y aunque existe un sistema para todas
las dependencias y las principales entidades del gobierno federal, todava no se ha consolidado del
todo un sistema integral de evaluacin, aunque si persiste, y ha sido muy til, el Sistema de
Evaluacin de Metas, siendo un enfoque orientado a medir alcances de aspectos sustantivos.
Consideramos que Mxico est muy cerca de disponer de un sistema integral orientado a resultados,
ello adems de haber incorporado ya, las evaluaciones externas en algunos programas, situacin
derivada de una obligacin del congreso.
En el actual gobierno se hizo un gran esfuerzo, y a nivel de Secretaras de Estado
(Ministerios) se cuenta con un sistema de negociacin de metas, que anualmente se establecen entre
el titular de las dependencias y el Presidente de la Repblica. Este sistema es un claro proceso de
evaluacin por objetivos, y cuyo seguimiento reviste gran importancia, dado que, el mismo
Presidente est al tanto de los avances o retrocesos en los compromisos acordados. Pero tambin se
dispone de otros mecanismos de evaluacin, algunos aplicados de manera generalizada y otros muy
particulares.
Para nuestra investigacin, tambin hicimos uso de algunos estudios realizados sobre la
evaluacin, en particular la tesis doctoral de Myriam Cardozo, de la cual fui revisor. Como es
siempre es el caso, los errores y defectos son responsabilidad ma. No se describen ciertos sistemas
por ser muy particulares, como el MIDO, que se aplica para los rganos internos de control; ni el
sistema de evaluacin del desempeo, derivado de la obligacin de la Ley de Profesionalizacin.
Debo agradecer a las personas que me apoyaron en este estudio, tanto a quienes proveyeron
la informacin como quienes amablemente permitieron ser entrevistados, sobre todo por haber
aplicado entrevistas amplias que significaron una dedicacin significativa de tiempo, pero que
brindaron informacin muy importante para este estudio. En particular debo agradecer a Dora Nava
Garca, que se encarg de hacer los contactos y las citas correspondientes, al igual que a Richard
Hernndez que transcribi gran parte de la Informacin y apoy en la reflexin y manejo del tema.
Una persona con quien encontramos coincidencia de intereses fue Ramiro Nava con quien
compartimos esfuerzos e informacin, facilitando tambin este estudio, vaya nuestra gratitud.
Finalmente debo agradecer a Hugo Nicols Prez que me propuso para ser responsable de este
estudio y me brind las facilidades necesarias y al CLAD por ser una institucin que cada vez ms
muestra estar estudiando los temas ms relevantes que favorecen el cambio y mejoramiento de las
administraciones pblicas, en particular a Nuria Cunill, profesional que ha demostrado ser una
investigadora de gran calidad.
I. Justificacin y Contexto
La creacin de sistemas de evaluacin de la gestin pblica es un componente crtico dentro
de las propuestas de reforma del sector pblico. En los pases desarrollados, los casos ms
conocidos son los esfuerzos realizados bajo la idea del New Government o Neo-Gerencialismo 1 en
Gran Bretaa, Nueva Zelanda y los Estados Unidos.
Estos esfuerzos en los pases latinoamericanos, responden a las particularidades histricas de
la regin. Por ejemplo, el problema de la calidad de la gestin pblica y su capacidad para
implementar polticas y movilizar recursos se convirti en un factor crtico dentro de las reformas
de segunda generacin que se dieron despus de los ajustes macroeconmicos de los 80s 2 . El
aumento de su capacidad a travs del desarrollo institucional es una de las herramientas para
asegurar el xito de los procesos de modernizacin del Estado en la regin, como parte de la agenda
ms amplia que busca crear las condiciones para el fortalecimiento y profundizacin de una
democracia que genere desarrollo sostenible 3 .
La forma como cada pas est respondiendo a las situaciones generadas a partir de los
procesos de reforma tiene importantes implicaciones para la consolidacin de sus estructuras
democrticas. En este sentido, la evaluacin es un asunto poltico que concierne tanto a gobernantes
como a gobernados. En Mxico, el proceso de transformacin ilustra como la descentralizacin
administrativa, fiscal y poltica; la democratizacin y las reformas electorales; y la modernizacin
del estado representan tres procesos de la reforma que han afectado las relaciones horizontales y
verticales entre los actores participantes en la bsqueda de soluciones a los problemas pblicos. La
lgica de conceptualizacin e implementacin de los sistemas de evaluacin mexicanos aparecen
dentro de este contexto, que estn directamente enmarcada en estos cambios.
Uno de los problemas ms comunes que enfrentan muchas administraciones pblicas, es la
ausencia de un mtodo eficaz y sistemtico para medir el rendimiento de su gestin y evaluar sus
resultados. El inters tanto administrativo como poltico, se ha orientado ms bien a controlar los
insumos, o inputs, que recibe la Administracin pblica y a garantizar la observacin de normas y
procedimientos. De hecho medir el coste o bien evaluar el rendimiento de la prestacin de los
servicios pblicos, no era, hasta hace relativamente pocos aos una preocupacin fundamental.
1
Los aos recientes han llevado a la exigencia de mostrar resultados de los gobiernos y a tener
para ello metodologas, o al menos, indicadores que demuestren que se est avanzando en
solucionar los problemas o en aprovechar las oportunidades,
El estudio que se propone aqu busca identificar los obstculos y oportunidades que se han
generado en esfuerzos importantes de evaluacin de la gestin pblica en Mxico, a fin de
identificar reas crticas que influyan en el diseo e implementacin de sta, orientada a resultados,
con el inters de formular hiptesis sobre el papel que la evaluacin juega en la modernizacin y
democratizacin del Estado.
II. El Problema
La teora contempornea de la administracin pblica enfatiza las ventajas de tener una
gestin pblica orientada a resultados, en contraste con una orientacin clsica que destaca los
procedimientos y los procesos de gestin. El orientar la gestin a resultados, genera una dinmica al
interior de la organizacin que provoca el mejoramiento del desempeo organizacional y de los
resultados que se desean alcanzar.
La teora implcita es que esta dinmica por s misma genera procesos de retroalimentacin y
aprendizaje por parte de los actores involucrados, los cuales a su vez, generan acciones de
correccin que producen el mejoramiento de la gestin. Este razonamiento explica la aparicin de
numerosos esfuerzos de evaluacin de la gestin en varios pases de Amrica Latina, algunos
creando un conjunto de instrumentos de evaluacin, y otros intentando crear sistemas nacionales de
evaluacin de la gestin.
Es poco lo que sabemos acerca de la manera como estos sistemas y herramientas de
evaluacin en efecto contribuyen al mejoramiento de la gestin pblica en Amrica Latina.
Tampoco sabemos cules son los factores que facilitan u obstaculizan el uso de la evaluacin como
herramienta gerencial, y ms concretamente, como se usa este instrumento para promover una
gestin pblica orientada a resultados. Generar conocimientos sobre estos temas puede proporcionar
lecciones tiles, tanto para quienes administran los sistemas existentes, como para quienes
consideran esta herramienta como parte de la agenda de modernizacin de la administracin
pblica, y finalmente para los estudiosos de la gestin pblica como disciplina. Este estudio busca
explorar la relacin causal entre los procesos y herramientas de evaluacin de la gestin, la
generacin de una gestin orientada a resultados y el consecuente mejoramiento de la gestin
pblica en Mxico.
Naturalmente, el realizar una evaluacin de resultados resulta til para distintos agentes. Los
agentes ms interesados en el sistema son:
Los ciudadanos, quienes buscan informacin acerca del uso de sus impuestos, de la
efectividad de la Administracin y de la obediencia de sus deseos como electorado.
Los polticos, interesados en conocer la cantidad y calidad de los bienes y servicios
producidos, el grado de atencin de los problemas enfrentados y si los recursos han sido utilizados
adecuadamente, es decir ms all de evaluar la productividad del gasto analizar la incidencia
distributiva.
Los funcionarios pblicos, quienes desean conocer las debilidades y riesgos del sistema de
gestin, la pertinencia de los objetivos y programas, y si la combinacin de recursos en la gestin
administrativa ha resultado adecuada.
Los implementadores de la poltica que pueden reconocer los efectos de sus esfuerzos y
las repercusiones de su actuacin.
Cubrir estas y otras necesidades de informacin exige la consideracin de una diversidad de
dimensiones del rendimiento. Aquellas ms comnmente adoptadas son la economa, la eficiencia y
la efectividad, dado el predominio del llamado modelo de medicin del rendimiento de las 3 e's. Sin
embargo muchas iniciativas han ensayado novedosas medidas de rendimiento en dimensiones como
calidad de los servicios y satisfaccin del cliente, entre otras, que distinguen entre la efectividad de
3
los programas y la efectividad poltica de los resultados 4 . En el campo de los programas y proyectos
sociales la evaluacin del impacto, destaca como el criterio ms importante a utilizar 5 .
Algunas estrategias ponen nfasis en la calidad, pertinencia y suficiencia de la oferta de
productos (bienes o servicios) que presta la administracin pblica, as como en su gestin
presupuestal sobre la base del rendimiento, mientras otras lo hacen en la demanda y requerimientos
de los contribuyentes y otras ms consideran a ambas (oferta y demanda) simultneamente. El xito,
modalidad y ritmo de introduccin de sistemas de medicin del rendimiento descansa en las
condiciones organizativas e institucionales en las cuales intente introducirse.
Este estudio, en gran medida descriptivo, tiene como objetivo general el aportar
conocimientos prcticos y tericos sobre el papel de la evaluacin en el mejoramiento de la gestin
pblica, para el caso de Mxico. En particular la investigacin busca:
- Identificar reas crticas que influyen en el diseo e implementacin de la evaluacin de la
gestin pblica orientada a resultados en Mxico.
- Desarrollar hiptesis sobre el papel que la evaluacin juega en la modernizacin y
democratizacin del Estado mexicano.
Este estudio propone hacer un examen detenido del proceso de definicin, conceptualizacin,
diseo e implementacin de los diferentes sistemas de evaluacin de la gestin pblica en Mxico,
orientados a medir resultados. Concretamente del Sistema de Evaluacin del Desempeo (SED),
diseado conjuntamente por la Secretara de Hacienda y Crdito Pblico (ministerio de Hacienda) y
la Secretara de la Contralora y Modernizacin Administrativa (hoy Secretara de la Funcin
Pblica) 6 ; el Sistema de Evaluacin y Seguimiento de Metas Presidenciales (SIMEP) y el Sistema
de Evaluacin y Control Gubernamental de la Secretara de la Funcin Pblica (Ministerio de la
Funcin Pblica).
III. Marco Referencial del Estudio
III.1. Origen del Sistema de Evaluacin en Mxico
Para el manejo de la historia de Mxico suele ser el referente el ao 1917, por ser donde se
inicia el perodo post-revolucionario. A partir de esa poca los esfuerzos gubernamentales se
encaminaron a poner orden en el pas y a sentar las bases para el desarrollo.
La preocupacin por la evaluacin iniciara tmidamente en los aos cuarenta y ms como
una preocupacin que con acciones concretas al respecto. Los primeros esfuerzos se encaminaron al
manejo de recursos 7 . La lgica de los gobiernos a partir de esos aos fue imprimir un sello que los
caracterizar, incluso con cambio en los nombres y/o funciones de las Secretaras de Estado. Poco
se hizo para conocer la eficiencia de los programas y los informes elaborados correspondan a un
acopio de datos y reportes positivos sin una metodologa que mostrara el impacto de los programas
instrumentales.
La preocupacin por administrar y sobre todo controlar, los organismos pblicos,
particularmente las llamadas empresas paraestatales, llevaron a la creacin de mecanismos de
seguimiento de estas instancias en el perodo 1970-1976. As el Congreso de la Unin adquiri
algunas facultades y se inici el control general de ingresos y egresos de los principales organismos
de la administracin pblica descentralizada.
Uno de los elementos que contribuy al desarrollo de procesos de evaluacin fueron los
esfuerzos de planeacin, iniciados propiamente en el perodo del presidente Jos Lpez Portillo, que
4
Este rgano tiene antecedentes desde la Colonia y se orienta ms a un anlisis del gasto. Se sustituy a partir de 1999 por
la Auditoria Superior de la Federacin.
Ya habamos sealado que se prest a disfunciones y conflictos la operacin del Gasto por una dependencia y del
ingreso por otra. A pesar de existir una Comisin de Gasto Financiamiento.
MODERNO (PROMAP)
Desconfianza
Centralizado
Control hasta la operacin
Verificacin de uso de recursos
Requiere muchos recursos y tramos de
control
Responsabilidad
Descentralizado
Control estratgico - autocontrol de la operacin
Verificacin de resultados, costos y rentabilidad
Es menos costosa
ESTRATEGIA
SERVICIOS
ADMINISTRATIVOS
PROYECTOS
SERVICIOS
Se entendi que las dependencias deban manejar mediciones, que seran diferentes
dependiendo del nivel. Adems, deba incorporarse un enfoque de servicio, visualizando a los
ciudadanos como clientes.
Enfoque a Servicios
Flexibilidad
Comunicacin
Aprendizaje
Apertura
Cultura
Servicios internos
Valor agregado
Visibilidad
Control
Indicadores de proceso
PROCESOS
PERSONAS
Facultacin
Capacidad
Trabajo en equipo, etc.
SERVICIO
Rentabilidad social
Estndares
Indicador de desempeo
Indicador de satisfaccin, etc.
En este mismo periodo la Secretara de Hacienda y Crdito Pblico (SHCP) busc cambiar y
favorecer la eficiencia del Sistema Presupuestario, lo que se conoci como la Reforma al Sistema
Presupuestario. Uno de los aspectos importantes de esta reforma era la bsqueda para integrar el
Sistema de Evaluacin del Desempeo (SED) 10 , cuya caracterstica era precisamente una
orientacin a resultados pero vinculada al presupuesto. Los logros alcanzados no fueron todos los
esperados, aunque logr introducir mejoras a la presupuestacin. Se reconoci la rigidez del sistema
presupuestal y se realizaron cambios, redefiniendo las categoras programticas. Pero lo principal
fueron los esfuerzos para generar un sistema de indicadores para orientar el gasto a resultados,
como base de un Sistema de Evaluacin del Desempeo. As, se busc adecuar los programas
gubernamentales a objetivos sectoriales estratgicos, se cre un sistema de monitoreo de programas
y proyectos, se establecieron tcnicas de medicin y se incorporaron mecanismos de evaluacin de
programas.
El sistema de evaluacin del desempeo (SED) tena como fases:
Medicin y evaluacin
Descentralizacin, desconcentracin y flexibilidad operativa
Involucramiento de la sociedad
Servicio Profesional de Carrera
10
Este Sistema se describe con mayor amplitud en el apartado Principales Sistemas de Evaluacin Existentes.
servicio pblico, tratando de garantizar que la administracin pblica transite sexenalmente sin el
mnimo problema y la mxima eficacia, y asegurando que, siendo polticamente neutra, se convierta
en una herramienta til para nuestro pas. El gobierno actual tambin ha facilitado que, desde la
comodidad de la casa u oficina, los ciudadanos obtengan informacin del gobierno y tengan acceso
a los servicios que ste ofrece.
La presente administracin ha buscado crear un gobierno gil y flexible, capaz de captar las
oportunidades, atender los problemas y adecuarse a las circunstancias rpida y eficazmente. La idea
ha sido disponer de un gobierno de clase mundial, innovador y de calidad total que ponga en el
centro del quehacer gubernamental la satisfaccin de las necesidades y expectativas de la sociedad;
todo ello a travs, como se sealo anteriormente, a travs del Modelo de Innovacin
Gubernamental.
El Modelo de Innovacin Gubernamental, es un modelo esencialmente de Innovacin
Social hacia el interior de la Administracin Pblica Federal. Su visin se centra en recuperar la
confianza de los ciudadanos en el gobierno as como en transformar al gobierno en una institucin
competitiva que contribuya a lograr los resultados planeados en materia de crecimiento econmico,
desarrollo humano y social, as como en materia de orden y respeto. Es una gua slida y
estructurada para establecer el rumbo y pasar a la accin basada en un Cdigo de tica y una
Poltica de Innovacin y Calidad. Todo esto mediante un sistema de valores compartidos. Para ello
estableci una serie de lneas de accin, identificadas como la filosofa del gobierno:
- Administracin por Calidad
- Estructuras Planas (Reduccin)
- Estructuras Flexibles (Reorganizacin): administracin cruzada
- Mejora en la Capacidad de Gobernar
- Visin y Misin Compartida
- Re-posicionamiento
- Contribucin a un Nuevo Orden Mundial
El modelo de Innovacin Gubernamental tuvo 4 fases distintas:
1. Arranque: diseo del modelo de innovacin y calidad gubernamental.
2. Primera Fase: revisin de procesos, programa de capacidad integral, programa de
reconocimiento a la innovacin y la calidad, etc.
3. Segunda Fase: gobierno enfocado y diferenciado, gobierno corporativo, servicio civil de
carrera, rediseo de procesos, etc.
4. Tercera Fase: blindaje constitucional, reforma jurdica, proceso de mejora continua,
gobierno competitivo, etc.
Con la finalidad de dar respuesta a las demandas y expectativas generadas por la sociedad, el
gobierno actual a travs del modelo de innovacin gubernamental estableci la agenda presidencial
de Buen Gobierno que tiene como objetivo transformar radicalmente los esquemas tradicionales del
quehacer pblico, buscando generar cambios profundos y permanentes, y reemplazando las viejas
formas de los servidores pblicos de percibir y de actuar ante las necesidades de la ciudadana de
ms y mejores servicios. Las lneas de accin en las cuales se centra el Buen Gobierno son:
- Gobierno Honesto y Transparente, recuperando la confianza de la sociedad.
- Gobierno de Calidad, satisfaciendo o superando las expectativas de los clientes y
ciudadanos en los servicios que les brinda.
- Gobierno Profesional, atrayendo, motivando, desarrollando y reteniendo a las mejores
mujeres y los mejores hombres en el servicio pblico.
- Gobierno Digital, permitiendo que los clientes y ciudadanos obtengan informacin del
gobierno y tengan acceso a los servicios que ofrece desde la comodidad de su casa u oficina.
- Gobierno con Mejora Regulatoria, garantizando que los clientes, ciudadanos, y los
servidores pblicos puedan efectuar trmites con facilidad, seguridad y rapidez.
- Gobierno que Cueste Menos, reduciendo el gasto que no agrega valor para ofrecer
mayores beneficios a la sociedad.
10
Todas las instituciones gubernamentales deben, adems de cumplir sus objetivos sustantivos,
establecer compromisos para satisfacer estos aspectos. Dicho de otra manera, adems de contar con
metas de sus atribuciones y funciones especficas, deben existir metas para cumplir con la agenda
de buen gobierno. Como veremos ms adelante los principales instrumentos de evaluacin hacen
uso de estos ejes de actuacin.
III.2.2 Marco Institucional
Existen diversos sealamientos que obligan a la existencia de un proceso de evaluacin. De
entrada el Sistema Nacional de Planeacin Democrtica, encuadrado en la ley de Planeacin, obliga
a la aplicacin de la evaluacin para juzgar los avances y el cumplimiento del Plan y los programas
de gobierno.
Adems existe la obligacin de aplicar una evaluacin de resultados por un agente externo a
todos los programas sociales con reglas de operacin. De igual manera la reciente ley de
profesionalizacin, obliga a la aplicacin de un sistema de evaluacin orientado a resultados. Como
un marco de actuacin importante debe sealarse el Modelo de Innovacin Gubernamental. Este
modelo fue instituido desde la Oficina de la Presidencia, y ha sido el referente obligado para los
cambios y mejoramiento de la administracin gubernamental en este periodo.
En el marco institucional, quien tiene las funciones de control y evaluacin es la Secretara de
la Funcin Pblica (antes la SECODAM). Y de acuerdo a la Ley Orgnica de la Administracin
Pblica Federal, en su artculo 31, corresponde a la Secretara de Hacienda y Crdito Pblico
(SHCP), preparar el proyecto de presupuesto de egresos de la federacin (PEF), a travs de la
Subsecretara de Egresos, la cual incluye la Direccin General de Programacin y Presupuesto B, y
a su interior encontramos el rea encargada de las evaluaciones externas.
El artculo 25 de la Constitucin Poltica de los Estados Unidos Mexicanos, seala que El
Estado (Mexicano) planear, conducir, coordinar y orientar la actividad econmica y llevar a
cabo la regulacin y fomento de las actividades que demande el inters general en el marco de
libertades que otorga esta Constitucin 11 . El artculo 26 de la Constitucin Poltica de los Estados
Unidos Mexicanos seala que el Estado organizar un sistema de planeacin democrtica del
desarrollo nacional que imprima solidez, dinamismo, permanencia y equidad al crecimiento de la
economa para la independencia y democratizacin poltica, social y cultural de la Nacin.
Asimismo, establece que los fines del proyecto nacional contenidos en dicho ordenamiento
determinarn los objetivos de la planeacin.
Por otra parte, indica que habr un Plan Nacional de Desarrollo al que se sujetarn
obligatoriamente los Programas de la Administracin Pblica Federal y que la Ley facultar al
Ejecutivo para que establezca los criterios para la formulacin, instrumentacin, control y
evaluacin del Plan y de los Programas de Desarrollo.
El mbito de competencia de la actual Secretara de la Funcin Pblica (SFP), fue definido el
28 de diciembre de 1994 en el Decreto que reform al artculo 37 de la Ley Orgnica de la
Administracin Pblica Federal, agregando otras responsabilidades, a las funciones de control,
fiscalizacin, evaluacin, responsabilidades y atencin ciudadana y contralora social, desarrolladas
por la entonces Secretara de la Contralora General de la Federacin. Segn hemos sealado se le
otorgaron nuevas atribuciones para promover el desarrollo y modernizacin de la APF, administrar
el patrimonio inmobiliario federal, realizar avalos de inmuebles federales, determinar la
justipreciacin de rentas, emitir la normatividad en materia de adquisiciones, obra pblica, servicios
y bienes muebles.
Estas funciones, se fortalecen y perfeccionan con las reformas a las leyes Orgnica de la
Administracin Pblica Federal, Federal de Entidades Paraestatales y Federal de Responsabilidades
de los Servidores Pblicos, publicadas en el DOF el 24 de diciembre de 1996, al conferirle a la
entonces SECODAM atribuciones para nombrar y remover a los Titulares de los rganos Internos
11
11
12
Planeacin
Programacin
EVALUACION
Presupuestacin
INSTRUMENTO
ARTICULADOR DEL
SISTEMA NACIONAL
DE PLANEACION
DEMOCRATICA Y
PROMOTOR DE LA
CONSECUCION DE
LOS OBJETIVOS
PLANTEADOS EN
EL PLAN NACIONAL
CONTROL
DE DESARROLLO,
PROGRAMAS
SECTORIALES
GUBERNAMENTALES
Y SISTEMA NACIONAL
DE INDICADORES
RESPONSABILIDAD
DE LA SFP Y LOS
ORGANOS INTERNOS
DE CONTROL
EVALUAR EL PROCESO
IMPLANTAR EL
SISTEMA DE
CONTROL Y
EVALUACION
GUBERNAMENTAL
Gobierno Mexicano. El documento, para la actual administracin, se conforma por cuatro captulos:
Desarrollo Social y Humano; Crecimiento con Calidad; Orden y Respeto; y Compromisos con
Mxico.
d) Cuenta de la Hacienda Pblica Federal de la Gestin Pblica del Gobierno Mexicano
La Cuenta Pblica es un documento de evaluacin financiera del ejercicio fiscal inmediato
anterior, sustentado en estados financieros, presupuestales, programticos y econmicos definitivos
y auditados, que se presenta a la H. Cmara de Diputados de conformidad al Artculo 74, fraccin
IV de la Constitucin para su revisin.
La Contabilidad Gubernamental y sus resultados anuales registrados en la cuenta de la
Hacienda Pblica Federal apoyan la planeacin, control y evaluacin, retroalimentando la
formulacin e integracin del Plan y los programas sometindose en consecuencia a nuevas
funciones e interrelaciones dentro del Sistema Nacional de Planeacin Democrtica.
La Cuenta Pblica es por lo mismo un instrumento que permite el seguimiento real de las
acciones emprendidas en el mbito presupuestario, programtico, contable y econmico dentro del
Sistema Nacional de Planeacin Democrtica, por lo que es una herramienta muy til en la
formulacin de planes y programas.
La revisin de la Cuenta de la Hacienda Pblica Federal por el Poder legislativo tiene como
objetivos conocer los resultados de la gestin financiera; comprobar si el ejercicio presupuestal de
las entidades del Sector Pblico se ha ajustado a los criterios sealados en el Decreto de
Presupuesto y dems ordenamientos que rigen la accin del Ejecutivo Federal en esta materia; y
revisar el cumplimiento de las metas contenidas en los diversos programas del presupuesto.
La Ley de Presupuesto, Contabilidad y Gasto Pblico Federal establece como
responsabilidad de la Secretara de Hacienda y Crdito Pblico la formulacin de la Cuenta de la
Hacienda Pblica Federal, en donde consigna la informacin financiera, presupuestaria, econmica
y programtica de las distintas dependencias y entidades que conforman el Sector Pblico
Presupuestal. Dicha informacin se presenta con base a los formatos, instructivos, lineamientos y
metodologa que dicha Secretara emite para captar la informacin, lo cual implica un proceso
altamente complejo para su integracin final. La evaluacin se centra en el programa de finanzas
pblicas y su contribucin en el cumplimiento de las lneas bsicas que seala el Plan Nacional de
Desarrollo 1995-2000 para alcanzar el crecimiento econmico, estabilizacin, inversin y
modernizacin.
e) Control y seguimiento del gasto pblico del cumplimiento de programas y metas
En cumplimiento a lo dispuesto por los artculos 37, fracciones I y V, de la Ley Orgnica de
la Administracin Pblica Federal y del Decreto de Presupuesto Anual de Egresos de la Federacin,
la Secretara de la Funcin Pblica, realiza, con periodicidad trimestral, la evaluacin del ejercicio
del presupuesto y cumplimiento de metas de las dependencias y entidades paraestatales de Cuenta
Pblica, reportes que se envan a la Secretara de Hacienda y Crdito Pblico y los Titulares de las
Coordinadoras de Sector y de las Entidades para los efectos de su competencia.
Asimismo, se efecta en forma mensual la evaluacin de 31 Convenios de Balance de
Operacin Primario y Financiero, los cuales se revisan en el seno de la Comisin Intersecretarial
Gasto-Financiamiento. Actualmente la evaluacin de programas y presupuestos, se realiza con base
en los datos que proporcionan las dependencias y entidades a travs del Sistema Integral de
Informacin, la que se complementa con diversa documentacin que envan. Dicho Sistema
proporciona datos cuantitativos, adems de que presenta algunas deficiencias en cuanto a la
oportunidad de envo de informacin y carece de notas cualitativas que expliquen, en su caso, las
causas de variacin del ejercicio presupuestal y del cumplimiento de programas y metas.
El que los Titulares de los rganos Internos de Control estn adscritos orgnicamente a la
SFP, permite que las deficiencias en la calidad y oportunidad de la informacin se atiendan de
origen y se corrijan los sistemas y mecanismos de acopio, procesamiento, consolidacin y
15
evaluacin, lo que tendra una repercusin en la calidad de los informes consolidados que elabora la
SFP. Adems, se estara avanzando hacia la implementacin del proceso de auto-evaluacin en la
Administracin Pblica.
f) Indicadores de gestin
En respuesta a las demandas ciudadanas contenidas en el Plan Nacional de Desarrollo y con
base en los lineamientos de la Ley de Planeacin, se contempla como una de sus principales metas
fortalecer la evaluacin de la gestin pblica. En este contexto, se ha planteado la necesidad de
establecer en forma sistemtica Indicadores de Gestin.
Los indicadores se constituyen como un instrumento importante para promover el cambio
estructural y la modernizacin de la Administracin Pblica, toda vez que permiten medir el
cumplimiento de los objetivos institucionales y vincular sus resultados con la satisfaccin de las
demandas sociales que, en el mbito de su competencia, corresponde atender al Estado mexicano.
Los objetivos especficos que en el marco de la Administracin Pblica Federal se reconocen
a los Indicadores de Gestin, son los siguientes:
Analizar el desempeo de las Dependencias y Entidades, vinculndolo con el
cumplimiento de sus objetivos.
Evaluar sistemticamente el costo de los servicios pblicos y de la produccin de bienes,
as como su calidad, su pertinencia y efectos sociales.
Verificar que los recursos pblicos se utilicen con honestidad, eficacia y eficiencia.
En un primer momento, y antes de disponer del sistema de metas presidenciales, los
indicadores que se venan manejando se clasificaron en:
9 Programtico-Presupuestales: Su empleo permite determinar los niveles de eficiencia y
eficacia de la gestin pblica, precisar el grado de avance fsico-financiero de los programas y
principales metas y su incidencia en el logro de los objetivos y, en su caso, definir y ejecutar los
ajustes correspondientes en metas y recursos.
9 Financieros: Mediante su utilizacin se puede obtener sistemtica y estructuralmente
informacin cuantitativa en unidades monetarias y en trminos porcentuales que permitan evaluar si
las dependencias y entidades mantienen una adecuada estructura financiera y de inversin, y si
cuentan con el capital de trabajo y con la liquidez necesarios para su operacin, aspectos que
permitirn desarrollar e integrar planes de operacin, expansin y rentabilidad.
9 Administrativos: Permiten determinar el rendimiento de los recursos humanos y su
capacidad tcnica en la consecucin de una meta o en la ejecucin de una tarea asignada a una
determinada unidad administrativa. Estos parmetros, conjuntamente con los programticos,
definen los niveles de productividad alcanzados.
9 Operativos y de Servicios: Con este tipo de indicadores se pretende dimensionar o
cuantificar valores cualitativos, como es la calidad y pertinencia de los bienes y servicios, mediante
el establecimiento de frmulas aritmticas que permitan evaluar el aprovechamiento de los recursos
materiales de los diferentes procesos productivos y reas de servicios, y su incidencia o efecto
producido en el entorno socio-econmico.
Con ello se ha buscado evaluar el cumplimiento de la legislacin, las polticas, estrategias,
objetivos y metas contenidas en el Plan Nacional de Desarrollo, en los Programas Nacionales
Sectoriales, en los Programas Operativos Anuales y en el Presupuesto de Egresos de la Federacin
vigente. A continuacin se describirn ampliamente los tres principales Sistemas de Evaluacin que
existen en Mxico, dndole un mayor nfasis al Sistema de Metas Presidenciales, que es el que
actualmente gua al gobierno federal.
IV. Principales sistemas de evaluacin existentes
Segn vimos en los antecedentes y el marco institucional, el papel de la evaluacin ha sido
importante para los ltimos gobiernos de Mxico. En todos los casos se ha postulado la necesidad
de evaluar y tener mediciones adecuadas para hacer seguimientos de los planes y tener mediciones
16
adecuadas para tener un aprendizaje. Se cuenta con importantes sistemas de evaluacin, y como se
ha sealado los mtodos aplicados por la SFP estn a un buen punto para permitir que el gobierno
pueda sustentar su accionar en una evaluacin de resultados. An faltan puntos que cumplir y
satisfacer, pero al menos ya se cuenta con evaluaciones que no slo miden la actuacin sino el
efecto alcanzado con ella. En suma, en la etapa actual se dispone de instrumentos muy adecuados
para una evaluacin orientada a resultados. En este documento expondremos slo los principales
sistemas de evaluacin, que tienen un sentido general y se orientan a medir resultados:
Sistema de Evaluacin del Desempeo, de la SHCP
Sistema de Metas Presidenciales
Sistema de Evaluacin y Control Gubernamental de la SFP
IV.1. Sistema de Evaluacin del Desempeo, SED, de la SHCP
Durante el periodo de gobierno anterior se hizo un gran esfuerzo para vincular la Nueva
Estructura Programtica (NEP) y el Sistema de Evaluacin al Desempeo (SED), como elementos
clave de la Reforma al Sistema Presupuestario del Gobierno Federal. Este esfuerzo estuvo a la
altura de las tendencias internacionales en materia presupuestaria, buscando recuperar un enfoque
basado en resultados 12 . Atento al proceso de evolucin de las prcticas ms exitosas en materia de
gasto pblico 13 , el Gobierno Federal instrument desde 1997 un proyecto integral de modernizacin
del proceso de planeacin, programacin y presupuestacin -la NEP-, cuya misin era transformar
los procesos de las unidades ejecutoras de la Administracin Pblica, buscando enfocarlos hacia
criterios de productividad de los recursos pblicos -cada vez ms escasos- y apoyarlos en la
identificacin y evaluacin de las distintas alternativas para el mejoramiento del impacto de los
programas gubernamentales.
En este sentido, la NEP permite una evaluacin de los recursos necesarios para la
consecucin de determinados resultados, abatiendo los criterios discrecionales en su asignacin.
Este es el principal atractivo de vincular la NEP con el sistema de indicadores estratgicos, el SED.
Los procesos de transformacin que demand la Reforma comprendieron:
La adecuacin de los programas gubernamentales a objetivos sectoriales estratgicos;
Sistemas de monitoreo de programas sectoriales y especiales, actividades institucionales,
proyectos institucionales y de inversin;
Tcnicas de medicin de resultados y procesos clave;
Compromisos sustantivos frente a la sociedad;
Tecnologa de apoyo al monitoreo y evaluacin de programas sectoriales y especiales,
actividades institucionales y proyectos institucionales y de inversin;
Mecanismos de evaluacin integral de programas sectoriales y especiales, institucionales,
y proyectos institucionales y de inversin.
De acuerdo a esta nueva tendencia, las instituciones pblicas "justifican" los gastos de los
programas que administran, si saben si el gasto pblico destinado a dichos programas tiene los
resultados deseados, es decir, si los programas producen beneficios reales a costos razonables. Esto
es, si pueden evaluar el impacto de la gestin pblica desde la perspectiva de un anlisis de costobeneficio. Reconociendo que los sistemas de medicin del desempeo basados en los resultados
requieren de elementos adicionales que slo es posible alcanzar en el mediano plazo: mtodos
12
En este sentido, las reas presupuestarias de diferentes latitudes coinciden en el agotamiento del esquema de planeacin,
programacin y presupuestacin ligado a metas, en el marco de ajustes en sus finanzas pblicas, de procesos de
modernizacin y cambio estructural de la administracin pblica, fuertes factores inerciales y escasos mrgenes de
maniobra en la elaboracin de presupuestos.
13
La evaluacin del desempeo, surgi como tema clave en la administracin de las organizaciones a mediados de los
aos setenta, cuando stas comenzaron a centrar su atencin en la calidad de los procesos y sus productos y
posteriormente, en la planeacin estratgica como herramienta para lograrlo. Tomando como premisa este enfoque a los
resultados, el sector pblico increment su inters por encontrar mejores mtodos de planeacin, programacin y
presupuestacin de los recursos gubernamentales.
17
flexibles y creativos que cuenten con indicadores de medicin de alta calidad, susceptibles de
incorporar nuevas variables, y sustentados en sistemas de informacin adecuados, se inici un
esfuerzo importante para orientar la accin a resultados. Este esquema requiri de los avances en la
desregulacin y diferentes grados de flexibilidad en la normatividad para elaborar el presupuesto,
as como para el ejercicio del gasto.
El SED, reconoci que varias de las instituciones pblicas no podran disponer de un sistema
de indicadores estratgicos tpico, no obstante que siempre pueden encontrarse alternativas
razonables para la evaluacin de su gestin. Tal es el caso de algunas actividades en las
dependencias del sector central, por ejemplo, cmo medir el impacto de las secretaras de
Gobernacin, de Relaciones Exteriores, de Comercio y Fomento Industrial y de Hacienda y Crdito
Pblico, entre otras, de acuerdo al esquema de resultados?, cmo debera fijarse el valor deseado
de las acciones relacionadas con el servicio exterior, las negociaciones de tratados internacionales,
la definicin de promocin industrial y comercial, las polticas de migracin y de comunicacin
social, entre otras?, se mide realmente el desempeo de la Secretara?
A estas dependencias se les pidi manejar otros parmetros de evaluacin de resultados, en
los que se monitorearan ciertos atributos de la gestin, tales como la calidad y eficiencia en los
servicios que brindan a la sociedad. En estos casos, el indicador de gestin sera el indicador
estratgico.
Se postul como misin del Sistema de Evaluacin: Contribuir a elevar la productividad de
los recursos Fiscales, proporcionando a las dependencias globalizadoras y a los ejecutores de
programas gubernamentales, elementos para mejorar la toma de decisiones en los mbitos de
planeacin y ejecucin del gasto, fortaleciendo y formalizando procesos de evaluacin de
programas y el desempeo de funcionarios responsables.
Como objetivos se manejaron:
Adecuar el diseo de los programas gubernamentales a los objetivos sectoriales y a la
demanda de la poblacin.
Fomentar el cambio cultural hacia la obtencin de resultados y a la satisfaccin de
beneficiarios, en lugar de al desarrollo de actividades.
Incorporar en la evaluacin de programas gubernamentales criterios de resultados,
eficiencia, costos y calidad de los servicios incluyendo satisfaccin de los beneficiarios- y
promover un mayor involucramiento de la sociedad en el proceso de evaluacin.
Mejorar la objetividad y la racionalidad de la asignacin del gasto pblico.
Incorporar nuevas herramientas tecnolgicas a la administracin de programas
gubernamentales, mediante el desarrollo de sistemas de informacin.
Los beneficios globales del SED, que se identificaron fueron los siguientes:
El SED propiciara que los programas sustantivos se ligaran a resultados concretos,
siempre con referencia a estndares deseables.
Se promovera la comunicacin entre los ejecutores y las entidades globalizadoras.
Motivara a los ejecutores para mejorar de manera continua los programas.
Apoyara a las reas de presupuestacin en la asignacin de recursos presupuestales al
proveer de argumentos confiables para la toma de decisiones.
Permitira detectar y corregir fallas a tiempo.
Permitira mantener informada a la sociedad sobre el manejo de recursos pblicos y la
eficiencia en la administracin de los mismos.
El Sistema de Evaluacin del Desempeo est integrado por cinco elementos principales:
indicadores, convenios de desempeo, encuestas a beneficiarios, auditorias de resultados y como
herramienta tecnolgica, el Sistema de Informacin Ejecutivo (SIE). Estos elementos interactan
para la evaluacin de los programas gubernamentales.
En consecuencia, los elementos clave del sistema son:
18
1. Definicin de Indicadores
La definicin de indicadores es el punto de partida y el elemento ms importante para la
incorporacin de una nueva actividad o proyecto, ya que son los parmetros de evaluacin del
cumplimiento de la misin de los programas. La definicin de indicadores debe adecuarse al Plan
Nacional de Desarrollo, los planes sectoriales, y la misin y los objetivos de los programas. Para
ello, se prev identificar los factores crticos de xito para el cumplimiento de objetivos y, conforme
a ellos, construir un modelo lgico para el diseo de indicadores alineados a objetivos estratgicos,
acordes a los principios generales de la NEP. Corresponde a los ejecutores -conocedores de los
programas sustantivos- crear grupos de trabajo para la construccin de indicadores preliminares y
presentarlos a las Direcciones Generales de Programacin y Presupuesto sectoriales de SHCP, y a la
SFP con el fin de depurarlos, validarlos y crear una versin final para cada programa clasificados en
cinco dimensiones del desempeo: impacto, cobertura, calidad, eficiencia y alineacin de recursos.
Una vez que se dispone de los indicadores validados, stos se ponderan tomando en cuenta la
importancia relativa de cada uno de ellos. Este proceso permite seleccionar a los ms
representativos para los cuales se generarn indicadores costo-efectividad, que medirn la eficiencia
en el uso de recursos para la generacin de resultados. Este ltimo tipo de indicadores quedar
integrado al sistema, pero estar disponible slo para la SHCP, pues su aprovechamiento real
depende de la construccin de series histricas que permitan realizar series de tiempo y regresiones
para hacer estimaciones estadsticamente vlidas.
Los indicadores de costo-efectividad no evalan el beneficio de un programa, sino que
proporcionan informacin de cmo se esperara que cambiara el valor de un indicador de resultado
al transformar marginalmente el gasto en el programa.
A continuacin se presentan los lineamientos para el diseo de estos indicadores:
Elegir variables lo ms altamente correlacionadas posible con el programa a evaluar, con
el fin de reducir al mnimo el impacto de factores no controlables por el programa.
Deflactar los gastos para hacer comparaciones en trminos reales.
Calcular los indicadores por entidad federativa con el fin de tomar en cuenta diferencias
regionales y evitar comparaciones entre entidades con caractersticas dismbolas.
Construir series de tiempo que permitan dar validez estadstica a los indicadores
costo/efectividad, ya que stos slo pueden ser calculados para un periodo especfico.
Incorporar variables de resultados asociados no slo al impacto y cobertura, sino tambin
al acceso, calidad y eficiencia de los servicios, con el fin de responder mejor a objetivos de equidad,
universalidad y eficacia, caractersticos de los sectores sociales.
Evitar la sobreestimacin de los gastos requeridos por los programas, ajustando los
recursos programados a relaciones histricas de mejora en resultados contra incrementos
presupuestales.
Para todos los indicadores se deben establecer metas anuales y multianuales tomando como
referencia estndares relevantes, identificados por los ejecutores y validados por las globalizadoras.
Estos estndares pueden surgir de comportamientos histricos de estados lderes a nivel nacional, de
compromisos establecidos en el Plan Nacional de Desarrollo, o de mejores prcticas en pases con
programas similares.
2. Sistema de Informacin Ejecutivo
La informacin de indicadores, ponderadores y metas es alimentada a un "software"
denominado Sistema de Informacin Ejecutivo, el cual est conformado en ambiente "Windows"
sumamente amigable, y a travs de diversas pantallas los ejecutores y las globalizadoras tienen las
capacidad de consultar mes a mes el desempeo de los programas. En las pantallas, el nivel de
desempeo por indicador se refleja con semforos que indican el grado de cumplimiento de las
metas fijadas por los ejecutores en el periodo de clculo, las cuales tienen asociadas rangos bajo los
cuales se determina si el comportamiento fue favorable, ligeramente desfavorable o desfavorable.
Adicionalmente, a fin de detectar el comportamiento regional de un programa, el SIE permite
19
hacer comparaciones entre estados, hacer proyecciones para cumplir con la meta anual, hacer
simulaciones para encontrar niveles ptimos de desempeo en variables clave, incluir informacin
cualitativa a travs de fichas tcnicas en donde los usuarios justifican el resultados de indicadores y
medir la relacin costo-efectividad de variables clave.
Las principales caractersticas del SIE son las siguientes:
Permite observar el desempeo de los programas incorporados al sistema con relacin a
sus metas establecidas, en diferentes niveles de agregacin.
Permite enfocarse en los asuntos que requieren mayor atencin, debido a que opera con
base en un sistema de semforos que muestran el desempeo respecto a la meta: verde - cumple con
la meta; amarillo -marginalmente fuera de la meta; y rojo- no cumple con la meta. Adicionalmente,
es posible tambin consultar el valor de cada indicador y de los datos que lo componen, si as se
desea.
Permite realizar diversos anlisis de sensibilidad y de proyeccin del desempeo de los
indicadores para fines de planeacin o de apoyo a la toma de decisiones.
Cuenta con fichas tcnicas que permiten al ejecutor presentar un anlisis de los resultados
obtenidos y las recomendaciones correspondientes.
3. Convenios de desempeo
Los convenios de desempeo son compromisos pblicos establecidos conjuntamente con
ejecutores, en donde se fijan metas de desempeo alineadas a indicadores de resultados. Los
indicadores incluidos en los convenios son seleccionados por los ejecutores as como por las
globalizadoras de un paquete de indicadores que se definen para cada programa en el SIE, con fin
de extraer los ms relevantes y asegurar que los ejecutores respondan a las necesidades prioritarias
de los programas.
La definicin y concertacin de convenios de desempeo debe reconocer la diversidad que se
tiene entre las unidades responsables de la APF, al menos: empresas paraestatales de carcter
productivo, organismos pblicos descentralizados que prestan un servicio y/o otorgan apoyos a
algunos sectores de la poblacin, rganos desconcentrados, dependencias del sector central,
instituciones financieras y fideicomisos.
En su contenido los convenios definen los objetivos y metas, los trminos de evaluacin, las
responsabilidades, el grado de autonoma y los incentivos y sanciones asociadas al cumplimiento de
los mismos. Existen estmulos de diversos tipos tanto al buen desempeo y como por
incumplimiento. Asimismo, los convenios establecen acuerdos operativos bajos los cuales se
eliminan los requerimientos de informacin irrelevante bajo el nuevo enfoque de evaluacin y se
otorga mayor flexibilidad en la administracin del presupuesto. En este sentido, se hace necesario
tomar en cuenta para cada tipo de unidad responsable un esquema de flexibilidad y autonoma
acorde a su naturaleza y operacin.
Los beneficios de los convenios de desempeo son los siguientes:
Promocin del cambio cultural en la administracin pblica, de desarrollo de actividades
para la obtencin de resultados y satisfaccin de beneficiarios.
Elevacin del nivel de interaccin entre las reas globalizadoras y los ejecutores en el
proceso presupuestario, al pasar de una negociacin centrada en recursos a otra, de objetivos a
lograr, metas y recursos necesarios para alcanzarlas.
Impulso a la carrera de funcionarios eficientes, mediante la difusin de los resultados de
su gestin.
Fortalecimiento de la capacidad de conduccin estratgica de los sectores bajo esquemas
descentralizados, a travs del establecimiento de metas de desempeo ligadas a planes sectoriales y
al apoyo en auditorias de resultados.
Fomento a una administracin pblica ms eficiente, mediante el establecimiento de
incentivos y sanciones al desempeo, la flexibilizacin operativa de los programas y la
racionalizacin de requerimientos de informacin a los ejecutores por parte de las globalizadoras.
20
4. Encuestas
Las encuestas son un elemento valioso del sistema pues arrojan informacin cualitativa que
complementa la informacin cuantitativa generada por los indicadores. Su incorporacin en el SED
responde a tres objetivos principales:
Obtener informacin de las demandas de la ciudadana.
Conocer la opinin de los beneficiarios acerca de los resultados que perciben de los
programas.
Obtener nuevas variables para la alimentacin de indicadores del desempeo y de costo
efectividad.
Las encuestas son diseadas por los ejecutores con el apoyo de una organizacin calificada
en la materia y validadas por las globalizadoras, la informacin resultante permitir inferir de
manera confiable la opinin y las demandas del grupo de beneficiarios al que est dirigido un
programa o actividad en especfico.
5. Auditoras
Para garantizar que la informacin con la que se alimenta el SIE sea confiable, se plantea la
realizacin de auditorias de resultados para validar la calidad de las bases de datos. La definicin de
la operacin de estas auditorias se deber discutir con la SFP. Se ha pensado que se realicen
anualmente en programas clave y aleatoriamente para el resto de los programas.
6. Evaluacin
La evaluacin de programas es el fin ltimo del Sistema, pues consiste en el uso de todos los
elementos que lo conforman para emitir juicios de valor para el presupuesto, fundamentados en
fuentes confiables de informacin. Este ejercicio consiste en hacer comparaciones de resultados
contra metas y analizar tendencias en el comportamiento de los indicadores.
Las evaluaciones deben realizarse al trmino del ao presupuestal en mesas de trabajo en
donde los ejecutores presentan su auto evaluacin, y las globalizadoras validan. Dado que el SED
no puede determinar de manera automtica la causalidad de los indicadores de resultados, son los
ejecutores quienes tendrn que definir con base en sistemas de verificacin interna las causas por
las cuales se obtuvieron dichos resultados. Asimismo los ejecutores deben definir las lneas de
accin a los responsables y los tiempos para implantar polticas de mejora. Los resultados de las
evaluaciones son del conocimiento pblico, as como los incentivos y las sanciones asociadas al
cumplimiento o incumplimiento de los convenios de desempeo
7. Retroalimentacin
Una vez concluidas las evaluaciones, los ejecutores conjuntamente con las globalizadoras
dictaminarn las necesidades de ajuste al sistema para su perfeccionamiento. En dicho proceso se
analiza si los indicadores propuestos deben ser mejorados, depurados o si se necesita crear
indicadores adicionales para medir aspectos clave no contemplados en mdulos previos. Por otro
lado, debern revisar las encuestas y la estructura de convenios para hacer adecuaciones que
mejoren la calidad del sistema en conjunto.
IV.2. Sistema de Metas Presidenciales, SIMEP
Este programa se inici en la administracin de Vicente Fox. La mecnica es simple pero
significativa. Cada titular de las dependencias y entidades del sector pblico debe negociar un
conjunto de metas con el mismo Presidente de la Repblica. Ah se establecen plazos y momentos
de avances. El sistema se instituy desde el inicio del gobierno del presidente Fox. Las metas deben
21
estar vinculadas al Plan Nacional de Desarrollo (PND) y a los Programas Sectoriales. El Sistema de
Evaluacin y Seguimiento de Metas Presidenciales est a cargo de la Unidad de Control y
Evaluacin de la Administracin Pblica de la Secretara de la Funcin Pblica. La Unidad de
Control y Evaluacin corresponde a un rea existente antes del gobierno de Fox, cuya principal
funcin ha sido dar seguimiento al Plan Nacional de Desarrollo y hacer una evaluacin de tipo
presupuestal.
El Sistema de Metas Presidenciales (SIMEP), ha sido definido como una herramienta
administrativa que tiene por objetivo concertar y establecer con las instituciones de la
Administracin Pblica Federal, compromisos de mejora de resultados de programas prioritarios y
estratgicos del Gobierno Federal, y de avanzar en la racionalizacin y uso ptimo de recursos
humanos, materiales y financieros, con el propsito fundamental de lograr la transformacin de la
realidad econmica y social en beneficio de la poblacin. Sus caractersticas y objetivos especficos
son:
Es una herramienta para transitar de un gobierno basado en normas a uno basado en
resultados.
Forma parte del Modelo Estratgico para la Innovacin y la Calidad Gubernamental.
Este Sistema no tiene el propsito de sustituir los mecanismos de control, evaluacin y
seguimiento de la gestin pblica de la APF, establecidos en las disposiciones jurdico-normativas
aplicables en la materia.
Es un Sistema de alta direccin que busca identificar los procesos sustantivos y de alto
impacto del Gobierno Federal, a efecto de establecer desafos y retos de evaluacin de resultados
mediante esfuerzos adicionales con base en los resultados de los ejercicios anteriores.
Procura que los recursos y esfuerzos del Gobierno Federal se enfoquen hacia la atencin
de las demandas, necesidades y expectativas de la Sociedad.
Mediante este Sistema el Titular del Ejecutivo Federal o la persona que designe, lleva a cabo
una concertacin con los titulares de las instituciones seleccionadas, las metas que sern sujetas de
seguimiento y evaluacin en trminos de resultados, y se determinan los estndares, ponderaciones
y el rango de metas a cumplir (mnima, satisfactoria y sobresaliente).
La evaluacin ms importante es la evaluacin del cumplimiento del PND y se monitorea por
sectores. Cada cabeza de sector debe reportar e informar al respecto. Existe un sistema de
informacin integral que aprovechan la SFP, la SHCP y el Banco de Mxico, denominado Sistema
Integral de Informacin. La SFP tambin hace seguimiento de las reas de comunicacin social y es
un rea de vinculacin con la ASF, para atender las observaciones de ese rgano (se realizan cerca
de 3.000 observaciones al ao).
Se realizan reportes peridicos donde se van haciendo recomendaciones sobre cumplimiento
de metas comprometidas y sobre gasto. Tambin se analiza el marco de actuacin en una lgica
normativa. El uso de la informacin de reportes es precisamente para el Presidente, a quien se le
entrega cada da 10 del mes en curso con las variaciones ocurridas. Cada institucin debe cargar en
el sistema sus metas y avances en el sistema; y los pueden consultar. Este sistema funciona en lnea
con rangos de estatus que permiten tener acceso a cierto tipo de informacin. Slo el Presidente, el
rea de innovacin de la presidencia y la unidad de control y evaluacin tienen acceso a todo el
sistema.
El rgano de control de la dependencia tiene acceso a la parte de la misma dependencia, pues
como veremos ms adelante los OIC (rganos Internos de Control) son evaluados por el
cumplimiento de metas presidenciales y otros aspectos. El sistema, conocido como SIMEP, no slo
incorpora las metas y sus avances, sino tambin incorpora explicaciones y el rea de evaluacin
emite juicios de valor y cruza informacin con otros sistemas.
La informacin del SIMEP se considera reservada por lo cual el pblico no tiene acceso a la
misma. La razn dada por los responsables del mismo es que aqu se plantean metas de poltica
gubernamental que implican comportamientos de ciertos agentes sociales que al mencionarse
pueden no darse en tiempo y modo conveniente, o bien, que pueda implicar modificaciones a leyes
22
y normas que requieren cabildeo y negociacin. Otro argumento es que el sistema incorpora juicios
de valor no definitivos.
El sistema incorpora los temas prioritarios para el Presidente y se negocia ao con ao con
cada titular. Tambin incorpora compromisos y ofertas de campaa y de discurso, y naturalmente se
vincula, como ya mencionamos con el PND y los programas sectoriales. De la negociacin surgen
compromisos que derivan en metas y se les asigna un valor, esto es las metas de cada titular seran
ponderadas, bajo un sistema participativo pero interno a la administracin pblica. En general
quienes participan son, adems del titular de la dependencia o entidad y del propio presidente, el
oficial mayor, los operadores principales, el rgano interno de control y las reas que inciden fuerte
en el proceso.
Para la evaluacin de la dependencia se tienen los siguientes rangos:
- Metas
60%
- Buen Gobierno
20%
- Evaluacin del Cliente
20%
Cabe mencionar que el primer ao se registraron 110 metas, provocando que se cumpliera
con slo una mnima parte. Actualmente slo se cuenta con 4 5 metas, por dependencia. Este
sistema de metas presidenciales es considerado por la administracin del presidente Fox como un
sistema oportuno, confiable y suficiente, ya que los OIC lo verifican a travs de subsistemas. Como
se observa, la evaluacin, adems de los retos de cada dependencia, considera los objetivos de Buen
Gobierno, derivados del Modelo de Innovacin Gubernamental y existen de igual manera,
evaluaciones de cliente que se hacen por sondeos de opinin . Estos ltimos los realiza la unidad de
control y evaluacin. Los resultados son tomados y manejados para obtener un indicador. Esta
informacin sirve de retroalimentacin para cada dependencia, para que el Presidente est
informado de la marcha de su administracin, y para que el rgano de control tenga informacin de
los resultados que se estn alcanzando y apoye, en su caso.
1. Tipos de metas presidenciales
a) Resultados de operacin
Son las metas relacionadas con los principales programas y proyectos de las instituciones,
que permiten valorar cualitativa y cuantitativamente los resultados de sus Programas Operativos
Anuales aprobados, y sus efectos en la ejecucin y cumplimiento del Plan Nacional de Desarrollo
2001-2006 y de los programas sectoriales de mediano plazo.
Contemplan la concertacin de metas especficas y temporales orientadas a lograr reformas
sustantivas que modifican la visin, misin y estrategias sectoriales e institucionales, para ajustarse
a los cambios coyunturales de orden interno y externo. Miden los grandes logros de las instituciones
pblicas en los nuevos programas implementados por la actual Administracin, para atender las
demandas y expectativas de la Sociedad.
Por tal razn, se les asigna la ms alta ponderacin, y el rango mnimo de calificacin que se
establece es cuando es menos o equivalente al alcanzado en el ejercicio anterior.
Incluyen las sugerencias y solicitudes del Titular del Ejecutivo Federal, las cuales tienen por
objeto la ordenacin racional y sistemtica de acciones que con base en el ejercicio de sus
facultades y atribuciones tiene el Ejecutivo Federal para establecer lneas generales de poltica, para
mejorar los efectos de las acciones del sector pblico, mismas que adquiere el carcter de
estratgicas y prioritarias.
b) Buen gobierno
Son las metas orientadas a impulsar la Agenda de Buen Gobierno, tendientes a transformar a
las instituciones en instituciones competitivas y de clase mundial, mediante el desarrollo y mejora
del potencial de los recursos humanos y materiales, en un ambiente de transparencia, rendicin de
cuentas, orden y respeto a travs de sus seis lneas estratgicas: Gobierno que Cueste Menos;
23
14
Al inicio del sistema haba un mayor nmero de metas, pero ahora se pide se centren en las metas ms significativas
para la sociedad y de mayor impacto.
25
coordinarn con los responsables en las instituciones para definir el documento final que se
suscribirn con el Titular del Ejecutivo Federal.
4. Evaluacin del cumplimiento de las metas concertadas
a) Participacin de los OIC en la revisin y verificacin del cumplimiento de las metas
Los rganos Internos de Control (OIC) deben verificar la confiabilidad y congruencia de los
datos y avances que reportan peridicamente las instituciones que forman parte del SIMEP. Deben
revisar las evidencias documentales que constaten los avances fsicos y financieros reportados.
b) Reportes, dictmenes y periodicidad de la revisin
Los rganos Internos de Control reportan los resultados de la revisin de cada una de las
metas en el formato denominado Cdula de Revisin del OIC al Sistema de Metas Presidenciales
(ver Anexo N 1). Asimismo, los Titulares de los rganos Internos de Control elaborarn y
suscribirn un Dictamen que contenga una breve explicacin del alcance de la revisin efectuada,
su opinin con respecto a las metas examinadas en cuanto a que los resultados se presenten de una
manera razonable, y las perspectivas de cumplimiento de las metas al cierre del ejercicio.
Esta revisin se efecta de manera semestral y anual. Los resultados correspondientes al
semestre enero-junio deben entregarse a ms tardar el 31 de julio, y los definitivos del periodo
enero-diciembre deben enviarse en las fechas solicitadas por la Oficina Presidencia para la
Innovacin Gubernamental.
c) Metodologa de evaluacin de las metas operativas de la UCEGP
Para evaluar y medir el avance de las Metas Presidenciales, se ha diseado un formato
denominado Cdula Evaluatoria de la UCEGP que contiene: el nmero total de metas; la cantidad
que de estas corresponde a Resultados de Operacin, Buen Gobierno y Evaluacin del Cliente, con
su respectiva ponderacin, la cantidad de metas que registraron semforo color verde, amarillo y
rojo o sin color; y la estimacin del cumplimiento.
La evaluacin se realiza con base en el anlisis de los documentos y la informacin vinculada
con la determinacin y el avance de las metas: las Fichas Tcnicas de cada una de las metas
evaluadas; el Reporte de Avance de Metas y Compromisos; y, el Dictamen y el Informe sobre la
Revisin del Sistema de Metas Presidenciales, que emite el rgano Interno de Control.
El rango de medicin de avance se establece de 0 a 100, con base en la ponderacin que se
determin para cada meta o accin que se concert. El punto de referencia para evaluar el
porcentaje de cumplimiento de cada meta, es la unidad de medida establecida en el nivel de
satisfactorio.
Una vez establecidas las variables de evaluacin y medicin, se determina el porcentaje de
cumplimiento para cada meta, el cual se multiplica por el factor de ponderacin acordado,
resultando un indicador de avance para cada meta.
El valor del indicador se obtiene mediante la suma de los puntos alcanzados en cada una de
las metas concertadas. En la evaluacin del primer semestre, no se consideran las metas (ni sus
factores de ponderacin), cuyo cumplimiento est sujeto a una anualidad, as como aquellas que
tienen programados resultados a partir del segundo semestre del 2003. Ambos casos se incorporaran
hasta la evaluacin del cierre del ejercicio.
5. Evaluacin al cliente
a) Proceso para la determinacin de metas
Para definir o establecer las metas de evaluacin del cliente, las instancias responsables
debern considerar los siguientes elementos y criterios:
26
b) Elaboracin de encuestas
La encuesta de evaluacin del cliente comprende una batera de preguntas que le permiten
cumplir con sus objetivos especficos:
Opinin y calificacin de la sociedad en general.
El ....% de los encuestados ha odo hablar de la dependencia o entidad a su cargo (...% en
200X).
El ....% sabe lo que hace (...% en 200X).
La mayora (......%) de la poblacin encuestada en sus viviendas considera que lo que hace
esa dependencia tiene (mucha, poca o ninguna) importancia.
La calificacin general otorgada por los encuestados en vivienda a esa dependencia o entidad
fue de .............. (..... en 200X).
En particular, obtuvo la calificacin siguiente sobre su actuacin en lo relativo a...(programa
prioritario o actividad preponderante).
c) Metodologa
El ejercicio de Evaluacin del Cliente se lleva a cabo mediante diversos instrumentos:
- Un cuestionario general aplicado mediante encuesta a una muestra representativa de 6000
viviendas en todo el pas, que conforma la opinin de la sociedad en general.
- Encuestas especiales a grupos de clientes especficos de dependencia o entidades.
- Encuestas con cuestionarios auto-aplicables a clientes personalizados, mediante correo
postal o electrnico.
27
CONTRALORA
SECRETARIA EJECUTIVA DE LA
COMISION INTERSECRETARIAL
PARA LA TRANSPARENCIA Y
ELCOMBATE A LA CORRUPCION
SUBSECRETARIA DE
CONTROL Y AUDITOR[A
DEGESTION PBLICA
UNIDAD DE ASUNTOS
JURIDICOS
UNIDAD DE SERVICIOS
ELECTRONICOS
GUBERNAMENTALES
UNIDAD DE VINCULACIN
PARA LA
TRANSPARENCIA
UNIDAD DE CONTROL
Y EVALUACION DE LA
GESTION PBLICA
COORDINACION
GENERAL
DE OIC
SUBSECRETARIA
DE DESARROLLO Y
SIMPLIFICACION
ADMINISTRATIVA
OFICIALA
DIRECCION
GENERAL
DIRECCION
GENERAL
DE
DIRECCION
GENERAL
DE
DIRECCION
GENERAL DE
RESPONSABILIDA
DIRECCION
GENERAL DE
EFICIENCIA
DIRECCION GENERAL
DE MODERNIZACION
ADMINISTRATIVA Y
PROCESOS
DIRECCION
GENERAL
DIRECCION GENERAL DE
ANALISIS DE
ESTRUCTURAS Y
PROFESIONALIZACION
SUBSECRETARIA DE
ATENCION CIUDADANA
Y NORMATIVIDAD
UNIDAD DE AUDITORIA
GUBERNAMENTAL
UNIDAD DE
NORMATIVIDAD DE
ADQUISICIONES, OBRAS
PBLICAS, SERVICIOS Y
DIRECCION
GENERAL DE
OPERACION
REGIONAL Y
DIRECCION GENERAL
DE ADMINISTRACION
DEL SERVICIO
COMISIN DE
AVALOS DE BIENES
NACIONALES
29
DIRECCION GENERAL
DE INFORMATICA
P
N
D
S
N
I
P
R
O
G
.
ELEMENTOS
RECTORES
QUE ESTABLECEN
CON LA
CIUDADANIA
S
E
EL COMPROMISO DE
MEJORAR EL QUEHACER
GUBERNAMENTAL EN
TERMINOS DE EFICIENCIA,
EFICACIA Y PRODUCTIVIDAD
FORTALECER LOS
A. PRINCIPIOS DE
PROBIDAD Y RENDICION
PUNTUAL DE CUENTAS
PERTINENCIA
Y CALIDAD
EN LOS SERVICIOS
de la ejecucin de los programas y metas aprobados, vinculados con los objetivos de las
dependencias y entidades de la Administracin Pblica Federal.
La SFP estableci como prioridad el lograr una evaluacin integral de los resultados de la
gestin pblica, en trminos de eficiencia, eficacia y productividad, articulando el gasto pblico, los
programas y metas de los sectores con los principales objetivos y polticas de gobierno. Con esta
nueva orientacin, anualmente se integran informes y reportes que sealan los resultados para
conocer el desempeo de las instituciones y apoyar la toma de decisiones para su mejor
funcionamiento; los de mayor importancia son:
9 Carpetas trimestrales de evaluacin del ejercicio del gasto y cumplimiento de los
elementos programticos.
9 Evaluacin trimestral de avances de programas sectoriales y especiales de la APF.
9 Informes de avance en la ejecucin de las lneas de accin de los programas sectoriales
2001-2006.
9 Informes trimestrales sobre el cumplimiento de convenios de fortalecimiento financiero
(de dficit-supervit) y de desempeo.Evaluaciones trimestrales sobre el cumplimiento de los
programas anuales de control y auditoria y del seguimiento de observaciones relevantes de las
instancias fiscalizadoras.
9 Informes ejecutivos sobre gastos de comunicacin social.
9 Informes de recuperaciones y costos de las Contraloras Internas.
9 Informes de los Comisarios Pblicos sobre la auto-evaluacin de las entidades y rganos
desconcentrados.
9 Opinin de los Comisarios Pblicos sobre los Dictmenes a los Estados Financieros.
9 Informes sobre los Programas de Ahorro, Racionalidad y Austeridad.
9 Seguimiento de Observaciones y Recomendaciones de los rganos de Fiscalizacin.
Puede decirse que las principales funciones de evaluacin de la SFP son:
Indicadores de Gestin.
31
Evaluacin de Programas
Sectoriales e Institucionales
de Mediano Plazo
(20 carpetas semestrales)
Revisin de la Cuenta de la
Hacienda Pblica Federal
(1 informe anual)
Programa de Austeridad
Presupuestaria
Reporte de Cumplimiento
(1 carpeta anual)
Informe de Resultados
(1 carpeta semestral)
PRINCIPALES
PRODUCTOS
GENERADOS
Propuesta de Modificacin
del Manual de Normas
Presupuestarias de la APF
(1 propuesta anual)
Evaluacin de Convenios de
Seguimiento Financiero
(1 carpeta trimestral)
Informes Institucionales
de Ejecucin del PND.
de Gobierno.
de Labores.
(1 documento anual
por cada uno de ellos)
32
A continuacin se exponen cmo son entendidas algunas evaluaciones, por parte de la misma
Secretara de la Funcin Pblica.
Tipos de Evaluacin
1. Evaluacin del Ejercicio
del Gasto Pblico
Objetivos Generales
Evaluar trimestralmente en
forma integral los resultados de
la gestin pblica en trminos
de eficiencia, eficacia y
productividad, articulando el
gasto pblico, los programas y
metas, con los principales
objetivos y polticas de
gobierno.
Objetivos Especficos
Detectar
las
principales
desviaciones del ejercicio del
gasto y cumplimiento de los
elementos
programticos,
proponiendo
las
recomendaciones que permitan
mejorar
el
desempeo
institucional
(Carpeta
de
Evaluacin con Conclusiones y
Recomendaciones).
2. Evaluacin de Programas
Sectoriales
Evaluar trimestralmente la
implementacin y ejecucin de
los programas sectoriales de
mediano plazo derivados del
Plan Nacional de Desarrollo,
en
funcin
de
metas
significativas y cuantificables
en trminos de resultados,
destacando su vinculacin con
los objetivos y prioridades del
Plan y con las demandas y
necesidades de la poblacin.
Detectar
los
principales
desfasamientos fsicos y/o
financieros observados en los
programas y proyectos de
inversin ms relevantes y en
el cumplimiento de diversos
aspectos
jurdicoadministrativos, as como en
metas y objetivos, que inciden
en el logro de las prioridades
nacionales y en la credibilidad
y confianza de la ciudadana en
la aplicacin y uso de los
recursos pblicos.
Verificar el cumplimiento de
3. Evaluacin de los
Convenios de Fortalecimiento los compromisos establecidos
en los Convenios suscritos
Financiero
entre el Gobierno Federal y las
entidades
paraestatales
controladas presupuestalmente,
a nivel de ingreso, gasto y
balances de operacin, tanto
primario como financiero (flujo
de efectivo y devengado).
La SFP tiene la facultad de designar y remover a los titulares de los rganos Internos de
Control de las dependencias y entidades de la Administracin Pblica Federal y de la Procuradura
General de la Repblica, quienes dependen jerrquicamente y funcionalmente de la SFP. Los OIC
de las entidades paraestatales estn facultados para imponer directamente sanciones en materia de
responsabilidades cuando se detecten conductas contrarias a las disposiciones legales y normativas
establecidas, permitiendo que los titulares de los OIC tengan el carcter de autoridad para sustanciar
los procedimientos disciplinarios y aplicar las sanciones previstas en la Ley Federal de
Responsabilidades de los Servidores Pblicos.
Adems existen mecanismos de Coordinacin Interinstitucional del Gobierno Federal como
la Comisin Intersecretarial de Gasto Financiamiento, la cual es un rgano colegiado del
gobierno mexicano de carcter permanente, que tiene por objeto asegurar la coordinacin, la
comunicacin y la efectividad de las acciones durante el proceso de programacin, presupuestacin,
ejecucin y control de las asignaciones del gasto pblico. Se considera una instancia de
coordinacin y asesora al ejecutivo federal para la toma de decisiones en materia de ingresos y
gasto pblico. Est integrado por las siguientes secretaras de estado: de Hacienda y Crdito Pblico
y la Secretara de la Funcin Pblica, que se alternan la presidencia de esta Comisin cada seis
meses; as como las de Desarrollo Social, Economa y la de Trabajo y Previsin Social, que operan
como vocales; adems se cuenta con dos asesores (invitados permanentes), que son el Banco de
Mxico y la Procuradura Fiscal de la Federacin.
Entre sus funciones estn:
Cuidar que las decisiones que se tomen en materia de gasto pblico y su financiamiento
mantengan congruencia en su contenido y con la planeacin nacional del desarrollo, formulando las
recomendaciones necesarias para asegurar la compatibilidad.
Estudiar y emitir las recomendaciones necesarias para asegurar la congruencia de las
finanzas pblicas con los objetivos y prioridades del Plan Nacional de Desarrollo del Gobierno
Mexicano.
Analizar la incidencia del gasto pblico y su financiamiento sobre el comportamiento de
la actividad econmica y social, resaltando las reas estratgicas cuya problemtica demande
atencin prioritaria.
Analizar el comportamiento del Gasto Pblico de su financiamiento para detectar las
desviaciones respecto a lo programado, y sugerir las medidas correctivas de aquellas que no se
justifiquen, y en los casos que se considere conveniente, recomendar los ajustes a los programas
anuales de gasto y financiamiento de la Administracin Pblica Federal.
Examinar la situacin financiera de las empresas y organismos pblicos ms importantes
y de aquellos que presenten condiciones crticas, en colaboracin con los coordinadores de sector
correspondientes, y en su caso, con las propias entidades, para proponer las medidas conducentes.
Operar a travs del Comit Tcnico de Informacin, el Sistema Integral de Informacin de
los Ingresos y Gastos Pblicos. A tal efecto, que las secretaras de Hacienda y Crdito Pblico y de
la Funcin Pblica, as como el Banco de Mxico, establecern en el seno de la Comisin, las
normas y lineamientos relativos a la organizacin y funcionamiento que requiera dicho sistema.
Las dependencias mencionadas, conjuntamente con la dependencia coordinadora de sector
que corresponda en cada caso, y el Banco de Mxico, por conducto del Comit Tcnico de
Informacin, harn compatibles los requerimientos de informacin que deban cumplir las
dependencias y entidades de la Administracin Pblica Federal para el cabal cumplimiento de los
objetivos del Sistema.
Por otra parte existen los comits de control y auditora de la Administracin Pblica
como entes participativos de las instancias que intervienen en el quehacer gubernamental. Los
Comits de Control y Auditoria en las entidades paraestatales y rganos desconcentrados y los
Comits de Control Interno en las dependencias, responden a la necesidad de contar con un
instrumento de anlisis sistemtico y permanente, cuyos propsitos fundamentales son prevenir,
35
vigilar y evaluar el grado de economa, eficiencia y eficacia con que se manejan los recursos, as
como la efectividad con que se alcanzan las metas y objetivos.
La SFP actualiza peridicamente los lineamientos que regulan el funcionamiento de los
Comits, en ellos se contemplan los objetivos que tienen stos, as como las atribuciones de sus
representantes que son bsicamente de informar sobre las modificaciones que sufra la normatividad
en materia de control, evaluacin y auditoria; as como supervisar el estricto cumplimiento de la
normatividad vigente en materia de control y opinar respecto de la adecuada gestin de la Entidad
en materia de operacin, productividad finanzas y de impacto social.
La SFP promueve sistemticamente la conformacin de estos cuerpos colegiados para el
sector central y el paraestatal, con el objetivo de apoyar a que las Dependencias y Entidades operen
con mecanismos de autocontrol, auto-evaluacin y auto-correccin que le permitan asegurar que sus
actividades y resultados se encaminen al cumplimiento de la misin y al logro de los objetivos para
los que se ha creado, observando un estricto apego al marco legal aplicable y atendiendo a criterios
de racionalidad, eficacia y eficiencia congruentes con las demandas de la ciudadana.
Dada la importancia que reviste el funcionamiento de los Comits actuales, se ha
incrementado y regulado el nmero de sesiones, lo que ha permitido sensibilizar a las Entidades
sobre su participacin, al proporcionar informacin de calidad, en cuanto a su contenido,
profundidad y oportunidad, siendo esta analizada y comentada en el seno de los mismos, apoyando
la gestin del titular de la Entidad, propiciando alternativas de solucin y el cumplimiento cabal de
los objetivos y metas planteados.
Finalmente, se encuentran los delegados y comisarios pblicos de la SFP. Esta Secretara
designa para el mejor desarrollo del sistema de control y evaluacin gubernamental, delegados y
subdelegados ante las dependencias de la Administracin Pblica Centralizada y sus rganos
desconcentrados, y comisarios pblicos ante los rganos de gobierno o de vigilancia de las
entidades de la Administracin Pblica Paraestatal, en los siguientes trminos:
Los delegados tienen las siguientes facultades:
Representan a la SFP ante las dems Secretaras de Estado y Departamentos
Administrativos y sus rganos desconcentrados, constituyendo el conducto directo ante stos a fin
de facilitar la evaluacin del desempeo general de las propias dependencias y, en su caso, como
coordinadoras sectoriales.
Los delegados sern asistidos por los subdelegados y personal de apoyo que la SFP
determine, conforme a los requerimientos de la dependencia de que se trate y en su caso, del sector
que la misma coordine. Los subdelegados ejercern funciones conforme a las instrucciones de los
delegados y representarn a la SFP en ausencia de ellos.
Realizan anlisis sobre la eficiencia con que las dependencias de la Administracin
Pblica Federal y sus rganos desconcentrados, desarrollen los programas que les estn
encomendados y la forma en que se ejerzan los desembolsos de gasto corriente y de inversin
vinculados con ellos, as como en lo referente a sus recursos humanos, financieros, materiales y de
cualquier otro tipo.
Pueden requerir a las dependencias y rganos desconcentrados la informacin necesaria
para el cumplimiento de sus funciones.
Desarrollan las dems tareas especficas que la SFP les asigne conforme a su funcin.
Los Comisarios Pblicos sern propietarios y suplentes, y representarn a la SFP ante los
rganos de gobierno o internos de control de las entidades de la Administracin Pblica Paraestatal
y tendrn las facultades que les confiere lo dispuesto en el captulo VI Del Control y Evaluacin
de la Ley Federal de las Entidades Paraestatales, y dems disposiciones aplicables.
La funcin de delegado y comisario, en cualquiera de sus modalidades, podr concentrarse en
un mismo servidor pblico, de acuerdo a las necesidades de la SFP. En la actual administracin se
ha instrumentado un sistema de evaluacin para los OIC y los comisarios, bajo la ptica de
considerar el alcance de las metas sustantivas de las dependencias de la administracin pblica
36
federal. Este sistema, conocido como el MIDO, evala a estas instancias considerando su actuacin,
pero sobre todo el cumplimiento de las metas ligadas a planes y programas, las negociadas con el
presidente y las metas de buen gobierno.
4. Implantacin y acompaamiento
Para la implantacin de los sistemas de evaluacin puede observarse que existe ms una
poltica jerrquica en la cual los superiores instruyen a llevar a cabo los sistemas y procesos de
evaluacin, no sin dejar de reconocer que existe cierto nivel de participacin, esto es, se disea el
sistema, se analiza por los altos mandos y luego se va discutiendo con los agentes principales,
quienes realizan sus aportes y sugieren acomodos o cambios, que muchas veces son tomados en
cuenta.
La SFP es quien ms responsabilidades tiene en la tarea de evaluacin, y para constituir el
principal sistema orientado a resultados, la evaluacin de metas presidenciales, se trabaj
conjuntamente con la Oficina de Innovacin Gubernamental, y se realizaron consultas y una prueba
piloto. Una de los elementos ms ricos del sistema fue contar con la incorporacin de la voz del
ciudadano, a travs de encuestas, que realiza una oficina especializada en este tipo de tareas y con
independencia de la dependencia o entidad en cuestin.
Los sistemas de evaluacin existentes estn encuadrados en normas y leyes que les dan
sustento jurdico y que obligan a los distintos agentes a cumplir con las actividades de evaluacin,
adems de especificar modalidades y tareas que deben cumplirse para ello. As, las metas
presidenciales implican acuerdos que deben cumplirse, pero tambin la obligacin de escuchar a la
ciudadana, mediante encuestas que se aplican en distintos momentos.
Debemos sealar que el Sistema de Evaluacin del Desempeo, aplicado en su momento por
la Secretara de Hacienda y Crdito Pblico (ver supra), fue en gran medida recuperado por el
Sistema de Evaluacin de Metas Presidenciales, que se maneja en la Secretara de la Funcin
Pblica. Este hecho nos demuestra que la implementacin ha venido mejorando y aprovechando
experiencias pasadas, aunque cada gobierno busca darle un sello caracterstico a la funcin.
Tambin puede sealarse que el personal que viene aplicando y modernizando los sistemas no es
del todo ajeno a las experiencias anteriores, cuestin que refuerza la recuperacin de experiencias
pasadas.
Tal vez el punto mas dbil de los sistemas ha sido el lograr una fuerte vinculacin a la
cuestin presupuestaria, pues a pesar del sistema que se dise por la SHCP, para vincular la NEP
con el SED, no se obtuvieron los vnculos y diseos apropiados para una evaluacin de resultados
ligada al ejercicio del gasto.
Es importante destacar que los diseos habidos han sido resultado de los propios
profesionales del gobierno, y si bien se ha hecho uso de asesoras, estn han sido para apoyar
algunas actividades del proceso, particularmente en el desarrollo de sistemas automatizados de
manejo de informacin.
A pesar de los sistemas de inclusin que se han buscado, la participacin integral de todos los
agentes no se ha logrado, aunque en las metodologas desarrolladas hubo mecanismos de
participacin. La modalidad mayormente aplicada de participacin en el diseo de los sistemas,
corresponde a reuniones de anlisis y discusin y solicitudes de aportes por quienes tienen a su
cargo la responsabilidad.
5. Caractersticas de los sistemas
Los sistemas descritos antes corresponden a sistemas de evaluacin cuyo acento principal es
la medicin de resultados. Si bien combinan otras variables o se manejan fines particulares, todo
ellos comparten la orientacin a resultados. Una de las caractersticas que han buscado todos ellos
es la transparencia y la fuerza en su metodologa, amen de interesarse en su fcil aplicabilidad.
El Sistema de Metas Presidenciales ha incorporado no solo las metas derivadas de los planes
y programas, sino que tambin permite al titular del ejecutivo, solicitar resultados de compromisos
37
por l generados o que la coyuntura exige satisfacer. Este sistema ha facilitado el que el Presidente
tenga la posibilidad mayor de incidir en las polticas pblicas, actuar bajo situaciones de coyuntura
y tener un instrumento de seguimiento y de ajuste importantes, tanto en lo sustantivo como en las
partes del discurso. Adems, al estar incorporado a una base de datos automatizada, a la cual todos
tienen acceso, aunque con diferentes estatus, le permite al titular del poder ejecutivo ingresar desde
sus oficinas para informarse de los asuntos relevantes de cada una de las instancias que manejan las
polticas pblicas.
En general los sistemas descritos tienen fuerza metodolgica, no son simples, pero si fciles
de instrumentar, por los grandes desarrollos que guardan en su concepcin y diseo. Adems que
han buscado incorporar mecanismos de escucha a la ciudadana.
Puede decirse que los sistemas de evaluacin expuestos corresponden a una perspectiva
macro, aunque la aplicacin de los variados instrumentos que maneja la SFP cubre aspectos de
gestin y de evaluacin de actuacin de los funcionarios, incluso bajo orientacin de procesos y no
necesariamente en una ptica de evaluacin de resultados. Existe una amplia gama de instrumentos
de evaluacin que cubre todo el proceso de las polticas pblicas, desde la formulacin hasta la
evaluacin de resultados. En este estudio slo se han presentado de manera desagregada los
sistemas que tienen una vocacin de evaluar resultados. Hemos de reconocer que las dependencias
tienen ahora de manera natural el manejo de indicadores, en sus distintas perspectivas, pero sobre
todo, la que les permite ir constatando sus avances y cumplimiento de compromisos presidenciales.
6. Uso de la informacin derivada del proceso de evaluacin
El mayor uso de la informacin corresponde a un apoyo a las decisiones de quienes tienen la
responsabilidad de cumplir las funciones o metas de las reas en cuestin, aunque tambin sirve,
pero en menor medida, para juzgar desempeos y en muy pequea medida evaluar a las personas,
salvo el caso de la evaluacin del desempeo derivada de la Ley de Profesionalizacin, no descrita
en este estudio.
Pudimos apreciar que s se usan los sistemas para una retroalimentacin a las reas
responsables, aunque varios de los mtodos de evaluacin todava guardan la caracterstica de ser
aspectos de vigilancia o control no necesariamente de desempeo. Para el Presidente ha resultado
ser muy til el sistema de seguimiento de metas presidenciales, pues los compromisos ponen el
acento en lo importante, y bajo la informacin que cada unidad incorpora al sistema le permite estar
plenamente informado de si se lograr el resultado, de los problemas y/o obstculos que se estn
presentando y de las reas a las que debe apoyarse para incidir en la poltica en cuestin 15 .
Falta seguir trabajando para que se utilicen todos estos instrumentos para perfeccionar los
mecanismos de decisin presupuestaria, tanto en lo concerniente a la programacin, como en las
decisiones de aprobacin y ejecucin del gasto. Hasta ahora, existen una serie de mecanismos de
informacin, utilizados por varios agentes, y por grupos de trabajo, como la Comisin Gasto
Financiamiento. Al disponerse de varios insumos de informacin se ha generado la necesidad de
grupos de anlisis, en lo referente al gasto-financiamiento. Adems, falta una mayor vinculacin
entre el manejo de metas presidenciales y el manejo de la presupuestacin.
No obstante, las dependencias globalizadoras, SHCP y SFP, cuentan con una informacin
muy valiosa para sus funciones y responsabilidades. La primera dispone de una orientacin para
priorizar el gasto y manejar las polticas de austeridad, bajo consideraciones de qu puede ser
importante respetar o qu debe, o puede, modificarse. La segunda dispone de un instrumento de
coordinacin y de apoyo a la presidencia, para orientar los esfuerzos de las dependencias; aunque
hemos de admitir que dada la gnesis y las propias funciones de la SFP, existe un uso de la
15
El MIDO incorpora tambin el seguimiento de metas presidenciales y hace uso de la informacin para evaluar a sus
OVC (rganos de Vigilancia y Control), pero stos tienen acceso a la informacin, para que en todo momento estn
atentos a donde deben dirigir su apoyo. La evaluacin del desempeo, tambin ha incorporado las metas de resultados,
pero como aun est en ciernes y no puede aun decirse mucho, aunque se presume servir tambin para construir un
sistema donde todos contribuyan a las metas y objetivos sustantivos.
38
informacin y una actuacin vinculada a los procesos de vigilancia y sancin, que suelen
representar un obstculo a las actividades de apoyo a las otras instancias administrativas.
Finalmente el mayor beneficiarios de los sistemas ha sido el titular del ejecutivo que dispone
de informacin sustantiva que le permite ir acentuando, modificando o dejando actuar a las
dependencias para lograr los objetivos de su gobierno. Adems que el presidente puede dar
instrucciones, para satisfacer demandas de grupos o zonas del pas y disponer de un seguimiento en
automtico. Ello, con la posibilidad de un dilogo que permite el anlisis y las consideraciones de
coyuntura.
Conclusiones y comentarios finales
Puede decirse que la evaluacin en el mbito de la administracin pblica federal de Mxico
est ganando terreno. De los primeros esfuerzos que buscaban alguna medicin para juzgar las
acciones, pasando por la creacin de un sistema de indicadores, se est llegando a sistemas ms
consolidados y que vienen mostrando su utilidad para ir mejorando la actuacin y lograr mejores
resultados.
La evaluacin de metas presidenciales representa un esfuerzo que permite orientar a los
responsables de las polticas pblicas a brindar resultados de sus acciones, focalizndoles a
elementos prioritarios y brindndoles un sistema de retroalimentacin. Con ello se est dando el
paso de una evaluacin centrada en acciones y/o procesos a una verdadera evaluacin de resultados.
No se niega cierta presencia de autoproteccin sobre todo por ser un sistema ligado a la jerarqua
presidencial, pero cada vez ms se estn aceptando retos para el beneficio social.
Deber seguirse trabajando para mejorar y ampliar la evaluacin por agentes externos. stas
debern ser verdaderas evaluaciones, cuidando no caer en las pseudo-evaluaciones y considerar
aspectos que relativizan los resultados, particularmente los elementos contextuales. En este sentido
es conveniente trabajar para conformar metodologas slidas y bajo un mercado amplio de expertos
evaluadores para garantizar el buen ejercicio evaluatorio.
Ser necesario continuar trabajando para crear una nueva cultura de evaluacin. Donde
mayormente se presenta estos retos es en la evaluacin del desempeo. Aqu deber darse un giro
para constituir un sistema constructivista que ponga el nfasis en el aprendizaje, en la participacin
y en la negociacin. Igualmente, y no solamente en este caso, habr que ampliar el uso de la
informacin para distintos agentes.
Una de las riquezas que tienen los mtodos reseados es el haber incorporado la voz del
cliente y que incorpora como elemento evaluatorio la satisfaccin de los beneficiarios, sin
embargo, hasta ahora, el criterio mayormente aplicado para la evaluacin es la eficacia, y los
mtodos descritos ponen mayormente el acento en ello. Es conveniente ir incorporando otros
criterios como sera la eficiencia, la calidad, la oportunidad, entre otros.
Aunque el Sistema de Evaluacin de Metas Presidenciales est automatizado y hay cierta
accesibilidad consideramos que sera conveniente el constituir un sistema integrador de informacin
que vincule a los distintos poderes y a las instancias fiscalizadoras y a las operadoras de programas,
naturalmente con su verificacin y validacin y bajo el criterio de oportunidad y claridad.
Hasta ahora los sistemas que han sido creados se aplican de la misma manera y bajo los
mismos parmetros para todas las dependencias y/o polticas pblicas. Resulta importante que en su
momento se hagan distinciones entre tipos de programa, tipo de institucin o alguna otra
diferenciacin que lleve a afinar el mtodo de evaluacin. Por ejemplo, no todos los programas
tienen la misma periodicidad de variacin o bien la misma facilidad o dificultad para medir. De
hecho, evaluar el impacto a un programa no tendra sentido al hacerse de manera anual lo que
conlleva una consideracin a la evaluacin como un proceso ms amplio y constante.
Para la implantacin de los sistemas de evaluacin puede observarse que existe ms una
poltica jerrquica en la cual los superiores instruyen a llevar a cabo los sistemas y procesos de
evaluacin, no sin dejar de reconocer que existe cierto nivel de participacin, esto es, cuando se
disea el sistema se analiza por los altos mandos y luego se va discutiendo con los agentes
39
principales, quienes realizan sus aportes y sugieren acomodos o cambios, que muchas veces son
tomado en cuenta.
La SFP es quien ms responsabilidades tiene en la tarea de evaluacin, y para constituir el
principal sistema orientado a resultados, la evaluacin de metas presidenciales, se trabaj
conjuntamente con la Oficina de Innovacin Gubernamental, y se realizaron consultas y una prueba
piloto. Una de los elementos ms ricos del sistema es contar con la incorporacin de la voz del
ciudadano, a travs de encuestas, que realiza una oficina especializada en este tipo de tareas y con
independencia de las Secretaras o entidades en cuestin.
Los sistemas descritos antes corresponden a sistemas de evaluacin cuyo acento principal es
la medicin de resultados. Si bien combinan otras variables o se manejan fines particulares, todo
ellos comparten la orientacin a resultados. Una de las caractersticas que han buscado todos ellos
es la transparencia y la fuerza en su metodologa, amen de interesarse en su fcil aplicabilidad.
El Sistema de Metas Presidenciales ha incorporado no slo las metas derivadas de los planes
y programas, sino que tambin permite al titular del ejecutivo, solicitar resultados de compromisos
por l generados o que la coyuntura exige satisfacer. Este sistema ha facilitado el que el Presidente
tenga la posibilidad mayor de incidir en las polticas pblicas, actuar bajo situaciones de coyuntura
y tener un instrumento de seguimiento y de ajuste importantes, tanto en lo sustantivo como en las
partes del discurso.
El mayor uso de la informacin, que surge de los diferentes sistemas de evaluacin del
gobierno mexicano, corresponde a un apoyo a la decisin de quienes tienen la responsabilidad de
cumplir las funciones o metas de las reas en cuestin. Aunque tambin sirve, en menor medida,
para juzgar desempeos y en muy pequea medida evaluar a las personas, salvo el caso de la
evaluacin del desempeo derivada de la Ley de Profesionalizacin.
Pudimos apreciar que s se usan los sistema para una retroalimentacin a las reas
responsables, aunque varios de los mtodos de evaluacin todava guardan la caracterstica de ser
aspectos de vigilancia o control no necesariamente de desempeo. Para el Presidente ha resultado
ser muy til el sistema de seguimiento de metas presidenciales, pues los compromisos ponen el
acento en lo importante, y la informacin que cada unidad incorpora al sistema le permite estar
plenamente informado de si se lograr el resultado, de los problemas y/o obstculos que se estn
presentando y de las reas a las que debe apoyarse para incidir en la poltica en cuestin.
En general los sistemas descritos tienen fuerza metodolgica, no son simples, pero si fciles
de instrumentar, por los grandes desarrollos que guardan en su concepcin y diseo.
Finalmente, se puede detectar, en cierta medida, un reconocimiento al valor de la evaluacin,
aunque an existen resistencias y cuestionamientos a estos sistemas, por lo cual se debe de seguir
avanzando en crear una cultura amplia al enfoque de resultados dentro de la cual la evaluacin
cumple un papel fundamental.
40
ANEXO 1
In fo r m e s o b r e la R e v is i n
d e l S is te m a d e M e ta s P r e s id e n c ia le s 2 0 0 3
N o m b re d e la D e p e n d e n c ia , O rg a n o
D e s c o n c e n t r a d o , E n t id a d , O f ic in a o
C o m is i n
In s titu c i n
M e ta s d e :
O p e r a c i n
R e s u lta d o a
L o g ra r
B u e n G o b ie r n o
M a rc a r c o n u n a X la c a s illa
c o r re s p o n d ie n t e
R u b ro
(N m e r o y D e n o m in a c i n d e la
M e ta )
V e rd e
A vance al m es
de:
A m a rillo
R o jo
M a rc a r c o n u n a X la c a s illa
c o r re s p o n d ie n t e
S e m fo r o
D o c u m e n to ( s )
S o p o r te
H a c e r m e n c i n d e l( o s )
d o c u m e n t o ( s ) f u e n te q u e
e v id e n c e n e l a v a n c e
re p o r ta d o ( e j. In f o rm e s ,
R e g is t ro s , C o m u n ic a c io n e s u
o tr o s d e s im ila r n a t u rla re z a )
O p in i n d e l O IC
E m itir u n a o p in i n b r e v e
s o b r e e l a v a n c e re p o r t a d o a
la f e c h a , la o p o r t u n id a d d e l
re p o r te y la fa c tib ilid a d d e l
c u m p lim ie n t o d e la m e t a . (E n
s u c a s o la s r e c o m e d a c io n e s
f o rm u la d a s p a r a a s e g u ra r s u
c u m p lim ie n t o )
O b s e r v a c io n e s
(E n s u c a s o , a d ic io n a r
c o m e n ta r io s q u e a p o y e n la
o p in i n y /o a c la ra c io n e s q u e
c o n s id e r e n p e r t in e n t e s )
N m e r o d e F o r m a to
(C o n s e c u t iv o )
41
S e d e b e r lle n a r u n f o r m a t o
p o r in d ic a d o r
ANEXO 2
Metodologa para el Desarrollo de Mdulos en el SED
Parmetros de Medicin y
Fuentes de Informacin
Tomar la
Decisin
Diseo de
Indicadores
Anlisis de
Flujos de
Informacin
Encuestas
Establecimiento
de Compromisos
Metas y
Ponderadores
Convenios de
Desempeo
Herramientas de Medicin
y Evaluacin
Sistema de
Informacin
Ejecutivo
Retroalimentacin
Evaluacin
reducirlos. De. esta manera, la dependencia / entidad podr identificar el monto de recursos que
necesitar para el desarrollo.
5. Formacin del grupo de trabajo y desarrollo del plan de trabajo
El grupo de trabajo para el desarrollo del mdulo deber estar encabezado por el responsable
de la funcin, subfuncin, programa sustantivo, actividad o proyecto a incluir en el SED, el cual
deber asignar funciones especficas a cada uno de los miembros del equipo (difusin nacional,
construccin de indicadores, administracin de pruebas piloto, etc.) y se deber desarrollar un plan
de trabajo integral con base en los pasos descritos en esta gua, identificando tiempos y responsables
de cada una de las actividades (vase formato lA). Es indispensable que el grupo de trabajo tenga
reuniones continuas para discutir los avances a nivel interno.
Ejemplo: IMSS-Solidaridad
MES
PASO
10
RESPONSABLE
Dr. Luna
1.
Toma de Decisiones
2.
Diseo de Indicadores
3.
Dr. Cunill
4.
Dra. Trujano
5.
Diseo y Levantamiento de
Encuestas
Dr. Menchaca
6.
Dra. Rosales
7.
Desarrollo de Convenios de
Desempeo
8.
Evaluacin
9.
Retroalimentacin
Dra. Mrquez
Dr. Hernndez
Dr. Prez
Dra. Ramrez
43
PRODUCTOS
desarrollar el mdulo
Determinar las fuentes de financiamiento
para el desarrollo del mdulo.
Formar un grupo de trabajo para el desarrollo
del mdulo
Desarrollar un plan de trabajo definiendo
responsables y tiempos
Ampliar la cobertura
de los servicios de
salud, buscando la
equidad en el acceso.
Promover la eficiencia
y la eficacia de los
servicios mdicos de
primer y segundo
nivel
Abatir las
enfermedades de la
pobreza
OBJETIVOS DE LA
ENTIDAD EN LA
CATEGORA
SELECCIONADA
Ampliar la cobertura de
salud en zonas marginadas
ALINEACIN
Cobertura Poblacional
Mejorar el porcentaje de
ocupacin y estancia
hospitalaria
- Niveles de Alimentacin
FACTORES
CRTICOS DE XITO
Satisface el Objetivo
44
INDICADORES
Cobertura Poblacional
del Estado
Eficiencia en produccin
de servicios
Eficiencia en los
servicios mdicos
Promedio de
estancia hospitalaria
Porcentaje de
ocupacin
hospitalaria
Tasa de letalidad
por clera
Tasa de infecciones
gastrointestinales
Planes
Sectoriales
Entendimiento
del Programa
Misin
Participantes
Beneficiarios
xitos
obtenidos
Obstculos
para su
desarrollo
Interaccin con
otros
Objetivos
Estratgicos
del
Programa
Documentos de Poltica
Gubernamental
Relevantes (ej, PND)
si
Alineacin
no
Actualizacin o
adecuacin de
Factores
Crticos del
xito
Entendimiento
del Programa
Qu debera
ocurrir para
considerar que
se ha tenido
xito en logro
de un objetivo?
Cmo se
puede medir de
la mejor el
cumplimiento
de los factores
crticos de
xito?
Utilizacin
prctica de los
indicadores en
la planeacin y
evaluacin de
programas
4. Clasificacin de indicadores
Para asegurar la evaluacin integral de los programas, el SED define cinco dimensiones de
evaluacin -impacto, cobertura, calidad, eficiencia y alineacin de recursos- bajo las cuales deben
agruparse los indicadores del desempeo. Tomando en cuenta estas categoras se deben clasificar
los indicadores preliminares, y asegurarse de que existan dichos indicadores en cada una de stas.
El cuadro 3.4 define las dimensiones de evaluacin y ejemplifica indicadores para cada una de ellas.
45
rbol de indicadores:
15
ALINEACIN 20
DE
RECURSOS
EFICIENCIA
30
40
100
PUNTUALIDAD DEL PRESUPUESTO
EJERCIDO
30
25
25
TASA DE MORTALIDAD
25
COBERTURA DE SUPERVISIN
25
25
COBERTURA DE ASISTENCIA
RURAL DE SALUD
25
COBERTURA DE COMITS DE
SALUD
COBERTURA POBLACIONAL
25
50*
SEGUNDO ORDEN
50
25
COBERTURA DE PLANTILLA
50
PRIMER ORDEN
50
15
CALIDAD
EFICIENCIA EN MEDICIN
HOSPITALARIA - OCUPACIN
20
COBERTURA
TASA DE MORTALIDAD
HOSPITALARIA
30
IMPACTO
* PONDERADOR
Dimensiones de Evaluacin:
DIMENSIN
Impacto
Cobertura
Eficiencia
Calidad
Alineacin de recursos
QU MIDE?
Logros de los objetivos del programa
Alcance de beneficios a la poblacin
objetivo
Costos unitarios y productividad de
recursos
Caractersticas /atributos del servicio
(satisfaccin de beneficiarios)
Congruencia de recursos aprobados y
suministrados (cantidad y oportunidad)
46
EJEMPLO
Tasa de letalidad por clera
Cobertura de beneficiarios
programa IMSS-Solidaridad
Costos por beneficiario
Oportunidad de asignacin
del
5. Validacin de indicadores
Los indicadores preliminares deben validarse con las globalizadoras, para obtener un rbol de
indicadores finales.
6. Diseo de indicadores costo-efectividad
Una vez que se cuente con la versin final de los indicadores de desempeo se deben
seleccionar aquellos que se desee verificar la relacin que guardan entre resultados-presupuesto.
Para ello, es preciso construir indicadores costo efectividad cuyo propsito ser la medicin del
cambio porcentual en un indicador del desempeo al transformar porcentualmente el gasto. As, la
SHCP podr estimar el gasto adicional requerido para la obtencin de resultados marginales en un
programa. Estos indicadores, al igual que los de desempeo, deben ser validados por las
globalizadotas. El cuadro 3.5 ejemplifica el clculo y la construccin de un indicador costoefectividad.
Ejemplo del clculo de un indicador costo-efectividad
Gasto en el Programa de
Inmunizaciones
19
95
1996
1,0
89
1,196
9.82%
3.1
3
2.75
(12.14%)
Tasa de Morbilidad
por Enfermedades
1)
Preventivas por Vacunacin
A/B
0.81%
2) Miles de pesos de
1995
47
7. Construccin de indicadores
Para cada uno de los indicadores validados se debe detallar la frmula y frecuencia de
clculo, determinar el orden -si el indicador est subordinado a otro ser de segundo orden, de lo
contrario ser de primer orden-, describir las variables incluidas necesarias para su construccin. El
proceso de identificacin de fuentes de informacin se describe en el paso 3.
Dimensin: Impacto
Ponderador: 50%
Orden: Primer
Nmero de Muertes por clera en casos comprobados
x 100
Nmero de casos comprobados de enfermos de clera
Informacin Requerida:
Variable:
No. de muertes por clera
en casos comprobados
No. de casos
comprobados de
enfermos de clera
Fuente:
Hoja de notificacin
inmediata de clera
Hoja de notificacin
inmediata de clera
Responsable:
Depto. de Epidemiologa
Depto. de Epidemiologa
Descripcin de Variables:
No. de muertes por clera en casos comprobados es el No. de muertes registradas en casos con
diagnstico comprobado de clera
No. de casos comprobados de enfermos de clera es el No. de personas enfermas de clera en casos
con diagnstico comprobado
El siguiente cuadro resume las actividades clave para el desarrollo de esta fase, as como los
principales productos a obtener.
PRODUCTOS
ACTIVIDADES
48
No. de plazas
contratadas
--
No. de usuarios
satisfechos
--
Finanzas
Contralora
Contabilidad
Encuesta
--
DISPONIBILIDAD
ACTUAL
Sistema IMSS
VARIABLE
Informtica
Epidemiologa
FUENTES DE INFORMACIN
FRECUENCIA DE
MEDICIN
Fuentes de Informacin
--
Poblacin abierta
--
Disponible
Parcialmente Disponible
c No Disponible
M = Mensual
S = Semanal
T = Trimestral
A = Anual
2. Fuentes de Informacin
Se debern identificar las fuentes de informacin de cada variable, as como la frecuencia de
medicin y la disponibilidad actual de la misma. Se deber procurar que la periodicidad de
generacin de cualquier indicador no sea mayor a un ao (cuadro anterior).
3. Identificacin de informacin adicional requerida
Es importante hacer notar que los indicadores se disean independientemente de la
disponibilidad de informacin, por ello habr nuevas variables para las cuales se debern disear
encuestas, sondeos u otro tipo de levantamientos. Cuando sea el caso, se debe tener en cuenta que el
costo de generacin no debe rebasar el beneficio obtenido con la medicin de la variable; si esto no
sucede, se deber replantear el indicador buscando aproximaciones confiables.
4. Plan de desarrollo de informacin adicional
Se debern desarrollar planes de trabajo y definir responsables y tiempos para generar nuevas
variables. Este compromiso deber incluirse posteriormente en los convenios de desempeo para
formalizar su realizacin.
A continuacin se resume las actividades clave para el desarrollo de esta fase as como los
principales productos a obtener.
49
ACTIVIDADES
Identificacin de requerimientos de
informacin
Planes de trabajo para la generacin de
nuevas variables
PRODUCTOS
Paso 4: Encuestas
Objetivo
Desarrollar una herramienta para evaluar la satisfaccin y las demandas de los beneficiarios,
generar informacin para clculo de indicadores no disponible en sistemas internos y validar
informacin clave.
Actividades
1. Coordinacin de encuestas
El equipo de trabajo deber nombrar a un responsable para coordinar los trabajos relativos a
los levantamientos de informacin asociados al programa a evaluar, para ello se recomienda
interactuar con alguna empresa calificada en el diseo de cuestionarios y marcos mustrales,
levantamiento pruebas de campo y encuestas finales, y anlisis de resultados.
2. Diseo de cuestionarios
Debido a que las encuestas tienen tres funciones, es indispensable clasificar el tipo de
preguntas de acuerdo a los motivos para los cuales se formulan. De esta manera se podrn
identificar preguntas para obtener nuevas variables, preguntas de evaluacin del programa por parte
los beneficiarios y preguntas sobre demandas ciudadanas.
Para la primera categora, se debern disear preguntas que muestren de manera directa la
variable que se desea obtener. Para las dems categoras se debern establecer los temas de los
cuales se desee obtener informacin cualitativa de los beneficiarios y generar preguntas asociadas a
los mismos.
Se sugiere que las preguntas sean cerradas, es decir que sean de opcin mltiple para facilitar
el proceso de captura y codificacin. Asimismo, ser indispensable identificar el tipo de sujeto al
cual se quiere entrevistar, y conforme a ello estructurar diversos tipos de cuestionarios, tomando en
cuenta las caractersticas del entrevistado (edad, sexo, idioma que habla, etc.). El preguntar lo
mismo a diferentes participantes del programa permitir validar las respuestas, as como la calidad
de la informacin obtenida.
50
Nmero de
usuarios
satisfechos
PREGUNTAS
TIPO DE ENTREVISTADO
Calidad de
atencin
mdica
Atencin mdica
Trato del personal mdico
Tiempo de espera
Limpieza del hospital
Le solucion el mdico su
problema?
S
An no, pero tengo que
verlo otra vez
An no, Tengo que ver a
otro mdico
No
Comits de salud
Poblacin adscrita a
HRS
Poblacin adscrita a
UMR
3. Marcos muestrales
Para poder levantar encuestas o sondeos representativos, se necesitar contar con un marco
muestral de alta calidad. El marco muestral constituye la identificacin universo objetivo con el fin
de obtener una muestra, es decir un subconjunto representativo del universo, con el cual se pueda
inferir sobre el comportamiento de todos los beneficiarios.
Debido a su carcter tcnico, se recomienda contar con apoyo externo para construir el marco
y seleccionar la muestra. Previamente al lanzamiento de las encuestas o los sondeos de opinin, se
deben efectuar pruebas de campo para calibrar la calidad de las preguntas y verificar si la extensin
del cuestionario es adecuada. Con base en los resultados de las pruebas se debern adecuar las
encuestas o los sondeos y obtener versiones finales.
4. Levantamientos de Encuestas
El levantamiento de encuestas o sondeos de opinin y la captura de la informacin generada,
deben ser realizados por empresas externas para asegurar la calidad e imparcialidad del proceso. Se
requiere que el grupo de trabajo determine previamente al levantamiento el tipo de reportes que
desea obtener y el tipo de anlisis estadsticos que espera de los mismos.
5. Anlisis de resultados
El anlisis de la informacin generada por encuestas o sondeos de opinin debe ser realizado
por el grupo de trabajo, y los resultados deben estar reflejados tanto en los reportes de evaluacin
como en las fichas tcnicas del SIE. A continuacin se resume las actividades clave para el
desarrollo de esta fase as como los principales productos a obtener.
51
ACTIVIDADES
Diseo de marcos muestrales
Diseo de reportes
Diseo de cuestionarios
PRODUCTOS
Marcos muestrales
Reportes y anlisis de resultados
Cuestionarios
Estado: Hidalgo
Perodo: 2000
Justificacin de la Meta:
Parmetros:
META DE MEDIANO
PLAZO:
Desempeo Anterior:
Meta: 93% Cumplimiento: 100%
99%
META ANUAL:
96%
Estandar:
Valor: 100%
Fuente: OMS
Compromiso Nacional:
Valor: 100%
Fuente: PND
52
2. Fijacin de Metas
Con base en la informacin histrica, compromisos identificados y estndares disponibles, se
determinarn metas preliminares de corto plazo (un ao) y mediano plazo (de 2 a 3 aos), o de largo
plazo (6 aos) para cada indicador a nivel estatal. Es preciso que haya consenso de las metas hacia
el interior de la institucin de que se trate, y stas debern ser validadas por las globalizadoras, con
el fin de asegurar su consistencia.
3. Fijacin de ponderadores
De manera paralela a la fijacin de metas, el grupo de trabajo deber fijar ponderadores a los
indicadores de desempeo con el fin de asignar un peso que refleje la importancia relativa de cada
indicador respecto del conjunto. Estos ponderadores podrn cambiarse anualmente, pues conforme
avanzan los programas, los puntos de atencin son diferentes. Los ponderadores debern ser
validados por las globalizadoras.
53
ASF:
CAP:
CGOVC:
CMH:
CNDH:
CNE:
CPCP:
FNDE:
IDI:
IDO:
IFAI:
IMSS:
INDESOL:
IPD:
IRRCO:
IRROP:
MIDO:
PEF:
PND:
PROMAP:
PRONASOL:
SECOGEF:
SECODAM:
SEDESOL:
SFP:
SHCP:
SPP:
STPS:
ANEXO 3
ABREVIATURAS EMPLEADAS
Auditoria Superior de la Federacin
Comisin de Administracin Pblica
Coordinacin General de rganos de Vigilancia y Control
Contadura Mayor de Hacienda
Comisin Nacional de Derechos Humanos
Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social
Comisin de Presupuesto y Cuenta Pblica
Fondo Nacional de Empresas en Solidaridad
ndice de Desempeo Institucional
ndice del Desempeo Operativo
Instituto Federal de Acceso a la Informacin
Instituto Mexicano del Seguro Social
Instituto Nacional de Desarrollo Social
ndice de Percepcin del Desempeo
ndice de Reduccin de Riesgos de Corrupcin
ndice de Reduccin de Riesgos de Opacidad
Modelo Integral de Evaluacin de los rganos Internos de Control y Vigilancia
Presupuesto de Egresos de la Federacin
Plan Nacional de Desarrollo
Programa para la Modernizacin de la Administracin Pblica Federal 1994-2000
Programa Nacional de Solidaridad
Secretara de la Contralora General de la Federacin
Secretara de la Contralora y Desarrollo Administrativo
Secretara de Desarrollo Social
Secretara de la Funcin Pblica
Secretara de Hacienda y Crdito Pblico
Secretara de Programacin y Presupuesto
Secretara del Trabajo y Previsin Social
ANEXO 4
1. Personas Entrevistadas
2. Documentos Consultados
PERSONAS ENTREVISTADAS
1. HUGO GUTIERREZ DAVILA
Titular de la Unidad de Coordinacin de rganos de Vigilancia de la SFP
2. CARLOS A. MONTEMAYOR
Director General de Seguimiento, SEDESOL
3. FERNANDO ZEPEDA HERRERA
Director General de Atencin a Instituciones, SFP
4. CESAR CHAVIRA ENRIQUEZ
Titular de la Unidad de Control y Evaluacin de la Administracin Pblica, SFP
5. JAIME DOMINGO LOPEZ BUITRON
Subsecretario de Empleo y Poltica Laboral, STPS
54
DOCUMENTOS CONSULTADOS
LEYES Y DOCUMENTOS OFICIALES
Constitucin Poltica de los Estados Unidos Mexicanos
Ley Orgnica de la Administracin Pblica Federal
Ley Federal de Acceso a la Informacin Pblica Gubernamental
Ley General de Desarrollo Social
Ley de Fiscalizacin Superior de la Federacin
Ley del Servicio Profesional de Carrera en la Administracin Pblica Federal
Gua para realizar evaluaciones externas segn disposiciones emitidas por la SCODAM y la SHCP,
Diario Oficial de la Federacin, 30 de Abril de 2002.
Manual de Metas Presidenciales, SFP, 2004
Modelo Estratgico para la Innovacin Gubernamental, Oficina de la Presidencia para la
Innovacin Gubernamental., s/f
Modelo Integral de Desempeo de rganos de Vigilancia y <control, SFP, 2004.
Reglamento Interior de la Unidad de Evaluacin y Control de la Comisin de Vigilancia de la
Cmara de Diputados
Reglamento Interior de la Secretara de Hacienda y Crdito Pblico
Reglamento Interior de la Auditoria Superior de la Federacin
Reglamento del Servicio Profesional de Carrera
Lineamientos para la suscripcin, seguimiento y evaluacin de los convenios y bases de desempeo
Lineamientos para el funcionamiento del Comit de Control Interno
Lineamientos para el funcionamiento del Comit de Control y Auditoria
OTROS DOCUMENTOS
Myriam CARDOZO, La evaluacin de polticas y programas sociales en Mxico: 1998-2004, Tesis
para obtener el grado de Doctor en Ciencias Sociales, UNAM, Mxico, Febrero, 2005.
55
Bibliografa
Arvanitis, R., M. Callon y B. Latour. Evaluation des politiques de la recherche et de la technologie,
Documentation Franaise, Paris, 1986.
Ballart, Xavier. Cmo evaluar programas y servicios pblicos?, INAP, Madrid, 1992.
Baon, Rafael y Ernesto Carrillo (Comps). La nueva administracin pblica, Alianza Universidad,
Madrid ,1997.
BID, Evaluacin: una herramienta de gestin para mejorar el desempeo de los proyectos,
Washigton, 1997.
Bresser Pereira, Luiz Carlos. State Reform in the 1990s. Logic and Control Mechanisms. Presentado en
el II Congreso Internacional del CLAD. Venezuela. Centro Latinoamericano de Administracin
para el Desarrollo (CLAD).
Cardozo Brum, Myriam I., Exposicin de Mtodos de Evaluacin no Tradicionales Aplicables al
Sector Pblico, Material Docente, Serie Administracin Pblica, No. 9, CIDE, Mxico, 1986.
Cardozo, Myriam. La evaluacin de polticas y programas sociales en Mxico: 1998-2004, Tesis para
obtener el grado de Doctor en Ciencias Sociales, UNAM, Mxico, Febrero, 2005
Caro, Francis G., Reading in evaluation research, Russell Sage Foundation, New Cork, 1971.
CLAD. La responzabilizacin en la nueva gestin pblica latinoamericana, EUDEBA, Buenos
Aires, 2000.
Cohen, Ernesto y Franco, Rolando. Evaluacin de proyectos sociales, Siglo XXI Ed., Mxico, 1992.
Crespo, Jos Antonio. Fundamentos Polticos de la Rendicin de Cuentas. Auditoria Superior de la
Federacin. Mxico, 2001
Cunill Grau, Sonia y Ospina Bozzi, Sonia. Evaluacin de Resultados para una gestin pblica
moderna y democrtica. Experiencias latinoamericanas, CLAD. AECI/MAP/FIIAPP,
Caracas, Ven., 2003.
Fetterman, David M., Kaftarin, Shakeh J., Wandersman, Abraham. Empowerment Evaluation.
Knowledge and Tools for Assessment & Accountability, SAGE Publications, London 1996.
Fraisse, Jean, Michael Bonetti y Vicent de Gaulejac. Levaluation dynamique des organizations
publiques, Les edition dorganization, Paris, 1987.
Herrera Prez, Agustn, El sistema de responsabilidad de los servidores pblicos, en: Primeras
Jornadas de Derecho Administrativo y Administracin Pblica, Universidad de Guanajuato,
Guanajuato, 1998.
Medina, Alejandro y Jos Meja. El control en la implementacin de las polticas pblicas, Plaza y
Valds, Mxico, 1993
Meja Lira, Jos. La evaluacin de la gestin y la poltica pblica, Miguel ngel Porra, Mxico,
2003.
Naim, Moiss. Latin Americans Journey To the Market: From Macroeconomic Shocks to
Institutional Therapy. California, ICS Press, 1995.
Noche, J.P. y R. Poinsard., Levaluation des politiques publiques, Economie, Paris, 1984.
OECD. In search of results. Performance Management Practices. Organization for Economic
Cooperation and Development. PUMA, 1997.
SECODAM, Gua para la definicin de indicadores, Mxico, 1997.
Secretara de Hacienda y Crdito Pblico. Sistema de Evaluacin del Desempeo (SED). Mxico, 1998.
Secretara de la Funcin Pblica (SFP). Sistema de Evaluacin y Control Gubernamental. Mxico,
2001.
SIEMPRO/UNESCO. Gestin Integral de Programas Sociales Orientada a Resultados. Fondo de
Cultura Econmica, SIEMPRO, UNESCO, Buenos Aires, 1999.
Ted Gaebler y D. Osborne. La reinvencin del gobierno. Piados, 1993
Vulpian, A. De, y B. Devez, LEvaluation par la socit civile, en: Jean Pierre NIOCHE y R.
POINSARD, LEvaluation des Politiques Publiques, Economica, Paris, 1984
56