confiabilidad y utilidad para la evaluacin Planificacin Estratgica y Construccin de Indicadores de Desempeo en el Sector Pblico de Costa Rica San Jos, 23 al 27 de Noviembre de 2009 Direccin General de Presupuesto Nacional. Ministerio de Hacienda. Costa Rica
Marianela Armijo rea de Polticas Presupuestarias y Gestin Pblica ILPES/CEPAL
Marianela.Armijo@cepal.org Metas Expresa el nivel de desempeo a alcanzar. Vinculados a los Indicadores, proveen la base para la planificacin operativa y el presupuesto. Caractersticas generales:
Especifica un desempeo medible. Especifica la fecha tope o el perodo de Cumplimiento Debe ser realista y lograble, pero representa un desafo significativo. Importancia de las metas para el control de gestin y la evaluacin Medicin y evaluacin
Retroalimentacin
Medidas correctivas Evaluacin La evaluacin es la comparacin de los resultados obtenidos con las metas establecidas. La evaluacin puede ocurrir durante el periodo de ejecucin (evaluacin contingente) o al finalizar dicho periodo (evaluacin ex post).
Retroalimentacin Los resultados de las evaluaciones se comunican a los centros de responsabilidad y a la Direccin, a fin de que estn informados respecto al grado de avance de las metas planteadas y, en caso de producirse desviaciones importantes respecto a lo programado, se acuerden las medidas correctivas que se adoptarn. Medidas correctivas Las medidas correctivas pueden consistir en cambios en los programas, cambio en las metas, nuevas asignaciones o recortes de los recursos presupuestarios, revisin de las tareas contenidas en los programas, etc.
Indicador y meta El resultado de la medicin del indicador entrega un valor de comparacin el cual est referido a una META asociada
La evaluacin permite establecer un juicio respecto del desempeo EL nivel alcanzado por la meta permite pronunciarse sobre el desempeo cuando lo comparo con un estndar. Ejemplo Si el resultado del indicador: Porcentaje de gasto administrativo sobre gasto total es de un 15%
Podemos compararlo con: estndar de comparacin de la meta fijada: 20%,
el porcentaje promedio de programas similares que es de 10%,
Cmo es el desempeo del programa? La meta es el desempeo esperado por el indicador asociado al producto y/o al objetivo estratgico relacionado con el producto. Desde esta perspectiva, permite medir el avance de los logros de sus productos y el desempeo de estos establecidos en los objetivos estratgicos.
Producto
Objetivo Estratgico Programa
Indicador
Desempeo Histrico
Metas
2004
2005
2006
2007
2008
2009
2010
a.
b.
c.
Requisitos de las metas Su establecimiento debe considerar diferentes parmetros
Deben ser posibles de cumplir por la institucin con los recursos financieros, humanos, fsicos y tecnolgicos disponibles
Su logro debe depender de la institucin (establecer los supuestos)
Deben establecerse para ser cumplidas en un plazo determinado
Deben expresar claramente el mbito geogrfico que cubre
Deben ser conocidas y acordadas con los ejecutores de un programa (establecer los responsables por el cumplimiento)
Para establecer la meta se deben considerar diferentes parmetros Lnea base y desempeo histrico
Desempeo de instituciones similares (benchmarking)
Estndares aplicados a normas tcnicas
Pasos para determinar una meta Identificar la lnea base
Se toma como referencia el actual desempeo
Existe? Meta Indicador Ao n % de alumnos 60% egresados
No existe? Se construye Promedios de entidades similares Estndar tcnico
Qu es la lnea base? Se refiere al dato que se tomar como inicio para establecer los valores futuros a alcanzar por el indicador, los que servirn para evaluar el grado de consecucin de las metas.
En los casos que el indicador se construye por primera vez, podra suceder que no exista un valor base.
Una vez realizada la primera medicin, se tomar como lnea de base el ltimo dato relevado. Qu aspectos se consideran para establecer el estndar de la meta Donde estamos ahora? Cmo hemos estado antes?
0 10 20 30 40 50 60 70 80 90 2004 2005 2006 2007 becas subsidios crditos Cuan lejos queremos y podemos llegar? Considerar los supuestos no controlables por la institucin Variaciones del tipo de cambio, o de determinados precios pueden afectar niveles de ingresos esperados, tarifas, etc
Aplicable a recaudacin de ciertos tributos, crecimiento, etc.
Aplicable para la estimacin de indicadores de eficiencia que miden la relacin insumo (costos, mano de obra, etc) con los productos obtenidos.
Considerar los supuestos no controlables por la institucin Licitaciones que escapan al control de la institucin, para lo cual se debe sealar que el producto o resultado prev que la licitacin estar resuelta en una fecha determinada.
Aplicable a metas relacionadas con porcentajes de planes de inversin concluidos, o a la implementacin de grandes proyectos, construcciones, etc
Considerar los supuestos no controlables por la institucin Provisin de recursos internacionales. Aquellos proyectos que dependen de desembolsos de cooperacin o prstamos internacionales, debe sealarse la fecha prevista de su disponibilidad.
Situaciones de orden climtico que alteren el comportamiento de obras, actividades agrcolas, etc.
Considerar los supuestos no controlables por la institucin Resultados que dependen de variables polticas, tales como aprobacin de tratados de libre comercio, reformas fiscales, o de otro tipo.
Resultados que dependen de acciones coordinadas con otras instituciones y que no exista el control para cambiar los cursos de accin de las otras entidades Considerar el nivel de desempeo de las metas a nivel nacional/ local
El tiempo de respuesta de la entrega de los pasaportes ser el mismo en la Provincia, Departamento, Cantn, o en la Capital.
Los kilmetros de vas reparadas sern un promedio nacional, o estn en un tramo especfico. Las metas deben tener asignados responsables por su cumplimiento a nivel de la organizacin.
Debe quedar claramente establecido cual es la Unidad, rea, Direccin, que es responsable por el cumplimiento de la meta, an cuando otras reas intervengan con produccin intermedia o final.
Problemas frecuentes cuando se establecen las metas No existen o no se construyen los medios de verificacin
Los supuestos no son pertinentes (se imputan aspectos que si la institucin controla) La evaluacin (el juicio sobre el desempeo no es confiable)
Las metas estimulan un desempeo poco innovador y desafiante
Problemas frecuentes cuando se establecen las metas No existen datos disponibles para estimar la lnea base
La institucin desconoce estndares de entidades similares
Se desconoce la poblacin objetivo y potencial
Riesgo se sobre o subvalorar la meta
No es posible evaluar respecto de las mejores prcticas (autocomplacencia)
La meta no permite monitorear el avance hacia el cumplimiento del objetivo (y por lo tanto no se pueden tomar decisiones adecuadas)
Problemas frecuentes cuando se establecen las metas Subvaloracion de las metas frente a un ambiente punitivo de la evaluacion
Trampa de la medicin: se muestra como resultados (y se hace) solo lo que se puede medir
Escasa utilidad para la toma de decisiones y mejora de la gestin
No es posible avanzar hacia la mejora de los resultados relevantes para la organizacin y por ende para la ciudadana