Indicadores Dedesempeño en El Sector Público

5
45
manuales
ndicadores de desempeo en el sector pblico

Juan Cristbal Bonnefoy Marianela Armijo
Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social - ILPES
Santiago de Chile, noviembre del 2005
Este documento fue preparado por Juan Cristbal Bonnefoy y Marianela Armijo, Experto y Consultora del rea de Polticas Presupuestarias y Gestin Pblica del ILPES, respectivamente, en el marco del Programa CEPAL/GTZ Modernizacin del Estado, Administracin Pblica y Desarrollo Econmico Local y Regional (GER/04/002).
Las opiniones expresadas en este documento, que no ha sido sometido a revisin editorial, son de exclusiva responsabilidad de los autores y pueden no coincidir con las de la Organizacin.
Publicacin de las Naciones Unidas ISSN impreso 1680-886X ISSN electrnico 1680-8878 ISBN: 92-1-322800-7 LC/L.2416-P LC/IP/L.263 N de venta: S.05.II.G.163 Copyright Naciones Unidas, noviembre del 2005. Todos los derechos reservados Impreso en Naciones Unidas, Santiago de Chile La autorizacin para reproducir total o parcialmente esta obra debe solicitarse al Secretario de la Junta de Publicaciones, Sede de las Naciones Unidas, Nueva York, N. Y. 10017, Estados Unidos. Los Estados miembros y sus instituciones gubernamentales pueden reproducir esta obra sin autorizacin previa. Slo se les solicita que mencionen la fuente e informen a las Naciones Unidas de tal reproduccin.
CEPAL - SERIE Manuales
N 45
ndice
Resumen ............................................................................................. 7 Introduccin....................................................................................... 9 I. Aspectos conceptuales de la evaluacin del desempeo institucional....................................................... 13 1.1 Especificidad de la evaluacin en el mbito pblico........... 13 1.2 Institucionalidad, actores y usuarios de los sistemas de indicadores de desempeo ................................................... 18 II. Indicadores de desempeo: definiciones, tIpologa y metodologas para su construccin............................... 21 2.1 Concepto de indicador de desempeo.................................. 21 2.2 Tipologas de indicadores .................................................... 25 2.3 Integracin de los indicadores de desempeo...................... 37 III. Construyendo los indicadores de desempeo............... 43 3.1 Pasos bsicos para la construccin de indicadores de desempeo............................................................................ 43 3.2 Planificacin estratgica e indicadores de desempeo ........ 62 3.3 Usando y comunicando la informacin entregada por los indicadores ..................................................................... 68 IV. Principales dificultades y desafos en la construccin y uso de los indicadores de desempeo ........................... 71 4.1 Dificultades mencionadas con mayor frecuencia en la construccin de indicadores............................................. 73 4.2 Principales desafos en la construccin de indicadores de desempeo....................................................................... 76 4.3 Evaluacin y gestin por resultados: conclusiones de su aplicacin en Amrica Latina.......................................... 77
Indicadores de desempeo en el sector pblico
V. Casos internacionales de construccin y aplicacin de indicadores de desempeo en instituciones pblicas.............................................................................79 5.1 Casos de indicadores en pases OCDE...............................................................................79 5.2 Casos de indicadores de desempeo en pases de Amrica Latina ....................................82 5.3 La metodologa del Cuadro de Mando Integral y los indicadores de desempeo..............87 VI. Lecciones y aprendizajes de la experiencia de aplicacin de los indicadores de desempeo en la administracin pblica.................................................................97 Bibliografa ...................................................................................................................................101 Serie Manuales: nmeros publicados...................................................................................105
ndice de cuadros
Cuadro 1 Cuadro 2 Cuadro 3 Cuadro 4 Cuadro 5 Cuadro 6 Cuadro 7 Cuadro 8 Cuadro 9 Cuadro 10 Cuadro 11 mbito de los instrumentos de evaluacin en Chile ..................................................15 Qu mecanismos se utilizan para estimar la eficiencia, eficacia y costo efectividad/eficiencia del gasto (value for money) de las actividades pblicas? .......22 El costo de las evaluaciones de programas: Chile y Mxico......................................28 Ejemplos de indicadores de eficacia...........................................................................34 Ejemplos de indicadores de eficiencia........................................................................35 Ejemplos de indicadores de economa........................................................................36 Ejemplo de indicadores de calidad .............................................................................36 Criterios de validacin para la construccin de indicadores ......................................59 Tipologa de las categoras de indicadores segn los usuarios o destinatarios ..........69 Ficha de presentacin de indicadores de desempeo de las instituciones pblicas chilenas.........................................................................................................83 Indicadores de gestin de la Direccin Nacional de Vialidad....................................86
ndice de figuras
Figura 1 Figura 2 Figura 3 Figura 4 Figura 5 Figura 6 Figura 7 Figura 8 Figura 9 Figura 10 Figura 11 Figura 12 Figura 13 Figura 14 Figura 15 Figura 16 La medicin del desempeo es parte de un largo proceso de planificacin...............17 Interrelaciones desde la perspectiva del proceso productivo, entre economa, eficacia y eficiencia ....................................................................................................26 Medidas por mbito de desempeo y preguntas que se abordan................................27 Tipo de indicadores de desempeo desarrollados en los pases .................................27 Ciclo bsico del proceso de construccin de indicadores de desempeo...................44 Diagrama conceptual del sistema de informacin para la gestin (SIG)....................48 Tipologa de indicadores segn nivel organizacional y planificacin........................51 Modelo de funcionamiento de una unidad de control de gestin ...............................53 Ejemplo de la ficha de presentacin de indicador de desempeo de las instituciones pblicas chilenas, en su presentacin a la Direccin de Presupuestos .....56 Ciclo del control de gestin ........................................................................................68 Identificacin de procesos y productos estratgicos...................................................70 Modelo lgico programa going global ....................................................................80 Esquema para la evaluacin del desempeo de las bibliotecas municipales. Ejemplo Performance Measures for Councils ...........................................................81 CMI Institucional, Instituto de Normalizacin Previsional ........................................93 Centro de gravedad estratgico, Instituto de Normalizacin Previsional de Chile............................................................................................................................94 Mapa estratgico del patronato municipal de deportes de Granada ...........................95
N 45
ndice de recuadros
Recuadro 1 Recuadro 2 Recuadro 3 Recuadro 4 Recuadro 5 Recuadro 6 Recuadro 7 Recuadro 8 Recuadro 9 Recuadro 10 Recuadro 11 Recuadro 12 Recuadro 13 Recuadro 14 Recuadro 15 Recuadro 16 Recuadro 17 Recuadro 18 Recuadro 19 Recuadro 20 Recuadro 21 Recuadro 22 Recuadro 23 Recuadro 24 Recuadro 25 Recuadro 26 Recuadro 27 Recuadro 28 Recuadro 29 Recuadro 30 Recuadro 31 Recuadro 32 Institucionalizacin de la funcin de evaluacin de resultados ................................. 19 Sistematizacin de las actividades de evaluacin ...................................................... 19 Fomentando una cultura de evaluacin ...................................................................... 20 La medicin de resultados y los problemas de nomenclatura .................................... 24 Fundamentos para la construccin de indicadores de gestin en Chile ..................... 25 Definicin de resultados intermedios y finales .......................................................... 27 Indicadores de desempeo para los entes locales del Reino Unido ........................... 29 Clasificacin de indicadores de gestin en Espaa.................................................... 32 Aspectos a tener en cuenta para la evaluacin de la eficacia en una organizacin.... 33 La meta de mejorar la coordinacin ........................................................................... 38 Preguntas bsicas para la identificacin de misin institucional ............................... 46 Ejemplos de objetivos estratgicos............................................................................. 47 Requisitos de las metas de gestin del SEV de Uruguay ........................................... 49 Ejemplos de metas ambiguas y adecuadas ................................................................. 49 Tipos de benchmarking .............................................................................................. 54 Requisitos de los indicadores a nivel individual ........................................................ 56 Requisitos de los reportes de gestin ......................................................................... 62 Definiciones estratgicas del sistema de control de gestin de Chile ........................ 64 Factores crticos para el desarrollo de un proceso de planificacin estratgica en el mbito pblico ................................................................................................... 66 Integracin entre la planificacin estratgica y la medicin de la gestin en Estados Unidos ........................................................................................................... 67 Uso de la planificacin estratgica en las agencias federales de Estados Unidos......... 67 Factores claves en la aplicacin del sistema de planificacin y control de gestin en la DIBAM.................................................................................................. 70 Dficit de las polticas de compensacin y promocin en Amrica Latina ............... 72 Principales dificultades en el desarrollo de los indicadores de desempeo. Estudio realizado por la OCDE en 1994 en los pases miembros de esta organizacin............. 72 Dificultades para medir los insumos y productos en el desarrollo de indicadores de eficiencia ............................................................................................ 75 Indicadores de desempeo en los municipios locales del Reino Unido..................... 80 Fundamentacin de la evaluacin del desempeo en Chile ....................................... 82 Ciclo de implantacin del sistema de evaluacin de la gestin pblica..................... 84 Misin y objetivos estratgicos de la Direccin de Vialidad Nacional ..................... 85 Caractersticas de un cuadro de mando integral ......................................................... 88 Ajustes al modelo del CMI para su aplicacin en las organizaciones del sector pblico.............................................................................................................. 89 mbitos e indicadores de CMI para los servicios pblicos y la medicin de la productividad del gasto pblico.................................................................................. 90
ndice de grficos
Grfico 1 Tipos de mediciones de desempeo utilizadas por gerentes del Gobierno Federal de Estados Unidos ......................................................................................... 38
N 45
Resumen
Este documento desarrolla de manera didctica tanto los aspectos conceptuales como metodolgicos involucrados en el diseo y formulacin de indicadores de desempeo en el mbito pblico. Asimismo, entrega los elementos que permitan conocer las principales potencialidades, dificultades y lmites de la implementacin de los indicadores. Sus contenidos abordan el uso de los indicadores de desempeo en un contexto de desarrollo institucional de la evaluacin del desempeo, vinculando estos instrumentos a la planificacin estratgica y a la metodologa de cuadro de mando integral (balanced scorecard). En el acpite referido a la construccin de indicadores de desempeo se desarrollan en forma secuencial la identificacin de objetivos, productos, medidas de desempeo y responsabilidades organizacionales. De igual manera, se presenta la construccin de frmulas y algoritmos, diseo de sistemas de informacin, validacin de indicadores y los procesos de anlisis y comunicacin de los resultados obtenidos a partir de los indicadores. Las secciones conceptuales y metodolgicas son complementadas con ejemplos prcticos que permitan identificar las situaciones de mayor complejidad que se enfrentan en el diseo y utilizacin de los indicadores, poniendo nfasis en la ejemplificacin del uso de esta herramienta en distintas experiencias internacionales, tanto de pases de Amrica Latina como de la OECD.
Este manual privilegia la sencillez en la exposicin de las ideas sobre la extensin analtica, con el objeto de que se convierta en una herramienta de apoyo para todas las actividades de capacitacin, investigacin y cooperacin tcnica que desarrolla el ILPES. Su objetivo ltimo es promover la instauracin de indicadores de desempeo de las instituciones pblicas, facilitando los procesos de mejoramiento de la gestin y la rendicin de cuentas del sector pblico.
N 45
Introduccin
La evaluacin del desempeo de la gestin pblica est en el centro de las preocupaciones de los tomadores de decisiones de las instituciones gubernamentales, a todos los niveles de la gestin nacional, regional y local. La exigencia por optimizar los niveles de eficiencia y eficacia en el uso de los recursos, as como generar y fortalecer los mecanismos de rendicin de cuentas hacia los ciudadanos y los grupos de inters que rodean la accin pblica son los fundamentos bsicos que han tenido los gobiernos para impulsar el desarrollo de indicadores de desempeo en las instituciones pblicas. Las recomendaciones de polticas econmicas del Consenso de Washington marcaron la agenda de reformas en Amrica Latina durante la primera mitad de la dcada de los noventa. Estas frmulas ponan el acento en los cambios institucionales que se relacionan con la disciplina fiscal, la reforma fiscal e impositiva, la reorientacin del gasto pblico hacia la salud y la educacin, las privatizaciones de empresas pblicas y la desregulacin de los mercados. Sin embargo, la evidencia emprica demuestra que las iniciativas implementadas hasta mediados de los noventa se centraron en el restablecimiento de los equilibrios macroeconmicos y la reestructuracin de incentivos de mercado y precios relativos. Las reformas desplegadas no afectaron sustancialmente la institucionalidad estatal, con la excepcin de aquellas que afectaron a las empresas pblicas, ya sea por la va de las privatizaciones o por la bsqueda de una mayor eficiencia y eficacia en las empresas que continuaron en el mbito estatal (Haggard, 1995).
El proceso de reformas logr reducir el dficit fiscal promedio de la regin de un 2,2% del PIB en 1990 a un 1,1% en 1997,1 pero subsistieron en la mayora de los pases latinoamericanos altos niveles de pobreza y de desigualdad social. En este contexto, en 1998 la CEPAL propuso, a travs del Pacto Fiscal, un redireccionamiento de las reformas del Estado enfatizando el desarrollo institucional y el fortalecimiento de la gobernabilidad. Tambin otras instituciones, como el Banco Mundial, comenzaron a revalorar el rol de las instituciones estatales en el desarrollo y a relativizar la importancia de las "fallas de mercado" en comparacin a las "fallas institucionales". En el mbito poltico estas propuestas se formalizan durante la Cumbre de las Amricas de 1998, denominado Consenso de Santiago (o neo-Consenso de Washington). Este conjunto de proposiciones plantea que las debilidades institucionales constituyen un cuello de botella para transformaciones econmicas ms profundas, reafirmndose que la calidad del gasto pblico es tan importante como el balance fiscal. De este modo, la preocupacin por el funcionamiento del aparato estatal ha vuelto a estar en el centro del debate. La reforma del Estado en Amrica Latina durante la ltima dcada, ha sido enfrentada por los diferentes gobiernos a travs de una serie de procesos de modernizacin administrativa del aparato estatal. Se ha dado especial nfasis a la necesidad transitar desde un modelo de gestin burocrtico-tradicional caracterizado por un nfasis en los insumos del proceso y en el control externo, hacia un modelo de gestin pblica orientada a los resultados. Este modelo releva la preocupacin por la identificacin clara de objetivos a lograr con el uso de los recursos, as como el establecimiento de metas e indicadores de desempeo que puedan medir el cumplimiento de dichas metas. En el marco de estas reformas de segunda generacin surge un conjunto de iniciativas y programas gubernamentales dirigidos a desarrollar mecanismos de evaluacin de la gestin, entre los cuales se cuentan sistemas de indicadores de desempeo asociados en algunos casos a los procesos de planeacin de objetivos institucionales a nivel macro, al proceso presupuestario, y/o al establecimiento de convenios por desempeo como instrumentos de responsabilizacin de los directivos. En este contexto tambin se asume que los propios ciudadanos interesados pueden evaluar la calidad, cantidad y oportunidad de los bienes y servicios recibidos, por lo que en algunos programas se incorpora la evaluacin de resultados por parte de los destinatarios o actores interesados (stakeholders).2 Bsicamente, los indicadores de desempeo al proveer informacin sobre reas fundamentales de la accin de los entes pblicos tales como la eficiencia, eficacia, calidad, y economa de los recursos, aportan al logro de un mejoramiento de la gestin y a una mayor transparencia de la accin pblica. En efecto, contar con una batera de indicadores de desempeo vinculados a la gestin estratgica de las instituciones, apoya la toma de decisiones de los directivos sobre bases ms ciertas, permite mejorar el desempeo y formular el presupuesto sobre criterios ms racionales, junto con posibilitar la rendicin de cuentas a los diferentes grupos de inters. La utilidad de contar con indicadores de desempeo para los gobiernos es indiscutible. No obstante, su incorporacin eficaz en el mbito pblico conlleva una serie de desafos que es preciso tener en cuenta tanto en la fase de diseo como en la de implementacin.
Promedio simple para 19 pases del saldo del Gobierno Central. ILPES, Base de Datos de Estadsticas de las Finanzas Pblicas, http://www.cepal.cl/ilpes/. El trmino stakeholder da cuenta de un amplio grupo de personas naturales y jurdicas que son afectadas por las decisiones y acciones pblicas. El derecho administrativo moderno reconoce a stos como los titulares de derechos o intereses legtimos individuales o colectivos, quines pudieren resultar afectados en sus derechos y a los grupos intermedios que la ley reconozca ser titulares de intereses colectivos.
10
N 45
Entre estos desafos se destaca la cultura organizacional presente en las administraciones pblicas, que dificulta transitar hacia una gestin ms comprometida por los resultados y posicionar el tema de la evaluacin de la gestin como eje central de las preocupaciones gubernamentales. Junto a lo anterior, se aade la debilidad de los sistemas de servicio civil que limita la delegacin de facultades y alcanzar mayores niveles de responsabilizacin de los directivos pblicos. Por ltimo, se seala el dbil proceso de consolidacin de los modelos burocrticos que posibiliten el funcionamiento de administraciones pblicas con procedimientos transparentes y confiables, sobre los que se pueda asentar el trnsito hacia una mayor responsabilizacin por los resultados. El objetivo de este documento es desarrollar un instrumento que brinde acceso a la conceptualizacin y metodologa para el diseo de indicadores de desempeo en el mbito pblico, as como entregar elementos que permitan conocer las principales potencialidades, dificultades y lmites del diseo e implementacin de los indicadores. Desde esta perspectiva la parte conceptual y metodolgica ser complementada con ejemplos prcticos que permitan identificar las situaciones de mayor complejidad que se enfrentan en el diseo y utilizacin de los indicadores, poniendo nfasis en la ejemplificacin del uso de esta herramienta en distintas experiencias internacionales.3 Este manual est dirigido a directivos pblicos y funcionarios con responsabilidades en las reas de planificacin y evaluacin de la gestin, tanto a nivel de la administracin central del Estado, como en el mbito de las organizaciones pblicas que se desempean en gobiernos subnacionales. Se espera adems que a partir de este manual se acceda a un material que permita realizar labores de capacitacin y cooperacin tcnica, as como promover la instauracin de indicadores de desempeo en la gestin de las instituciones pblicas, facilitando los procesos de mejoramiento de la gestin y la rendicin de cuentas pblicas. La estructura del manual es la siguiente, en un primer captulo se desarrollan los aspectos conceptuales de la evaluacin del desempeo institucional, seguidamente en el segundo captulo se abordan las definiciones, tipologa y las metodologas para la construccin de los indicadores de desempeo. En el captulo III se desarrollan los aspectos bsicos para la construccin de los indicadores, as como algunas referencias acerca de la planificacin estratgica como herramienta metodolgica que se vincula estrechamente al proceso de construccin de los indicadores. El captulo cuatro entrega, de acuerdo a la experiencia de trabajo de los autores, y de la sistematizacin de la bibliografa, las principales dificultades y desafos en la construccin de los indicadores de desempeo. Seguidamente se presentan algunos ejemplos de la construccin y aplicacin de indicadores de desempeo aplicados a casos internacionales, en instituciones pblicas de dos pases de la Organizacin de Cooperacin y Desarrollo Econmico (OCDE) y de tres pases de Amrica Latina. Finalmente se sistematizan las principales lecciones y aprendizajes de la experiencia de aplicacin de los indicadores de desempeo en la administracin pblica.
En este manual se recogen partes y reflexiones del documento Los Indicadores de Evaluacin del desempeo: Una herramienta para la gestin por resultados en Amrica Latina, Boletn N 13 del ILPES, elaborado por Juan Cristbal Bonnefoy.
11
N 45
I.
Aspectos conceptuales de la evaluacin del desempeo institucional
1.1 Especificidad de la evaluacin en el mbito pblico

Conceptualmente la evaluacin, se inserta en el marco terico del anlisis de las polticas pblicas, en la medida que sta persigue producir informacin que tenga alguna relevancia con la toma de decisiones poltica-administrativas, informacin til que permita resolver problemas concretos (Ballart, 1992). La revisin de la documentacin especializada da cuenta de mltiples definiciones sobre evaluacin en el mbito pblico, una de las ms completas, aplicada a la gestin de las entidades, es la desarrollada en el marco de un estudio realizado en los pases de la OCDE. En sta se seala que la evaluacin de la gestin es la medicin sistemtica y continua en el tiempo de los resultados obtenidos por las instituciones pblicas y la comparacin de dichos resultados con aquellos deseados o planeados, con miras a mejorar los estndares de desempeo de la institucin (OCDE/PUMA 1998). Otra definicin, pero esta vez enmarcada en el mbito de los programas pblicos, es la que seala que la evaluacin es la medicin sistemtica de la operacin o impacto de un programa o poltica pblica, comparada con estndares implcitos o explcitos en orden a contribuir a su mejoramiento (Weiss, 1998). 13
En trminos de su operatividad y para contextualizar y delimitar el foco de evaluacin de inters de este manual, podramos clasificar la evaluacin de la siguiente manera: Segn el objeto de la evaluacin esta clasificacin nos permite pronunciarnos sobre diversos mbitos de las intervenciones gubernamentales: Evaluacin de polticas pblicas Evaluacin de programas pblicos4 Evaluacin de gestin y resultados de las entidades pblicas, y Evaluacin del desempeo individual Segn el propsito de la evaluacin:5 En general los fines de a los que se dirige la evaluacin, dependern del objeto de sta, pero en trminos globales tiene que ver con la generacin de informacin para la toma de decisiones, como conocimiento para la accin. En el caso de la evaluacin de polticas y programas el objetivo claro de la evaluacin es el perfeccionamiento de stos, en trminos de maximizacin de eficacia (logro de objetivos buscados), y eficiencia desde el punto de vista de la economicidad de los medios utilizados, en un contexto de escasez de recursos. En el caso de la evaluacin del desempeo de las entidades pblicas, el propsito es un mix entre el apoyo a la toma de decisiones de las estrategias para lograr mejores resultados y gestionar ms eficientemente y eficazmente sus procesos, as como apoyar la rendicin de cuentas a usuarios y diferentes grupos de inters, y para fines de formulacin presupuestaria, asignando recursos a cumplimiento de objetivos. Segn los mandantes de la evaluacin: Evaluacin externa desarrollada por entes independientes de la entidad. Evaluacin interna, desarrollada por la propia entidad ya sea por imposicin de un ente externo como la autoridad presupuestaria, Congreso, Contralora, etc., o bien por propia decisin como instrumento de apoyo a la toma de decisiones.
Segn la etapa de la intervencin de la accin pblica, lo cual considera a la evaluacin como un proceso el cual puede realizarse en las siguientes etapas de la intervencin o accin pblica: Evaluacin ex ante: se realiza previamente a la implantacin de la accin gubernamental, en la cual se encuentra los estudios de diseo de programas, estudios de pre-inversin y similares.
Se entender por evaluacin de las polticas pblicas aquella dirigida a pronunciarse sobre los resultados en el cumplimiento de objetivos generales de "poltica", as como la resolucin de un determinado problema en un rea o sector de la poltica (social, salud, vivienda, etc.). Este tipo de evaluacin requiere integrar metodologas de tipo cuantitativo y cualitativo y el uso de la informacin tiene una mayor relevancia para decisiones de polticas pblicas. Por evaluacin de programas pblicos se entender aquella dirigida a evaluar los impactos o resultados de una intervencin pblica directa, sobre una realidad social. El uso de su informacin tambin involucra decisiones polticas amplias, pero se focaliza ms hacia decisiones que tienen que ver con mejorar el funcionamiento del programa y el impacto hacia la poblacin especfica que sirve. Weiss seala al menos 5 tipos posibles de usos de la evaluacin para la toma de decisiones de los directivos pblicos, en el caso de los Programas: (a) realizar correcciones tempranamente de aspectos claves del proceso, tales como clientes a los que va dirigidos, aspectos organizacionales relativos a los equipos internos, etc., (b) continuidad, expansin o institucionalizacin de un programa, o recorte, finalizacin o abandono de ste (c) probar nuevas ideas para el programa (d) elegir entre dos o ms alternativas diferentes, como currculos, seguros de salud, etc., en la idea de encontrar las mejores alternativas para llegar a los resultados finales, (e) decidir si se continua el financiamiento del programa.
14
N 45
Evaluacin de procesos: se realiza durante el ejercicio de la accin gubernamental y tiene que ver con el uso de los recursos para el cumplimiento de los objetivos, el ajuste a la programacin de la generacin de los productos, entre otros aspectos. Evaluacin ex post: se realiza una vez finalizada la intervencin o accin gubernamental, o la gestin de un determinado perodo, e involucra el anlisis y pronunciamiento de los resultados inmediatos, intermedios e impactos o resultados finales.
No es menor insistir en la necesidad de delimitar el objeto de evaluacin, dado que el foco al cual se dirigirn los esfuerzos de evaluacin tendr distintos propsitos, usuarios, y por supuesto diferentes metodologas para realizar el proceso evaluativo. En efecto, la evaluacin de programas se podra reservar para aquellas evaluaciones de un conjunto de recursos y actividades organizadas para obtener ciertos objetivos, cuyos resultados tienen relevancia a nivel de la gestin del programa. Esta evaluacin intentara responder a cuestiones relativas con la direccin, el funcionamiento y el impacto de un programa especfico en la poblacin a la que sirve. Mientras que la evaluacin de polticas tendra relevancia a nivel de instancias de decisin poltica e intentara responder a cuestiones relacionadas con la generalizacin de una determinada poltica en cuanto que aproximacin a un determinado problema, y que por tanto, podra afectar a un nmero importante de personas, resultar en cambios organizativos de consideracin o en la redistribucin de recursos presupuestarios entre distintos departamentos administrativos (Ballart, 1992). En la evaluacin de polticas y de programas lo que se busca identificar es el efecto final de la intervencin pblica a partir de la aplicacin de un conjunto de programas pblicos, o acciones gubernamentales. La evaluacin de las polticas pblicas requiere de sofisticadas metodologas de evaluacin. En el mbito de los programas pblicos, lo que ms se observa es la aplicacin de metodologas basadas en el marco lgico, rbol de problemas y planificacin por objetivos. En el caso de la evaluacin de los resultados y la gestin de las instituciones pblicas a nivel central, regional o local, observamos en general que las metodologas utilizadas tienen que ver con el diseo de sistemas de indicadores de desempeo los que son apoyados con procesos de previos de planificacin estratgica o de cuadro de mando integral. A modo de ejemplo, a continuacin se sealan los instrumentos de evaluacin que estn en curso en la experiencia de Chile y los mbitos de intervencin a los que se dirigen:
Cuadro 1
MBITO DE LOS INSTRUMENTOS DE EVALUACIN EN CHILE

MACRO (Ministerios) mbito: polticas y programas pblicos
X X X X
Niveles de toma de decisiones/ instrumentos
MESO (Servicios pblicos) mbito: gestin

X X X X X X X
MICRO (Funcionarios) mbito: desempeo individual y grupal
Sistema de seguimiento de programacin gubernamental Evaluacin de programas gubernamentales Evaluacin en profundidad Evaluacin comprehensiva del gasto Indicadores de desempeo Programas de mejoramiento de gestin Balance de gestin integral
X X
Fuente: Evaluacin de la Gestin Pblica en Chile. CLAD, 2002.
15
1.1.1
Por qu evaluar la gestin
El por qu la evaluacin importa, ya casi es un lugar comn dentro de la literatura alrededor del tema, y su principal utilidad en el marco de la justificacin de la accin pblica, tiene que ver finalmente con que a partir de datos fiables sobre los resultados se abre la posibilidad de informar y rendir cuenta a los ciudadanos sobre el uso de los recursos y el grado de obtencin de los objetivos propuestos. Otra perspectiva sobre la importancia de los indicadores de gestin es que stos hacen posible la rendicin de cuentas, la cual est en el centro del corazn del sistema de gobernabilidad poltica (Schacter, 2002). En el mbito pblico el tema de la evaluacin cobra una importancia mayor en la medida que a diferencia del sector privado los parmetros para identificar el cumplimiento de resultados requiere construir medidas explicitas de lo que se considera un buen desempeo. Las instituciones pblicas, no cuentan con la ltima lnea del balance o bottom line que tienen las instituciones privadas a travs de los beneficios o prdidas de su gestin. En efecto, la justificacin de la existencia pblica de esa entidad gubernamental, est dada por un mandato legal, que la faculta a realizar dicha produccin de bienes y servicios. Sin embargo a diferencia del sector privado, las instituciones pblicas enfrentan un conjunto de dificultades para precisar e identificar claramente el tema del mandato (qu es lo que debe producirse), los usuarios y los parmetros con los cuales se juzgar el buen o mal desempeo. Entre las dificultades ms relevantes se mencionan: Ambigedad de los objetivos que tienen que cumplir los organismos pblicos. Escasa precisin de los productos relevantes o estratgicos (aquellos que son los necesarios para cumplir con la misin institucional), dndose el caso que varias instituciones producen los mismos bienes, o se producen bienes y servicios no relacionados con el quehacer relevante de la institucin. No existe claridad de quines deben responder por los resultados. No se establecen las consecuencias del buen o mal desempeo, haciendo que la evaluacin muchas veces sea un ejercicio intil.
Sintetizando, los beneficios de la evaluacin a travs de indicadores de desempeo son mltiples, entre los cuales podemos mencionar los siguientes: Apoya el proceso de planificacin (definicin de objetivos y metas) y de formulacin de polticas de mediano y largo plazo. Posibilita la deteccin de procesos o reas de la institucin en las cuales existen problemas de gestin tales como: uso ineficiente de los recursos, demoras excesivas en la entrega de los productos, asignacin del personal a las diferentes tareas, etc. Posibilita a partir del anlisis de la informacin entre el desempeo efectuado y el programado, realizar ajustes en los procesos internos y readecuar cursos de accin eliminando inconsistencias entre el quehacer de la institucin y sus objetivos prioritarios: eliminar tareas innecesarias o repetitivas, tramites excesivos o se definan los antecedentes para reformulaciones organizacionales. Aun cuando no es posible establecer una relacin automtica entre resultados obtenidos y la asignacin de presupuesto, contar con indicadores de desempeo sienta las bases para una asignacin ms fundamentada de los recursos pblicos. Establece mayores niveles de transparencia respecto del uso de los recursos pblicos y sienta las bases para un mayor compromiso con los resultados por parte de los directivos y los niveles medios de la direccin.
16
N 45
Apoya la introduccin de sistemas de reconocimiento al buen desempeo, tanto institucionales como grupales e individuales.
1.1.2
Foco de evaluacin del desempeo en las organizaciones pblicas
El foco de evaluacin sobre el cual nos preocuparemos en este documento ser sobre el desempeo de las organizaciones pblicas.6 Analizado este desempeo desde el punto de vista de los resultados finales o impacto de la accin de la entidad en el cumplimiento de su misin, y tambin de cmo stos fueron logrados en trminos de la eficiencia (uso de recursos para la generacin de los productos), eficacia (capacidad de cumplir con la produccin comprometida y de logro de objetivos7), calidad (capacidad de lograr la produccin de los bienes y servicios de acuerdo a los atributos esperados por los usuarios), y economa (cmo se organizaron los recursos econmicos y presupuestarios para el logro de los resultados).8 Este foco asume que la evaluacin se relaciona estrechamente con el proceso de planificacin y programacin institucional. En este sentido la posibilidad de pronunciarse sobre los resultados (lo que se logr), asume la existencia de objetivos (lo que se esperaba lograr), los cuales deben ser establecidos en trminos de metas concretas posibles y susceptibles de ser medidas a travs de indicadores. Como se grafica en la Figura 1, la medicin del desempeo es parte de un proceso amplio de planificacin, que implica preguntarse cul es la misin, o quines somos, dnde queremos ir, cmo podemos y finalmente buscar mecanismos para saber si hemos llegado al objetivo.
Figura 1
LA MEDICIN DEL DESEMPEO ES PARTE DE UN LARGO PROCESO DE PLANIFICACIN

Anlisis Interno y de Contexto
Misin y Objetivos Quines somos o qu hacemos
Cmo sabemos que hemos llegado
Dnde queremos ir
Medidas de Desempeo
Cmo podemos llegar
Estrategias
Fuente: Adaptado de Oregon Progress Board (2004).
6 7
Estas organizaciones pueden operar en la administracin central del gobierno o en el nivel local. En el caso de la evaluacin del desempeo de las organizaciones pblicas el concepto de eficacia puede aludir tanto a la eficacia de los productos (bienes y servicios producidos, sin pronunciarse an sobre el impacto final sobre la poblacin) o bien eficacia de los resultados finales o impacto. Estos conceptos sern ampliamente detallados en el Captulo II.
17
1.2 Institucionalidad, actores y usuarios de los sistemas de indicadores de desempeo

Tal como se ha sealado, en la mayor parte de los pases las iniciativas orientadas al desarrollo de sistemas de indicadores de desempeo en las entidades pblicas ha estado inserta en un esfuerzo mayor por mejorar el proceso presupuestario. La posibilidad de contar con medidas que den cuenta del uso de los recursos y de los resultados logrados, se constituye en un insumo para el proceso presupuestario en su etapa de formulacin, ejecucin y evaluacin. Al igual que en los pases desarrollados, en Amrica Latina, la mayor parte de las instituciones en que se han generado esfuerzos para la generacin de indicadores de desempeo estn radicadas en los Ministerios de Finanzas o de Hacienda, a travs de la Direccin de Presupuesto Pblico. En otros casos pero principalmente cuando el foco de la evaluacin est ms orientada al Plan de Gobierno, como en el caso de Costa Rica a travs de Sistema Nacional de Indicadores (SINE) y Colombia, con el SINERGIA, la institucin a cargo del proceso de evaluacin de la gestin radicaba en el Ministerio de Planificacin o Direccin Nacional de Planeamiento, respectivamente, (Cunill y Ospina, 2003). Independientemente de donde radique la institucionalidad para la evaluacin del desempeo, existe un conjunto de requisitos y aspectos a considerar en el proceso de implementacin de sistemas de indicadores de desempeo en el mbito pblico. Parte importante del xito o fracaso de la aplicacin de los indicadores y su uso, tiene que ver por un lado, con el diseo macro de la institucionalidad para la evaluacin y por otro, con el desarrollo de los estmulos e incentivos necesarios para que las instituciones construyan e implementen indicadores de desempeo que cumplan con los requisitos de pertinencia, relevancia e independencia. Es importante notar que las experiencias ms relevantes en la introduccin de indicadores de gestin en el mbito pblico se han caracterizado por la incorporacin de una perspectiva de carcter sistmico y de largo plazo que ha permitido dar continuidad a las iniciativas. Desde esta perspectiva la revisin de las buenas prcticas en materia del diseo institucional, los apoyos la proceso de instalacin de los indicadores y el rol de las instituciones que aplican los indicadores, dan cuenta de los siguientes aspectos: a) b) c) d) e) f) g) h) i) Definicin clara respecto del mbito de la evaluacin y del universo de instituciones sobre las cuales se dirigir la evaluacin. Institucionalidad a cargo de la evaluacin de la gestin claramente definida. Proceso de evaluacin establecido y claramente comunicado: fechas, mandatos, procedimientos, informes, etc. Definicin de contrapartes institucionales y responsabilidades. Metodologa a ser desarrollada. Apoyos entregados para la difusin de la metodologa de evaluacin: capacitacin, pginas web, etc. Sistemas de informacin a ser desarrollados en la institucin. Consecuencias de la evaluacin claramente establecidas Uso y difusin de la evaluacin hacia los actores, tales como directivos pblicos, usuarios, grupos de inters y parlamentarios.
18
N 45
Recuadro 1
INSTITUCIONALIZACIN DE LA FUNCIN DE EVALUACIN DE RESULTADOS

La ubicacin institucional de la evaluacin del desempeo dentro del sector pblico depende de las caractersticas de cada pas. En las experiencias relevantes de la regin, su funcionamiento inicial ha estado radicado en los ministerios de planificacin o en comits interministeriales. Con posterioridad al impulso inicial, paulatinamente, los ministerios de hacienda y/o direcciones de presupuesto han asumido esta responsabilidad. En los pases de la regin se han desarrollado sistemas de evaluacin asociados al Plan y otros vinculados al Presupuesto. Cabe precisar que estas tipologas no son puras, pues coexisten sistemas de evaluacin de la inversin asociadas al aparato administrativo de planificacin, conjuntamente con evaluaciones del gasto corriente radicadas en las instituciones de formulacin y evaluacin presupuestaria. No hay una nica respuesta al tema de la ubicacin institucional. Cualquiera sea el enfoque que se adopte, resultar adecuado si existe la firme decisin poltica de hacerlo funcionar. Con todo, al tratarse de un instrumento fundamental de la gestin pblica, es recomendable que exista una estrecha vinculacin entre los organismos encargados de la planificacin y coordinacin gubernamental del Estado, cuyo vnculo con la Presidencia suele ser directo, y las instituciones vinculadas a presupuesto. Un aspecto de la institucionalizacin que mantiene su carcter polmico se refiere al rol de las contraloras de los pases latinoamericanos en la evaluacin de resultados. Los pases anglosajones, y especialmente los que disponen de un sistema parlamentario, han tendido a otorgar a las contraloras, aparte de las tradicionales funciones de control legal y financiero, roles relativos a medicin de eficiencia, efectividad, impacto y obtencin de metas. En Amrica Latina, cuando se examinan experiencias tales como las de la Government Accountabililty Office (GAO) de Estados Unidos y de la National Audit Office de Gran Bretaa, se visualiza con escepticismo este tipo de arreglos institucionales, ya sea por las caractersticas propias del presidencialismo latinoamericano, por razones de conflicto poltico en sistemas multipartidarios y/o por el insuficiente desarrollo institucional y dotaciones de recursos humanos de las contraloras para llevar a cabo programas de evaluacin de la gestin.
Fuente: Bonnefoy, Juan Cristbal. Los Indicadores de Evaluacin del desempeo: Una herramienta para la gestin por resultados en Amrica Latina, Boletn N 13 del ILPES. Santiago de Chile. 2003
Recuadro 2
SISTEMATIZACIN DE LAS ACTIVIDADES DE EVALUACIN

Para que las evaluaciones jueguen un rol importante en las organizaciones gubernamentales, es fundamental que previamente ocurra un cierto nivel de institucionalizacin. Esto, debe facilitar la realizacin de una evaluacin sistemtica que permita lograr una alta calidad de suministro de informacin, y que facilite un aprendizaje organizacional eficiente . Un aspecto importante en la evaluacin es la integracin de los conjunto de los esfuerzos de evaluacin de otras instituciones con competencias en el tema (por ejemplo indicadores de desempeo, monitoreo y auditorias). Las revisiones y actividades de control tienen que ser construidas en una perspectiva coherente y lgica, evitando la duplicacin de actividades y superposicin de recoleccin de informacin a los directivos. Existen varias aproximaciones al grado de sistematizacin de las actividades de evaluacin. Por ejemplo la evaluacin puede ser: Regular y formal o ms bien flexible e informal Centralizada o descentralizada Interna o externa Reportada al cuerpo ejecutivo o al parlamento Controlada o independiente desarrollada por evaluadores externos Abiertas o restrictivas en trminos de quienes participan en el proceso de evaluacin y el acceso a los resultados Ms o menos integrada al proceso poltico de toma de decisiones (presupuesto, gestin de los programas y auditoria)
Fuente: Promoting the Use of Program Evaluation. Accountability in Public Organizations. Meeting of the Performance Management Network. Paris 24-25 November 1997.
19
Por ltimo, un aspecto clave en la construccin de una institucionalizacin de la evaluacin es la implementacin de un conjunto de buenas prcticas que fomenten una cultura de evaluacin al interior de las instituciones pblicas y del gobierno en su conjunto. Algunas conclusiones a este respecto en los pases de la OCDE se destacan en el siguiente recuadro.
Recuadro 3
FOMENTANDO UNA CULTURA DE EVALUACIN

El apoyo a un proceso de evaluacin queda demostrado a travs de la voluntad de los polticos, gerentes pblicos y agencias centrales (Ministerio de Finanzas) por hacer un uso efectivo de las recomendaciones de poltica surgidas en l. La demanda por evaluacin necesita ser generada, especificada y articulada por actores internos y externos. Una evaluacin sin un propietario o stakeholder es poco probable que tenga algn efecto. Las barreras institucionales a la evaluacin como la resistencia interna, pueden ser reducidas a travs de la participacin y consulta abierta, creando la confianza entre las partes. El gobierno puede reforzar una cultura de evaluacin que aliente la innovacin y la adaptacin a los cambios del entorno. El mensaje bsico debe ser que la institucin para mantenerse vigente, necesita aprender continuamente y retroalimentarse de sus resultados. La capacitacin y el dilogo profesionalizados, evaluadores competentes, encargados bien informados y usuarios instruidos y motivados son elementos que contribuyen a una cultura de evaluacin.
Fuente: OCDE/ PUMA (1998), Best Practices Guidelines for Evaluation. Policy Brief N 5. Paris.
20
N 45
II. Indicadores de desempeo: definiciones, tipologa y metodologas para su construccin
2.1 Concepto de indicador de desempeo

Tal como se seal en el captulo anterior, el uso de los indicadores de desempeo est relacionado directamente con la evaluacin de los resultados en varios mbitos de accin de las intervenciones pblicas. En la administracin pblica el desempeo es un concepto relativamente nuevo. Segn la Real Academia Espaola el desempeo se refiere a actuar, trabajar, dedicarse a una actividad, lo cual nos da una idea bsica, pero que requiere una elaboracin conceptual ms amplia para el mbito de la gestin pblica. Tal desarrollo a menudo se ha asimilado al concepto anglosajn de government performance, el cual se refiere a la productividad, calidad, oportunidad, responsabilidad 9 y eficacia de los servicios y programas pblicos. Dado que la gestin pblica implica actuar o dedicarse a las responsabilidades gerenciales, entonces el desempeo involucra los aspectos organizacionales y su relacin con el entorno como lo describe Hernndez (2002): desempeo implica la consideracin de un proceso organizacional, dinmico en el tiempo y refleja modificaciones del entorno organizativo, de las estructuras de poder y los objetivos.
9
Wholey y Newcomer (1989), traduccin propia.
21
El concepto de desempeo en el mbito gubernamental normalmente comprende tanto la eficiencia como la eficacia de una actividad de carcter recurrente o de un proyecto especfico. En este contexto la eficiencia se refiere a la habilidad para desarrollar una actividad al mnimo costo posible, en tanto que la eficacia mide si los objetivos predefinidos para la actividad se estn cumpliendo. Adems de estas dos dimensiones del desempeo pblico, recientemente se han incorporado los criterios de desempeo presupuestario, focalizacin y calidad en la prestacin de los servicios pblicos, los que se describen en detalle en la seccin siguiente. Para evaluar el desempeo en los trminos descritos anteriormente, se han desarrollado una gran cantidad de herramientas metodolgicas, pero su uso puede conducir a confusiones dado que distintos autores y expertos utilizan diferente terminologa para referirse a mtodos similares. El campo acadmico de la evaluacin ha incluido dentro de la evaluacin del desempeo a distintos instrumentos tales como: Informacin de monitoreo y seguimiento; Evaluacin de proyectos y programas (tipo ex-ante, de seguimiento fsico-financiero o ex-post); Auditora de desempeo y Auditora financiera. La amplitud de estas metodologas se puede observar, por ejemplo, en una base de datos de prcticas y procedimientos presupuestarios que se encuentra desarrollando desde el ao 2003 la OCDE en conjunto con el Banco Mundial para ms de 60 pases. A la fecha de publicacin de este documento 44 pases han ingresado sus datos, incluyendo siete pases de Amrica Latina: Argentina, Bolivia, Colombia, Chile, Mxico, Per y Uruguay. El Cuadro 2 muestra la extensin del uso de mecanismos para estimar la eficiencia, eficacia y costo-efectividad del gasto de las actividades pblicas. Como se puede observar en el Cuadro 2, la OCDE hace una distincin entre revisin (review) y evaluacin. La revisin consiste en una evaluacin del desempeo de una intervencin, en tanto que la evaluacin se utiliza para una valoracin en mayor profundidad y ms comprehensiva que la revisin.
Cuadro 2
QU MECANISMOS SE UTILIZAN PARA ESTIMAR LA EFICIENCIA, EFICACIA Y COSTO EFECTIVIDAD/EFICIENCIA DEL GASTO (VALUE FOR MONEY) DE LAS ACTIVIDADES PBLICAS?
Total Nmero de Porcentaje Pases (N=38 pases) pases de LA Revisin del xito de los principales programas en el logro de sus objetivos anunciados Revisiones especiales (ad-hoc) sectoriales o de programas Evaluacin sistemtica de la eficiencia, eficacia y economa Evaluaciones especiales (ad-hoc) de la eficiencia, eficacia y de la economa Evaluaciones ad-hoc de costos de efectividad (cost effectiveness/value for money) Acuerdos del desempeo detallando resultados deseados Revisiones realizadas por organizaciones externas (por ejemplo, Banco Mundial, oficina suprema de auditora) 18 29 7 14 10 12 15 47,3 76,3 18,4 36,8 26,3 31,5 39,4 2 3 2 1 0 1 2
Fuente: OCDE / Banco Mundial, Survey on Budget Practices and Procedures, 2005.
22
N 45
Una definicin general de indicador de desempeo, sin entrar an a especificar los mbitos o niveles de su uso, es la siguiente los indicadores de desempeo son medidas que describen cuan bien se estn desarrollando los objetivos de un programa, un proyecto y/o la gestin de una institucin. Un indicador establece lo que ser medido a lo largo de varias escalas o dimensiones, sin especificar un nivel determinado de desarrollo. La definicin anterior implica que el indicador es una parte del problema y los niveles esperados de desempeo o metas a lograr son otra parte. Otra aproximacin interesante al concepto de indicador es la que permite desagregar las funciones que cumple el indicador: Un indicador es una unidad de medida que permite el seguimiento y evaluacin peridica de las variables clave de una organizacin, mediante su comparacin en el tiempo con los correspondientes referentes externos o internos (Asociacin Espaola de Contabilidad y Administracin de Empresas. AECA, 2002). Desde la perspectiva de las funciones que puede tener el indicador se pueden sealar dos: una primera funcin descriptiva que consiste en aportar informacin sobre el estado real de una actuacin pblica o programa, por ejemplo el nmero de estudiantes que reciben beca, y por otro lado una funcin valorativa que consiste en aadir a la informacin anterior un juicio de valor basado en antecedentes objetivos sobre si el desempeo en dicho programa o actuacin pblica es o no el adecuado, en este caso nmero de becas entregadas con relacin a los estudiantes carenciados. Esta ltima expresin nos est dando informacin sobre el logro de la actuacin del objetivo de Aumentar el nmero de becas para estudiantes carenciados (suponiendo que este es un objetivo intermedio). En la misma idea anterior, un complemento interesante es el que aporta Weiss (1998) al diferenciar el concepto de medicin de variable respecto del concepto indicador. Un indicador es una medicin ordinal que tiene siempre una direccin o rumbo esperado. Por ejemplo, nmero de desempleados sera una medicin sobre la cual no podemos pronunciarnos sobre si sta es buena o mala por s sola, sin embargo un indicador de esta medicin es la tasa de desempleo al cual normalmente se espera que tenga una evolucin hacia la baja. Asimismo ocurre con la medicin de crecimiento econmico, respecto de la tasa de crecimiento, a la que siempre esperamos que tenga una evolucin positiva. Weiss explicita el desempeo esperado de la manera siguiente: En evaluacin usualmente sabemos de forma adelantada hacia donde queremos que nuestro indicador se dirija. En efecto si nosotros no sabemos, ni nos interesa de que manera esperamos que el indicador se mueva, entonces es un indicador pobre, (Weiss, 1998). Con la finalidad de incorporar definiciones conceptuales que surgen de la praxis latinoamericana, a continuacin se presenta la definicin utilizada por el sistema de indicadores del Per: Los indicadores de desempeo son instrumentos de medicin de las principales variables asociadas al cumplimiento de los objetivos, que a su vez constituyen una expresin cualitativa o cuantitativa concreta de lo que se pretende alcanzar con un objetivo especfico establecido. (...) La evaluacin del desempeo se asocia al juicio que se realiza una vez culminada la accin o la intervencin. Busca responder interrogantes claves sobre cmo se ha realizado la intervencin, si se han cumplido los objetivos (concretamente, la medida en que stos han sido cumplidos), el nivel de satisfaccin de la poblacin objetivo, entre otras. En suma, se busca evaluar cun bien o cun aceptable ha sido el desempeo de determinado organismo pblico con el objetivo de tomar las acciones necesarias para perfeccionar la gestin (Ministerio de Economa y Finanzas del Per, 2000). Las reflexiones anteriores respecto del concepto de indicador lleva a tener en cuenta varios elementos:
23
La calidad y utilidad del indicador (en tanto instrumento de medicin de las variables asociadas al cumplimiento de objetivos) estarn determinadas por la claridad y relevancia de la meta que tiene asociada. El requisito fundamental para el diseo del indicador es el establecimiento previo de los objetivos y metas lo que ser medido. El resultado de la medicin del indicador entrega un valor de comparacin el cual est referido a alguna meta asociada. Por ejemplo, si la relacin que se obtiene entre el gasto de la administracin del programa y el gasto total es de un 15% y la comparamos con la meta fijada previamente de 10%, estaremos en presencia de un mal resultado, en cambio si la meta fijada era de 20%, se habr superado incluso la propia meta. El indicador deber estar focalizado y orientado a medir aquellos aspectos claves, lo cual implica la necesidad de tener claridad cules son los objetivos o propsitos de la institucin, y no todos, sino aquellos ms relevantes que se relacionan con los productos estratgicos, dirigidos a los usuarios externos.
Estos aspectos sern desarrollados con mayor detencin en el punto referido a las etapas para la construccin de indicadores.
Recuadro 4
LA MEDICIN DE RESULTADOS Y LOS PROBLEMAS DE NOMENCLATURA

Al traducir del ingls trminos como outcomes y outputs, la confusin se incrementa pues muchos pases slo se refieren a resultados, pero la distincin entre resultados y productos generalmente no se realiza. Incluso entre pases anglosajones existen notables diferencias. A modo de ejemplo, el trmino outcome (resultado o impacto) se utiliza en Estados Unidos como las consecuencias intencionadas del accionar gubernamental, en tanto que Australia analiza los outcome como el impacto real, independiente de que ste haya sido intencionado o no. La OCDE ha intentado ordenar esta prolfica y diversa nomenclatura. En primer lugar asume que los insumos son recursos que la organizacin o un gerente tiene disponible para lograr un producto o resultado. Los insumos pueden incluir los funcionarios, equipos o instalaciones, materiales fungibles y los bienes o servicios recibidos. Los costos constituyen los gastos incurridos al usar los insumos. Los productos estn relacionados con los bienes y servicios producidos directamente por un organismo pblico para los ciudadanos, negocios y/o otras agencias gubernamentales. Los resultados se relacionan con los impactos o consecuencias para la comunidad de los productos o actividades del gobierno. Los resultados reflejan los impactos intencionados y no intencionados de las acciones gubernamentales, estos proveen la racionalidad para las intervenciones gubernamentales. El esquema siguiente presenta la interrelacin entre los cuatro conceptos y las medidas de logro de eficiencia, efectividad, economa y costo-efectividad.
Resultados Efectividad Productos Costo-Efectividad Procesos Eficiencia
Insumos Economa Costos
Fuente: Kristensen, Groszyk y Bhler (2002), traduccin propia.
24
N 45
Recuadro 5
FUNDAMENTOS PARA LA CONSTRUCCIN DE INDICADORES DE GESTIN EN CHILE

1. Posibilita la evaluacin cualitativa y cuantitativa del desempeo global de la institucin, por medio de la evaluacin de sus principales programas y/o departamentos. 2. Induce un proceso de transformaciones estructurales y funcionales que permita eliminar inconsistencias entre el quehacer de la organizacin y sus objetivos prioritarios. 3. Apoya el proceso de desarrollo organizacional y de formulacin de polticas de mediano y largo plazo. 4. Mejora la coordinacin de los Servicios Pblicos con la Direccin de Presupuestos, extendiendo el proceso presupuestario hacia la discusin fundamentada de los resultados y el establecimiento de compromisos en torno a stos. 5. Mejora cualitativa y cuantitativamente la informacin sobre desempeo de los Servicios que recibe el Parlamento. 6. Apoya la construccin de sistemas de reconocimiento al buen desempeo, tanto institucionales como individuales. 7. Genera un mayor grado de confiabilidad de la gestin institucional, permitiendo eliminar trmites innecesarios en este contexto.
Fuente: Gua para la Construccin de Indicadores de Desempeo en los Servicios Pblicos, Direccin de Presupuestos, Ministerio de Hacienda de Chile, 1995.
2.2 Tipologas de indicadores

La clasificacin de los indicadores de desempeo es muy variada y tal como veremos en algunos ejemplos de los recuadros sealados ms adelante, hay autores que establecen tipologas de indicadores que abarcan seis o ms categoras, incorporando a las dimensiones de evaluacin de la eficiencia, eficacia, economa, calidad, y tambin los atributos de dichas medidas tales como equidad, entorno, tecnologa, etc. No obstante lo anterior, y teniendo en cuenta el objetivo de los indicadores de desempeo en el mbito pblico, abordaremos la siguiente taxonoma: Indicadores que entreguen informacin de los resultados desde el punto de vista de la actuacin pblica en la generacin de los productos: Insumos (Inputs) Procesos o actividades Productos (outputs) Resultados finales (outcomes)10 Indicadores desde el punto de vista del desempeo de dichas actuaciones en las dimensiones de eficiencia, eficacia, calidad y economa.
10
En algunos casos, por ejemplo en Chile, y en otros aplicados a las agencias federales de USA, la ltima categora de indicadores de resultado se desagrega en resultado intermedio y resultado final.
25
La primera clasificacin permite referirse a los instrumentos de medicin de las principales variables asociadas al cumplimiento de los objetivos: cuntos insumos se utilizaron, cuntos productos y servicios se entregaron y cules son los efectos finales logrados. Mientras que la segunda clasificacin se asocia al juicio que se realiza una vez finalizada la intervencin, y las preguntas que se intenta responder son: en qu medida se cumplieron los objetivos, cul es el nivel de satisfaccin de la calidad percibida por los usuarios, cun oportunamente lleg el servicio. Lo que se busca evaluar con las dimensiones de eficiencia, eficacia, economa y calidad es cun aceptable ha sido y es el desempeo del organismo pblico, cuya respuesta sirve para mejorar cursos de accin y mejorar la gestin, informar a los diferentes grupos de inters y tener una base sobre la cual asignar el presupuesto. En forma grfica, en el siguiente cuadro, se puede examinar las interrelaciones existentes entre ambas categoras de indicadores en una lgica de la perspectiva del proceso productivo, integrando adems los niveles de servicio provistos y dimensiones relativas a la utilizacin y satisfaccin de los usuarios.
Figura 2
INTERRELACIONES DESDE LA PERSPECTIVA DEL PROCESO PRODUCTIVO, ENTRE ECONOMA, EFICACIA Y EFICIENCIA
ECONOMA
EFICIENCIA
EFICACIA
COSTO
RECURSOS
PRODUCTOS
RESULTADOS
NIVEL DE SERVICIO
UTILIZACIN SATISFACCIN
POBLACIN OBJETIVO
Fuente: Adaptado de Figura 2.2 Indicadores de Gestin para las Entidades Pblicas. Asociacin Espaola de Contabilidad y Administracin de Empresas. AECA, 2002.
En sntesis, los primeros indicadores son ms funcionales al objetivo de rendicin de cuentas, en tanto que los indicadores de la segunda clasificacin estn ms orientados al objetivo de mejoramiento de la gestin y toma de decisiones. Un ambicioso programa de gestin por resultados debe tender a ambos tipos de objetivos, por lo que existe una complementariedad e interdependencia entre los dos tipos de indicadores. En las dos subsecciones siguientes, se explican en forma detallada los indicadores segn mbito y segn dimensin de la evaluacin, respectivamente. 26
N 45
2.2.1
Indicadores segn mbito de medicin
En la figura siguiente se observa la relacin entre cada una de las medidas de desempeo, su contribucin a los resultados finales y las preguntas que se intenta responder:
Figura 3
MEDIDAS POR MBITO DE DESEMPEO Y PREGUNTAS QUE SE ABORDAN

Cmo estn cambiando las condiciones que estamos interviniendo?
IMPACTOOUTCOME
PRODUCTO - OUTPUT
Cuntas unidades de productos y servicios estamos generando?
PROCESO
Con qu rapidez lo estamos haciendo? Cunto nos cuesta?
INPUTS
Cuntos recursos invertimos, cunto personal trabaj en el proceso?
Fuente: Elaboracin propia.
Indicadores de insumos (inputs): cuantifica los recursos tanto fsicos como humanos, y/o financieros utilizados en la produccin de los bienes y servicios. Estos indicadores generalmente estn dimensionados en trminos de gastos asignados, nmero de profesionales, cantidad de horas de trabajo utilizadas o disponibles para desarrollar un trabajo, das de trabajo consumidos, etc. Estos indicadores son muy tiles para dar cuenta de cuantos recursos son necesarios para el logro final de un producto o servicio, pero por s solos no dan cuenta de si se cumple o no el objetivo final. Indicadores de procesos: se refieren a aquellos indicadores que miden el desempeo de las actividades vinculadas con la ejecucin o forma en que el trabajo es realizado para producir los bienes y servicios, tales como procedimientos de compra (das de demora del proceso de compra) o procesos tecnolgicos (nmero de horas de los sistemas sin lnea atribuibles al equipo de soporte). Estos indicadores son tiles para la evaluacin del desempeo en mbitos donde los productos o resultados son ms complejos de medir, como por ejemplo actividades de investigacin, culturales, etc. Indicadores de productos: muestra los bienes y servicios de manera cuantitativa producidos y provistos por un organismo pblico o una accin gubernamental. Es el resultado de una combinacin especfica de insumos por lo cual dichos productos estn directamente relacionados con ellos. Por s solo un indicador de producto, (por ejemplo nmero de vacunaciones realizadas,
27
nmero de viviendas construidas, nmero de inspecciones, etc.) no da cuenta del logro de los objetivos o de los recursos invertidos en la generacin de dichos productos. Indicadores de resultado final o impacto: miden los resultados a nivel del fin ltimo esperado con la entrega de los bienes y servicios. La informacin que entrega se refiere por ejemplo al mejoramiento en las condiciones de la poblacin objetivo, y que son exclusivamente atribuibles a dichos bienes. Tradicionalmente, los indicadores de insumos (inputs) y productos (outputs), son los ms comnmente usados en las entidades gubernamentales. Parte de las razones tienen que ver con que tales indicadores no son tan complejos de construir como los indicadores de resultado final o impacto, y en algunos casos de eficiencia (cuando no se cuenta con sistemas de costo por centro de responsabilidad). Por ejemplo en el caso de Chile, de un total de 1588 indicadores desarrollados por el conjunto de entidades pblicas, que fueron enviados como informacin complementaria junto con el proyecto de presupuesto para el ao 2005, un 5% de stos constituan indicadores de resultado final, un 13% de resultado intermedio, el 57% correspondan a indicadores de productos, y el 25% a indicadores de proceso (Direccin de Presupuestos de Chile, 2004). No obstante la importante informacin que entregan, el desarrollo de este tipo de indicadores no es suficiente para un adecuado proceso de toma de decisiones, ya que no nos informan acerca de las consecuencias o los resultados del uso de los recursos. Sin embargo, existe un conjunto de dificultades metodolgicas y complejidades que obstaculizan un desarrollo mayor de la medicin de resultados finales o de impacto, entre las que destacan las siguientes: La propia definicin o establecimiento de lo que se espera por resultado final o impacto y cmo la intervencin contribuir a dicho resultado. Por ejemplo, cmo se puede conceptuar operativamente la calidad de vida, o la seguridad para la poblacin? La dificultad de aislar los factores externos que inciden tambin en los resultados finales que son objeto de la intervencin de la organizacin o de los programas, tales como mejoramiento de la calidad de vida, disminucin de la polucin ambiental, etc. Los efectos a largo plazo de las polticas o programas que en general van ms all del plazo en que se solicita la evaluacin. Los costos de la evaluacin, dado que en general requiere del establecimiento de metodologas ms sofisticadas, tales como establecimiento de grupos de control, encuestas de opinin, etc. (Ver Cuadro 3)
Cuadro 3
EL COSTO DE LAS EVALUACIONES DE PROGRAMAS: CHILE Y MXICO

Costo Promedio (dlares) Chile: Evaluacin de Programas Gubernamentales (panel de tres expertos independientes) Chile: Evaluaciones de Impacto Mxico: Evaluacin externa de Impacto del Programa Oportunidades Mxico: Evaluaciones de Corto Plazo de SEDESOL para el Congreso 10 000 80 000 4 760 000 100 000 Costo Tiempo Evaluacin/ aproximado Total de (meses) Recursos (1) 0,44% 0,44% 0,24% s/i 5 9 multianual s/i
Fuente: Elaboracin propia en base a Banco Mundial (2005), Meneses-Gonzlez et al. (2005): y Hernndez-Licona (2003). (1): El porcentaje de Chile corresponde al promedio 2002-2003, los costos de ambos programas estn sumados. El porcentaje de Oportunidades corresponde al ejercicio presupuestario 2004.
28
N 45
Recuadro 6
DEFINICIN DE RESULTADOS INTERMEDIOS Y FINALES

En algunos pases, como Chile y Canad, se utilizan dos categoras de mbitos de medicin o de control para los resultados u outcomes resultados intermedios y resultados finales. En otros casos se desagrega en tres categoras de resultados: inmediatos, intermedios y finales. En general esta desagregacin se utiliza para la evaluacin de programas sociales que requieren un alto nivel de informacin sobre los efectos generados en la poblacin. Resultados Intermedios: Se refiere a los cambios en el comportamiento, estado, actitud o certificacin de los beneficiarios una vez que han recibido los bienes y servicios de un programa o accin pblica. Su importancia radica en que se espera que conduzcan a los resultados finales y en consecuencia constituyen una aproximacin a stos. Resultados Finales o Impacto: Son resultados a nivel del fin de los bienes o servicios entregados e implican un mejoramiento en las condiciones de la poblacin objetivo atribuibles exclusivamente a stos. Ejemplos de Indicadores de Resultados:

Porcentaje de egreso favorable de nios y nias egresados de programas de proteccin al menor (Servicio Nacional de Menores) Tasa anual de variacin de reclusos con contrato de trabajo (Gendarmera de Chile) Promedio de controversias resueltas por abogado (Superintendencia de Instituciones de Salud Previsional) Porcentaje de crditos de corto plazo recuperados (Instituto de Desarrollo Agropecuario). Fuente: Sistema de Control de Gestin y Presupuestos por Resultados: La Experiencia Chilena.

En el recuadro siguiente se desarrolla un ejemplo respecto de una campaa anti tabaquismo realizada en la televisin, a travs de un modelo lgico para vincular la relacin entre los insumos, procesos (actividades), productos y resultados:
Figura 4
TIPO DE INDICADORES DE DESEMPEO DESARROLLADOS EN LOS PASES

Inputs (Insumos) $$ de la campaa
-diseo y pruebas de los avisos Actividades -produccin de los avisos -compra del tiempo de aviso comercial Productos -avisos transmitindose en la televisin -las personas ven los avisos -las percepciones de la gente se ven afectadas Intermedios -el comportamiento se ve afectado -menor incidencia de enfermedades relacionadas
Resultados
Inmediatos
Finales
Fuente: Adaptado de Schacter, Mark (2002). Institute On Governance, Ottawa, Canad. www.iog.ca.
29
Una revisin de la terminologa utilizada en los diferentes sistemas de indicadores de desempeo a nivel de los pases da cuenta de diferentes situaciones. Por ejemplo en el caso chileno se utilizan las dos vertientes de anlisis del desempeo recin sealadas, estableciendo que las instituciones pblicas en el marco de sus Sistemas de Informacin de Gestin desarrollen indicadores segn mbito de control: proceso, producto (outputs) y resultado (intermedios y finales outcome). No incorporan la perspectiva de insumos (inputs). Asimismo se deben desarrollar para cada una de estas categoras, segn sea el caso, las dimensiones de evaluacin referidas a eficiencia, eficacia, economa y calidad.11 En el caso de Uruguay, los indicadores de gestin que se desarrollan como parte del proceso presupuestario, y en el marco de los Planes de Gestin de las Unidades Ejecutoras, contemplan las dimensiones de eficiencia, eficacia, economa y calidad, sin hacer referencia explcita a los mbitos de medicin del proceso productivo (insumo, proceso, producto, resultado).12 Esta misma situacin ocurre en los indicadores de desempeo de las Unidades Ejecutoras en Costa Rica.13 En Estados Unidos las agencias federales deben documentar para su proceso presupuestario indicadores de gestin que incluyen cuatro categoras claramente diferenciadas: insumos (inputs), procesos (process, considerando dentro de estas medidas de eficiencia y calidad), producto (output) e impacto (outcomes). En Canad, las agencias ejecutivas elaboran una tipologa de indicadores que desarrolla los mbitos de insumos (inputs), productos (outputs), process (procesos, en los cuales desarrollan tambin medidas de eficiencia y calidad) y tres niveles de resultados (outcomes), inmediatos, intermedios y finales.
2.2.2 Dimensiones de la evaluacin: Indicadores de eficiencia, eficacia, economa y calidad

Para los efectos de este manual se analizarn los indicadores de desempeo que comnmente se conocen como las 3 E: Eficiencia, Economa, Eficacia,14 agregando el indicador de calidad de forma separada del indicador de eficacia, que en muchos manuales se considera un atributo de esta categora. Eficacia: cul es el grado de cumplimiento de los objetivos, a cuntos usuarios o beneficiarios se entregan los bienes o servicios, qu porcentaje corresponde del total de usuarios. Eficiencia: cul es la productividad de los recursos utilizados, es decir cuantos recursos pblicos se utilizan para producto un determinado bien o servicio. Economa: cuan adecuadamente son administrados los recursos utilizados para la produccin de los bienes y servicios. Calidad: cun oportunos y accesibles a los usuarios son los bienes y servicios entregados
Esta clasificacin de indicadores se ha utilizado en varios gobiernos de la regin y en la mayor parte de los gobiernos de pases de la OCDE. Su eleccin se basa en una serie de ventajas frente a otras tipologas que son ms complejas, stas se pueden resumir en las siguientes: La tipologa se centra en los aspectos bsicos y necesarios para entender el desempeo de la intervencin pblica.
11 12 13 14
Gua Metodolgica. Sistema Planificacin y Control de Gestin. Ao 2003, Direccin de Presupuestos de Chile. SEV Uruguay. www.cepre.opp.gub.uy Indicadores de Gestin en el Proceso Presupuestario, Direccin de Presupuestos, Costa Rica. El concepto de efectividad, se refiere al indicador de impacto o de resultado final, y en este manual se adoptar la terminologa de impacto para referirnos a los efectos finales del producto (bien o servicio) o programa que se est evaluando.
30
N 45
Permite comprender la interrelacin entre el proceso productivo de bienes y servicios y las dimensiones del desempeo. Es la tipologa que por su simplicidad y concrecin ha probado ser til para los usuarios en los pases en que se ha implantado (la mayor parte de los pases de la OCDE, Chile, Uruguay, Costa Rica, etc.).15
En los recuadros que se desarrollan a continuacin, se ejemplifican algunas diferencias en la terminologa y tipologas que adoptan algunos pases para el desarrollo de indicadores en las instituciones pblicas.
Recuadro 7
INDICADORES DE DESEMPEO PARA LOS ENTES LOCALES DEL REINO UNIDO

El documento gua para el desarrollo de los indicadores de desempeo de la Audit Commission, entidad que se vincula con los municipios del Reino Unido, establece la siguiente categora de indicadores de desempeo:
Costo: el dinero gastado en la adquisicin de los productos Input: los recursos (staff, materiales, infraestructura) empleados en la provisin de los servicios Output (producto): los servicios provistos al pblico, en trminos de tareas completadas Outcome (impacto): el impacto actual y el valor de los servicios entregados
A su vez las tres dimensiones del desempeo son definidas de la siguiente manera:
Economa: adquisicin adecuada de recursos materiales, humanos en calidad, cantidad y al menor
costo.
Eficiencia: produccin de lo mxima cantidad de outputs (productos) para un conjunto dado de
recursos o el uso de mnima cantidad de recursos para la provisin de servicios en cantidad y calidad requerida.
Efectividad: acciones de la organizacin se encuentran con los requerimientos de los ciudadanos y
dichas acciones del programa o actividad se desarrollan de acuerdo a los objetivos establecidos y metas comprometidas. Es importante notar que si bien el conjunto de estas tres categoras aluden a las mismas desarrolladas para el caso espaol, chileno y uruguayo recin expuestos, varan en los nfasis de las definiciones y en la agrupacin de las categoras. En efecto mientras en el caso chileno y uruguayo las categoras de calidad y eficacia son diferenciadas, en este caso la calidad se incorpora en la dimensin de economa, y la eficacia se conceptualiza en la categora de efectividad como eficacia de los resultados. A estas categoras se seala que algunas organizaciones agregan una cuarta E, referida a Equidad, definida como la dimensin que captura el grado en el cual el acceso a los servicios son equitativos y si los servicios son apropiados a las necesidades y estn en condiciones para hacer uso de ellos. Junto con lo anterior se enfatiza la necesidad de asegurar un balance de los indicadores que represente explcitamente una diferenciacin entre: la calidad, el costo y los plazos u oportunidad en la entrega de los servicios. El costo representa el lado financiero de las actividades de la organizacin, la calidad captura las caractersticas del servicio y su adecuacin para el uso de los servicios, y el plazo es un aspecto que cubre la capacidad de respuesta y la rapidez con la cual los servicios son entregados.
Fuente: Elaborado a partir de UK Audit Commission , www.audit-commission.gov.uk.
15
Ver Captulo VI sobre Casos Internacionales.
31
Recuadro 8
CLASIFICACIN DE INDICADORES DE GESTIN EN ESPAA

La taxonoma desarrollada en el Manual de Asociacin Espaola de Contabilidad y Administracin de Empresas de Espaa plantea la siguiente clasificacin de indicadores: Segn su naturaleza, que se relacionara con aquellos aspectos concretos de la actuacin que tratan de medir y desde esta perspectiva a los indicadores clsicos de las 3 E, se agregan los siguientes: Efectividad, equidad (mide el nivel de distribucin justa de los servicios pblicos, ejemplo disponibilidad de acceso a los servicios pblicos de los grupos sociales menos favorecidos, en comparacin con la media del pas), excelencia (calidad de los servicios, teniendo en cuenta la percepcin de los usuarios), entorno (acceso a la informacin sobre la evolucin socioeconmica del entorno, de las acciones, servicio y productos que estn desarrollando los diferentes agentes que interactan con en este contexto) y, evolucin sostenible (capacidad de mantener un servicio con una calidad aceptable durante un largo perodo de tiempo). Segn el objeto: esta clasificacin da prioridad al tema o mbito que se est midiendo, y desde esa perspectiva seala indicadores de resultado, proceso, estructura y estratgicos. Segn el mbito de actuacin: divide los indicadores en internos, que hacen referencia a variables relacionadas con el funcionamiento de la entidad correspondiente (nmero de documentos archivados por empleado, ndice de satisfaccin sobre los servicios internos). Y, los indicadores externos relacionados con la repercusin exterior a las actividades relacionadas con los servicios.
Fuente: Indicadores de Gestin para Entidades Pblicas. Asociacin Espaola de Contabilidad y Administracin de Empresas. AECA, Espaa. 2002
A continuacin se desarrolla conceptualmente las dimensiones de la evaluacin antes descritas y se presentan algunos ejemplos relativos a estas categoras de indicadores: 2.2.2.1 Eficacia El concepto de eficacia se refiere al grado de cumplimiento de los objetivos planteados: en qu medida la institucin como un todo, o un rea especfica de sta est cumpliendo con sus objetivos estratgicos, sin considerar necesariamente los recursos asignados para ello. La eficacia es un concepto que da cuenta slo del grado de cumplimiento de las metas establecidas. Las medidas clsicas de eficacia corresponden a las reas que cubren las metas u objetivos de una institucin: cobertura, focalizacin, capacidad de cubrir la demanda y el resultado final. Cobertura La cobertura es la expresin numrica del grado en que las actividades que realiza, o los servicios que ofrece, una institucin pblica son capaces de cubrir o satisfacer la demanda total que por ellos existe. El porcentaje de cobertura de los servicios, actividades o prestaciones, es siempre una comparacin de la situacin actual respecto al mximo potencial que se puede entregar. Dependiendo de los objetivos y metas particulares que se plantee una institucin, su cobertura puede tener una expresin en trminos geogrficos, en trminos de un universo o de una demanda potencial a cubrir. Focalizacin Este concepto se relaciona con el nivel de precisin con que las prestaciones y servicios estn llegando a la poblacin objetivo previamente establecida. Un primer paso en la construccin de este tipo de indicadores consiste en verificar si los usuarios reales a los que hoy estamos llegando coinciden con nuestra poblacin objetivo, las llamadas filtraciones en la demanda. Estas filtraciones pueden deberse a la fuga de beneficios del 32
N 45
programa a los usuarios no elegibles (error de inclusin), o bien en la cantidad de usuarios elegibles que no acceden a los beneficios del programa (error de exclusin). Una segunda manera de construir indicadores de focalizacin es el anlisis de cobertura, en que se mide qu porcentaje de esa poblacin objetivo est recibiendo los bienes o servicios pblicos. Capacidad para cubrir la demanda actual Este tipo de medidas de eficacia dice relacin con la capacidad que tiene una institucin pblica para absorber de manera adecuada los niveles de demanda que tienen sus servicios. Este tipo de mediciones son ms restringidas que las de cobertura y focalizacin, debido a que independientemente de cul sea nuestra "demanda potencial", slo nos dicen que parte de la demanda real que enfrentamos, somos capaces de satisfacer en las condiciones de tiempo y calidad apropiadas. Resultado Final El resultado final es otra de las dimensiones del indicador de eficacia y al igual que en la evaluacin de programas pblicos lo que se busca es medir la contribucin del conjunto de la intervencin de la entidad pblica (no as de un programa especfico).16 Como resultado final se entender el efecto final o impacto que las acciones de una entidad tienen sobre la realidad que se est interviniendo.17 La eficacia puede ser considerada tanto del punto de vista tradicional como la comparacin de los resultados obtenidos con los esperados, sino tambin, como una comparacin entre los resultados obtenidos y un ptimo factible, de forma tal que este concepto coincida con la propia evaluacin de programas.
Recuadro 9
ASPECTOS A TENER EN CUENTA PARA LA EVALUACIN DE LA EFICACIA EN UNA ORGANIZACIN

La evaluacin de la eficacia de cualquier organizacin no puede ser realizada si no estn
previamente definidos y cuantificados los objetivos, ya sea a travs de un proceso de planificacin estratgica, o de alguna metodologa que permita la identificacin de que forma dicha organizacin espera alcanzar sus resultados. Para realizar la evaluacin es fundamental poder analizar la forma y la magnitud en que los resultados obtenidos en trminos de bienes y servicios se ajustan a los efectos previstos.
La medicin de la eficacia lleva de forma inherente la definicin previa de objetivos y el
seguimiento de stos a travs de un sistema mnimo de informacin que permita informar sobre aspectos bsicos del programa o la gestin a ser evaluada, entre los que se mencionan: Productos que entrega el programa o el servicio Usuarios a quienes de dirige (nmero, caractersticas) Objetivos principales o estratgicos (logro que se pretende obtener, mejorar, ampliar, optimizar, etc.) Metas concretas con las cuales hacer el seguimiento (cundo, dnde, en qu condiciones)
Lo importante aqu es destacar que la ambigedad en la definicin de los objetivos y las metas, no permitir posteriormente realizar una evaluacin til y confiable, anulando los esfuerzos y costos incurridos en dicha evaluacin.
Fuente: Guinart y Sol (2003).
16
17
En algunos casos algunas entidades pblicas, o servicios pblicos (denominacin que tiene en algunos pases) coincide con que su mandato es la gestin de un programa pblico, claramente asignado como producto, dando la razn de ser de su mandato. En este caso es posible asimilar la evaluacin de la entidad a travs de la metodologa de evaluacin de programas. En el recuadro de ejemplo de indicadores de eficacia se sealan los que son especficamente de resultado final.
33
En general, lo que se busca medir con los indicadores de eficacia es brindar informacin sobre el grado en que se cumplen los objetivos de la gestin institucional, o de un determinado programa. Este cumplimiento se puede expresar ya sea en trminos de los resultados intermedios (coberturas logradas, grado de focalizacin cumplida, etc.) o de resultados finales (efectos logrados a nivel de la poltica pblica que interviene un mbito especfico: social, econmico, medio ambiental, etc.), los que se relacionan directamente con el proceso de rendicin de cuentas pblicas, dado que son esas variables que interesa conocer finalmente para efectos de asignacin de recursos.
Cuadro 4
EJEMPLOS DE INDICADORES DE EFICACIA

Indicador Nmero de empresarias incorporadas a Internet a travs de Infocentros/Universo de Micro y Pequeos empresarios Porcentaje de pre-escolares matriculados en programas de extensin horaria cuyas madres trabajan remuneradamente con respecto a pre-escolares matriculados en el programa de extensin horaria Nmero de desempleados capacitados / Total de desempleados inscritos en Sistema de Reconversin Laboral Porcentaje de proyectos ganados en fondos concursables externos Porcentaje de egresados de programa de reinsercin Porcentaje de edificios pertenecientes a la autoridad local accesibles para discapacitados Porcentaje de personal de minoras tnicas en la organizacin con respecto al porcentaje de minoras tnicas de la regin Nmero de beneficiarios/ universo de beneficiarios Porcentaje de alumnos que desertan del programa Porcentaje de egresos exitosos de los alumnos del programa Porcentaje de alumnos que se emplean despus de finalizar los cursos de capacitacin Nmero de fiscalizaciones/ Universo total a fiscalizar Porcentaje de cumplimiento de las normas por parte de los fiscalizados Porcentaje de reincidencia de los infractores Porcentaje Infracciones que termina en sancin efectiva Tasa de egreso de enseanza media de alumnos beneficiarios del programa Residencia Familiar Estudiantil Porcentaje de delitos aclarados / delitos denunciados Mediaciones exitosas / mediaciones realizadas Conflictos colectivos solucionados / conflictos colectivos planteados Incremento total de puestos de trabajo abiertos con el servicio pblico de empleo Fuente: Elaboracin propia a partir de varios de informes de rendicin de cuentas de Chile, Reino Unido y Uruguay.
2.2.2.2 Eficiencia El concepto de eficiencia describe la relacin entre dos magnitudes fsicas: la produccin fsica de un bien o servicio y los insumos que se utilizaron para alcanzar ese nivel de producto. La eficiencia puede ser conceptualizada como producir la mayor cantidad de servicios o prestaciones posibles dado el nivel de recursos de los que se dispone o, bien alcanzar un nivel determinado de servicios utilizando la menor cantidad de recursos posible. Un indicador clsico de eficiencia es el costo unitario de produccin o costo promedio, el cual relaciona la productividad fsica y el costo de los factores e insumos utilizados en la generacin de un bien o servicio. En el mbito de las instituciones pblicas existen muchas aproximaciones a este concepto. En general, se pueden obtener mediciones de productividad fsica, relacionando nivel de actividad, expresado por ejemplo como nmero de subsidios entregados, cantidad de usuarios atendidos, inspecciones realizadas, etc., y nivel de recursos utilizados (gasto en bienes y servicios, dotacin de personal, horas extraordinarias, etc.). Otro grupo importante de indicadores de eficiencia son los orientados a medir la productividad media de los factores: cuantas unidades de producto se obtienen en promedio por cada unidad de factor. 34
N 45
Una vez determinado el valor del indicador de eficiencia, ya sea de producto medio o costo medio, es necesario aplicar un anlisis respecto de los resultados logrados. La idea es detectar cuales son los factores ineficientes que pueden estar generando un valor de indicador que escape a la media de los estndares comparativos, o de las metas que estime razonables de ser obtenidas. Estos factores generadores de ineficiencias pueden ser el personal en la tarea no idneo, o sin capacitacin suficiente que retarda el tiempo de respuesta de un proceso, o la dotacin excesiva de personal en la tarea que hace por ejemplo que el promedio de inspecciones por inspector sea ms baja que los estndares aconsejados. El anlisis de la eficiencia econmica se refiere a la adquisicin y el aprovechamiento de los insumos (inputs), que deben ser adquiridos en tiempo oportuno, al mejor costo posible o al costo aceptable, la cantidad adecuada y con una calidad aceptable. De esta manera el anlisis de los insumos (inputs) debe ser realizada desde los medios humanos, materiales y financieros. Es as como se seala que las tcnicas basadas en la revisin de dichos insumos (inputs) tienen que ver con los siguientes tipos de anlisis, (Asociacin Espaola de Contabilidad y Administracin de Empresas, AECA, 2002).18 Costo de un servicio en relacin al nmero de usuarios Costo por tonelada de basura recogida Costo de la recogida de basura por usuario Costo por kilmetro de carretera construido Costo de la inspeccin por nmero de visitas efectuadas Costo del departamento de economa por habitante Costo del departamento de economa en relacin al presupuesto.
Cuadro 5
EJEMPLOS DE INDICADORES DE EFICIENCIA

Indicador Costo promedio de los beneficios entregados Costo promedio de las acciones de recaudacin Nmero de fiscalizaciones/ Nmero de fiscalizadores. Nmero de usuarios en archivos en relacin a dotacin efectiva de archivos Costo total programa de becas /Total de beneficiarios Cajas inspeccionadas/Jornadas persona Fuente: Elaboracin propia a partir de indicadores de desempeo de Uruguay y. Chile y ejemplos de talleres de indicadores de desempeo.
2.2.2.3 Economa Este concepto se puede definir como la capacidad de una institucin para generar y movilizar adecuadamente los recursos financieros en pos del cumplimiento de sus objetivos. Todo organismo que administre fondos, especialmente cuando stos son pblicos, es responsable del manejo eficiente de sus recursos de caja, de ejecucin de su presupuesto y de la administracin adecuada de su patrimonio. Indicadores tpicos de economa son la capacidad de autofinanciamiento (cuando la institucin tiene atribuciones legales para generar ingresos propios), la ejecucin de su presupuesto de acuerdo a lo programado y su capacidad para recuperar prstamos y otros pasivos.
18
Para mayores detalles de factores antieconmicos con relacin a los inputs sealadas consultar AECA 2000 pgina 66.
35
Otro tipo importante de indicadores de economa son aquellos que relacionan el nivel de recursos financieros utilizados en la provisin de prestaciones y servicios con los gastos administrativos incurridos por la institucin. En algunos pases por ejemplo, la participacin de los gastos administrativos en los gastos totales del sector pblico se considera como una buena aproximacin a las ganancias globales de eficiencia en el conjunto del sector.
Cuadro 6
EJEMPLOS DE INDICADORES DE ECONOMA

Indicador Aumento de costos por errores en contratos (Procesos) $ gastados a travs del sistema informatizado de compras / $ total de las compras (Procesos) Ahorros realizados en contratos y propuestas a partir del uso de tcnicas de innovacin de compras Porcentaje de recursos privados obtenidos respecto del gasto total en Museos Nacionales y Museos Regionales y/o Especializados Recuperacin de los prstamos de los Fondos Sociales Porcentaje de recuperacin del costo de los servicios Ingresos por venta de servicios/ Gasto total Fuente: Elaboracin propia a partir de Procurement Executives Association. Guide to a Balance Scorecard: Performance Management: Moving from Performance Measurement to Performance Management. Appendix E: Optional Acquisition performance Measures, www.professionals.pr.doe.gov y Direccin de Presupuestos, Chile www.dipres.cl.
2.2.2.4 Calidad del Servicio La calidad del servicio es una dimensin especfica del desempeo que se refiere a la capacidad de la institucin para responder en forma rpida y directa a las necesidades de sus usuarios. Son extensiones de la calidad factores tales como: oportunidad, accesibilidad, precisin y continuidad en la entrega de los servicios, comodidad y cortesa en la atencin. La calidad de servicio se puede mejorar por la va de mejorar los atributos o caractersticas de los servicios que se entregan a los usuarios. Entre los medios disponibles para sistematizar la medicin y evaluacin de estos conceptos se cuentan la realizacin de sondeos de opinin y encuestas peridicas a los usuarios, la implementacin de libros de reclamos o de buzones para recoger sugerencias o quejas.
Cuadro 7
EJEMPLO DE INDICADORES DE CALIDAD

Oportunidad Porcentaje de respuestas a los Parlamentarios dentro de los plazos acordados Porcentaje de reportes econmicos entregados en tiempo acordado Accesibilidad Nmero de localidades cubiertas por atenciones mviles Nmero de horas que la biblioteca est abierta fuera de las horas de trabajo Porcentaje de Poblacin con necesidades especiales que son miembros activos de la biblioteca Percepcin de usuarios Porcentaje de aprobacin excelente de los talleres de trabajo, por los participantes Porcentaje de usuarios satisfechos Nmero de usuarios satisfechos/ Total usuarios encuestados Nmero de usuarios satisfechos con el trato en la atencin/ Total usuarios Precisin Porcentaje de contratos terminados por errores
Nmero de fallas reales/ Fallas programadas
Nmero de intervenciones con retraso/ Nmero de intervenciones totales
Porcentaje de contratos con uno o ms errores encontrados por revisiones externas
Fuente: Elaboracin propia a partir de: Departamento de Administracin y Finanzas, Australia, Noviembre 2000; varios ejemplos de la rendicin de cuentas del SEV Uruguay, Indicadores de la Ley de Presupuestos de Chile.
36
N 45
2.3 Integracin de los indicadores de desempeo

Para aportar a la toma de decisiones directivas, informar y dar cuenta de los resultados de la gestin de una entidad, y/o a los usuarios de manera til y comprensible, es esencial que el conjunto de indicadores que se desarrolle permita evaluar la totalidad de las dimensiones del desempeo: eficacia, eficiencia, economa y calidad y, a lo largo del proceso de generacin de los bienes y servicios. Los indicadores de desempeo debieran evaluar los diferentes mbitos de control o medicin del proceso productivo: insumos (inputs), productos (outputs), resultado final (outcomes), pero por s solo esto no es suficiente. Si entregamos informacin sobre el costo de los productos no aportamos mayor informacin si no la relacionamos con un indicador de eficiencia que permita conocer cuantos productos obtengo por el costo determinado, o cuales son los efectos logrados en la poblacin a la que se dirige mi produccin (valorar y justificar la actuacin pblica final). Asimismo, el desarrollo de indicadores de productos tales como nmero de inmunizaciones, nmero de viviendas construidas, nmero de operaciones realizadas, etc., por s mismos tienen escaso valor para la toma de decisiones, a no ser que se presenten como series de tiempo que permitan comparar con otros valores similares o que permitan conocer la evolucin de dichas variables a lo largo de un perodo determinado. Sin embargo, tal como estn desarrollados, si quisiramos contar con informacin sobre cmo se estn utilizando los recursos invertidos o como contribuyen a solucionar el problema hacia los cuales se dirige la accin pblica, est faltando informacin clave para estos efectos. Tal como ya se ha expresado no siempre es posible desarrollar todas las medidas de desempeo que se requiere. Sin embargo lo importante es que el conjunto de medidas que se desarrollen den cuenta de la productividad, del uso de los recursos, la oportunidad en la entrega de los bienes, etc. Los criterios comnmente usados para integrar los indicadores son: Desarrollar indicadores que cubran la totalidad de las dimensiones desempeo: eficiencia, eficacia, economa y calidad. En algunos casos se define una cuota mnima de indicadores de resultados intermedios o finales a ser desarrollados del conjunto de indicadores, y un porcentaje de indicadores de proceso. La Direccin de Presupuestos de Chile, establece que las instituciones presenten indicadores de proceso que no superen el 40% del total de indicadores. La General Accounting Office, define que tienen que desarrollarse indicadores de productos (outputs) y resultado final (outcomes), justificando las razones que no posibiliten a corto plazo poder medirlos. En el caso de Estados Unidos, Reino Unido y Canad, se seala la necesidad de generar indicadores de impacto de tipo cross cutting, es decir cuyos efectos dependan de la accin transversal de varias instituciones pblicas. En la mayor parte de los casos analizados se seala la necesidad de mostrar la relacin entre los indicadores de proceso y su contribucin a los indicadores de resultado intermedio y final.
37
Grfico 1
TIPOS DE MEDICIONES DE DESEMPEO UTILIZADAS POR GERENTES DEL GOBIERNO FEDERAL DE ESTADOS UNIDOS
(Porcentaje)
60 50 50 40 30 20 10 0 38
54 47 43 35 26 38 32 31 39 32 46 44
55
Producto
Eficiencia
Servicio al usuario 2000
Calidad
Resultado
1997
2003
Fuente: GAO Highlights of GAO-04-38, a report to congressional requesters: www.gao.gov.
Recuadro 10
LA META DE MEJORAR LA COORDINACIN

Las metas de la Agencia Tributaria requieren una mejor coordinacin interna y externa entre los agentes implicados. En el primer caso se ha establecido una mayor integracin en el Departamento de Inspeccin. As se fijarn conexiones entre las oficinas tcnicas, las de planificacin y seleccin, las unidades regionales de gestin de las grandes empresas y se consensuar la aplicacin de las normas. Pero quizs la coordinacin ms importante resida en los agentes externos. El director de la Agencia, resalt en el Parlamento, la necesidad de implicar a las comunidades autnomas en la lucha contra el fraude. Para ello se ampliarn los convenios de colaboracin, no solo en lo referente al intercambio de los datos, sino tambin en las actuaciones conjuntas de control. Tambin en el mbito de recaudacin. En cuanto a la colaboracin con las administraciones tributarias de otros pases, en 2005 se impulsarn las tareas de cooperacin mediante el trasvase de informacin fiscal y con mejores prcticas administrativas, segn figura en el programa de accin de los Presupuestos.
Fuente: Presupuesto de la Agencia Tributaria. Diario El Pas, Espaa, 18 de Octubre de 2004.
Finalmente, cabe comentar, que en el caso de aplicacin de la metodologa Cuadro de Mando Integral (CMI), se definen indicadores para cubrir diversas perspectivas de actuacin de la organizacin: desde la perspectiva financiera, del cliente, del proceso interno, humanas y de desarrollo. En cada perspectiva hay varias maneras que los indicadores cubran los factores de xito ms relevantes. Por ejemplo deben mostrar, con la extensin deseada, cmo nos vemos a nosotros mismos y cmo nos ven los dems; deben permitir las comparaciones en el tiempo y con otros, estar vinculados por una causa efecto y ser apropiados para describir tanto las existencias como los flujos.19
19
Olve, Roy y Wetter (1999).
38
N 45
A continuacin se presentan tres ejemplos donde puede observarse el desarrollo de indicadores con la integracin de los mbitos de control y de las dimensiones del desempeo:
Ejemplo 1
PROGRAMA DE ALIMENTACIN ESCOLAR (PAE)

mbitos de control PROCESO Dimensiones de desempeo Eficacia Eficiencia Porcentaje de controles de laboratorios a concesionarios del PAE que no cumplen con el estndar Gastos de administracin asociados al PAE/ Gastos Totales (*) Porcentaje de concesionarios del Programa de Alimentacin PAE que cumplen normas de calidad de la variable V6 (cumplimiento de Proyectos Tcnicos) Cobertura de alumnos (as) de Educacin Media del PAE Porcentaje de raciones del PAE que estn bajo los estndares mnimos de cumplimiento del Proyecto Tcnico Porcentaje de nios(as) y jvenes del Programa Puente beneficiarios del Programa de Alimentacin PAE21 Economa Gasto ejecutado PAE/ Gasto Programado PAE (*) Calidad
20
PRODUCTO
Porcentaje de los usuarios del Programa de Alimentacin PAE que evalan con nota superior o igual a 5,5 la comida entregada por el PAE
RESULTADO Resultado Intermedio
20
21
Ejemplo extrado de los Indicadores de Desempeo de la Junta Nacional de Auxilio Escolar y Becas, del Ministerio de Educacin de Chile (las frmulas de clculo y mayores detalles consultar www.dipres.cl/control_gestion/indicadores.asp). Para fines de mejor ilustracin del ejemplo se han incorporado otros indicadores sealados con *, los que han sido adaptados de otros ejercicios. El Programa Puente es un programa de intervencin integral diseado para dar apoyo psicosocial a familias que viven en condiciones de extrema pobreza. La metodologa implementada por el programa promueve en la familia el desarrollo de acciones para el mejoramiento del estndar de vida y la integracin a la red de beneficios y servicios sociales que existen a su disposicin.
39
Ejemplo 2
INDICADORES PARA LA FUNCIN MUNICIPAL DE SANIDAD

mbitos de control INSUMOS Monto de las horas de trabajo del departamento Presupuesto del departamento N de vehculos PROCESOS PRODUCTOS N de toneladas de desechos recolectadas Millas de caminos limpiados N de usuarios atendidos RESULTADOS Empleados hora por tonelada de desechos recolectados $ gastados por milla de nieve removida Dimensiones del desempeo Eficacia Eficiencia Economa Calidad
22
Porcentaje de calles limpias (medidas por encuestas peridicas de inspeccin visual de los ciudadanos)
22
A brief guide for performance measurement in local government. National Center for Public Productivity. Rutgers University. 1997.
40
N 45
Ejemplo 3
PROGRAMA DE CAPACITACIN LABORAL

mbitos de control INSUMO Contratacin de profesores Arrendamiento de salas Equipamiento computacional Supervisiones realizadas a los cursos/ Nmero total de supervisores Nmero de talleres de capacitacin realizados / Nmero de talleres de capacitacin programados Nmero de trabajadores participantes activos de los cursos /N de participantes inscritos Tasa aprobacin alumnos participantes del programa RESULTADO Intermedio Porcentaje de trabajadores que logran nota mayor a 5 en la evaluacin de la aplicacin de sus competencias Aumento de productividad de los trabajadores en la tarea Disminucin de accidentes laborales de los trabajadores que aprobaron el curso. Fuente: Ejemplo elaborado por los autores. Costo de cada taller/ Nmero de participantes Gastos en capacitacin ejecutados a Junio del ao/ Gastos de capacitacin programados en el ao Instalacin de los equipamiento computacionales para capacitacin en los plazos acordados Porcentajes de trabajadores que asisten al curso y los evalan con nota superior a 5 DIMENSIONES DE DESEMPEO Eficacia Eficiencia Economa Calidad
PROCESO
PRODUCTO
Final
41
N 45
III. Construyendo los indicadores de desempeo
3.1 Pasos bsicos para la construccin de indicadores de desempeo

En el proceso de construccin de los indicadores de desempeo no existe un procedimiento tipo o una metodologa estndar, sin embargo se recomienda tener en cuenta una serie de pasos y requisitos previos que aseguren la coherencia del conjunto de indicadores que se construyan. Junto con lo anterior, el desarrollo de indicadores de gestin en una institucin se justifica en la medida que stos se insertan a lo largo de toda la organizacin y permiten informar sobre lo estratgico y los aspectos claves de la gestin. Sin embargo, debe considerarse que tambin son el soporte para evaluar lo que est pasando con los procesos y los aspectos operativos que contribuyen a los resultados finales. Es as como el proceso de construccin de indicadores de desempeo lleva de manera inherente la implementacin de un sistema de control de gestin y de informacin para la gestin, que permita hacer el seguimiento de las metas y su cumplimiento en el conjunto de la organizacin. Un requisito previo para la construccin de los indicadores y el sistema de control de gestin, es trabajar sobre las definiciones estratgicas de la institucin. Lo anterior implica abordar un proceso de
43
revisin y/o validacin de misin (principalmente cuando es la primera vez que se desarrolla el sistema de indicadores), identificacin de productos, objetivos y metas, cuyo cumplimiento ser medido y evaluado a partir del instrumental desarrollado con los indicadores. Abordar estos requisitos no implica necesariamente redefinir la misin y las definiciones estratgicas de la institucin, si no plantearse los ajustes pertinentes para cumplir lo ms adecuadamente con la provisin de bienes y servicios a los usuarios.
Figura 5
CICLO BSICO DEL PROCESO DE CONSTRUCCIN DE INDICADORES DE DESEMPEO
1.
Identificacin y/o revisin de: Misin: Productos Usuarios/Clientes Objetivos Estratgicos
2.
Establecer las medidas de desempeo claves Resultados
Eficacia Finales
Intermedios Eficiencia Procesos Economa 9. Comunicar e Informar 3. Asignar las responsabilidades
8. Analizar e Interpretar los Resultados
Establecer los indicadores en cada nivel de la organizacin 4. Establecer los referentes comparativos 5. Construir las frmulas 6. Recolectar los datos y generar sistemas de informacin
7. Validar los indicadores
Fuente: Elaboracin propia a partir de trabajos de taller de indicadores de desempeo.
A partir de la revisin de las principales experiencias de construccin de indicadores tanto en el mbito pblico como privado, se propone el desarrollo de las siguientes etapas, que no necesariamente requieren ser consecutivas, dado que pueden realizarse de forma simultnea y retroalimentarse de forma permanente. a) Identificar y/o revisar productos y objetivos Cules son los productos estratgicos y objetivos que sern evaluados?
44
N 45
b)
Identificar las dimensiones y mbitos de desempeo Qu mbitos y dimensiones del desempeo es conveniente medir? Eficacia, Eficiencia, Economa, Calidad Resultado Final Establecer responsabilidades organizacionales Cules sern los Centros de Responsabilidad, o reas responsables por el desempeo logrado A qu niveles realizaremos la evaluacin? Establecer los referentes para la comparacin Sobre qu comparamos los indicadores para saber si el desempeo es adecuado? Construir las frmulas o algoritmos Cmo relacionamos las variables de medicin? Recopilar la informacin necesaria Qu datos y antecedentes permitirn construir los indicadores? Validar: aplicar criterios de tcnicos y requisitos Cmo sabemos que los indicadores construidos miden efectivamente la gestin y los resultados? Analizar los resultados obtenidos Por qu se produjeron los resultados? Comunicar e informar Quines tienen que conocer nuestros resultados? Organizacin, Usuarios, Ministerio de Finanzas, Oficina de Presupuestos, Congreso, etc.
c)
d) e) f) g)
h) i)
3.1.1
Identificacin y/o Revisin de Productos y Objetivos que sern medidos
Un aspecto central para asegurar la coherencia y legitimidad de los indicadores que se construyen, es analizar en primer lugar las definiciones estratgicas de las organizaciones a las cuales se realizar el esfuerzo de medicin y evaluacin del desempeo. Lo anterior implica realizar un ejercicio de definicin o validacin respecto de la misin institucional (claridad respecto de su que mandato, los productos y servicios debe proveer y a los usuarios que sirve). Estos elementos debieran estar contenidos en una declaracin simple pero operativa de qu hace la institucin,23 basadas en algunas preguntas claves: Tengo identificada la misin, los productos y los usuarios? Tengo claros los objetivos que debo lograr? Estn los objetivos alineados con las prioridades estratgicas de la organizacin? Los objetivos estn expresados en metas mensurables?
23
En el captulo siguiente se desarrolla una metodologa bsica para emprender un proceso de planificacin estratgica en una institucin pblica.
45
Recuadro 11
PREGUNTAS BSICAS PARA LA IDENTIFICACIN DE MISIN INSTITUCIONAL

Para qu existe el organismo, programa, Unidad Ejecutora? Cules son los principales productos que genera? Quines son los usuarios externos e internos? Pueden otros ofrecer los mismos productos/servicios? si es as, Cul es la especificidad del Organismo, Programa, Unidad Ejecutora? Cul es la poblacin objetivo y la cobertura actual? Cul es la percepcin del equipo directivo y cual de los funcionarios respecto del programa?
Fuente: Gua de Planificacin Estratgica. DIPRES. 1996, Gua SEV Uruguay.
Elementos para el anlisis de los productos estratgicos Las caractersticas principales de los productos estratgicos son: Es el principal bien o servicio que la institucin proporciona directamente a un usuario externo. La provisin de un producto estratgico o relevante es responsabilidad de la institucin ya sea en forma directa o subcontratado. La demanda de los usuarios de productos estratgicos es continua, sistemtica, permanente y cautiva. Los recursos que se consumen en la generacin de un producto estratgico son importantes, ya sea como porcentaje del presupuesto destinado a la provisin del servicio, o bien por el porcentaje de funcionarios afectados a la provisin del servicio.
Definicin de los objetivos estratgicos Los objetivos estratgicos son los logros que la organizacin persigue en un plazo determinado. La seleccin de los objetivos estratgicos deber identificar cuales sern las acciones prioritarias para el mejoramiento de la organizacin, teniendo en cuenta el anlisis interno y externo de sta. El diseo de los objetivos estratgicos es una fase clave que define los compromisos y prioridades de la gestin institucional. Surgen como respuesta a una pregunta esencial: Qu debemos lograr en el corto, mediano y largo plazo, para tener un accin coherente con la misin? Estos objetivos son manejados a nivel de la direccin superior de la institucin y como tal deben tener claramente asignados indicadores de carcter tambin estratgico (resultado final o intermedio) que permita identificar el avance hacia los logros. Los objetivos estratgicos debieran tener como consecuencia dado que responden a la razn de ser la institucin un claro impacto sobre hacia el entorno (hacia los usuarios y los productos que se entregan), y tambin debieran tener claras consecuencias sobre los procesos internos claves que generan los productos. Requisitos que deben cumplir los objetivos estratgicos Los objetivos estratgicos deben ser coherentes con la misin y orientaciones de las polticas de gobierno a nivel global y/o sectorial
46
N 45
Deben estar siempre formulados en trminos de los resultados que se persiguen. Para su definicin deben llevarse a cabo un conjunto de anlisis que permitan la priorizacin. En general las entidades se apoyan de anlisis de fortalezas y debilidades (para el anlisis interno) y amenazas y oportunidades ( para el anlisis externo).24 Su definicin debe permitir identificar acciones especficas en mbitos internos y externo con un claro impacto hacia los clientes: En el mbito interno: - Procesos claves para la generacin de los productos - Reestructuracin de la organizacin, que den como resultado mayores niveles de eficiencia, etc. Hacia el mbito externo: - Cobertura de los servicios - Oportunidad del servicio - Accesibilidad
Deben ser pocos y priorizados de acuerdo a orden de importancia teniendo en cuenta los recursos que consumen, la relevancia para el cumplimiento de la misin, etc. Deben ser posibles de asignar a determinadas reas de la organizacin, o centros de responsabilidad, traducidos en objetivos especficos Deben ser factibles de realizar en plazos determinados y con los recursos disponibles.
Recuadro 12
EJEMPLOS DE OBJETIVOS ESTRATGICOS

Optimizar la calidad de las obras definiendo, analizando y mejorando los procesos constructivos,. Direccin de Obras Pblicas, Uruguay. Mejorar la atencin al usuario, reduciendo los tiempos de espera en la tramitacin y otorgamiento de los beneficios, Unidad Ejecutora, Uruguay. Promover el desarrollo personal y profesional de los funcionarios, su motivacin y adhesin hacia el servicio, Unidad Ejecutora Uruguay. Mejorar la institucionalidad mediante la promulgacin de modificaciones a la Ley de Consumidor, la promulgacin de nueva Ley de Planta, el aumento de nmero de convenios constituciones del sector pblico relacionadas y la medicin del xito de stos en su implementacin, Servicio Nacional del Consumidor, Chile. Utilizar la tecnologa de punta a travs de una red de cobertura nacional, para satisfacer necesidades y requerimiento de nuestros clientes de manera oportuna y confiable, Registro Civil. Chile. Reduccin de los daos, enfermedades y vctimas en los lugares de trabajo, Departamento del Trabajo, Estados Unidos.
Fuente: Elaboracin propia a partir de diversos informes de rendicin de cuentas de instituciones pblicas de Chile, Uruguay y Estados Unidos.
24
Para mayores antecedentes consultar Gua de Planificacin Estratgica, Direccin de Presupuestos de Chile 1997.
47
Objetivos estratgicos en la estructura de la organizacin Tal como se observa en la Figura 5 que representa el Sistema de Informacin de Gestin que desarrolla como metodologa la Direccin de Presupuestos para los servicios pblicos chilenos, existe una jerarqua de objetivos especficos (o metas) que se desagregan de los objetivos estratgicos.
Figura 6
DIAGRAMA CONCEPTUAL DEL SISTEMA DE INFORMACIN PARA LA GESTIN (SIG)

Centros de Responsabilidad vinculados a Productos Estratgicos
MISIN
Centro de responsabilidad
Objetivo estratgico
Objetivos especficos del Centro
Producto estratgico
Productos especficos o subproductos
Indicadores de desempeo
Medios de verificacin
C.R.1
OBJETIVOS ESTRATGICOS
C.R.2
PRODUCTOS ENTREGADOS
C.R.N
CLIENTES/USUARIO S/BENEFICIARIOS
Soporte
Centros de Responsabilidad Mixtos Centros de Responsabilidad de Gestin Interna

Centro de responsabilidad C.R.1 Objetivos especficos del Centro Productos especficos o subproductos Indicadores de desempeo Medios de verificacin
C.R.2
Fuente: Direccin de Presupuestos de Chile.
Metas Constituyen la expresin concreta y cuantificable de los logros que la organizacin planea alcanzar en el ao (u otro periodo de tiempo) con relacin a los objetivos estratgicos previamente definidos.
48
N 45
Requisitos para la identificacin de las metas Abarcar el conjunto de dimensiones de desempeo de la gestin: eficiencia, eficacia, calidad y economa Debe estar definida en base a la generacin de compromisos internos, por lo tanto su cumplimiento no debe depender de otras entidades o de factores exgenos Deben tener un componente de realismo, es decir que puedan ser alcanzadas con los recursos humanos y financieros disponibles.
Recuadro 13
REQUISITOS DE LAS METAS DE GESTIN DEL SEV DE URUGUAY

Una meta de gestin debe cumplir a lo menos los siguientes requisitos:

Contener el propsito de mejorar en forma significativa el desempeo institucional en alguna de sus dimensiones (calidad, eficiencia, eficacia, desempeo financiero). Ser un compromiso interno, en el sentido que su cumplimiento no dependa de la accin de otras entidades pblicas (Tribunal de Cuentas, Secretara, Contadura General, etc.) o de factores exgenos, como el nivel de actividad econmica, las decisiones que tomen agentes privados, cambios bruscos en la demanda por prestaciones, etc. Ser factible de alcanzar y, por lo tanto, ser realista respecto a los plazos y a los recursos humanos y financieros que involucran. Tener un componente de "innovacin" ya sea referido a los productos que ofrece la institucin, a la calidad de ellos, o a los procesos y tecnologas que se utilizan para generarlos.
Fuente: Gua para la Construccin de Indicadores de Gestin, CEPRE - Comit Ejecutivo para la Reforma del Estado, Uruguay, 1999.
Recuadro 14
EJEMPLOS DE METAS AMBIGUAS Y ADECUADAS

Metas ambiguas Mejoraremos el sistema de tramitacin de quejas Compraremos la mayor cantidad de libros posibles para las escuelas Llegaremos a tener el mejor servicio de bus en la regin Lograremos que nuestros usuarios estn completamente satisfechos con nuestros servicios Metas adecuadas Aumentar a un 10% la cobertura de beneficiarios del Programa Salud para Todos. Mejorar el tiempo promedio de atencin a los usuarios, reduciendo a 30 minutos el trmite de iniciacin de actividades comerciales. Aumentaremos el nmero de visitas a las bibliotecas locales en un 20% antes del 31 de Diciembre de 2001
Fuente: Elaboracin propia a partir ejemplos de taller de indicadores de desempeo y Audit Comisin (2000).
49
3.1.2
Identificar las medidas de desempeo claves: qu se mide
En trminos generales las autoridades centrales responsables por el desarrollo de sistemas de indicadores para las instituciones pblicas definen lo que es relevante medir en trminos de las dimensiones del desempeo. En la mayor parte de los casos revisados en Amrica Latina se desarrollan medidas integrales, que van ms all de los insumos (inputs) y productos (outputs). Sin embargo, por lo general lo ms frecuentemente utilizado son los indicadores de eficacia que relacionan medidas de productos (outputs) respecto de lo programado y logrado, y en menor medida indicadores de eficiencia insumos/produtos (inputs/outputs) o costos /productos. Las medidas de desempeo e indicadores que finalmente se construyan van a depender de los siguientes factores: - Tipo de metas que se monitorean - Prioridades de informacin tanto para fines internos, como externos - Prioridades de evaluacin - Recursos disponibles Cuntos indicadores construir? Los indicadores de desempeo en una organizacin pblica o privada estn presentes en toda la extensin del sistema de control de gestin, y como tal aportan a los tres niveles de decisiones de la planificacin estratgica, control de gestin y operativa, sealados en la Figura siguiente. Desde esta perspectiva son elementos fundamentales para la toma de decisiones directivas y tal como se aludi a su carcter de informacin sobre las variables claves y estratgicas de la organizacin. El nmero y tipo de indicadores a construir depender de los fines hacia los cuales se dirige la evaluacin y de las caractersticas del tipo de institucin de que se trate. En general los criterios para decidir el nmero de indicadores tienen que ver con los siguientes aspectos: Lo ms recomendable es que el nmero de indicadores se limite a una cantidad que permita apuntar a lo esencial que permita captar el inters de los diferentes usuarios a los cuales va dirigido. Que cubran las diferentes reas de la organizacin: estratgica, gestin y operacional. De forma evidente lo ms probable es que los indicadores de carcter estratgico y los ms relevantes del control de gestin sean los que se reporten a las diferentes instancias que los solicitan. Que cubran las dimensiones del desempeo de manera integrada: eficiencia, eficacia, calidad y economa. Tal como se seal en el punto los indicadores de insumos (inputs) o productos (outputs) por s solos no tienen valor informativo para la toma de decisiones, necesitamos saber el costo por unidad producida (eficiencia, costo medio), la oportunidad de esa produccin (calidad), y si los recursos financieros estn correctamente ejecutados (economa). Que permitan conocer el desempeo de los procesos (resultados intermedios) para identificar los cuellos de botella, las demoras y tiempo de cola, y el ciclo de maduracin del servicio (tiempo de resolucin desde el inicio de un trmite hasta su resolucin). Junto con lo anterior, estos resultados intermedios sirven para construir indicadores de calidad que posibiliten tener antecedentes sobre la eficacia y la oportunidad del producto final, o el impacto de la produccin. Por ejemplo en el caso de las devoluciones de impuestos
50
N 45
por exceso de cuota, la medida podra ser sobre la velocidad con que se realizan las devoluciones (AECA 2000). Es importante insistir que los indicadores de proceso, si bien pueden no ser adecuados para ser incorporados en el informe que acompaa al presupuesto institucional que va hacia el Congreso o la autoridad financiera, son muy til para identificar los aspectos centrales de la gestin del servicio pblico. Otro elemento relevante respecto del nmero de indicadores tiene que ver con desarrollar una cantidad tal que seamos capaces de utilizar y controlar, dado que mucha cantidad de informacin puede volverse en contra.
En la figura que se muestra a continuacin se observa el tipo de indicadores que es pertinente construir e informar segn nivel de la organizacin, as como segn el tipo de actividad de planificacin y control que se realiza en una organizacin. Estos tipos de indicadores constituyen una jerarqua aproximada, el control de las actividades se efecta de acuerdo con las reglas de decisin acordadas en el control de gestin, y el control de gestin existe para materializar las estrategias y los objetivos establecidos en la planificacin estratgica (Anthony, 1998).
Figura 7
TIPOLOGA DE INDICADORES SEGN NIVEL ORGANIZACIONAL Y PLANIFICACIN NIVELES ORGANIZACIONALES ACTIVIDAD DE PLANIFICACIN Y CONTROL TIPOS DE INDICADORES
Indicadores Gestin Global de la Entidad o Resultado Final Alta Direccin Planificacin estratgica Resultado Final o Impacto Resultado Intermedio
Indicadores por Centro de Responsabilidad Nivel Directivo Control de Gestin Eficiencia, Eficacia, Economa, Calidad
Nivel Operativo Control de Actividades
Indicadores Operacionales Insumos, Productos, Eficacia
Fuente: Adaptado de Robert Anthony (1998).
51
3.1.3
Establecer las responsabilidades organizacionales
Como fue sealado anteriormente, los indicadores de desempeo se despliegan a lo largo de toda la organizacin, y tienen como objetivo central entregar informacin sobre el grado de cumplimiento de las metas, las cuales estn asociadas a determinados productos que se generan en diferentes reas de la organizacin, los cuales tienen directivos o ejecutivos a cargo y son responsables por ellos. Por lo que el paso siguiente a la identificacin de lo que se medir es establecer las responsabilidades institucionales y organizacionales por dicho cumplimiento. De esta manera un requisito central para operativizar los indicadores tiene que ver con la asignacin de productos, metas e indicadores a cada una de las divisiones o reas que tienen asignado dicha produccin. Esta accin implica desarrollar Centros de Responsabilidad, los cuales tienen las siguientes caractersticas: Los centros de responsabilidad - Tienen productos estratgicos claramente asignables - Tienen objetivos traducidos en metas concretas a alcanzar. - Tienen a la cabeza un directivo responsable con por el cumplimiento de esos objetivos - Dicho directivo no slo cuenta con la responsabilidad sino que tambin con la autoridad y las atribuciones para tomar las decisiones necesarias para el logro de los objetivos - Tienen asignados recursos humanos, materiales y financieros. Unidad de Control de Gestin El rol de la Unidad de Control de Gestin es clave para asegurar que los indicadores construidos fluyan por toda la organizacin y permitan la retroalimentacin sobre los resultados. Tal como est definido el control de gestin es el proceso mediante el cual los directivos influyen en otros miembros de la organizacin para que se ponga en marcha las estrategias de sta. La finalidad del proceso del control de gestin es poner en prctica las estrategias que fueron aprobadas en el proceso de planificacin estratgica y de ese modo, alcanzar los objetivos de la organizacin. Su cumplimiento exige la interaccin de los directivos con otros miembros de la organizacin, incluyendo otros directivos (Anthony, 1998). A continuacin se desarrolla un modelo de una Unidad de Control de Gestin, que es la instancia de la organizacin que se encarga de monitorear el cumplimiento de las metas interactuando con cada uno de los Centros de Responsabilidad y la Direccin. En trminos generales los requisitos para un buen funcionamiento de estas Unidades de Control de Gestin son: - Ubicacin estratgica, cercana a la Direccin y participante de las instancias directivas - Permanente retroalimentacin y empoderamiento para establecer su relacin con los Centros de Responsabilidad - Recursos suficientes para desarrollar un Sistema de Informacin que permita el flujo adecuado de la informacin.
52
N 45
Figura 8
MODELO DE FUNCIONAMIENTO DE UNA UNIDAD DE CONTROL DE GESTIN
Informacin Metas/ Indicadores
Direccin
Recomendaciones
Medidas correctivas
Acuerdo Metas/ Indicadores
Evaluacin
Unidad de Control de Gestin
Retroalimentacin
Centros de responsabilidad
Informacin de avance
Fuente: Adaptado de Robert Anthony (1998).
3.1.4
Establecer los referentes sobre los que se comparan los resultados
Una vez que se ha acordado el tipo de indicador que medir las dimensiones del desempeo, se han definido los responsables por los resultados, se debern establecer idealmente de forma participativa (el jefe o director del centro de responsabilidad y funcionarios responsables de la produccin de los bienes y servicios involucrados) los referentes sobre los cuales se comparar los resultados obtenidos por el indicador. En la Figura 8, se presentan dos referentes claros de comparacin: la meta para el ao presupuestario siguiente, y el desempeo pasado (aos 2000, 2001, 2002). A estos dos referentes podra agregarse un tercero referido a la comparacin de instituciones similares. A continuacin se desarrolla el anlisis para cada uno de estos referentes. a) Sobre lo planeado o presupuestado Esta referencia implica tener como punto de comparacin las metas que la organizacin establece. En este punto cabe recordar lo sealado respecto de la determinacin de metas: realismo en cuanto a que stas deben financiadas con los recursos presupuestarios sobre los cuales se est realizando la programacin, debe contener una expresin de mejora concreta (ya sea en eficiencia, eficacia, calidad o economa),para lo cual debe haber habido un proceso previo de discusin sobre que implica para la organizacin un buen desempeo, debe tener incorporado un componente de innovacin (previamente se debe haber analizado si es el mejor ptimo posible y si es mejorable a partir de incorporacin de una mejora de procesos, tecnologa, etc.). b) Respecto de otras instituciones similares o comparables Al comparar resultados con instituciones similares se debe tener especial cuidado en seleccionar una institucin que sea estrictamente comparable, en trminos de las variables que tienen mayor 53
incidencia sobre el desempeo, tales como recursos, tecnologa, capacidades instaladas, rea a la cual se dirigen los productos, tipo de clientes, etc. En este punto quizs pueda ser conveniente que la institucin o algn rea de sta participe en un proceso de benchmarking. Un uso frecuente del benchmarking es para la comparacin con jurisdicciones territoriales similares (ejemplo, departamentos de salud de varias regiones), con otras instituciones de otros sectores de similar tamao o complejidad (porcentajes de preinversin ejecutada del ministerio de vivienda y del ministerio de obras pblicas) y contra otras instituciones de otros pases (ejemplo, el costo unitario de recaudacin de las administraciones tributarias)
Recuadro 15
TIPOS DE BENCHMARKING
BENCHMARKING Encontrar una organizacin que sea buena preferiblemente mejor que nuestra organizacin, estudiar intensamente como hace las cosas, hacer planes para lograr que el desempeo llegue a este nivel, implementando esos planes y monitoreando sus resultados. Benchmarking es, entonces, basarse sobre los estndares de desempeo, pero lograrlo por la comparacin de resultados o procesos, identificando la mejor prctica e iniciando procesos de mejoramiento. Tipos de Benchmarking El tipo de benchmarking queda determinado por el tipo de comparaciones que se pretenden realizar. El tipo de comparaciones ms frecuentes son las siguientes: Benchmarking interno. Se utiliza este trmino cuando las actividades de benchmarking se utilizan para comparar unidades similares o que cumplen funciones similares al interior de una organizacin. Por ejemplo: los distintos laboratorios de una universidad, las distintas estaciones de servicio de una compaa distribuidora de combustibles, los distintos tribunales del sistema judicial, etc. Este tipo de benchmarking se aplica por lo general en organizaciones de gran tamao, que tienen una distribucin regional o internacional de sus unidades organizativas. Benchmarking competitivo. El benchmarking competitivo es aquel en que el objetivo perseguido es hacer comparaciones entre competidores directos o cercanos que se relacionan con una misma base de clientes. Como es lgico, este tipo de benchmarking es el ms complejo de realizar, puesto que es el que presenta mayores dificultades para conseguir la informacin, no obstante es el tipo de anlisis que surge de esta modalidad de benchmarking presenta un alto potencial para mejorar el desempeo. Debido a las dificultades para el traspaso de informacin, por lo general el benchmarking competitivo se centra en la comparacin de productos o servicios finales, puesto que en este mbito es posible obtener informacin a travs de encuestas a clientes, focus group, estudios de mercado, etc. Benchmarking funcional. El benchmarking funcional, surge en gran medida como una respuesta a las dificultades que presenta la realizacin del benchmarking competitivo y consiste bsicamente en detectar organizaciones (que no sean competidores), que desarrollen uno o ms procesos de trabajo similares a los nuestros y utilizarlos como referente y fuente de informacin. Recibe el nombre de funcional, porque se utiliza principalmente para comparar funciones similares entre empresas de distintos sectores o mercados; por ejemplo se puede buscar en cualquier rea de la produccin, dentro y fuera del pas, a la organizacin lder en despacho de mercaderas a distancia, a la organizacin lder en capacitacin y reconversin de empleados o a la organizacin lder en sistemas de informacin de apoyo a la gestin y utilizarlas como fuente de informacin para mejorar nuestros propios procesos de trabajo.
Fuente: OCDE/PUMA (1997), Best Practices Institute.
c) Respecto de resultados histricos El anlisis de los resultados sobre los estndares logrados en el pasado debe poner especial atencin al hecho que la eficiencia y productividad, en general mejoran a lo largo de tiempo por factores tecnolgicos y no necesariamente por mejoras intencionadas en la gestin. Asimismo pueden haber factores exgenos importantes que pueden incidir en mejoras de los estndares 54
N 45
histricos, tales como una mayor demanda de bienes y servicios derivadas de una emergencia, de una prioridad gubernamental, etc. Frecuencia de la medicin Una vez que se tienen asignados los indicadores que sern evaluados, por centro de responsabilidad, es necesario determinar cada cuanto tiempo es necesario establecer la medicin, la cual puede ser anual, semestral, o mensual. La frecuencia depender del uso de la informacin y de la relevancia de la medicin. Debe tenerse en cuenta que un sistema de control de gestin donde fluirn los indicadores informa de las variables de carcter estratgico o claves para la gestin y la toma de decisiones. Esta informacin puede ser til ya sea para usuarios externos (como el Ministerio de Finanzas, cuyo objetivo principal sea conocer como se utilizaron los recursos presupuestarios asignados), o para los usuarios internos (directivos generales de la institucin y directivos de los centros de responsabilidad). Por lo que puede haber un tipo de indicador de carcter operativo que de cuenta de las tareas realizadas, o ms de tipo administrativo, que no est asociado a elementos estratgicos, pero que s puede aportar como informacin intermedia (Nmero de horas por inspeccin, costo unitario de los expedientes, etc.) relevante a otros productos, por lo que estos indicadores no son necesarios informarlos externamente. En general para los indicadores que se requieren en el proceso presupuestario, la frecuencia de la medicin y evaluacin es semestral (en la mayor parte de los casos). Para aquellos indicadores necesarios para un monitoreo comparativo de costos medios, puede ser necesario llevar un control y evaluacin mensual, pero ser informados semestral o anualmente. Los indicadores de resultado intermedio o final, como por ejemplo, grado de comprensin de la historia de Chile, los estudiantes que visitan la muestra del Museo, si este indicador est construido a travs de una encuesta anual, necesariamente la periodicidad de la medicin estar acotada a la pertinencia y disponibilidad de la informacin. De forma resumida los elementos claves para determinar la frecuencia de la medicin tienen que ver con: - El tipo de indicador (estratgico, de gestin u operativo) - El uso de la informacin (externos, e internos) - Los costos asociados a la medicin
3.1.5
Construir frmulas y algoritmos
La construccin de las frmulas o algoritmos que permitan construir el indicador es una fase que debe ser realizada una vez que se tenga claridad qu dimensiones sern evaluadas, sobre qu producto y el cumplimiento de qu objetivos estratgicos se est midiendo su cumplimiento. La construccin de la frmula o algoritmo debe asegurar que su clculo obtenga informacin de la variable que estoy tratando de medir, es decir el resultado del indicador.
55
Recuadro 16
REQUISITOS DE LOS INDICADORES A NIVEL INDIVIDUAL

Identificar un nombre para el indicador que debe ser claro y auto explicativo. Definir el objetivo del indicador, puede ser estratgico o no, estar en funcin de lo que se pretende
medir.
Determinar o cuantificar el objetivo a alcanzar, siendo ste un valor o varios en funcin de cmo se
mida y se defina.
Deben poder identificar al responsable de cada indicador de control de gestin. Deben servir como base de medicin de los objetivos relacionados con los aspectos claves del
negocio.
Deben especificar la frecuencia o periodicidad del indicador Se debe identificar la fuente de informacin de origen de los datos y el responsable de facilitar la
informacin para calcular el indicador.

Se debe poder medir la evolucin de los objetivos o su situacin en un momento del tiempo. Deben poder aportar la informacin a los usuarios en el tiempo y la forma requerido.
Fuente: Muiz, 2003.
Figura 9
EJEMPLO DE LA FICHA DE PRESENTACIN DE INDICADOR DE DESEMPEO DE LAS INSTITUCIONES PBLICAS CHILENAS, EN SU PRESENTACIN A LA DIRECCIN DE PRESUPUESTOS
Producto Estratgico al que se vincula Orientacin, asesora jurdica y proteccin Indicador Frmula de Clculo Efectivo 2000 Efectivo 2001 Efectivo 2002 Estimado 2003 Meta 2004 Pondera cin Medios de Verificacin Notas
Calidad/ Resultado Intermedio
Porcentaje de usuarios satisfechos co n la atencin global prestada por el servicio Orientacin, asesora jurdica y proteccin Tramitacin de reclamos Eficacia/ Producto
(Nmero de usuarios satisfechos/ Total usuarios encuestados)* 100
Formularios/ Fichas n,c, 77,0 % 87,9 % 85,0 % 88,0% 6% Encuesta de satisfaccin a usuarios 1
Porcentaje de mediaciones de usuarios resueltas
(Nmero de mediaciones resueltas en ao t/Nmero de mediaciones ingresadas en ao t)*100
Base de Datos/Softwar e Reportes entregados por el Sistema de Informacin Jurdico Judicial Reportes entregados SERNAC
48,0 %
52,0 %
54,8 %
54,0 %
55,0%
4%
Fuente: Elaborado sobre la base de publicaciones de la Direccin de Presupuestos de Chile.
56
N 45
En el ejemplo tal como puede observarse se agrega una columna de ponderacin que es el porcentaje de importancia atribuida respecto del total de los indicadores, ajustndose a una de las disposiciones de la Direccin de Presupuestos. Se agrega adems una columna de notas, las cuales entregan informacin general de los indicadores o explicaciones respecto de las desviaciones importantes. Distintas frmulas o algoritmos utilizados para la construccin de indicadores Un indicador puede elaborarse como una razn o un ratio entre dos variables cuantificables eficiencia (insumos-productos), o economa (costos-productos), o solamente una medicin de los productos (eficacia-cobertura): Eficiencia: Costo medio: Gastos programa/ Prestaciones dadas Eficiencia: Productividad media: Total prestaciones/ Nmero de funcionarios en la tarea Eficacia - Cobertura: Produccin realizada/ Produccin programada A continuacin se entregan diferentes tipos de indicadores con sus respectivas frmulas o algoritmos:
Indicador Ratios a) Ejecutado ____________
Frmula de clculo
Programado Porcentaje pacientes atendidos menores 15 aos Porcentaje de certificados emitidos dentro del plazo Porcentaje de inversin ejecutada
Pacientes atendidos menores de 15 aos ___________________________ Poblacin objetivo a ser atendida Certificados emitidos dentro del plazo _______________________ Certificados solicitados Inversin ejecutada _______________________ Inversin programada Frmula de Clculo Costo Total recoleccin basura _______________________ Toneladas de basura recogida
b) Costos medios
Costo medio por tonelada de basura recogida
Costo por hora de las inspecciones realizadas
Costo Total Inspecciones ___________________________ Nmero horas utilizadas en las inspecciones
c) Tasas de variacin anual

Indicador Tasa de variacin anual de la conexin en red de la Unidad Ejecutora Frmula de clculo: 1999 53 [(Equipos incorporados y conectados en el ao t _______________________ -1] *100 Equipos conectados ao t-1) Promedio de das de atencin 1999 Sumatoria de Nde das de tramitacin _______________________ Nde tramitaciones 18 das realizadas (das)
2000 71
2001 96
33,9% 2000
35,2% Meta
30 das
25 das
57
3.1.6
Recopilar la informacin necesaria
La recoleccin de datos tiene que ver con todos aquellos mecanismos que nos permitirn construir finalmente el indicador. La generacin de informacin para la construccin de los indicadores es una tarea que implica asumir un conjunto de desafos, entre los que se cuenta: identificacin de la informacin pertinente, recursos para construir bases de datos y la realizacin de investigaciones o encuestas para construir indicadores de resultado y de calidad, as como contar con los sistemas de informacin adecuados que posibilite apoyar la labor de control de gestin. Los tipos de informacin que se requiere reunir es a lo menos la siguiente: Informacin contable-financiera: relativa a los costos de la produccin, ingresos, gastos, activos, etc. Informacin operacional: nivel de produccin, estadsticas operativas (por ejemplo, kilmetros. construidos, estudiantes matriculados, cargas de trabajo, etc. Informacin sobre resultados finales (impactos): para lo cual generalmente deben realizarse estudios especiales, recurrir a metodologas que permitan trabajar con grupos de control, etc.
En general la tcnica para la obtencin de los datos depender del tipo de indicador que se construya, identificndose tcnicas cuantitativas o mtricas, para establecer las comparaciones estadsticas, realizacin de cmputos, etc. y tcnicas de carcter documentales, que requiere la revisin de los soportes de informacin tales como estudios, investigaciones, etc., y las investigaciones de tipo cualitativo, ampliamente utilizadas para evaluacin de la percepcin de calidad de servicios. En las primeras etapas de diseo de los sistemas de indicadores la recoleccin de los datos se constituye en uno de los principales obstculos para la posibilidad de construir indicadores fiables y legtimos y a su vez es una de las fuentes de desincentivo importantes para las organizaciones en la medida que las enfrenta a sus capacidades por generar datos, construir antecedentes de carcter histrico, dimensionar el nmero de atenciones, el tipo de usuarios, etc. Estas demandas que son bsicas para la construccin de los indicadores, en la mayor parte de los casos se enfrentan en la escasez de recursos financieros para poder construir las bases de datos, desarrollar encuestas, etc. Sin embargo, a partir de las experiencias revisadas, en los casos chilenos, uruguayos, de Costa Rica, y otros de pases de la OCDE, el tema de la construccin de los datos, implica la necesidad de abordarlo desde una perspectiva estratgica. En este punto si bien la responsabilidad principal por la bsqueda de los datos es responsabilidad de la institucin que debe generar los indicadores, la autoridad central que solicita dichos instrumentos y est a cargo del Sistema de Indicadores de Desempeo, tiene un rol central en facilitar los apoyos necesarios. Entre las principales iniciativas que se observan se mencionan las siguientes: Fondos especiales para la construccin de sistemas de informacin a los cuales pueden postular las instituciones con un plan de desarrollo especfico. Priorizacin presupuestaria al financiamiento de estudios, encuestas, etc., como parte del presupuesto de estudios e investigacin de la institucin. Integrar los sistemas de informacin de indicadores como un mdulo armnico de los Sistemas Integrados de Administracin Financiera (SIAF) existentes, de manera tal que se produzca la alimentacin automtica de las variables para la construccin de los indicadores y el clculo de las frmulas. Incorporacin en los planes de mejoramiento de gestin de la institucin (que son parte de la programacin presupuestaria), metas e indicadores vinculados a la construccin de sistemas de informacin, datos y encuestas, etc. para desarrollar los antecedentes necesarios para la construccin de indicadores.
58
N 45
Acuerdos de colaboracin con instituciones de estadsticas nacionales para inclusin de datos en encuestas nacionales. Impulso de procesos de benchmarking entre instituciones similares.
3.1.7 Validacin: Criterios Tcnicos y Requisitos para la Construccin de Indicadores

Durante la etapa de validacin, los indicadores que informarn sobre el desempeo obtenido deben cumplir una serie de requisitos tcnicos y ajustarse a criterios que permitan asegurar su transparencia y confiabilidad como herramienta para la toma de decisiones y la rendicin de cuentas. En la literatura relativa al diseo de indicadores existe consenso respecto del conjunto de criterios sobre los cuales se deben examinar los indicadores para analizar su coherencia y la capacidad de cumplir los fines para los cuales se construyen. En el recuadro siguiente se realiza una sistematizacin bastante extensiva de dichos criterios que combinan requisitos tanto tcnicos de la propia formulacin, como aspectos que tienen que ver con su presentacin para fines de comunicacin.
Cuadro 8
CRITERIOS DE VALIDACIN PARA LA CONSTRUCCIN DE INDICADORES

Criterio Descripcin Debe referirse a los procesos y productos esenciales que desarrolla cada institucin para reflejar el grado de cumplimiento de sus objetivos institucionales. La medicin de todos los productos o actividades que realiza la institucin genera una saturacin de informacin, tanto al interior de la organizacin como fuera de sta. Asegurarse que estoy midiendo los objetivos vinculados a lo estratgico. Cuando se trata de organizaciones que tienen ms de un producto o servicio, es conveniente desarrollar un conjunto de indicadores globales que represente su accionar estratgico vinculado a su misin. Este criterio implica preguntarse cul es la unidad de producto (atenciones mdicas, asesoras legales, visitas inspectivas, etc.) y, ms importante, procurar que dichas unidades de producto sean equivalentes entre s en trminos los recursos institucionales que consumen (horas hombre, cantidad de insumos materiales, etc.). Se debe procurar que sean de igual "costo" en un sentido amplio del trmino. Si no se da la equivalencia, para alcanzar las metas se tender a ejecutar slo las acciones que demandan relativamente menos recursos, postergando o anulando las ms costosas o complejas, que a menudo son las que tienen un mayor impacto sobre la gestin institucional. Los indicadores deben responder en lo fundamental a las acciones que desarrolla y controla la institucin o a las variables del entorno que se vean afectadas directamente por esas acciones. No puede estar condicionado a factores externos, tales como la situacin general del pas, la labor legislativa del parlamento o la actividad conexa de terceros (pblicos o privados). La obtencin de la informacin para la elaboracin del indicador debe ser a costos que tengan correlacin con los recursos que se invierten en la actividad. Digno de confianza, independiente de quin realice la medicin. En principio la base estadstica de los indicadores debe estar en condiciones de ser auditada por las autoridades de la institucin y examinada por observadores externos. Existe una tensin entre ambos criterios: se deben cubrir los aspectos ms significativos del desempeo, pero la cantidad de indicadores no puede exceder la capacidad de anlisis de los usuarios, tanto internos como externos. Los indicadores deben ser de fcil comprensin, libre de complejidades. Debe ser generado en el momento oportuno dependiendo del tipo de indicador y de la necesidad de su medicin y difusin. Debe ser nico y no repetitivo. Focalizado en reas susceptibles de corregir en el desempeo de los organismos pblicos generando a la vez responsabilidades directas en los funcionarios y el personal. Su elaboracin debe involucrar en el proceso a todos los actores relevantes, con el fin de asegurar la legitimidad y reforzar el compromiso con los objetivos e indicadores resultantes. Esto implica adems que el indicador y el objetivo que pretende evaluar sea lo ms consensual posible al interior de la organizacin.
Pertinencia
Relevancia
Homogeneidad
Independencia
Costo Confiabilidad
Simplicidad y Comprehensividad Oportunidad No-redundancia Focalizado en reas controlables Participacin
Fuente: Elaboracin de los autores sobre la base de Bonnefoy (2003), Direccin de Presupuestos de Chile (1995 y 2003), Marcel (1998), National Center for Public Productivity (1997) y Shack (2003).
59
Hay otros requisitos generales que se mencionan tales como la necesidad que los indicadores sean revisados cada ao, dado los cambios en las condiciones tecnolgicas, prioridades estratgicas, etc. Apuntando al mismo sentido de asegurar que la construccin de indicadores sea coherente, confiable y til para los propsitos de informacin para la toma de decisiones, y rendicin de cuentas. En este sentido es conveniente aplicar un cuestionario de validacin que resuma el ajuste a los requerimientos de carcter ms especfico:
CUESTIONARIO DE VALIDACIN DE LOS INDICADORES

Requisito a validar El indicador tiene claramente un producto relevante o estratgico con el cual se vincula y un objetivo asociado El indicador tiene claramente una meta o referente para ser medido su resultado El resultado del indicador explica de forma precisa y clara el grado de cumplimiento de la meta o el resultado es ambiguo Muestra o expresa el indicador de forma clara el resultado para poder ser analizado por el responsable Se ha definido la frecuencia de medicin del indicador La unidad de medicin es adecuada para la meta que se espera medir En la construccin del indicador han participado el Jefe del rea o centro de Responsabilidad Los indicadores han sido validados por la Unidad de Control de Gestin y por la Direccin para informarse del desempeo del rea o Centro de Responsabilidad Fuente: Muiz (2003). SI/ NO
El ajuste a las condiciones o criterios bsicos sealados debiera permitir que los indicadores cumplan su funcin de informacin para la toma de decisiones y la rendicin de cuentas, y satisfacer con tres requisitos bsicos que deben cumplirse, respecto del conjunto de indicadores que se construyan: Que informen sobre el desempeo logrado: grado de cumplimiento de los objetivos estratgicos Permitan medir la evolucin de los objetivos o su situacin en un momento del tiempo Entreguen la informacin pertinente ya adecuada a los diferentes usuarios de la informacin: clientes, stakeholders, autoridad financiera, etc.
3.1.8
Analizar los resultados obtenidos
El anlisis de los resultados obtenidos una vez que se ha realizado la comparacin entre las metas y los efectivamente logrado, implica preguntarse las razones y circunstancias de por qu se obtuvo ese nivel de resultado. La evaluacin que se realiza a partir de los resultados obtenidos, entrega insumos para los siguientes tipos de anlisis: Revisar las metas que fueron definidas, estableciendo si stas fueron o no realistas
Priorizar la asignacin de los recursos hacia determinados programas o productosJustificar la asignacin de mayores recursos, Disminuir o abandonar los programas o la provisin de determinados bienes y servicios por otras alternativas ms eficientes y con el mismo grado de eficacia, por ejemplo a travs de una externalizacin de procesos productivos.No hay una medida nica que demuestre por s sola el desempeo de la institucin. En general se requiere una combinacin de ellas que permita demostrar la eficacia, eficiencia, calidad, economa con que se 60
N 45
llegue a los productos o resultados. En este punto es clave tener en consideracin que los indicadores pueden ser contradictorios entre ellos. Por ejemplo, en el caso que se analice la meta de aumentar la cobertura de raciones alimenticias en un Programa de Alimentacin Escolar, debe traer aparejado el anlisis de s stas se lograron cumpliendo la meta de mantener el mismo nivel de caloras, el costo unitario de stas, as como con los niveles de satisfaccin de los usuarios. El anlisis de las medidas de eficacia aportan informacin til a la rendicin de cuentas desde las siguientes perspectivas: Si los programas son idneos respecto de otras alternativas para conseguir los mismos objetivos Las desviaciones entre los productos que se obtienen y los esperados (medidas de cobertura, focalizacin, capacidad de cubrir la demanda, etc.). A partir de la interpretacin de la evaluacin del desempeo a nivel de eficacia es importante dar explicaciones por que se producen las diferencias. Algunas posibles causas pueden ser: - Se sobre o sub estim la capacidad de proveer los bienes y servicios. - Hubo una mayor demanda por factores exgenos (capacidad de cubrir la demanda, no en focalizacin, ni cobertura dado que previamente se definen los parmetros) La capacidad de obtencin de los efectos esperados o impactos en la poblacin destinataria.
Respecto del anlisis de los indicadores de eficiencia, es pertinente sealar los siguientes puntos que permiten analizar las posibles causas de un comportamiento negativo de este indicador: La disminucin de un cuociente que mide por ejemplo Produccin/Recursos, por ejemplo Nmero de Inspecciones/Nmero de Fiscalizadores, puede haberse debido a una menor cantidad de inspecciones realizadas, manteniendo el mismo nmero de inspectores, o bien una dotacin excesiva de inspectores que generan el mismo nmero de inspecciones. Sin embargo el anlisis pertinente es identificar las razones de la disminucin de la produccin, que puede ser por razones externas por ejemplo una huelga, o razones al interior de la organizacin derivadas de un problema tecnolgico relativo a un proceso previo a la inspeccin, o bien el incumplimiento de la meta de inspecciones a nivel nacional, por una inadecuada programacin de las actividades. En este punto es interesante sealar los tipos de ineficiencias que pueden producirse con la utilizacin de inputs (insumos) inadecuados: ineficiencia asignativa e ineficiencia tcnica. La ineficiencia asignativa se refiere al exceso de costos debido al mantenimiento de una estructura de inputs inadecuada, en cuya composicin (inputs mix) se mantienen por encima de lo necesario unos factores cuyo precio relativo es elevado. Un ejemplo de lo anterior es el escaso uso de equipos informticos, donde se podra estar en presencia de una dotacin del personal excesiva. La ineficiencia asignativa no implica que no se est obteniendo el mximo nivel posible de produccin con los factores que se consumen, sino que el costo total de produccin es excesivo debido a que la composicin de los factores impide asegurar la obtencin de un costo de produccin mnimo. Respecto de la ineficiencia tcnica, esta se refiere a aquellos casos que el consumo de inputs es excesivo respecto del nivel de produccin que se obtiene. Estos niveles de eficiencia tcnica se obtienen de comparaciones de los valores de la unidad que se analiza con los relativos a otra que demuestra una mejor eficiencia (benchmarking) (AECA, 2000).
61
3.1.9
Comunicar e Informar
Respecto a la comunicacin de los indicadores, la experiencia revisada seala tres aspectos bsicos a tener en cuenta: La comunicacin de los resultados tiene que estar focalizada en los aspectos claves de la gestin con mensajes simples, directos y demostrables El contenido de la comunicacin en lo posible debe ser educativo considerando las necesidades de informacin de los usuarios-ciudadanos La informacin debe ser entregada en informes que tengan alguna periodicidad. A continuacin se desarrollan algunas consideraciones respecto de los reportes de gestin:
Recuadro 17
REQUISITOS DE LOS REPORTES DE GESTIN

Las recomendaciones para la presentacin de los reportes o informes derivados del control de gestin son los siguientes: - Debe tratar los aspectos crticos de la empresa o institucin derivados de los aspectos claves de la gestin institucional - Debe detallar muy bien el anlisis de las desviaciones explicando y justificando las causas, repercusiones y el responsable - Debe incluir todo tipo de indicadores y externos e internos a la empresa - Debe servir como herramienta para identificar problemas y para buscar soluciones e iniciativas que mejoren la situacin de los mismos - El contenido de la informacin debe ser actual, relevante precisa y fiable - Debe tener una estructura de informes e indicadores que permita ir bajando de nivel de informacin cada vez desde un total a un detalle - Debe tener una periodicidad de uso (mensual, bimensual, etc.) - Debe ser discutido por los diferentes responsables de la empresa
Fuente: Adaptado de Muiz, 2003.
3.2 Planificacin estratgica e indicadores de desempeo

El establecimiento de los objetivos y metas de una institucin es apoyado en la mayor parte de los casos por la aplicacin de procesos de planificacin estratgica con mayor o menor grado de formalizacin. Una de las definiciones ms operativas de planificacin estratgica, desde el punto de vista de su vinculacin con los indicadores de desempeo es la siguiente: planificacin estratgica es el proceso que se sigue para determinar las metas de una organizacin y las estrategias que permitirn alcanzarlas y desde esa perspectiva, la planificacin estratgica fija los lmites dentro de los cuales tiene lugar el control y evaluacin de gestin (Anthony, 1998). En el mbito pblico la introduccin de esta metodologa permite la identificacin de elementos claves para avanzar hacia una gestin por resultados, en la medida que facilita la identificacin de objetivos, considerando aspectos del entorno, exigencias de los usuarios, en consideracin con los procesos internos y las capacidades de la organizacin. Este balance entre los aspectos externos a la organizacin son en general abordados a partir de un proceso de anlisis de amenazas y oportunidades y los factores internos a travs de un anlisis de las fortalezas y debilidades. 62
N 45
El uso de la Planificacin Estratgica en el mbito pblico es concebida como una herramienta imprescindible para la identificacin de prioridades y asignacin de recursos en un contexto de cambios y altas exigencias. Las caractersticas centrales de la gestin orientada a resultados son: Identificacin de objetivos, metas e indicadores que permitan evaluar los resultados, generalmente a travs del desarrollo de procesos planificacin estratgica como herramienta para alinear las prioridades a los recursos y establecer la base para el control y evaluacin de las metas. Identificacin de niveles concretos de responsables del logro de las metas. Establecimiento de sistemas de control de gestin internos donde quedan definidos las responsabilidades en toda la organizacin por el cumplimiento de las metas, as como tambin los procesos de retroalimentacin para la toma de decisiones. Vinculacin del presupuesto institucional a cumplimiento de objetivos. Determinacin de incentivos, flexibilidad y autonoma en la gestin de acuerdo a compromisos de desempeo.
Tal como fue sealado anteriormente, la planificacin estratgica es un proceso que antecede al control de gestin, el cual permite hacer el seguimiento de los objetivos establecidos para el cumplimiento de la misin. De manera que el control y la evaluacin posterior de los resultados no es posible realizarla sin un proceso previo de planificacin. Asimismo la planificacin es un proceso amplio que cubre aspectos de carcter macro de mediano y largo plazo, que tiene que ver con la identificacin de temas estratgicos, cursos de accin que fijen las prioridades institucionales. La planificacin estratgica es un proceso continuo que requiere constante retroalimentacin acerca de cmo estn funcionando las estrategias. En el sector privado, el mercado le seala a ste como lo est haciendo a travs de las utilidades, los retornos sobre la inversin, las ventas, a travs de estos indicadores se conoce cuando es necesario realizar un ajuste en dichas estrategias. En el sector pblico, la evaluacin de la gestin (a travs de indicadores) provee al sector pblico con informacin comparable. La planificacin estratgica mira hacia los objetivos deseados, la evaluacin de la gestin mira hacia atrs sobre como stos se estn desarrollando. La combinacin de planificacin estratgica y evaluacin del desempeo forma un crculo un proceso continuo de gobierno por resultados. El plan estratgico define el desempeo a ser medido, mientras que la evaluacin de la gestin provee la retroalimentacin si se estn consiguiendo las metas planificadas. En el contexto de la planificacin estratgica la evaluacin de la gestin, tiene tres especficos propsitos (Liner, Dusenbury y Vinson, 2000): Proveer la lnea de base para valorizar cada uno de los indicadores de desempeo y de esta manera establecer los cursos de accin necesarios. Proveer de datos histricos sobre los cuales los resultados pueden ser proyectados para cada uno de los cursos de accin considerados. Proveer datos sobre los indicadores de impacto clave para ser usados en reportes que den cuenta del logro de los objetivos del plan estratgico. Abordar un proceso de planificacin estratgica, implica a lo menos desarrollar los siguientes pasos:
63
Principales fases de un proceso de planificacin estratgica Identificacin y/o revisin de la misin institucional, a travs de un proceso dinmico que fundamente la existencia de la institucin y de los programas que produce. Este proceso debe tener en cuenta el mbito de productos y servicios, los usuarios, el contexto o entorno en que se desenvuelve, as como el anlisis de los factores institucionales entre los cuales se destacan el marco legal que le define un mandato y propsito dentro de la institucionalidad del Estado, las atribuciones y responsabilidades que de all emanan y las relaciones interinstitucionales que se determinan. Asimismo, deben considerarse los procesos productivos, los recursos con que cuenta y la tecnologa, entre otros aspectos. Identificar objetivos estratgicos (proceso de definicin de estrategias institucionales a nivel de recursos, procesos, usuarios) y metas (que operan las estrategias en dimensiones concretas de acciones en plazos definidos). Identificar estndares de medicin que permita controlar y monitorear el logro de los resultados y posteriormente evaluar el grado de cumplimiento y retroalimentar para la toma de decisiones en los distintos niveles organizacionales.
Aun cuando muchas instituciones construyen indicadores sin tener un previo proceso de planificacin estratgica, la evaluacin de la gestin aparece como la culminacin de un proceso de planificacin estratgica. La planificacin estratgica, como base para la evaluacin del desempeo, se justifica en tanto permite identificar cules son las reas o actividades centrales de un servicio y determinar dnde focalizar los esfuerzos de transformacin y mejoramientos que posteriormente sern evaluados. Este proceso de planificacin estratgica se constituye en la base de la planificacin operativa que consiste en traducir la misin organizacional, los lineamientos estratgicos definidos en objetivos de corto plazo y metas que permitan la identificacin de las principales acciones a desarrollar y los recursos necesarios para ello.
Recuadro 18
DEFINICIONES ESTRATGICAS DEL SISTEMA DE CONTROL DE GESTIN DE CHILE

1. Misin Institucional: Definicin del propsito o razn de ser de un servicio que permite orientar las acciones que realicen los funcionarios hacia el logro de un resultado esperado. 2. Objetivos Estratgicos: En el contexto de la administracin pblica son la expresin de los logros que se espera que los Ministerios y sus servicios alcancen en el mediano plazo. 3. Productos Relevantes o Estratgicos: Son aquellos bienes y/o servicios que materializan la misin institucional y cuyo objeto es satisfacer las necesidades de sus clientes, beneficiarios o usuarios. 4. Clientes / Beneficiarios / Usuarios: Son aquellos que reciben o utilizan, los productos relevantes que se generan bajo la responsabilidad de la institucin. Se define la misin considerando los siguientes aspectos:
mbito actual donde opera el servicio y los cambios esperados futuros, lo que requiere conocer
previamente: - Los productos estratgicos (bienes y/o servicios) otorgados a los clientes / beneficiarios / usuarios de la institucin. - La estructura organizacional y las funciones especficas. - Los sistemas de informacin utilizados en la institucin.
legislacin que enmarca su misin. La percepciones del equipo directivo y los funcionarios del servicio. Las opinin de los clientes del servicio. La
Fuente: Programa de Mejoramiento de la Gestin Ao 2004, Documento Tcnico, Direccin de Presupuestos de Chile, 2003.
64
N 45
Desde esta perspectiva la Planificacin Estratgica, se constituye en una excelente herramienta para avanzar en esta gestin por resultados, en la medida que presenta una metodologa para estructurar un proceso de identificacin de objetivos, teniendo en cuenta aspectos dinmicos del contexto (medio externo) y de los factores internos, superando los problemas clsicos de las planificaciones ms normativas. El uso de la Planificacin Estratgica, o de una orientacin estratgica a la gestin ha llegado a ser ampliamente recurrido, no obstante no hay un modelo especfico para ser aplicado a las organizaciones. A pesar de las dificultades de establecer medicin de la gestin en el mbito pblico -dada la complejidad de identificar metas y responsabilizar a los directivos-las experiencias analizadas sealan que justamente estas razones avalan an ms la implantacin de procesos de planificacin estratgica en el mbito pblico. Se seala que la planificacin estratgica ofrece un proceso que permite identificar puntos de vista diversos, debatir, clarificar y resolver, y guan la accin que requiere ser tomada. En trminos de las metodologas utilizadas hay bastante flexibilidad. Por ejemplo, hay gobiernos que solicitan un vnculo exacto entre la Planificacin Estratgica (5 aos), a los planes anuales de gestin, determinando exactamente los objetivos de corto plazo que corresponden a los de mediano plazo. No obstante, debe considerarse que como tcnica creada en el mbito privado y utilizada con metodologas pensadas para dichos efectos, su aplicacin en las instituciones pblicas debe ser adaptada a las necesidades y las circunstancias.
65
Recuadro 19
FACTORES CRTICOS PARA EL DESARROLLO DE UN PROCESO DE PLANIFICACIN ESTRATGICA EN EL MBITO PBLICO

Compromiso directivo y liderazgo
El proceso de planificacin estratgica, es en s un ejercicio donde se prueba el compromiso y liderazgo de los directivos. El requisito fundamental para que un proceso de planificacin estratgica permita cumplir los objetivos de ser una gua para la accin organizacional, y posibilite la identificacin de los objetivos y metas concretas asignadas a los responsables, es que exista la capacidad del Director de la institucin de involucrase en el desarrollo de las etapas que contempla el Plan, especialmente y de forma obvia en lo que es la identificacin y/o revisin de las definiciones estratgicas: misin (productos, usuarios) y los objetivos, as como las estrategias que permitirn lograrlos. El Plan Estratgico debe ser un factor movilizador para la institucin y constituirse en un referente para su planificacin y programacin operativa anual
El proceso de planificacin debe considerar no slo los niveles superiores de la organizacin, ni slo los niveles de centros de responsabilidad, sino tambin los empleados, los usuarios y los grupos de inters (quienes no participan de la toma de decisiones, pero son quienes afectan dichas decisiones) La planificacin estratgica debe tener una metodologa clara y consistente que permita desarrollar la visin, misin, objetivos estratgicos, metas e indicadores. La Planificacin Estratgica es un proceso continuo no slo un evento que define un Plan
No basta que un Ministerio o Programa elabore un Plan, debe analizarse cuan a menudo ste se actualiza e incorpora informacin relevante para la toma de decisiones en la asignacin de recursos (prioridades acordes con necesidades estratgicas). En este contexto, el horizonte de la Planificacin Estratgica, vara entre las organizaciones dependiendo de las caractersticas y complejidad del quehacer institucional. Por ejemplo en instituciones de asociados con la seguridad o el medio ambiente, que requieren una perspectiva de largo plazo, para la consecucin de sus resultados, el plazo en la determinacin de los objetivos estratgicos es ms amplio. Quines deben participar en el Proceso de Formulacin de la Planificacin Estratgica
Cada organizacin tiene sus propias necesidades y requerimientos respecto de la participacin, no hay recetas. Sin embargo, teniendo en cuenta que la planificacin estratgica tiene que ver con el establecimiento de prioridades y aspectos claves de la gestin institucional, es fundamental que participen la totalidad de los niveles directivos, especialmente los que tienen a su cargo la produccin de los bienes y servicios de carcter estratgico. Ahora bien, independientemente de quienes participen en el proceso, lo importante es que se comuniquen los resultados de ste. Debe tenerse en cuenta que una de las principales utilidades de este proceso es dar cohesin a la organizacin en la perspectiva de lograr los propsitos contenidos en la misin. Capacidad de desagregar los objetivos estratgicos en metas concretas monitoreadas y vincularlo a la planificacin operativa y al presupuesto
Si los esfuerzos de evaluacin de desempeo no estn conectados con lo que la organizacin espera lograr (materializado en un plan que traduzca las metas y la programacin de stas) y con el presupuesto, entonces dicha evaluacin podra estar condenado a ser un fracaso. Esto, porque las medidas de desempeo no tendran importancia y significado para la gestin de la institucin y las personas no se veran afectadas por ellas (National Partnership for Reinventing Government, 1999). Lo anterior implica asegurarse que existe un sistema de control de gestin y de informacin, a travs de tecnologas simples retroalimenten a los niveles directivos (centros de responsabilidad) el nivel de logros de compromisos alcanzados y generen las acciones correctivas. Junto con lo anterior asegurarse adems, que la planificacin estratgica se integra al ciclo presupuestario y se considera como insumo para su formulacin.
66
N 45
Recuadro 20
INTEGRACIN ENTRE LA PLANIFICACIN ESTRATGICA Y LA MEDICIN DE LA GESTIN EN ESTADOS UNIDOS

En el marco del GPRA (Government Performance and Results Act) o Ley de Eficacia y Rendimiento del Gobierno, iniciativa impulsada en 1993 en Estados Unidos, las agencias ejecutivas debieron desarrollar como base para la presentacin de su presupuesto, planes estratgicos, planes anuales de desempeo cubriendo el conjunto de actividades del Programa y elaborar reportes anuales del desempeo del programa del ao fiscal. En este contexto, los elementos bsicos de los planes estratgicos eran los siguientes:

Una declaracin comprehensiva de la misin de la agencia Objetivos de largo plazo para la agencia en general, y objetivos para las funciones principales y operaciones Estrategias y recursos necesarios para desarrollar los objetivos y metas Descripcin de la relacin entre los objetivos de largo plazo y los objetivos de los planes anuales de desempeo Identificacin de los factores claves externos a la agencia ms all del control que podran afectar significativamente el desarrollos de los objetivos estratgicos Una descripcin de cmo la evaluacin del programa fue usada para establecer o revisar los Objetivos estratgicos y un plan o agenda para futuras evaluaciones.
Fuente: Results Oriented Government. March 2004. Government Accountability Office. GAO.
En el marco de una sistematizacin de los resultados de la aplicacin de esta iniciativa de Planificacin Estratgica en las agencias del ejecutivo en Estados Unidos, se destacan los siguientes impactos para las agencias federales:
Recuadro 21
USO DE LA PLANIFICACIN ESTRATGICA EN LAS AGENCIAS FEDERALES DE ESTADOS UNIDOS

Permite el desarrollo de acuerdos con el Congreso acerca de la misin y objetivos Muestra la racionalidad de los programas y los apoyos exitosos de los programas Implementa las acciones diseadas para entregar los resultados planificados Focaliza los resultados importantes al pblico, demostrando a la administracin, el Congreso, los usuarios objetivos, y a la ciudadana Asegura que la organizacin no estar bloqueada por fuerzas externas inesperadas Logra una participacin amplia de los stakeholder involucrados y amplios acuerdos acerca de la misin, y objetivos y fortalecimiento de los apoyos para la efectividad de los programas. Permite tomar una perspectiva de largo plazo ayudando a asegurar que los objetivos mayores de rango amplio no sern sacrificados por ganancias de corto plazo. Facilita el camino para el desempeo, rendicin de cuentas, reevaluacin y renovacin de los programas.
Fuente: Chris Wye. Performance Management: A Start Where You Are, use What You Have. Guide. Managing for Result Series. IBM Endowment for the Business of Government. October 2002.
67
En trminos generales, cuando una institucin aborda un proceso sistemtico de Planificacin Estratgica posibilita discutir y analizar aspectos claves de su gestin. Los que van desde el tipo de productos que de acuerdo a su misin le corresponde hacerse cargo, hasta la bsqueda de los mejores procesos que permitirn proveer dichos productos con la mayor relacin precio-calidad. En la siguiente figura se observa la relacin entre la Planificacin estratgica y el Control de Gestin.
Figura 10
CICLO DEL CONTROL DE GESTIN
PLANIFICACIN ESTRATEGIA
METAS / PROGRAMACIN
EVALUACIN
Revisin de presupuestos y programas
PRESUPUESTO
Consideracin de nuevos productos y objetivos estratgicos
Medidas correctivas
EJECUCIN
Fuente: Adaptado de Anthony (1998).
3.3 Usando y comunicando la informacin entregada por los indicadores

3.3.1 Diferentes propsitos de los indicadores
Los indicadores pueden ser utilizados para diferentes propsitos, dependiendo del objetivo o propsito de la evaluacin, el mbito en que se realiza y los usuarios a los que se dirige. A continuacin se desarrolla una tipologa de los usos ms frecuentes de las categoras de indicadores segn los usuarios o destinatarios.
68
N 45
Cuadro 9
TIPOLOGA DE LAS CATEGORAS DE INDICADORES SEGN LOS USUARIOS O DESTINATARIOS

Propsitos Apoyo a la Formulacin presupuestaria, en el contexto de avance hacia la presupuestacin por resultados Destinatarios Tipo de Medicin Tipo de Indicadores EEE,C (*) Observaciones En aquellos casos de un menor desarrollo de los Sistemas de Indicadores, la mayor cantidad de indicadores son relativos a insumos y productos, que entregan una medicin respecto de las metas fsicas de produccin. En el caso de Evaluacin de Programas Pblicos se utilizan los indicadores de impacto o resultado final como un elemento para decidir sobre la continuidad, ajuste o eliminacin del Programa. Rendicin de Cuentas a nivel nacional o local Parlamento Resultados Intermedios, Finales Eficiencia, Calidad EEE,C Impacto En algunos casos cuando no existe posibilidad de construir indicadores de impacto, se puede dar cuenta de los procesos ms relevantes, o resultados intermedios. Los indicadores de mayor inters para este grupo son los que muestran los resultados a nivel del fin ltimo que persiguen (mejora en la evaluacin de colegios, disminucin tiempo espera, resolucin de conflictos, etc.). EEE, C Impacto Este es el tipo de indicadores ms usados, sin embargo en su gran mayora se desarrollan indicadores de resultado intermedio, ms que de impacto, dado que los efectos de la accin van ms all del perodo de presentacin al presupuesto. Ministerio de Finanzas Insumos (Costos) o Hacienda Producto (metas fsicas) Resultados Finales Direccin de Presupuestos
Usuarios, Ciudadana, Grupos de Inters
Resultados Finales, Eficiencia
Apoyo a la gestin institucional
Directores de las Instituciones
Directivos medios
Resultados Finales o Impactos de los Programas Pblicos
Direccin de presupuestos Ministerio de Planificacin
Impacto
Impacto
Resultado Intermedio
Fuente: Elaboracin Propia. (*) EEE,C: Economa, Eficacia, Eficiencia, Calidad.
Respecto de la utilizacin de indicadores para fines presupuestarios es necesario considerar que no siempre se puede establecer una relacin directa entre el desempeo logrado y la asignacin de recursos. Como seala la Gua de Indicadores de la Direccin de Presupuestos de Chile, los indicadores y sus resultados son utilizados con prudencia, ya sea que estos constituyan fundamento o condicionantes decisiones financieras. Adicionalmente, los indicadores no siempre podrn dar cuenta en forma integral del desempeo institucional, requirindose de otros antecedentes complementarios para esto, lo que refuerza un uso prudente de esta informacin. (Gua DIPRES, 2003). Un ejemplo interesante respecto de la utilizacin de los indicadores de desempeo en las instituciones de la administracin pblica es el de la Direccin Nacional de Bibliotecas, Archivos y Museos (DIBAM) de Chile, que est documentado como estudio de caso de la aplicacin de los Programas de Mejoramiento de la Gestin. Tal como puede verse en la Figura 11, las definiciones estratgicas se integraron como parte del Sistema de Informacin de la Gestin y su vinculacin con el presupuesto. Bsicamente la informacin que se obtiene de los indicadores, su sistematizacin y evaluacin de resultados, se considera como un antecedente que complementa la discusin presupuestaria que se realiza en la DIBAM. 69
Figura 11
IDENTIFICACIN DE PROCESOS Y PRODUCTOS ESTRATGICOS
Centros de Responsabilidad (15 )
Productos Estratgicos (7)
Procesos (7)
Misin Objetivos Estratgicos
Gestin de Productos (Directa)
Subproductos Bienes y / o Servicios
I n d i c a d o r e s
P r e s u p u e s t o
Gestin Interna
Productos de Gestin Interna
Fuente: Estudios de Caso Sistema de Planificacin y Control de Gestin. Direccin de Bibliotecas, Archivos y Museos de Chile. www.dipres.cl
Recuadro 22
FACTORES CLAVES EN LA APLICACIN DEL SISTEMA DE PLANIFICACIN Y CONTROL DE GESTIN EN LA DIBAM

Los procesos previos de planificacin estratgica y reflexin institucional que el Servicio viene realizando desde mediados de los noventa en forma sistemtica, sin duda ha sido un factor clave para la internalizacin de los conceptos estratgicos. La cobertura de la medicin de los indicadores asociados a la totalidad de los productos estratgicos, y subproductos, que en total representan ms del 80% del gasto de la institucin, junto al formato amigable para el uso de la informacin que llega a varios niveles de la organizacin, es decisivo para que este Sistema se constituya en un apoyo real para la gestin interna. La autonoma de los Centros de Responsabilidad en la definicin de sus productos, metas e indicadores, ha permitido que stos validen el Sistema de Informacin de Gestin (SIG), en la medida que no percibe una imposicin externa a los parmetros de cmo sern evaluados. Las consultoras que se han contratado para el diseo del software del SIG, se haya definido un mdulo de capacitacin a los usuarios internos de las tecnologas y los procesos, dejando las capacidades instaladas. Los mecanismos de recoleccin de informacin a travs de un Sistema que integra la informacin del conjunto de los productos de cada uno de los Centros de Responsabilidad, permite tener una visin actualizada de la gestin institucional, contando de esta manera con un instrumento fiable y transparente para la rendicin de cuentas. El adecuado funcionamiento del SIG, en trminos de la actualizacin de la informacin, ha sido posible entre otros factores, por el nombramiento de responsables para el registro y seguimiento de los datos que permiten construir los indicadores. La confiabilidad de la informacin que provee el SIG, a travs de la incorporacin de indicadores de resultado intermedio, y la mejora del nivel de precisin de las metas. Esto, facilita que los informes de seguimiento y de resultados sean utilizados por los usuarios internos de la institucin.
La simplicidad de los Informes de Resultados, a la Direccin y Comit Ejecutivo, permite que stos sean validados como instrumentos de reporte oficial para dar cuenta de la gestin institucional, y contribuyan a la rendicin de cuentas de la institucin.
Fuente: Estudio de Caso Sistema de Planificacin y Control de Gestin. DIBAM. www.dipres.cl.
70
N 45
IV. Principales dificultades y desafos en la construccin y uso de los indicadores de desempeo
Tal como se seal en captulos anteriores, un sistema de indicadores de desempeo en una institucin pblica debe cumplir con un conjunto de requisitos para constituirse en un apoyo efectivo a la toma de decisiones y a la rendicin de cuentas pblicas. La credibilidad de la informacin entregada a partir de la confianza de los datos entregados en el sistema de informacin es uno de los valores ms importantes que se debe asegurar. No obstante lo anterior, tambin se mencion que existen una serie de dificultades estructurales en la administracin pblica de la mayor parte de los pases de la regin que no generan las condiciones para una evaluacin de gestin con suficiente garanta de calidad. Entre las principales limitaciones se mencionan la debilidad de los procesos de concursabilidad para el nombramiento de los directivos pblicos, los escasos incentivos para asumir mayores niveles de responsabilidad, las escasas consecuencias respecto del desempeo logrado. Junto con lo anterior se verifica en la mayor parte de los pases, que los sistemas de personal no han desarrollado mecanismos de incentivos a los funcionarios, vinculados a los estndares comprometidos en el mbito institucional, tales como sistemas de reconocimiento, remuneraciones vinculadas a desempeo, etc.
71
Recuadro 23
DFICIT DE LAS POLTICAS DE COMPENSACIN Y PROMOCIN EN AMRICA LATINA

La remuneracin no se utiliza como instrumento de gestin ni en Argentina ni en Bolivia, Colombia, Guatemala, Ecuador, Costa Rica o Repblica Dominicana. La progresin salarial tampoco se vincula al rendimiento en ninguno de dichos pases. En el Per hay una casi total separacin entre el desempeo en el puesto y el funcionamiento de los sistemas de promocin y retribucin. En Nicaragua, es constatable un alto grado de inequidad retributiva. En Mxico, la asignacin de incentivos econmicos es altamente subjetiva y vinculada a decisiones discrecionales del superior, sin que, en general, parezca dirigirse a estimular el rendimiento. Los incentivos dominantes para el personal de confianza se relacionan con la pertenencia a camarillas y el mantenimiento de la confianza del jefe. Para el personal de base, predomina la lgica sindical que relaciona la estabilidad y el progreso profesional con la afiliacin, ms que con el desempeo o el aprendizaje. Brasil, sin embargo, ha desarrollado un sistema bastante avanzado de compensacin. Por una parte, se han desarrollado mecanismos para reducir los desfases con el sector privado para puestos semejantes. Adems, se ampli la extensin salarial en las carreras y se redujo el porcentaje de paga vinculado a la productividad. Se busc equidad interna en las retribuciones, facilitando que todos los puestos semejantes de las diversas carreras tuvieran compensaciones semejantes. Se estableci una progresin en las retribuciones en funcin de los avances en la carrera vertical y horizontal. Avances vinculados al mrito y a la antigedad. Las mejoras salariales son ms importantes cuanto ms se progresa en la carrera. Los factores preponderantes en definir la retribucin de un empleado son sus competencias (habilidades, conocimientos, formacin, experiencia), las tareas atribuidas al puesto y su nivel, y el desempeo del ocupante.
Fuente: Francisco Longo, Diagnstico Institucional Comparado de Sistemas de Servicio Civil: Sntesis de 17 evaluaciones/pas, Red de Gestin y Transparencia de la Poltica Pblica del BID, diciembre 2004.
Aparte de estas complejidades de tipo estructural recin sealadas, en las instituciones se enfrentan una serie de dificultades tcnicas propias de la construccin de los indicadores Estas dificultades de tipo tcnico y operativo en general tambin se presentan en instituciones del sector privado y son parte de las complejidades de los sistemas de indicadores en los pases de mayor desarrollo.
Recuadro 24
PRINCIPALES DIFICULTADES EN EL DESARROLLO DE LOS INDICADORES DE DESEMPEO. ESTUDIO REALIZADO POR LA OCDE EN 1994 EN LOS PASES MIEMBROS DE ESTA ORGANIZACIN
La definicin de objetivos para la misin de naturaleza compleja, con objetivos mltiples y a menudo contradictorias La ausencia de objetivos pertinentes y medibles en materia de productos finales, de calidad y de eficacia La ausencia de correlacin entre los objetivos globales con los objetivos especficos, lo cual disminuye el valor como herramienta de gestin donde evaluar los programas La relativa inexperiencia de los funcionarios tanto en el diseo como en la utilizacin de las medidas de desempeo La falta de competencia de contables ms all de una formacin tradicional La ausencia de inters en la utilizacin de los altos funcionarios La ausencia de medios para llenar los sistemas de informacin necesaria La resistencia del personal y de los sindicatos en la contabilizacin de sus tiempos de trabajo El costo de las medidas de desempeo La complejidad del trabajo consistente en integrar y sintetizar rpida y eficazmente las numerosas fuentes de los datos.
Fuente: OCDE (1996), La Gestion des Performances dans LAdministration. Exemples DActualit. tudes Hors Srie Sur la Gestion Publique N9. Paris.
72
N 45
4.1 Dificultades mencionadas con mayor frecuencia en la construccin de indicadores

En la mayor parte de la literatura especializada en los temas de evaluacin e indicadores en el mbito pblico, aparecen mencionados un conjunto de problemas o dificultades que atentan contra la coherencia y utilidad de los sistemas de indicadores que finalmente se construyen. Asimismo, en los talleres de trabajo para desarrollar indicadores con funcionarios pblicos en varios pases, se presentan las mismas preocupaciones, con mayor o menor grado de intensidad. A partir de la sistematizacin de la documentacin y de la experiencia de trabajo es posible sealar que existen dos reas o tipos de problemas, las cuales tienen que ver con los aspectos tcnicos o metodolgicos relativos al diseo y construccin del indicador propiamente, y otros relacionados con los aspectos operativos o de implementacin del sistema de indicadores, entre los cuales se menciona algunos: - Qu unidad se hace cargo del sistema de informacin, - Cul es el rol de las jefaturas, - Cules son los plazos recomendados para la entrega de los reportes de gestin, etc. - Cules son las consecuencias de la evaluacin. A continuacin se desarrolla un listado no exhaustivo de las dificultades recin enumeradas. Principales dificultades tcnicas para la construccin de indicadores - Qu tipo de productos estratgicos y cuntos debo medir - Cmo formular objetivos estratgicos y desagregar las metas - Cmo establecer la ponderacin de los indicadores - Qu unidades o reas deben generar indicadores - Cmo construir la frmula - Cmo medir la produccin intangible - Cmo medir los resultados finales de la gestin institucional que estn influenciados por factores externos - Cmo medir los resultados de la gestin institucional que dependen de la gestin de varias instituciones - Cmo medir los productos cuyos resultados se obtienen a largo plazo - Construccin de bases de datos para realizar la medicin. Dificultad para contar con datos: - Datos histricos disponibles para realizar la medicin - Dificultad para medir los insumos (inputs) y productos (outputs) por falta de sistemas contables financieros para desarrollar indicadores de eficiencia, etc. - Antecedentes para desarrollar indicadores de productos (outputs) y poder evaluar los resultados finales - Sobre qu datos comparo el indicador
73
Principales dificultades operativas de implementacin - No se cuenta con una Unidad a cargo del Sistema de Control de Gestin o si existe tiene poca incidencia en el resto de las Unidades de la organizacin - Las capacidades tcnicas y compromiso interno por la evaluacin y la construccin de indicadores radican en unos pocos funcionarios. - No se cuenta con recursos para desarrollar un sistema de informacin que permita la alimentacin automtica de las variables para la construccin de los indicadores y el clculo de las frmulas - No se vislumbra el valor agregado de construir indicadores: a la institucin no le trae ninguna consecuencia presupuestaria, incentivo econmico, etc. - El ejercicio de realizar indicadores se transforma en una carga burocrtica que no estimula el inters por la evaluacin. - Aparte de la autoridad central que demanda los indicadores no existe inters por conocer los resultados. A continuacin se comenta de forma ms extensiva algunas de las dificultades recin enumeradas. Identificacin de los productos Si el proceso de identificacin de productos que sern medidos, no se focaliza en aquellos de carcter estratgico o relevante (aquellos que estn directamente relacionados con lo que la organizacin hace y justifica su existencia y que se dirigen a los usuarios externos, entre otros atributos), todo el esfuerzo de evaluacin de desempeo que emprenda la organizacin se ver afectado. Suele ocurrir que las diferentes unidades, reas, o departamentos de la institucin identifican como susceptibles de medicin no solo a aquellos productos que tienen que ver con la misin institucional, dirigidos a usuarios externos, relevantes desde el punto de vista presupuestario, etc., sino a todos aquellos que contribuyen a la generacin de dicha produccin, tales como procesos de compra, emisin de certificados, reuniones realizadas, etc. Lo anterior implica que se obtiene finalmente como sistema de indicadores, listados de medidas de desempeo de carcter intermedio que no informan sobre lo relevante. Un ejercicio que debe llevar a cabo una institucin que debe mostrar su desempeo es alinear los indicadores hacia aspectos estratgicos de la gestin y hacer un balance si en los objetivos estn efectivamente representadas las prioridades tanto a nivel de gobierno, del sector y de la propia institucin. Construccin de base de datos El diseo e implementacin de un sistema de Indicadores en una institucin pblica, enfrenta muchos desafos, y uno de los ms mencionados tienen que ver con el levantamiento de los datos que permitirn construir los indicadores o establecer los referentes (metas, benchmarking, etc.). Esta dificultad por si sola nos introduce en diferentes tipo de problemticas con que tropiezan las instituciones, que van desde la dificultad de identificar qu datos se requieren, qu sistemas de informacin apoyarn su desarrollo, a la falta o insuficiencia de recursos que muchas veces se enfrentan para desarrollar indicadores de resultados intermedios o finales. Estos a menudo requieren encuestas, estudios de percepcin, costo beneficio, etc.
74
N 45
Recuadro 25
DIFICULTADES PARA MEDIR LOS INSUMOS Y PRODUCTOS EN EL DESARROLLO DE INDICADORES DE EFICIENCIA

Una de las principales dificultades est en que no siempre es posible desagregar los costos por cada una de las actuaciones que nos interesa medir. Una de estas situaciones es cuando el costo de un servicio pblico intervienen varios organismos de la administracin pblica. Estos casos son los clsicos referidos a servicios que tienen externalizadas parte de sus funciones, por ejemplo tal como seala un ejemplo para el caso espaol en donde los centros penitenciarios suelen formar parte del patrimonio histrico y la vigilancia exterior est a cargo de la Guardia Civil o de la Polica Autonmica en las Comunidades Autnomas que tienen transferida esta competencia y el resto del costo del centro penitenciario es cubierto por la Direccin General de las Instituciones Penitenciarias. Otro problema referido al problema de la medicin de los insumos (inputs) tiene que ver con la falta de homogeneidad de los indicadores y sus referentes, especialmente lo relativo a los costos. Esta situacin implica que se tenga especial cuidado en la comparacin de los indicadores, por ejemplo inspecciones de control, prestaciones mdicas, horas hombres en investigacin, etc. Se pone especial nfasis entonces en la necesidad de que se establezcan criterios claros y precisos para la construccin de los indicadores, la idea es que todos los usuarios de la informacin que emane de dichos indicadores sea correctamente interpretada. Es fundamental asegurar el requisito de idoneidad y calidad de la informacin base referida a los insumos (inputs) para la construccin de los indicadores.
Fuente: Asociacin Espaola de Contabilidad y Administracin de Empresas AECA (2000), Indicadores de Gestin para las Entidades Pblicas. Documento N16, Madrid.
Otra dificultad para la construccin de indicadores es la que se deriva de la intangibilidad del tipo de produccin como por ejemplo la actividad artstica, la diplomacia, las investigaciones. En otros casos en que no es significativo medir los resultados absolutos ya que stos no son controlables por la institucin, por ejemplo: Actuaciones policiales de emergencia o Nmero de incendios apagados, cuyo nmero final depende de factores externos, es relevante medir aspectos tales como:25 - Calidad de los servicios: oportunidad, accesibilidad, etc. - La cobertura - La regularidad del servicio, etc. Respecto de las dificultades que se sealan para la construccin de un Sistema de Control de Gestin, y las resistencias que se crean al interior de las organizaciones, la revisin de la documentacin seala algunas recomendaciones para definir una estrategia de implementacin participativa del Sistema (AECA, 2000). a) Disponer de un sistema contable presupuestario adecuado: la contabilidad presupuestaria clsica no es suficiente, como mnimo se necesita un presupuesto estructurado en lo posible por objetivos. Tambin se precisa tener conocimientos de costos de los servicios prestados. Fomentar la colaboracin del personal afectado: los sistemas de retribucin flexibles, condicionados a resultados, podran ser un modelo a seguir Lograr una voluntad poltica de mejorar de la Administracin Pblica: la voluntad poltica dirigida a conseguir una administracin pblica moderna, gil, eficaz y eficiente permitir impulsar las acciones tendentes a la consecucin de estos objetivos. Buscar el apoyo de personas influyentes y clave dentro de la organizacin que apoyen el proyecto
b) c)
d)
25
Id Pg. 60, 61
75
e) f) g) h) i)
Proporcionar los medios adecuados para el xito de la implementacin de acuerdo con la cultura de la organizacin Procurar asociar el proceso de la implementacin con la resolucin de algunas posibles insatisfacciones de los trabajadores Destacar las ventajas del nuevo sistema y no ocultar los inconvenientes Reducir al mximo los puntos de incertidumbre que pueda generar la implementacin Crear grupos de mejora en el marco de una poltica de calidad.
4.2 Principales desafos en la construccin de indicadores de desempeo

Cuando se habla de los desafos principales para la construccin de indicadores de desempeo, se alude en general a la necesidad de tener en consideracin que el conjunto de indicadores que finalmente se construyen tienen en s atributos positivos y negativos. Por ejemplo un indicador puede ser considerado como bueno por la facilidad en la construccin y en su manejo por la organizacin (costo adecuado, entrega informacin del da a da de la organizacin, etc.), pero puede ser considerado deficiente, en trminos de la informacin final que entregue respecto del efecto final que genera en la poblacin, en los usuarios finales. La literatura relativa a estos desafos da cuenta de una serie de elementos a los cuales habra que poner atencin. Shacter (2002) seala los siguientes desafos a considerar: incentivos perversos, la disyuntiva entre los resultados significativos o relevantes, la disyuntiva entre los resultados significativos y los resultados que demuestran cambios relevantes en el corto plazo y la disyuntiva entre los resultados significativos que se alcanzan a un nivel de costo y esfuerzo relativo. A continuacin se desarrollan algunos elementos con relacin a estos desafos. Incentivos perversos Estos incentivos son las seales equivocadas que se envan a la organizacin cuando el conjunto de indicadores motiva al comportamiento opuesto que se espera lograr a travs de los impactos. A modo de ejemplo, un programa de emisin de licencias para conducir que enfatice como indicador estratgico la satisfaccin del usuario, si la misin est declarada en trminos de que los clientes sern tratados cortsmente y que sern entregadas rpidamente y con un mnimo de errores. Si los indicadores slo enfatizan el tema de la rapidez, se generan incentivos perversos para que los funcionarios modifiquen su comportamiento de manera tal que se concentran en la velocidad de entrega, y se deja de lado el trato corts y la minimizacin de errores que son parte consustancial de la misin. El trade-off ( disyuntiva) entre los resultados significativos o relevantes controlables, o lo que tambin se seala como trampa de la medicin: se muestra como resultados (y se hace) slo lo que se puede medir. La dificultad de identificar lo estratgico o bien la falta de datos hace que muchas veces las instituciones tiendan a medir de acuerdo a la informacin disponible, descuidando los aspectos ms relevantes de la gestin. Esto genera como consecuencia que el conjunto de indicadores que finalmente se presentan est desbalanceado y no representa las prioridades de gestin reales de la institucin. En efecto la revisin de los listados de indicadores que se presentan en las rendiciones de cuentas pblicas de parte importante de pases, muestra que en su gran mayora son indicadores de eficacia del tipo ejecutado versus programado. 76
N 45
Es as como no contar con indicadores que demuestren como la institucin est entregando sus productos a los usuarios y si stos se ajustan a sus necesidades, puede implicar que los esfuerzos institucionales se dirijan principalmente a lo que es ms visible y fcil de mostrar, descuidando un aspecto clave de la evaluacin del desempeo que es la focalizacin a los aspectos estratgicos . Otra de las dificultades observadas est en que las instituciones no cuentan con costos desagregados por productos, lo cual impide construir indicadores de eficiencia. Junto con lo anterior muchas veces se dificulta contar con estndares de calidad de servicio, ya que stos se construyen a partir de datos sobre percepcin de calidad de servicios, o de tiempos de respuesta respecto de la entrega de stos, lo que requiere invertir en estudios adicionales. Tendencia a medirlo todo
De acuerdo a la revisin de los informes de evaluacin que presentan indicadores de desempeo, en varios pases de la regin, se observa que tanto para productos relevantes como de produccin intermedia, en su gran mayora los indicadores informan sobre el cumplimiento de lo que denominan metas fsicas o de produccin, asociados a indicadores de productos. Lo anterior tiene que ver primero con temas de aprendizaje metodolgico, en el que tanto las entidades centrales que demandan la informacin estn en un proceso muy reciente generacin de capacidades, y por otro que el tema de los indicadores y la evaluacin en las instituciones que deben generarlos est escasamente posicionado como elemento para la toma de decisiones. Como consecuencia, la responsabilidad por la generacin de los indicadores muchas veces recae sobre funcionarios que an cuando tengan la mayor voluntad y compromiso no tienen mayor ascendencia para decidir cuales son los aspectos estratgicos que deben ser medidos.
4.3 Evaluacin y gestin por resultados: conclusiones de su aplicacin en Amrica Latina

Los indicadores de evaluacin del desempeo aparecen aproximadamente una dcada atrs en diversos gobiernos de Amrica Latina. Su gestacin est vinculada estrechamente a los esfuerzos de modernizacin del aparato pblico. Los estudios comparados realizados por la CEPAL (1998) y el CLAD (2003) revelan que la mayora de los pases de Amrica Latina han desarrollado iniciativas de implementacin de sistemas de evaluacin de gestin o de desarrollo de indicadores de desempeo, con diversos grados de sistematicidad y cobertura. No obstante los esfuerzos que muchos de estos pases han desplegado, se puede concluir que con la excepcin de situaciones muy especficas, las experiencias desarrolladas estn lejos de haber logrado un grado de madurez institucional importante. Entre las conclusiones que se pueden adelantar se destacan las siguientes: Una cultura organizacional que se caracteriza por la escasa propensin a la definicin de objetivos estratgicos y metas de gestin de manera sistemtica y como insumo para la toma de decisiones. An cuando es posible observar que en parte importante de los pases de la regin, la conceptualizacin sobre gestin por resultados es utilizada, y las instituciones sealan poseer misin, objetivos, metas, stos en general son establecidos y muchas veces extrados textualmente de las leyes que formaron los organismos, o de ejercicios que no conllevan una discusin sistemtica y organizada sobre el quehacer institucional, sus desafos, las debilidades, las fuentes principales de ineficiencia y cmo operacionalizar de manera efectiva mejoras en la gestin.
77
Discontinuidad de los liderazgos ejercidos desde la autoridad central (ministerios de finanzas, oficinas de presupuestos) en el desarrollo de las iniciativas para generar Sistemas de Indicadores de Desempeo en el conjunto de las instituciones. Escasez de capacidades en las Unidades Ejecutoras o Programas Gubernamentales para institucionalizar la evaluacin, definiendo responsabilidades internas con insuficiente empoderamiento para desarrollar los indicadores Desarrollo de los indicadores para medir la metas fsicas del presupuesto, y escaso avance de indicadores asociadas a resultados. Aun cuando se construyen indicadores y se aplican metodologas de evaluacin, no se puede hablar de una aplicacin sistmica de stas. Existe una desvinculacin importante entre la informacin que entregan y su utilizacin para la toma de decisiones de los directivos y funcionarios. Escasas consecuencias respecto de los resultados de la evaluacin. Existe una limitada socializacin dentro de los organismos que los desarrollan y raramente son tomados en cuenta como insumo para el proceso presupuestario.
El seguimiento, evaluacin y uso de la informacin es dbil (las rendiciones de cuentas pblicas entregan poca informacin sobre la evaluacin del desempeo institucional). La evaluacin de los resultados desde la perspectiva estratgica: coordinacin de la macro evaluacin o evaluacin estratgica con la evaluacin institucional en general no est articulada.
78
N 45
V. Casos internacionales de construccin y aplicacin de indicadores de desempeo en instituciones pblicas
5.1 Casos de indicadores en pases OCDE

Canad
Las agencias gubernamentales presentan como informacin a la propuesta de presupuesto anual, la formulacin de indicadores de desempeo en los mbitos de: actividades, productos (outputs), resultados inmediatos (inmediate outcomes), resultados intermedios (intermediate outcomes), y resultados finales (Final/ultimate outcomes). Para el desarrollo de estos indicadores utilizan una metodologa basada en un Modelo Lgico, que establece una cadena de relacin entre indicadores de actividad, pasando por productos, hasta los tres tipos de resultados. En el esquema que se presenta a continuacin se transcribe un modelo lgico, aplicado al estudio de caso de una agencia canadiense.
79
Figura 12
MODELO LGICO PROGRAMA GOING GLOBAL

Definir expectativas y planes Programa de mantencin y marketing Procesar postulaciones Administrar eventos y redes Monitorear y evaluar resultados
Actividades
Plan estratgico Capacitacin del
Website de ciencia y
tecnologa de Going Global y conserjera Info. para postulantes
Postulantes
seleccionados Postulaciones de proyectos aprobados
Contratos para redes Eventos (misiones,

talleres) financiados y/o facilitados
Informes de
desempeo
Productos
personal Criterios de postulaciones
Informes de
evaluacin o revisin
Estudios especiales
Mejoramiento de la
Resultados inmediatos
administracin del programa Alineacin de las prioridades estratgicas con la unidad de Desarrollo de Negocios Internacionales
incrementa la Se
conciencia de los postulantes respecto de los servicios de ciencia y tecnologa previstos por el Gobierno Canadiense
implementan Se
nuevos proyectos internac. colaborativos de investigacin y desarrollo que tienen un beneficio econmico potencial
Mejoramiento de las
redes relacionadas con oportunidades de negocios en investigacin y desarrollo internacional
clientes seon provistos con un apoyo incremental Ms
Mejora de la
planificacin y administracin del programa Objetivos ms enfocados
Resultados intermedios
y compartido para explorar oportunidades de negocios internacionales aumenta el flujo de conocimiento no disponible Se actualmente en Canad
Incremento en una significativa penetracin de mercado para productos y
Resultados finales
servicios canadienses
Visibilidad suficiente incrementada en mercados extranjeros significativos para

bienes y servicios canadienses
Fuente: Treasury Borrad of Canada, http://www.tbs-sct.gc.ca/eval/tools_outils/RBM_GAR_cour/Bas/module_02/cs_e.asp
Reino Unido
Un caso interesante de sistemas de indicadores de desempeo es el del Reino Unido, especficamente a nivel de los gobiernos locales. En el ejemplo que se muestra a continuacin se seala el rol de la Audit Commission en el monitoreo y apoyo a la evaluacin del desempeo de los rganos locales26.
Recuadro 26
INDICADORES DE DESEMPEO EN LOS MUNICIPIOS LOCALES DEL REINO UNIDO

Todas las organizaciones efectivas miden su desempeo para conocer cuan bien estn haciendo la cosas, e identificando oportunidades para mejorar. Tenemos un importante rol en la promocin del uso de indicadores de desempeo. Fuimos responsables por la definicin, coleccin y publicacin nacional de Audit Commission Performance Indicators (ACPIs), y ahora tenemos una lnea de ayuda sobre Best Value Performance Indicators (BVPIs). Tambien proveemos guas sobre el uso de los indicadores de desempeo y hemos desarrollado una Biblioteca Local de Indicadores de Desempeo conteniendo las definiciones de indicadores de desempeo que las autoridades locales pueden usar con las bases voluntarias. El Acta del Gobierno Local, entreg a las autoridades locales nuevos poderes para la promocin social, econmica y medio ambiental en sus respectivas reas. Esto incluye derechos para trabajar con sus socios en la produccin de una estrategia de comunidad. Hemos desarrollado un set de Indicadores de Calidad de Vida para el uso de esas estrategias.
Fuente: United Kingdom Audit Commission, www.audit-commission.gov.uk/performance.

26
Aparte de los indicadores en el mbito local, las agencias ejecutivas, tienen el mandato de enviar indicadores a Audit Office.
80
N 45
Figura 13
ESQUEMA PARA LA EVALUACIN DEL DESEMPEO DE LAS BIBLIOTECAS MUNICIPALES. EJEMPLO PERFORMANCE MEASURES FOR COUNCILS
Fuente: United Kingdom Audit Commission, www.audit-commission.gov.uk/performance.
81
5.2 Casos de indicadores de desempeo en pases de Amrica Latina

Chile
En Chile, la incorporacin de indicadores y metas de desempeo al proceso presupuestario se inici en el ao 1994 con el objeto de disponer de informacin del desempeo de las instituciones y enriquecer el anlisis de la formulacin del presupuesto y su discusin en el Congreso Nacional. Si bien esta lnea de descontinu entre los aos presupuestarios 1999-2000, hasta el ao 1998 se vio incrementado el nmero de instituciones integradas a este trabajo. A partir del proceso de formulacin del proyecto de presupuestos 2001 los indicadores de desempeo fueron reincorporados a dicho proceso, reafirmando su propsito original. Estn excluidos de presentar indicadores aquellos Servicios que debido a su misin, resulta ms difcil evaluar su desempeo a travs de indicadores. Este es el caso del Poder Judicial, Poder Legislativo, Contralora General de la Repblica y algunas dependencias del Ministerio de Defensa.27 Si bien se reconoce el avance importante que ha tenido esta herramienta para la toma de decisiones y el proceso presupuestario, se seala que existen algunos desafos importantes por abordar, entre stos se mencionan: la necesidad de centrarse en resultados ms agregados de las iniciativas (que represente los aspectos claves o estratgicos de la gestin) de las que son responsables cada una de las instituciones, continuar mejorando la formulacin de indicadores y disponibilidad de informacin para su medicin, precisando resultados esperados e identificando y generando registros de informacin adecuados y oportunos, y/o mejorando los existentes.
Recuadro 27
FUNDAMENTACIN DE LA EVALUACIN DEL DESEMPEO EN CHILE

En los ltimos aos, el Ministerio de Hacienda ha desarrollado un conjunto de iniciativas con el objetivo de mejorar la informacin sobre la gestin de los servicios pblicos en el proceso presupuestario fortalecer la rendicin de cuentas de los resultados de los recursos pblicos y transparentar su uso. Esto, Sin duda, apunta a mejorar uno de los principales problemas del actual proceso presupuestario, la dificultad de dar cuenta de los resultados de la aplicacin de los recursos pblicos (ya que no se sabe ni del verdadero costo econmico incurrido para obtener tales resultados), y la necesidad de establecer controles y autorizaciones previas en reas sensibles, dada la inexistencia de mecanismos que permitan dar un mayor margen de autonoma a los gerentes pblicos para usar sus recursos no gastados en los otros aos fiscales (Marcel, 2001). Las iniciativas impulsadas por la Direccin de Presupuestos han estado enfocadas, por un lado, a la introduccin de nuevos mecanismos de evaluacin, tales como la evaluacin en profundidad, la evaluacin comprehensiva e integral del gasto que administra un ministerio y la creacin del Fondo Central de Recursos para Prioridades Gubernamentales; por otro lado, se han perfeccionado instrumentos ya vigentes, como por ejemplo el balance de gestin integral y los indicadores de desempeo. Finalmente, se han dispuesto una serie de mecanismos que permitan integrar la informacin que proviene de la evaluacin en el proceso presupuestario, aspecto que a juicio de los responsables del Ministerio de Hacienda ha sido relevante desde el punto de vista de los desafos de contar con ms "elementos de anlisis sobre resultados y aspectos estratgicos para el proceso de asignacin de recursos y de rendicin de cuentas".
Fuente: Elaboracin propia a partir del Informe de Finanzas Pblicas presentado a la Comisin de Presupuestos del Congreso Nacional de diversos aos.
27
Sistema de Control de Gestin y Presupuesto por Resultados: La Experiencia Chilena. Divisin de Control de Gestin. Santiago, Octubre 2003. www.dipres.cl/fr_control.html
82
N 45
Para avanzar en estos desafos la DIPRES plantea el desarrollo del Sistema de Planificacin /Control de Gestin, que contempla el instrumento Programa de Mejoramiento de Gestin28 (PMG) que cubre a las instituciones pblicas, y que incluye la identificacin y elaboracin de indicadores asociados a los principales productos (bienes o servicios) y el desarrollo de adecuados sistemas de recoleccin y sistematizacin de informacin. En la Ficha que se presenta a continuacin, se desarrolla el modelo que la Direccin de Presupuestos de Chile propone a los organismos pblicos de la administracin central del gobierno, para que establezcan indicadores de desempeo.
Cuadro 10
FICHA DE PRESENTACIN DE INDICADORES DE DESEMPEO DE LAS INSTITUCIONES PBLICAS CHILENAS

Producto Estratgico al que se Vincula
Sistema de Informacin: Informacin a usuarios
Indicador
Frmula de Clculo
Efectivo 2001
Efectivo 2002
Efectivo 2003
Estimado 2004
Meta 2005
Pondera cin
Medios de Verificac in
Eficacia/ Producto
Entrega de recursos para implementaci n de informtica educativa
Porcentaje de llamadas recibidas en centro de atencin telefnica de Oficinas 600 MINEDUC resueltas inmediatame nte Eficacia/ Producto
((Nmero de llamadas resueltas inmediatamente/ Nmero total de llamadas recibidas en centro de atencin telefnica de Oficinas 600 MINEDUC)*100)
n,c,
95,0 %
99,4 %
95,0 %
95,1 %
Reportes/ Informes 4% Informe del Programa
N total de estudiantes de establecimientos Nmero de subvencionados estudiantes incorporados a la de Red Enlaces/N establecimien total tos computadores subvenciona ao t dos por computador
65
57
54
53
34
Reportes/ Informes 4% Informe del Programa
Fuente: Direccin de Presupuestos de Chile, www.dipres.cl/control_gestion/indicadores.asp
Costa Rica
En Costa Rica el Ministerio de Planificacin y Desarrollo tiene la competencia de elaborar el Plan Nacional de Desarrollo (PND, que comprende el perodo de cada gobierno), y su evaluacin. Para dichos efectos desarrolla una matriz de evaluacin donde se vincula el objetivo de poltica, la accin estratgica, los objetivos e indicadores. Desde 1993 Costa Rica, ha desarrollado una interesante experiencia alrededor del Sistema Nacional de Evaluacin (SINE). No obstante la experiencia desarrollada, an existe un conjunto de limitaciones en materia de evaluacin,29 las cuales son bastante similares a las de la regin, entre las cuales se mencionan el escaso desarrollo de sistemas contables financieros que permitan
28
29
El Sistema de Planificacin y Control de Gestin incorporado en el Programa Marco del Programa de Mejoramiento de la Gestin tiene por objeto que las instituciones diseen e implementen un Sistema de Informacin para la Gestin con indicadores de desempeo para apoyar la toma de decisiones. Ms informacin en www.dipres/controldegestion.cl Documento de Presentacin Evaluacin Plan Nacional de Desarrollo 2002-2006. http://www.mideplan.go.cr/Capacidades-I-a2003.doc
83
construir indicadores de eficiencia, las dificultades para emprender evaluaciones de efectividad o impacto, y los escasos recursos humanos y competencias tcnicas para enfrentar los desafos de la evaluacin de la gestin. A pesar de las dificultades, se realizan importantes esfuerzos en orden a coordinar las instituciones que tienen competencias en temas de evaluacin: MIDEPLAN, Contralora y el Ministerio de Hacienda. En este contexto, se dise la estructura bsica del Plan Anual Operativo con el propsito fundamental de contar con un documento uniforme, tanto en su estructura como en el uso de los conceptos a emplear y que a la vez contenga informacin pertinente para cada una de las instancias rectoras de este proceso, de acuerdo con su mbito de competencia. El instrumento busca la incorporacin de informacin de carcter gerencial y estratgico, que facilite a las instituciones y a las instancias responsables de esos procesos, la toma de decisiones y que adems permita vincular los planes operativos institucionales con el presupuesto, ambos en estrecha vinculacin con el PND. Este instrumento constituye el principal insumo para la evaluacin de metas de 2004 vinculado al presupuesto.
Uruguay
Las Unidades Ejecutoras de la administracin pblica de Uruguay, tienen la obligatoriedad de presentar cada ao a la rendicin de cuentas pblicas, la evaluacin de las metas e indicadores de desempeo, las cuales hacen referencia a los resultados de los Planes Anuales de Gestin (PAG) 2002-2004, que son parte del Presupuesto Quinquenal.
Recuadro 28
CICLO DE IMPLANTACIN DEL SISTEMA DE EVALUACIN DE LA GESTIN PBLICA

Planificacin estratgica: PEG Plan estratgico de gestin PAG Plan anual de gestin Definicin de productos Establecimiento de objetivos estratgicos Determinacin de metas anuales Seleccin de indicadores de eficacia, eficiencia y calidad para las metas Rendicin de cuentas Difusin de resultados en pgina WEB
Fuente: SEV Uruguay. (CLAD, 2003)
En la Rendicin de Cuentas 20034 se presentan los Resultados de la Gestin Pblica elaborados a partir de los indicadores de desempeo definidos por las Unidades Ejecutoras e Incisos del Presupuesto Nacional en el Presupuesto Nacional 2000-2004, incluidos en el Tomo VI.1. Programa Estratgico de Gestin y Planes anuales de Gestin por Inciso y Unidad Ejecutora, aprobado por la Ley de Presupuesto Nacional N 17.296 de 21 de febrero del 2001. Los resultados de la gestin pblica desarrollada en el ao 20034 se elaboraron a travs del Sistema de Evaluacin de la Gestin (SEV), articulado al Sistema Integrado de Informacin Financiera (SIIF), que administra la Oficina de Planeamiento y Presupuesto de acuerdo a lo previsto en los Artculos 39, Inciso f, y 41 de la Ley N 16.736 de 5 de enero de 1996.
84
N 45
El Presupuesto Nacional 2000 2004 incorpor en su formulacin una nueva metodologa que supuso la elaboracin de Planes Estratgicos de Gestin (PEG) para el quinquenio, en el mbito de las Unidades Ejecutoras, los que contienen los Productos Estratgicos de las mismas, que se desprenden de su Misin y cometidos. Los Objetivos Estratgicos se expresan a travs de Metas anuales contenidas en Planes Anuales de Gestin (PAG), definidas en funcin de los Productos y la Poblacin Objetivo o Usuarios de los mismos (enfoque cliente/usuario). En los tomos correspondientes al Sistema de Informacin Presupuestaria (SIP), se incorporan las modificaciones realizadas a las metas e indicadores de gestin del ao 2004. Las mismas buscan adecuar las metas anuales a los nuevos desafos estratgicos de la Administracin Pblica y a las posibilidades presupuestarias actuales. La definicin de Productos, Usuarios, Metas e Indicadores de Gestin se realiza al nivel de los Centros de Actividad de las Unidades Ejecutoras. Los Centros de Actividad de las Unidades Ejecutoras informan el grado de satisfaccin que tienen en relacin al logro de cada una de las metas que se propusieron. Si bien es escueta la respuesta posible (s, no, relativamente) la misma inicia un proceso de reflexin sobre los resultados alcanzados que se espera ampliar en futuras presentaciones. A continuacin se presenta el formulario para la evaluacin de la metas e indicadores de gestin desarrollados en los Planes Anuales de Gestin (PAG), y presentados como Anexos a la Rendicin de Cuentas a partir del ao 2001. En este caso se utiliza la Direccin Nacional de Vialidad (en adelante DNV) del Ministerio de Transporte y Obras Pblicas. La DNV es la empresa constructora ms grande del Uruguay; cuenta con ms de 1.900 funcionarios, organizados administrativamente en diez regiones en el interior del pas y la oficina central, con ms de 400 funcionarios, ubicada en Montevideo.
Recuadro 29
MISIN Y OBJETIVOS ESTRATGICOS DE LA DIRECCIN DE VIALIDAD NACIONAL

RENDICIN DE CUENTAS 2004: METAS E INDICADORES DE GESTIN Inciso U.E. Programa 10 003 003 Ministerio de Transporte y Obras Pblicas Direccin Nacional de Vialidad Servicios Construccin de la Red Vial Nacional
1. Misin La Direccin Nacional de Vialidad (en adelante DNV) es responsable de estudiar, proyectar, conservar, construir y promover la estructura vial nacional, potenciando sus caractersticas, para adecuarse a las exigencias del trfico internacional de los corredores viales de conexin con los pases integrantes del MERCOSUR, en el marco de una estrategia de apertura y globalizacin de la economa, considerando su impacto en el medio ambiente. 2. Objetivos, Productos, Metas e Indicadores Objetivos Estratgicos Mantener la red vial nacional consistente en 8.770 km de carreteras, 750 puentes, y la red ferroviaria nacional cuya utilizacin se habilite por ser econmicamente sustentable, comprometiendo resultados y estndares de calidad del servicio. 3. Ejemplo de Indicadores de Gestin En el Cuadro siguiente se muestran los indicadores de gestin de la Gerencia de Programacin de la DNV, la cual tiene como funcin planificar, programar y controlar desde el punto de vista presupuestal financiero las inversiones en la red vial y evaluar los resultados obtenidos en el cumplimiento de los objetivos estratgicos de la DNV.
Fuente: Rendicin de cuentas 2004, CEPRE - Comit Ejecutivo para la Reforma del Estado.
85
Cuadro 11
INDICADORES DE GESTIN DE LA DIRECCIN NACIONAL DE VIALIDAD
Fuente: www.cepre.opp.gub.uy
86
N 45
5.3 La metodologa del Cuadro de Mando Integral y los indicadores de desempeo

Como se seal en la seccin 2.3 de este documento, uno de los desafos en el uso analtico de indicadores de desempeo es cmo interpretar las interrelaciones que se producen entre indicadores que miden distintas dimensiones del desempeo, tales como eficiencia, eficacia, economa y calidad. Este desafo se torna an ms complejo cuando producto de las decisiones de cambio en la gestin se generan resultados opuestos entre las dimensiones: por ejemplo, se puede mejorar el indicador de calidad mediante una decisin explcita de contratar ms personal para la atencin de pblico, pero esta decisin genera un deterioro en el indicador de eficiencia que refleja los costos unitarios. Anlogamente, se puede pretender mejorar el indicador de eficacia que mide la cobertura de una determinada prestacin de salud, pero en un contexto de recursos constantes dicha accin podra significar un detrimento en los niveles de satisfaccin de los usuarios por la necesidad de otorgar menor tiempo de atencin a cada paciente. El desempeo global de una institucin pblica es producto de la interaccin de los factores de eficiencia, eficacia, calidad y economa. La medicin del desempeo global requiere el desarrollo de un conjunto armnico, sistemtico y relevante de mediciones e indicadores, con un adecuado conocimiento de sus posibles interrelaciones. La masificacin de las tecnologas de la informacin y las comunicaciones han permitido a los gobiernos establecer complejos sistemas de medicin en que se definen cientos de indicadores de desempeo de los procesos, resultados e impactos de las acciones pblicas. El hecho que la computacin permita recolectar y administrar estos cientos de indicadores no es garanta que se mejorar el proceso de toma de decisiones, se genere una gestin ms eficiente o que se logre una fiscalizacin externa ms eficaz. Desde la perspectiva de la gerencia, el exceso de indicadores tiende a confundir al receptor en trminos de discriminar lo urgente, lo importante, lo redundante y lo insignificante. En este contexto, el problema fundamental de un sistema de control de gestin para los gerentes pblicos es cmo seleccionar aquel conjunto armnico, sistemtico y relevante de indicadores sin caer en una saturacin de informacin. Una de las metodologas que se ha desarrollado para integrar en forma armnica las dimensiones cuantitativas y cualitativas que emanan de los indicadores de desempeo lo constituye la metodologa de Cuadro de Mando Integral (CMI) o Balanced Score Card (BSC). El CMI es una metodologa desarrollada en el sector privado en 1992 por Robert Kaplan y David Norton que intenta integrar los aspectos de la gerencia estratgica y la evaluacin del desempeo de la empresa. Esta herramienta se desarroll bajo la conviccin de que la medicin basada slo en indicadores cuantitativos y financieros no capturaba de un modo adecuado aquello que crea valor en una organizacin, y que era necesario aadir otras perspectivas de anlisis de carcter ms cualitativo o de activos intangibles. En su esencia, el CMI es una herramienta de gerencia que permite traducir la estrategia de una organizacin en un conjunto completo de medidas de desempeo tal, que informa a la alta gerencia sobre cmo la organizacin avanza hacia el logro de sus objetivos. En este contexto, el CMI colabora con un sistema de control de gestin dado que entrega a la direccin de una institucin un instrumento para evaluar el cumplimiento de la estrategia, y para alinear las conductas hacia el logro de los objetivos estratgicos organizacionales.
87
Recuadro 30
CARACTERSTICAS DE UN CUADRO DE MANDO INTEGRAL

1. Interpretar globalmente todas las funciones gerenciales. 2. Integrar las variables estratgicas y operacionales. 3. Facilitar la correcta toma de decisiones del presente y del futuro. 4. Construir los indicadores adecuados de gestin. 5. Mejorar en forma continua los resultados. 6. Corregir sobre la marcha desviaciones. 7. Reaccionar ante los cambios. 8. Incluye medidas financieras y no financieras. 9. Incluye medidas referidas al corto y largo plazo. 10. Incluye medidas que reflejan los resultados de esfuerzos pasados y medidas inductoras de la actuacin financiera futura. 11. Las medidas responden a relaciones de causa y efecto. 12. Contiene la cantidad suficiente de datos para dar un cuadro completo y NO MS.
5.3.1 El Cuadro de Mando Integral en el sector pblico

El CMI se ha popularizado entre organizaciones pblicas y privadas debido a mltiples motivos; entre ellos destaca que presenta un grado de formalidad y simplicidad que permite su adaptacin a instituciones de distintos mbitos de accin, complejidad organizativa y tamao. En una lgica de desarrollo de recursos humanos, el uso del CMI facilita el trabajo participativo de las distintas instancias de una organizacin. Por ltimo, en trminos comunicacionales su uso permite a los directivos pblicos informar cmo el servicio respectivo crea valor pblico, colocando acento en sus estrategias y en los factores de largo plazo explicativos de su desarrollo, as como en los mecanismos para alcanzarlos. Si bien la metodologa del CMI surgi del mundo privado como una forma de integrar las perspectivas de los clientes con la visin financiera de la empresa, en el mbito pblico el uso del CMI cobra especial significancia como una forma de romper con la planificacin determinista que representan los mandatos polticos. Su correcta aplicacin permite vincular los programas gubernamentales, independientemente del nivel que se trate, con el logro de objetivos concretos. En la esfera gubernamental el CMI ayuda a la transparencia de la gestin, pero requiere un cambio cultural en lo que respecta a la informacin. La tendencia en el sector pblico de los pases de Amrica Latina es a generar una sobreabundancia de informacin, lo cual satura la toma de decisiones de carcter ms estratgica. El uso del CMI centra a la organizacin en los objetivos estratgicos y se constituye en una herramienta til de comunicacin y motivacin, tanto hacia fuera como hacia el interior de la organizacin. Lo novedoso del CMI es que se hace cargo de incorporar en el anlisis el valor que generan una serie de activos intangibles, principalmente los relacionados a valores y actitudes de las personas que componen la organizacin. Bajo el principio de causa y efecto el CMI busca desentraar las verdaderas razones que hacen posible la consecucin de la visin y misin de la organizacin. De este modo, por ejemplo, si se ha planteado como objetivo un cierto nivel de rentabilidad, el CMI trata de identificar y medir todas aquellas acciones que hacen posible o no la consecucin de los objetivos estratgicos. 88
N 45
No obstante las ventajas sealadas anteriormente, su aplicacin en el mbito pblico no est exenta de detractores. Tal es el caso de Hatry (2000), quien considera que el CMI podra significar un retroceso, pues tras aos de enfatizar en los resultados y el desempeo de las instituciones pblicas, el CMI vuelve a poner un nfasis excesivo en los procesos internos. De igual modo, el trmino en ingls de balanced scorecard, implica que todas las reas o perspectivas sobre las cuales se desarrolla el CMI son de igual valor. Por otra parte, Schick (2001) enfatiza que el CMI busca evaluar la capacidad organizacional, estableciendo un vnculo explcito entre el desempeo global y las entidades que proveen los servicios. Segn Schick, ms all de la implementacin amplia en el sector pblico, lo importante del CMI es que trae el mensaje que los procesos importan, tanto como la capacitacin y moral del personal, los controles internos y los intereses de los usuarios. En el mbito latinoamericano diversos autores han propuesto adaptaciones del CMI empresarial para su uso en el sector pblico. A modo de ejemplo, Bstidas y Ripoll (2003) hacen nfasis en que la alta gerencia de las instituciones pblicas debe integrar lo mejor posible la potencialidad de conflictos de intereses entre los stakeholders, proponer un equilibrio adecuado entre los requerimientos a menudo contrapuestos de los distintos actores y traducir esta ecuacin en objetivos de carcter estratgicos que sean monitoreables en el tiempo. En el Recuadro 22 se detallan las modificaciones al CMI que estos autores estiman convenientes para darle viabilidad a su implementacin en las instituciones pblicas.
Recuadro 31
AJUSTES AL MODELO DEL CMI PARA SU APLICACIN EN LAS ORGANIZACIONES DEL SECTOR PBLICO
Para que el CMI sea la herramienta idnea para gestionar, medir y evaluar el logro de los objetivos estratgicos de la institucin, debera plantearse en estas organizaciones, para ser excelentes en satisfacer a: nuestra comunidad (por la contribucin que hacemos a su bienestar), los usuarios (por el servicio suministrado), los empleados y la proteccin del ambiente, as como para dar una buena imagen ante los rganos fiscalizadores, por el manejo de los recursos asignados. 1. Proponer tres perspectivas paralelas que ocuparn la principal jerarqua en la estructura del CMI; stas son: la Perspectiva del Usuario, la Perspectiva de la Comunidad y la Perspectiva Medioambiental. 2. Integrar la planificacin estratgica como un proceso indispensable para la identificacin de los stakeholders, sus intereses, potencialidad de conflictos e influencia de poder. 3. La Perspectiva de Aprendizaje y Crecimiento ser sustituida por la Perspectiva Humana e incluir los objetivos concernientes a la propuesta de valor para los recursos humanos de la organizacin. 4. La Perspectiva Financiera ser un medio para alcanzar los fines de las perspectiva anteriores y se medir en trminos de economa, eficiencia, eficacia y efectividad. 5. Dado que la Perspectiva Interna define los factores crticos del xito, la entrega de valor a sus proveedores se considerar una variable clave; y la comparacin con sus rivales ms inmediatos, podr servir de mtodo para impulsar la mejora y la innovacin en los procesos.
Fuente: Bstidas y Ripoll (2003).
Como se puede observar, con las adaptaciones propuestas en el Recuadro 22, los indicadores de desempeo de las cuatro E, descritos en detalle en los captulos anteriores, pasan a constituir la esencia de la Perspectiva Financiera del CMI pero con una visin ms amplia de la que se utiliza en los resultados financieros de las empresas privadas. Es preciso sealar que si bien la base la constituyen los indicadores de eficacia, economa, eficiencia y efectividad, dependiendo del tipo de 89
organizacin se puede ampliar a incluir medidas de equidad, tecnologa y evolucin sostenible (ver Recuadro 7 de la seccin 2.2.2). Otro tipo de adaptacin se circunscribe no necesariamente a modificar las perspectivas de anlisis, sino ms bien a cmo disear los sistemas de informacin requeridos para levantar un cuadro de mando. Figueroa (2002) plantea que el monitoreo de la productividad del gasto pblico en el largo plazo puede ser provisto por un sistema integrado de informacin financiera (SIAF), delimitando de esta manera la perspectiva del control de gestin donde se separan las variables externas que condicionan la gestin de aquellas variables que son controlables por los gestores pblicos. En el Recuadro 23 se propone un conjunto de indicadores de un CMI que deben incorporarse en el diseo de un SIAF.
Recuadro 32
MBITOS E INDICADORES DE CMI PARA LOS SERVICIOS PBLICOS Y LA MEDICIN DE LA PRODUCTIVIDAD DEL GASTO PBLICO
a) El cuidado por el inters de los mandantes, es decir, los administradores polticos y ejecutivos, en cuanto representantes de los ciudadanos, requerirn informacin de: i. Rentabilidad social de los proyectos ii. Aditividad del gasto pblico iii. Niveles de cobertura y focalizacin de los programas iv. Grado de eficiencia del gasto v. Comparacin con estndares internacionales o sistemas pares. b) El cuidado por el inters de los usuarios o destinatarios de los servicios, requiere de disponer de informacin tal como: i. Calidad del servicio: cantidad, oportunidad, calidad intrnseca. ii. Niveles de satisfaccin de los usuarios. iii. Exploracin de nuevas necesidades c) El cuidado por el desarrollo del sistema y de la relacin con los empleados o funcionarios pblicos, requiere monitorear lo que pasa en. i. Expectativas de desarrollo ii. Calidad de entorno laboral iii. Retribuciones comparadas. iv. Capacitacin y Entrenamiento d) El cuidado por los procesos internos requerir disponer de indicares tales como: i. Eficiencia en la entrega ii. Costos internos de produccin. iii. Estndares de costo
Fuente: Figueroa, Ramn (2002), Sistemas Integrados de Administracin Financiera (SIAF): Avances y Requerimientos para Mejorar la Productividad del Gasto Pblico, ponencia presentada en el XIV Seminario Regional de Poltica Fiscal de la CEPAL, CEPAL, Santiago de Chile.
5.3.2 Adopcin del Cuadro de Mando Integral en el Sector Pblico

En 1992 Robert Kaplan y David Norton presentan por primera vez al pblico el Cuadro de Mando Integral30. Esta herramienta se desarroll bajo la conviccin de que la medicin basada slo en indicadores cuantitativos y financieros no capturaba de un modo adecuado aquello que crea
30
Ver Robert Kaplan y David Norton (1992, 1996 y 1997).
90
N 45
valor en una organizacin, y que era necesario aadir otras perspectivas de anlisis. Su adopcin en el sector privado norteamericano fue muy rpida: en 1998 un estudio del Gartner Group estimaba que para el ao 2000 por lo menos un 40% de las empresas pertenecientes al Fortune 1000 implementaran el CMI en el desarrollo de sus estrategias empresariales (Procurement Executives Association, 2005). Su adopcin en las organizaciones pblicas ha sido mucho ms tmida, con un nfasis mayor en instituciones de salud o universidades. Dado la influencia de los autores seminales, Kaplan y Norton, se asume generalmente que el uso de esta metodologa sera de uso generalizado en las instituciones pblicas de los Estados Unidos. Sin embargo, un estudio reciente a gobiernos locales de jurisdicciones con ms de 25.000 habitantes revela que un 44% de ellos en los ltimos cinco aos han realizado un proceso amplio y formal de planificacin estratgica y que tan solo un 22% utiliza las medidas de desempeo para monitorear metas y objetivos estratgicos (Poister y Streib, 2005). Si se considera que el CMI es la culminacin de un sistema de gestin estratgica, donde el punto de partida necesariamente est en un ejercicio de planificacin estratgica de revisin continua, entonces se puede concluir que una proporcin muy baja de los entes locales de EE.UU. implementan algn tipo de CMI. Los autores del estudio concluyen: aunque la gestin por resultados ha constituido la piedra angular del movimiento de reforma de la gerencia pblica en los ltimos 15 aos, la planificacin estratgica formal an requiere transformarse en una prctica regular y estndar en las jurisdicciones municipales de los EE.UU. Los pases escandinavos han mostrado un mayor activismo en el mbito pblico, Ax y Bjrnenak (2005) sealan que organismos pblicos de alto perfil en Suecia han desarrollado sus CMI, difundindolos en diversas conferencias profesionales. Entre estos organismos destacan el Servicio Nacional de Polica, el Servicio Nacional de Impuestos y la Autoridad Nacional de Administracin Financiera. La fuerza observada en Suecia se explicara parcialmente por las adaptaciones que en forma temprana formularon Olve et al. (1997 y 2000), en que se incluye ms que una perspectiva de los accionistas una perspectiva de los stakeholders, como se resea en la seccin anterior. Por ejemplo, el CMI desarrollado en una escuela estatal sueca incluye una perspectiva financiera, perspectiva de los estudiantes, profesores y paradocentes, perspectiva de desarrollo y perspectiva de la administracin escolar. Olve et al. afirman que las cuatro perspectivas de Kaplan y Norton no son apropiadas para el sector pblico y argumentan que los CMI de organizaciones pblicas deben incluir perspectivas y mediciones relativas a stakeholders importantes para la institucin31. Si la investigacin respecto de la adaptacin e implementacin del CMI en el sector pblico en el mundo anglosajn es escasa, en el caso de las instituciones hispanoparlantes es igualmente exigua. Los gobiernos locales en Espaa han recibido mayor atencin por parte de la comunidad acadmica y de practicantes dedicados a las innovaciones en gerencia pblica, pero la recopilacin de experiencias sigue siendo muy casustica y an no se dispone de un cuerpo slido de experiencias que permita validar su aplicacin en distintos tipos de organizaciones pblicas.32 Con la finalidad de disponer de experiencias concretas en las secciones siguientes se presentan CMI de instituciones pblicas de distintos sectores y pases, que podran constituir una muestra representativa de los abordajes alternativos que se han presentado en el sector pblico.
31
32
El trmino stakeholder, como se seala en la Introduccin de este documento, da cuenta de un amplio grupo de personas naturales y jurdicas que son afectadas por las decisiones y acciones pblicas. Pueden ser tanto destinatarios como actores interesados, cuyos derechos o intereses pueden ser afectados en forma directa o indirecta. En una visin amplia, una decisin a la metodologa educacional podra afectar a toda la Sociedad, sin embargo el desafo estriba en identificar quines son los titulares de derechos ms importantes para asegurar el cumplimiento de la misin de la organizacin (Bonnefoy, 2002). Casos de implementacin de CMI en gobiernos autonmicos y locales de Espaa se pueden analizar en Rodrguez et al. (2004), Subirachs (2004), Turull y Vivas (2003), Or i Vendrell (2002).
91
5.3.4 Chile: Instituto de Normalizacin Previsional

El Instituto de Normalizacin Previsional (INP) es el organismo estatal ejecutor en materias de Seguridad Social de Chile. Es uno de los organismos pblicos de mayor presupuesto, de hecho recibe el 23% del presupuesto del Gobierno Central. Su plantilla de funcionarios comprende 3.115 personas, quienes se distribuyen en 13 Direcciones Regionales y 64 Sucursales. En lo fundamental, el INP centra su quehacer en los pensionados adultos mayores, en las personas con discapacidad y en las personas vulnerables por su condicin de extrema pobreza, que son beneficiarios de pensiones y subsidios otorgados por el Instituto. Asimismo, se compromete en la generacin y aplicacin de planes y programas que favorecen a trabajadores activos protegidos por la Ley de Accidentes del Trabajo y Enfermedades Profesionales y a quienes son receptores de prestaciones y beneficios por su permanencia en el antiguo sistema previsional de reparto. A travs de sus distintos programas entrega beneficios aproximadamente a 1.700.000 personas (INP, 2005). Desde mediados del ao 2002 el INP comenz a trabajar en la implementacin de un sistema de monitoreo y medicin de la gestin que traslada la estrategia institucional a un amplio conjunto de indicadores de desempeo. Este serie de indicadores se han elaborado por ms de una dcada al amparo del Sistema de Control de Gestin que administra la Direccin de Presupuestos de Chile.33 El CMI-INP se ha diseado con la finalidad de proveer a las distintas instancias jerrquicas con un sistema de gestin integral que maneje la informacin con un elevado nivel de transparencia, permitiendo medir el desempeo de cada unidad y cmo cada una de ellas contribuye a alcanzar los objetivos estratgicos institucionales. El CMI-INP, fue diseado durante el ao 2002 y se comenz a aplicar en el 2003, constituy la base de la planificacin institucional para el ao 2004, analizando el cumplimiento de las metas que registraron los indicadores definidos para el perodo 2003 (Evans, 2004a). En la Figura 14 se presenta el Cuadro de Mando Institucional, con los respectivos objetivos y perspectivas, en tanto que la Figura 15 exhibe el acceso a los indicadores por rea de trabajo. En el primer caso se brinda una visin institucional, donde los temas estratgicos estn dados por el aumento de cobertura, optimizacin de recursos y mejoramiento de la imagen institucional. La grfica por reas de trabajo permite bajar del nivel institucional a cada una de las dependencias o direcciones regionales. Por ejemplo, si se accede al rea de trabajo de Atencin de Pblico, el sistema de informacin despliega las 13 Direcciones Regionales. A su vez, al seleccionar una Direccin Regional el sistema permite ver los valores agregados de los indicadores, con sus respectivas desviaciones respecto de la meta, o seleccionar el desempeo de cada una de las sucursales que son responsables finales de atender a los usuarios del INP.
33
Para una explicacin detallada de este modelo y sus distintos componentes ver Bonnefoy (2005) y Guzmn (2003).
92
N 45
Figura 14
CMI INSTITUCIONAL, INSTITUTO DE NORMALIZACIN PREVISIONAL
Fuente: Evans (2004b).
93
Figura 15
CENTRO DE GRAVEDAD ESTRATGICO, INSTITUTO DE NORMALIZACIN PREVISIONAL DE CHILE

Programas Beneficios Sociales
INP Sector Activo
Operaciones
Recaudar Conceder Pagar
RR.HH
Centros Pago
Atencin pblico
Adm. Fin. Unidades Apoyo
Fuente: Evans (2004b).
5.3.5 Espaa: Patronato Municipal de Deportes de Granada

El Patronato Municipal de Deportes de Granada (PMDG) es un organismo autnomo local de carcter administrativo (con personalidad jurdica propia) que depende del Ayuntamiento de Granada. El PMDG tiene por objeto promover y fomentar la prctica del deporte de los ciudadanos de Granada, mediante el estudio, la orientacin, la coordinacin, la direccin, la gestin, la ejecucin y el desarrollo de la poltica municipal en materias deportivas, as como mediante la gestin de las instalaciones deportivas, la realizacin de actividades complementarias de otras administraciones pblicas, as como el apoyo a toda clase de iniciativas privadas que promueven la prctica del deporte (Ayuntamiento de Granada, 2005). Las instalaciones y actividades del PMDG estn preferentemente dirigidas a la poblacin de la Capital Provincial de Granada, que potencialmente asciende a un pblico objetivo de 238.292 personas; si bien en ciertos eventos sus instalaciones son utilizadas por el resto de la poblacin de la Provincia de Granada, 841.687 personas (Instituto Nacional de Estadstica, 2005). Su plantilla de funcionarios es de 131 personas y el ao 2004 recibi una transferencia del Ayuntamiento para gastos corrientes de 5 millones de euros, las inversiones en infraestructura las realiza mayoritariamente el Ayuntamiento y no estn considerados en el presupuesto del PMDG. 94
N 45
El ao 2003 un equipo del Departamento de Economa Financiera y Contabilidad de la Universidad de Granada asesor al PMDG en la elaboracin de una planificacin estratgica que incluy el anlisis de fortalezas, oportunidades, debilidades y amenazas (FODA), as como la preparacin de un CMI institucional (Rodrguez, Lpez y Zafra, 2004). Como resultado del anlisis FODA se determin su misin estratgica en los siguientes trminos: la promocin de servicios deportivos de alta calidad, la universalizacin de la prctica deportiva y la creacin de una cultura deportiva en la poblacin de Granada. A partir de este objetivo estratgico, en la Figura 16 se presenta el Mapa Estratgico del PMDG, con los objetivos que corresponden a las cuatro perspectivas tradicionales del CMI, aunque se han desarrollado con mayor profundidad la perspectiva de los clientes y la perspectiva financiera. Las perspectivas de procesos internos y del aprendizaje y crecimiento estn enfocadas al mejoramiento de la calidad de los servicios deportivos, enfatizando que la mejora en la gestin administrativa, tcnica y econmica son importantes. La inversin en mejorar las instalaciones deportivas existentes y un programa de capacitacin continua de los empleados son dos objetivos estratgicos relevantes que contribuyen al logro de la misin de la organizacin institucional (Rodrguez, Lpez y Zafra, 2004).
Figura 16
MAPA ESTRATGICO DEL PATRONATO MUNICIPAL DE DEPORTES DE GRANADA

Objetivo estratgic Promocin de servicios deportivos de alta calidad, la universalizacin de la prctica deportiva y la creacin de una cultura deportiva en la poblacin de Granada
Aumento de los usuarios de las instalaciones deportivas
Iniciar servicios de asesora mdica en actividades deportivas
Perspectiva financiera
Incremento de los recursos financieros Mejoramiento del retorno en las inversiones
Creacin de una imagen de servicios deportivos de alta calidad
Perspectiva de los clientes
Aumento de la satisfaccin de los usuarios
Mejoramiento en la calidad de los servicios deportivos
Reforzar las sinergias

Perspectiva de los procesos internos
Perspectiva de aprendizaje y crecimiento
Personal motivado y calificado
Mejoramiento de la gerencia administrativa, tcnica y econmica Inversin en mantencin y mejoramiento de las instalaciones Coordinacin de actividades y compatibilizacin de horarios
Crecimiento personal y profesional
Capacitacin permanente del personal
Competencias estratgicas
Fuente: Rodrguez, Manuel; Lpez, Antonio y Zafra, Jos Luis: Applying the Balanced Scorecard Concept: a Proposal to Sport Services in Local Governments, 2004.
95
El caso chileno (INP) se caracteriza por un pblico cautivo en trminos de las prestaciones pblicas. En el caso espaol del PMDG existen instalaciones y actividades sustitutas que pueden ser provistas por entes privados. La competencia en esta rea es posible y la implementacin del CMI no solamente es visualizada como un instrumento de mejoramiento de la gerencia pblica, sino que adems permite al PMDG alcanzar una posicin estratgica frente a sus competidores, de manera de instalar una visin estratgica que posiciona al Patronato como el lder en la prctica deportiva en Granada. De acuerdo a la experiencia registrada por la Universidad de Granada, la implementacin del CMI del Patronato de Deportes ayud a reducir las metas muy amplias de la organizacin, que frecuentemente se dan en mandatos legales muy vagos en las organizaciones pblicas. Adems el CMI contribuy a reducir la incertidumbre y facilitar la comunicacin entre los directivos y polticos responsables del rea al interior del Concejo Municipal, promoviendo de esta manera un nuevo dialogo entre la visin poltica y la estrategia de la organizacin.
96
N 45
VI. Lecciones y aprendizajes de la experiencia de aplicacin de los indicadores de desempeo en la administracin pblica
Los indicadores de desempeo se estn aplicando, o se est comenzando a implementar, en la mayora de los gobiernos de Amrica Latina en el marco de los esfuerzos por mayor eficiencia del gasto pblico y transparencia de la accin gubernamental. Si bien el objetivo de este manual no es el anlisis del proceso de instalacin de los sistemas de evaluacin de la gestin pblica, no es posible hacer referencia a la construccin de indicadores en el mbito pblico sin mencionar aspectos de la institucionalidad, las estrategias, los procesos, los cuales tienen una influencia decisiva en los resultados de la aplicacin de los indicadores. En este contexto, las lecciones y aprendizajes se desarrollan desde dos perspectivas, la primera desde una mirada no exhaustiva de los aspectos macro institucionales de la instalacin de los sistemas de indicadores, y la segunda desde el proceso de diseo y construccin de los indicadores, los cuales abordan los aprendizajes de carcter metodolgico y de aplicacin prctica de stos. Los aspectos substanciales de estas temticas que cabe subrayar son los siguientes: 1. La gestin pblica ha evolucionado en las ltimas dcadas desde un modelo burocrtico tradicional al enfoque por resultados. El nuevo modelo no se centra exclusivamente en los insumos del proceso ni en el control externo, sino que se enfoca 97
en los impactos de la accin pblica, donde lo relevante se centra en los resultados y en las dimensiones de eficiencia, calidad y economa de los procesos que los generan. En este contexto se enfatiza el desarrollo y aplicacin de un conjunto de instrumentos que permitan orientar a la gestin pblica hacia dichos resultados. Los criterios orientadores para la gestin de los organismos pblicos, enfatizan el uso de metodologas que les permitan centrarse en aspectos relevantes y estratgicos para el cumplimiento de la misin institucional, una vinculacin entre la asignacin de recursos y el desempeo institucional. Lo anterior requiere lograr cambios sustantivos en la cultura organizacional de las entidades pblicas, que hagan viable este trnsito hacia el compromiso por los resultados. 2. Este proceso no est exento de complejidades, y aun cuando el panorama de los pases de Amrica Latina no es uniforme, en mayor o menor medida, se constatan debilidades estructurales de la administracin pblica, especialmente en los sistemas de servicio civil lo cual dificulta la delegacin de facultades a los directivos pblicos. Junto con lo anterior el escaso desarrollo de los sistemas de informacin, y la dbil consolidacin de los modelos burocrticos que posibiliten el funcionamiento de administraciones pblicas con procedimientos transparentes y confiables sobre los que se pueda asentar el trnsito hacia una mayor responsabilizacin por los resultados, son elementos que deben ser considerados como desafos a la hora de desarrollar sistemas de evaluacin de la gestin apoyados de indicadores de desempeo. La ubicacin institucional de la evaluacin de la gestin pblica dentro del sector pblico depende de las caractersticas de cada pas. No hay una nica respuesta pues lo importante es que exista la firme decisin poltica de hacer funcionar los sistemas de evaluacin. Con todo, al tratarse de un instrumento fundamental de la gestin pblica, orientado a apoyar a lo tomadores de decisiones y gestores pblicos hacia lo estratgico, es fundamental estrechar la vinculacin del plan y la programacin con el presupuesto. Asimismo es un requisito para la coherencia de las acciones de evaluacin que exista una estrecha vinculacin entre los organismos encargados de la planificacin y coordinacin gubernamental, con las instituciones responsables del presupuesto. Junto con esto la funcin de apoyo central a la rendicin de cuentas que tienen los indicadores, implica tambin una estrecha relacin con los rganos de control y el Parlamento. La eficaz incorporacin de estos nuevos sistemas de evaluacin de la gestin al aparato pblico conlleva una serie de desafos estratgicos que es preciso tener en cuenta, tanto en la fase de diseo como en la fase de implementacin y evaluacin de los mismos. En la etapa de diseo e implementacin y en trminos muy generales, es necesario que la institucin o instituciones a nivel central que demandan la evaluacin de gestin a travs de indicadores, tengan claridad respecto del mandato. Lo anterior implica clarificar los niveles de la administracin pblica que sern evaluados, el uso que tendr la informacin proveniente de los indicadores, el diseo de la metodologa para la evaluacin, los apoyos tcnicos que se requieren, as como el establecimiento de un proceso de retroalimentacin entre la autoridad que demanda los indicadores y las instituciones que elaboran. En este proceso de diseo e implementacin es clave hacer un diagnstico de las capacidades institucionales y tcnicas de las entidades, y definir un mecanismo de apoyo permanente a travs de capacitacin, guas, talleres de trabajo, pginas web, etc., considerando los diferentes niveles de dichas entidades. Frecuentemente la gestin de las entidades pblicas en Amrica Latina enfrenta una alta rotacin de sus directivos pblicos y las metodologas para desarrollar los planes de gestin en general estn ms orientados a una planificacin operativa que estratgica. En este contexto, an cuando se acostumbre a definir una misin, objetivos institucionales e
3.
4.
5.
98
N 45
indicadores, stos no llevan asociada un proceso de revisin de estas definiciones estratgicas (cules son los productos relevantes, qu resultados esperan los usuarios, cules son las estrategias que permitirn alcanzar los resultados con la mayor eficiencia, economa y calidad posible). Asimismo existe una debilidad importante en el desarrollo de sistemas de control de gestin y de informacin, que permitan establecer centros de responsabilidad, con centros de costos. Todo este panorama genera una limitacin importante que obliga a disear indicadores de desempeo de acuerdo a la informacin disponible, lo que no necesariamente se refiere a los factores crticos para la consecucin de los objetivos estratgicos, vinculados a la misin institucional. 6. La seleccin y construccin de indicadores de evaluacin del desempeo avanza sustantivamente cuando los organismos pblicos son capaces de formular ejercicios de planificacin estratgica que priorizan los recursos y la atencin del mejoramiento de la gestin sobre aquellos productos que son claves para el cumplimiento de la misin institucional. De igual modo, en la etapa de monitoreo y seguimiento, la metodologa de cuadro de mando integral o balanced scorecard permite interrelacionar en forma sinrgica los indicadores de desempeo para medir en conjunto los logros de los objetivos estratgicos desde el punto de vista de los usuarios, de la institucin, del programa de gobierno, los procesos internos, la innovacin y el aprendizaje. Los esfuerzos de implementacin de sistemas de evaluacin del desempeo son costosos y consumen tiempo y energa. Adems, la dinmica inercial de la asignacin presupuestaria no siempre ofrece incentivos para seguir profundizando el sistema. En numerosos pases la orientacin a los resultados ha servido para modificar tangencialmente prioridades programticas y modificar algunos procedimientos de trabajo, pero slo ocasionalmente sus resultados se incorporan en las decisiones presupuestarias. Los pases anglosajones que llevan ms de una dcada en la implementacin de programas de gestin orientados a los resultados tienen una perspectiva ms crtica que los primeros informes que documentaron las iniciativas de Nueva Zelanda, Australia e Inglaterra. En la actualidad, entre otras limitaciones, estos pases reconocen que la transicin a la gestin por resultados es tanto un problema de medicin como un problema de cambio en la mentalidad a todos los niveles gerenciales. Estos gobiernos han reconocido que el enfoque de sus reformas pblicas ha tenido un foco excesivo hacia la eficiencia y no tanto en la efectividad, con ausencia de vnculos claros hacia las polticas. Los pases de Amrica Latina que estn iniciando la implementacin de iniciativas de gerencia pblica, que contemplan el uso de los indicadores de evaluacin del desempeo como una herramienta de medicin de resultados y de mejoramiento de la gestin, deben considerar la visin crtica sobre las fortalezas y debilidades del proceso por parte de los pases de Amrica Latina y de la OCDE que llevan un camino recorrido con aciertos y errores.
7.
8.
9.
Finalmente, es necesario sealar que los procesos de modernizacin del Estado y de cambio de cultura organizacional son de largo aliento. En los pases en que estas reformas han tenido xito, la asociacin de la gestin orientada por resultados a avances sustantivos en tcnicas de presupuestacin plurianual ha fomentado la adopcin de un enfoque de largo plazo en todas las esferas de gobierno. El principal objetivo de una gestin por resultados es entonces apoyar el proceso de formulacin de planes y programas en una visin plurianual, centrando los esfuerzos hacia una adecuada asignacin de los recursos pblicos, fijando criterios tanto en el mbito del gasto corriente como en los sistemas de inversin pblica. La evaluacin de los programas de gasto de capital que ejecuta o que contrata el sector pblico cobra una importancia estratgica, dado su impacto sobre el crecimiento econmico de largo plazo y el desarrollo territorial. 99
N 45
Bibliografa
Anthony, Robert (1998), El Control de Gestin Marco, Entorno Proceso. Harvard Business School. Ed. Deusto, Barcelona. Armijo, Marianela (2003), La evaluacin de la Gestin Pblica en Chile. Evaluacin de resultados para una gestin pblica moderna y democrtica. Experiencias latinoamericanas. Nurial Cunill y Sonia Ospina (editoras). CLAD, AECI, MAP, FIIAPP. Centro Latinoamericano de Administracin para el Desarrollo, Caracas. Asociacin Espaola de Contabilidad y Administracin de Empresas AECA (2000), Indicadores de Gestin para las Entidades Pblicas. Documento N16, Madrid. Audit Commission (2000), Management Paper: On Target the Practice of Performance Indicators. London. Disponible en www.auditcommission.gov.uk Ax y Bjrnenak (2005) Ayuntamiento de Granada, (2005): Estatutos del Patronato Municipal de Deportes del Excmo. Ayuntamiento de Granada, Boletn Oficial de la Provincia N 37 de fecha 23/2/2005, Granada. Banco Mundial (2005), Estudio de Evaluacin de Impacto del Programa de Evaluacin de Programas de Chile, Washington D.C., http://www.smgp.cl/5.pdf Ballart, Xavier (1992), Cmo evaluar programas y servicios pblicos?: Aproximacin sistemtica y estudio de caso. Ministerio para las Administraciones Pblicas. Madrid. Bonnefoy, Juan Cristbal (2005), La transicin de un presupuesto por resultados a una gestin por desempeo en Amrica Latina, documento presentado en el Seminario Internacional Polticas Pblicas y Descentralizacin: Presupuesto Orientado a Resultados, organizado por la Secretara de Hacienda de la Alcalda Mayor de Bogot, Colombia, Abril.
101
______(2003): Los Indicadores de Evaluacin del desempeo: Una herramienta para la gestin por resultados en Amrica Latina, ILPES, Boletn N 13, Santiago de Chile, http://www.eclac.cl/publicaciones/Ilpes/7/LCIPL237/boletin13.pdf ______(2002): Evaluacin de programas, medicin de resultados y convenios de desempeo, documento presentado en la XI Conferencia de Ministros y Jefes de Planificacin de Amrica Latina y el Caribe, ILPES, Madrid. Cunill, Nuria, Ospina, Sonia (Eds) (2003), Evaluacin de resultados para una gestin pblica moderna y democrtica: Experiencias Latinoamericanas. CLAD, Caracas. Direccin de Presupuestos de Chile, (2004): Informe de Finanzas Pblicas: Proyecto de Ley de Presupuestos del Sector Pblico para el ao 2005. ______(2003): Programa de Mejoramiento de la Gestin Ao 2004, Documento Tcnico. ______(2003): Sistema de Control de Gestin y Presupuestos por Resultados: la Experiencia Chilena, en Gestin Pblica por Resultados y Programacin Plurianual, Serie Seminarios y Conferencias N29, ILPES -CEPALSantiago de Chile. http://www.eclac.cl/publicaciones/Ilpes/9/LCL1949P/SYC_29.pdf ______(2003) Gua Metodolgica. Sistema Planificacin y Control de Gestin. ______(1997): Planificacin Estratgica para los Servicios Pblicos, Serie Gua Metodolgica. ______(1996): Indicadores de Gestin en los Servicios Pblicos, Serie Gua Metodolgica. ______(1995): Gua para la Construccin de Indicadores de Desempeo en los Servicios Pblicos. Evans, Ernesto (2004a): El cuadro de mando integral y su implementacin en el Instituto de Normalizacin Previsional de Chile, ponencia presentada en el IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Madrid, Octubre. ______(2004b): Balance Scorecard, una herramienta Innovadora para la gestin de Servicios Pblicos, ponencia presentada en el 2nd EU-LAT Workshop on e-Government and e-Democracy, Santiago de Chile, Mayo. Figueroa, Ramn (2002), Sistemas Integrados de Administracin Financiera (SIAF): Avances y Requerimientos para Mejorar la Productividad del Gasto Pblico, ponencia presentada en el XIV Seminario Regional de Poltica Fiscal de la CEPAL, CEPAL, Santiago de Chile. Government Accountability Office (2004): ResultsOriented Government: GPRA Has Established a Solid Foundation for Achieving Greater Results. GAO 04-38. March. Disponible en http://www.gao.gov/new.items/d0438.pdf Guinart y Sol (2003), Indicadores de Gestin para las entidades pblicas. VIII Congreso del CLAD. Panam. Guzmn, Marcela (2003): Sistema de Control de Gestin y Presupuestos por Resultados: la Experiencia Chilena, en Gestin Pblica por Resultados y Programacin Plurianual, Serie Seminarios y Conferencias, ILPES-CEPAL, Santiago de Chile. Haggard, Stephan (1995): Reform of the State in Latin America, en The challenges of reform: proceedings of an annual World Bank conference, Burki, Edwards, y Aiyer (eds.), Washington, DC: World Bank. Hernndez, Misael (2002): Evaluacin del desempeo de las organizaciones pblicas a travs de la calidad, ponencia presentada en el VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Lisboa. Hernndez-Licona, Gonzalo (2003): Sistema de Evaluacin y Monitoreo de la Secretara de Desarrollo Social de Mxico, presentacin en Seminario Avaliao de Polticas Sociais: As Experincias do Brasil e do Mxico, Instituto de Pesquisa Econmica Aplicada (IPEA), Brasilia, http://www.ipea.gov.br/SeminarioMexico/evalghl3brasil.ppt Hintze, Jorge (1999). Control y Evaluacin de Gestin y Resultados. Documentos TOP sobre Gestin Pblica. Buenos Aires. www.top.org.ar Instituto de Normalizacin Previsional (2005): Balance De Gestin Integral 2005, Santiago de Chile, Kaplan, Robert y Norton, David (1997): El cuadro de mando integral (Balanced Scorecard), Ediciones Gestin 2000, Barcelona ______(1996): The Balanced Scorecard-Translating Strategy into Action, Harvard Business School Press. ______(1992): The Balanced Scorecard--Measures That Drive Performance, Harvard Business Review, Jan-Feb. Kristensen, Jens; Groszyk, Walter y Bhler, Bernd (2002), Outcome-focused Management and Budgeting, OECD Journal on Budgeting, Vol 1, N4, Paris.
102
N 45
Liner, Blaine; Dusenbury, Pat y Vinson, Elisa (2000): State Approaches to Governing-for-Results and Accountability, The Urban Institute, Washington D.C., http://www.urban.org/url.cfm?ID=410067 Longo, Francisco (2004): Diagnstico Institucional Comparado de Sistemas de Servicio Civil: Sntesis de 17 evaluaciones/pas, Red de Gestin y Transparencia de la Poltica Pblica del BID. Marcel Mario (2001). Aspectos macroeconmicos del proyecto de Ley de Presupuesto del sector pblico del Ao 2002, Santiago, Ministerio de Hacienda. Santiago. ______(1998): Indicadores de Desempeo como instrumento de modernizacin en el Estado de Chile, Perspectivas en Poltica, Economa y Gestin, N 1, Vol. 2, Mayo, Departamento de Ingeniera Industrial de la Universidad de Chile, Santiago de Chile. Meneses-Gonzlez, Fernando et al. (2005): Evaluacin del cumplimiento de las metas, los costos unitarios y el apego del Programa a las Reglas de Operacin, 2004. Evaluacin externa de impacto del Programa Oportunidades 2004., Instituto Nacional de Salud Pblica, Cuernavaca, Mxico. http://www.oportunidades.gob.mx/e_oportunidades/evaluacion_impacto/2004/Reglas_operacion.pdf Ministerio de Planificacin Nacional y Poltica Econmica, Ministerio de Hacienda, Contralora general de la Repblica. Costa Rica. Comisin Tcnica Interinstitucional (2004) Lineamientos Tcnicos y Metodolgicos para la Elaboracin de la Estructura Bsica del Plan Anual Operativo 2005 para los Ministerios , dems rganos y Entidades Pblicas. San Jos. www.mideplan.gob.cr Ministerio de Planificacin. Costa Rica. Documento de Presentacin Evaluacin Plan Nacional de Desarrollo 2002-2006. http://www.mideplan.go.cr/Capacidades-I-a-2003.doc Ministerio de Economa y Finanzas del Per (2000): Medicin y Evaluacin del Desempeo en la Administracin Pblica, Documento de Trabajo del MEF, Lima. Muiz, L (2003), Cmo implantar un Sistema de Control de Gestin en la prctica?. Gestin 200.com, Barcelona National Center for Public Productivity (1997), A Brief Guide for Performance Measurement in Local Government, Rutgers University Press, New Jersey. OCDE/PUMA (1998), Best Practices Guidelines for Evaluation. Policy Brief N5. Pars. ______(1997), Benchmarking, evaluation, and strategic management in the public sector. Best Practices Institute. OCDE/World Bank (2003), Survey on Budget Practices and Procedures. http://ocde.dyndns.org Oficina de Planeamiento y Presupuesto. Comit Ejecutivo para la Reforma del Estado. Sistema de Evaluacin para la Gestin. SEV, (2004), www.cepre.opp.gub.uy ______(1999). Gua para la Construccin de Indicadores de Gestin. Pars. Olve, N., Roy, J., Wetter, M. (2000): Implantando y gestionando. El cuadro de mando integral (performance drivers). Ediciones Gestin 2000 S. A., Barcelona. ______(1999), Implantando y Gestionando el Cuadro de Mando Integral. Gestin 2000.com, Barcelona. ______(1997): Balanced Scorecard i svensk praktik. Liber, Malm. Oregon Progress Board (2004), Developing Consistent Administrative Performance Measures for State Government. Department of Administrative Services. www.econ.state.or.us/opb Organizacin de Cooperacin y Desarrollo Econmico (OCDE) (1997), Promoting the use of Program Evaluation Accountability in Public Organizations. Meeting of the Performance Management Network. Paris. November ______(1996), La Gestion des Performances dans LAdministration. Exemples DActualit. tudes Hors Srie Sur la Gestion Publique N9. Pars. Or i Vendrell, Marc (2002): Los instrumentos de gestin de la informacin como motor de cambio hacia una nueva administracin pblica, ponencia presentada en el VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Lisboa, Portugal. Poister y Streib, 2005 Procurement Executives Association (2005): Guide to a Balanced Scorecard: Moving from Performance Measurement to Performance Management, Washington D.C. http://professionals.pr.doe.gov/ma5/MA5Web.nsf/Business/Balanced+Scorecard?OpenDocument Rodrguez, Manuel; Lpez, Antonio y Zafra, Jos Luis (2004): Applying the Balanced Scorecard Concept: a Proposal to Sport Services in Local Governments, documento presentado en las III Jornadas academicoprofesionales sobre el Balanced Scorecard, Universidad de Zaragoza, 2004. Rutgers University (1997) A brief guide for performance measurement in local government. National Center for Public Productivity.
103
Schacter, Mark (2002) Not a Tool Kit. Practitioner`s Guide to Measuring the Performance of Public Programs. Institute On Governance. Ottawa. Canad. http://www.iog.ca/publications/guide.pdf Schick, Allen (2001), Getting Performance Measures to Measure Up, en Quicker, Better, Cheaper?: Managing Performance in American Government, Dall W. Forsythe (Editor), State University of New York Press, 2001. Shack, Nelson (2003), Indicadores de Desempeo en los Organismos Pblicos del Per, en Gestin Pblica por Resultados y Programacin Plurianual, Serie Seminarios y Conferencias N29, ILPES-CEPAL. Santiago de Chile, http://www.eclac.cl/publicaciones/Ilpes/9/LCL1949P/SYC_29.pdf Subirachs, Miquel (2004): El proceso de diseo de los cuadros de mando en el marco de la integracin de los sistemas de informacin corporativos en el Departamento de Trabajo e Industria de la Generalitat de Catalunya, ponencia presentada en el IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Madrid. Turull, Jordi y Vivas, Carlos (2003): El cuadro de mando integral en la administracin pblica: el caso del Ayuntamiento de Sant Cugat del Valls, ponencia presentada en el VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, Panam. Weiss, Carol (1998), Evaluation: Methods for Studying Programs and Policies, (2nd Edition), Prentice Hall, New Jersey. Wholey, Joseph y Newcomer, Kathryn (1989), Improving Government Performance, Jossey Bass Public Administration Series, San Francisco, California. Wye Chris. (2002), Performance Management: A Start Where You Are, use What You Have Guide. Managing for Result Series. IBM Endowment for the Business of Government. Arlington, Virginia.
104
N 45
Serie manuales
Nmeros publicados
1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. Amrica Latina: Aspectos conceptuales de los censos del 2000 (LC/L.1204-P), N GH YHQWD 6,,* 86 10.00), 1999. www Manual de identificacin, formulacin y evaluacin de proyectos de desarrollo rural (LC/L.1267-P; LC/IP/L.163), N GH YHQWD 6,,* 86 10.00), 1999. www Control de gestin y evaluacin de resultados en la gerencia pblica (LC/L.1242-P; LC/IP/L.164), N de venta: S.99.II.G.25 (US$ 10.00), 1999. www Metodologa de evaluacin de proyectos de viviendas sociales (LC/L.1266-P; LC/IP/L.166), N GH YHQWD S.99.II.G.42 (US$ 10.00), 1999. www Poltica fiscal y entorno macroeconmico (LC/L.1269-P; LC/IP/L.168), en prensa. N GH YHQWD 6,,* (US$ 10.00), 2000. www Manual para la preparacin del cuestionario sobre medidas que afectan al comercio de servicios en el hemisferio (LC/L.1296-P), N GH YHQWD 6,,.G.57 (US$ 10.00), 1999. www Material docente sobre gestin y control de proyectos (LC/L.1321-P; LC/IP/L.174), N GH YHQWD 6,,* (US$ 10.00), 2000. www Curso a distancia sobre formulacin de proyectos de informacin (LC/L.1310-P), N GH YHQWD 6.II.G.44 (US$ 10.00), 2000. www Manual de cuentas trimestrales, Oficina de Estadsticas de la Unin Europea (EUROSESTAT) (LC/L.1379-P, N GH venta: S.99.II.G.52 (US$ 10.00), 2000. www Procedimientos de gestin para el desarrollo sustentable (LC/L.1413-P), N GH YHQWD 6,,* 86 10.00), 2000. www Manual de cuentas nacionales bajo condiciones de alta inflacin (LC/L.1489-P), N GH YHQWD 6,,* (US$ 10.00), 2001. www Marco conceptual y operativo del banco de proyectos exitosos (LC/L.1461-P; LC/IP/L.184), N GH YHQWD S.00.II.G.142 (US$ 10.00), 2000. www Glosario de ttulos y trminos utilizados en documentos recientes de la CEPAL (LC/L.1508-P), N GH YHQWD S.01.II.G.43 (US$ 10.00), 2001. www El papel de la legislacin y la regulacin en las polticas de uso eficiente de la energa en la Unin Europea y sus Estados Miembros, Wolfgang F. Lutz (LC/L.1531-P), N GH YHQWD 6,,* 86 10.00), 2001. www El uso de indicadores socioeconmicos en la formulacin y evaluacin de proyectos sociales, en prensa (US$ 10.00), 1999. www Indicadores de sostenibilidad ambiental y de desarrollo sostenible: estado del arte y perspectivas (LC/L.1607-), N GH venta: S.01.II.G.149 (US$ 10.00), 2001. www Retirado de circulacin. Desafos y propuestas para la implementacin ms efectiva de instrumentos econmicos en la gestin ambiental de Amrica Latina y el Caribe (LC/L.1690-P), N GH YHQWD 6,,* 86 10.00), 2002. www International trade and transport profiles of Latin American Countries, year 2000 (LC/L.1711-P), Sales N E.02.II.G.19, (US$ 10.00), 2002. www Diseo de un sistema de medicin de desempeo para evaluar la gestin municipal: una propuesta metodolgica, Ricardo Arriagada (LC/L.1753-P; LC/IP/L.206), N GH YHQWD 6,,* 86 10.00), 2002. www Manual de licitaciones pblicas, Isabel Correa (LC/L.1818-P; LC/IP/L.212) N GH YHQWD 6,,* (US$ 10.00), 2002. www Introduccin a la gestin del conocimiento y su aplicacin al sector pblico, Marta Beatriz Peluffo y Edith Cataln (LC/L.1829-P; LC/IP/L.215), N GH YHQWD 6,,* 86 10.00), 2002. www La modernizacin de los sistemas nacionales de inversin pblica: Anlisis crtico y perspectivas (LC/L.1830-P; LC/IP/L.216), N GH YHQWD 6,,* 86 10.00), 2002. www Bases conceptuales para el ciclo de cursos sobre gerencia de proyectos y programas (LC/L.1883-P; LC/IP/L.224), N de venta: S.03.II.G.48, (US$ 10.00), 2003. www
105
25. Gua conceptual y metodolgica para el desarrollo y la planificacin del sector turismo, Silke Shulte (LC/L.1884-P; LC/IP/L.225), N GH YHQWD 6,,* 86 10.00), 2003. www 26. Sistema de informacin bibliogrfica de la CEPAL: manual de referencia, Carmen Vera (LC/L.1963-P), N GH YHQWD S.03.II.G.122, (US$ 10.00), 2003. www 27. Gua de gestin urbana (LC/L.1957-P), N GH YHQWD 6,,* 86 10.00), 2003. www 28. The gender dimension of economic globalization: an annotated bibliography, Mara Thorin (LC/L.1972-P), N GH venta: E.03.II.G.131, (US$ 10.00), 2003. www 29. Principales aportes de la CEPAL al desarrollo social 1948-1998, levantamiento bibliogrfico: perodo 1948-1992, Rolando Franco y Jos Besa (LC/L.1998-P), N GH YHQWD 6,,* 86 10.00), 2003. www 30. Tcnicas de anlisis regional, Luis Lira y Bolvar Quiroga (LC/L.1999-P; LC/IP/L.235), N GH YHQWa: S.03.II.G.156, (US$ 10.00), 2003. www 31. A methodological approach to gender analysis in natural disaster assessment: a guide for the Caribbean, Fredericka Deare (LC/L.2123-P), N GH YHQWD (,,* 86 10.00), 2004. www 32. Socio-economic impacts of natural disasters: a gender analysis, Sarah Bradshaw (LC/L.2128-P), N GH YHQWD E.04.II.G.56, (US$ 10.00), 2004. www 33. Anlisis de gnero en la evaluacin de los efectos socioeconmicos de los desastres naturales, Sarah Bradshaw y ngeles Arenas (LC/L.2129-P), N GH YHQWD 6,,* 86 10.00), 2004. www 34. Los sistemas nacionales de inversin pblica en Centroamrica: marco terico y anlisis comparativo multivariado, Edgar Ortegn y Juan Francisco Pacheco (LC/L.2160-P); (LC/IP/L.246), N de venta: S.04.II.G.88 (US$10.00), 2004. www 35. Polticas de precios de combustibles en Amrica del Sur y Mxico: implicancias econmicas y ambientales, Hugo Altomonte y Jorge Rogat (LC/L.2171-P), N de venta: S.04.II.G.100 (US$ 15.00), 2004. www 36. Lineamientos de accin para el diseo de programas de superacin de la pobreza desde el enfoque del capital social. Gua conceptual y metodolgica, Irma Arriagada, Francisca Miranda y Thas Pvez (LC/L. 2179-P), N de venta: S.04.II.G.106, 2004. www 37. Evaluacin social de inversiones pblicas: enfoques alternativos y su aplicabilidad para Latinoamrica, Eduardo Contreras (LC/L.2210-P), N de venta: S.04.II.G.133 (US$ 10.00), 2004. www 38. Pobreza y precariedad del hbitat en ciudades de Amrica Latina y el Caribe, Joan Mac Donald y Marinella Mazzei (LC/L. 2214-P), N de venta: S.04.II.G.136 (US$ 15.00), 2004. www 39. Metodologa general de identificacin, preparacin y evaluacin de proyectos de inversin pblica, Edgar Ortegn Juan Francisco Pacheco Horacio Roura (LC/L.2326-P), N de venta: S.05.II.G.69, 2005. www 40. Los sistemas nacionales de inversion pblica en Argentina, Brasil, Mxico, Venezuela, y Espaa como caso de referencia (cuadros comparativos), Edgar Ortegn; Juan Francisco Pacheco (LC/L.2277-P), N de venta: S.05.II.G.53, 2005. www 41. Manual para la evaluacin de impacto de proyectos y programas de lucha contra la pobreza, Hugo Navarro (LC/L.2288-P), N de venta: S.05.II.G.41, 2005. www 42. Metodologa del marco lgico para la planificacin, el seguimiento y la evaluacin de proyectos y programas, Edgar Ortegn Juan Francisco Pacheco Adriana Prieto (LC/L.2288-P), N de venta: S.05.II.G.89, 2005. www 43. Estadsticas del medio ambiente en Amrica Latina y el Caribe: avances y perspectivas, Rayn Quiroga Martnez (LC/L. 2348-P), N GH YHQWD 6,,*110, 2005. www 44. El sistema de inversiones pblicas en la provincia de San Juan, Repblica de Argentina, Edgar Ortegn, Juan Francisco Pacheco y Ana Carolina Cmpora Rudolff (LC/L.2387-P; LC/IP/L.261). N de venta: S.05.II.G.130, 2005. www 45. Indicadores de desempeo en el sector pblico, Juan Cristbal Bonnefoy, Marianela Armijo (LC/L.2416-P; LC/IP/L.263), No de venta: S.05.II.G.163, 2005. www
El lector interesado en adquirir nmeros anteriores de esta serie puede solicitarlos dirigiendo su correspondencia a la Unidad de Distribucin, CEPAL, Casilla 179-D, Santiago, Chile, Fax (562) 210 2069, correo electrnico: publications@eclac.cl. Disponible tambin en Internet: http://www.cepal.org/ o http://www.eclac.org Nombre:..................................................................................................................................................... Actividad:.................................................................................................................................................. Direccin:.................................................................................................................................................. Cdigo postal, ciudad, pas: ...................................................................................................................... Tel.: ................................. Fax:........................................... E.mail: ..........................................................
ZZZ
106

Indicadores Dedesempeño en El Sector Público

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Indicadores Dedesempeño en El Sector Público

Uploaded by

Copyright:

Available Formats

5

ndicadores de desempeo en el sector pblico

Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social - ILPES

Santiago de Chile, noviembre del 2005

CEPAL - SERIE Manuales

Indicadores de desempeo en el sector pblico

CEPAL - SERIE Manuales

CEPAL - SERIE Manuales

Indicadores de desempeo en el sector pblico

CEPAL - SERIE Manuales

Indicadores de desempeo en el sector pblico

CEPAL - SERIE Manuales

CEPAL - SERIE Manuales

Aspectos conceptuales de la evaluacin del desempeo institucional

1.1 Especificidad de la evaluacin en el mbito pblico

Indicadores de desempeo en el sector pblico

CEPAL - SERIE Manuales

MBITO DE LOS INSTRUMENTOS DE EVALUACIN EN CHILE

Niveles de toma de decisiones/ instrumentos

MESO (Servicios pblicos) mbito: gestin

MICRO (Funcionarios) mbito: desempeo individual y grupal

Fuente: Evaluacin de la Gestin Pblica en Chile. CLAD, 2002.

Indicadores de desempeo en el sector pblico

Por qu evaluar la gestin

CEPAL - SERIE Manuales

Foco de evaluacin del desempeo en las organizaciones pblicas

LA MEDICIN DEL DESEMPEO ES PARTE DE UN LARGO PROCESO DE PLANIFICACIN

Misin y Objetivos Quines somos o qu hacemos

Cmo sabemos que hemos llegado

Cmo podemos llegar

Fuente: Adaptado de Oregon Progress Board (2004).

Indicadores de desempeo en el sector pblico

1.2 Institucionalidad, actores y usuarios de los sistemas de indicadores de desempeo

CEPAL - SERIE Manuales

INSTITUCIONALIZACIN DE LA FUNCIN DE EVALUACIN DE RESULTADOS

SISTEMATIZACIN DE LAS ACTIVIDADES DE EVALUACIN

Indicadores de desempeo en el sector pblico

FOMENTANDO UNA CULTURA DE EVALUACIN

CEPAL - SERIE Manuales

II. Indicadores de desempeo: definiciones, tipologa y metodologas para su construccin

2.1 Concepto de indicador de desempeo

Wholey y Newcomer (1989), traduccin propia.

Indicadores de desempeo en el sector pblico

CEPAL - SERIE Manuales

Indicadores de desempeo en el sector pblico

LA MEDICIN DE RESULTADOS Y LOS PROBLEMAS DE NOMENCLATURA

Resultados Efectividad Productos Costo-Efectividad Procesos Eficiencia

Insumos Economa Costos

Fuente: Kristensen, Groszyk y Bhler (2002), traduccin propia.

CEPAL - SERIE Manuales

FUNDAMENTOS PARA LA CONSTRUCCIN DE INDICADORES DE GESTIN EN CHILE

2.2 Tipologas de indicadores

Indicadores de desempeo en el sector pblico

CEPAL - SERIE Manuales

Indicadores segn mbito de medicin

MEDIDAS POR MBITO DE DESEMPEO Y PREGUNTAS QUE SE ABORDAN

Cuntas unidades de productos y servicios estamos generando?

Con qu rapidez lo estamos haciendo? Cunto nos cuesta?

Cuntos recursos invertimos, cunto personal trabaj en el proceso?

Fuente: Elaboracin propia.

Indicadores de desempeo en el sector pblico

EL COSTO DE LAS EVALUACIONES DE PROGRAMAS: CHILE Y MXICO

CEPAL - SERIE Manuales