DIRECTRICES DE APLICACIN DE LAS NORMAS DE AUDITORA DEL RENDIMIENTO

Normas y directrices para la auditora del rendimiento basadas en las Normas de Auditora y la experiencia prctica de la INTOSAI

Prefacio
En el Congreso Internacional de Entidades Fiscalizadoras Superiores (INCOSAI) de Montevideo (1998) se acord apoyar el desarrollo de directrices para la aplicacin de las Normas de Auditora de la Organizacin Internacional de Entidades Fiscalizadoras Superiores (INTOSAI). El Comit de Normas de Auditora (CNA) de la INTOSAI llevar a cabo ese desarrollo con la colaboracin de otros comits permanentes y grupos de trabajo. Las Normas de Auditora se centran principalmente en la auditora nanciera, pero tambin abarcan la auditora del rendimiento. Como han sealado muchas Entidades Fiscalizadoras Superiores, en la auditora del rendimiento se necesitan directrices especiales, ya que diere de la auditora nanciera. Por consiguiente, se ha considerado oportuna la creacin de directrices especcas para la auditora del rendimiento. En la reunin del Comit celebrada en Londres (2000) se llev a cabo un primer debate al respecto, y despus de la reunin de Lisboa (2002) se envi material de trabajo a los miembros del Comit para que stos lo comentasen. El trabajo en curso fue apoyado per el Comit Directivo y el INTOSAI de Sel (2001). En la reunin del Comit que tuvo lugar en Estocolmo (2002) se decidi enviar un anteproyecto a todos los miembros de la INTOSAI para que stos lo comentasen. Se elabor un proyecto nal que, a continuacin, fue aprobado por el Comit en su reunin de Bratislava (2003). A lo largo de todo el proceso el Comit Directivo ha estado informado del avance del trabajo y ha aprobado los necesarios planes de trabajo. Estas Directrices de Aplicacin de la Auditora del Rendimiento son el resultado de los esfuerzos conjuntos de los miembros del Comit de Normas de Auditora de la INTOSAI, integrado por las Entidades Fiscalizadoras Superiores de:
Antigua y Barbuda Arabia Saudita Reino Unido Argentina Australia Austria Azerbaiyn Brasil Camern Canad Costa Rica Dinamarca Egipto Eslovaquia Estados Unidos Filipinas India Japn Lituania Namibia Noruega Portugal Reino Unido Samoa Suecia Presidente Tonga Tnez Ucrania Uruguay

Deseara agradecer especialmente a las EFS del Reino Unido (ingls), Canad (francs), Austria (alemn), Arabia Saudita (rabe) y Estados Unidos (espaol) su apoyo en la correccin de pruebas de las versiones en las distintas lenguas. Tengo la satisfaccin de hacerles llegar este documento. Constituye un paso importante dentro del proceso de perfeccionar la auditora del rendimiento entre los auditores de la Administracin pblica. Deber considerrsele como un documento vivo, que tiene que actualizarse a medida que se avanza en su aplicacin. No es un documento normativo o tcnico, ni tampoco un manual, pero contiene numerosas directrices y otras informaciones con implicaciones prcticas que toman en consideracin las premisas y caractersticas especiales de la auditora del rendimiento. Si bien estas directrices reejan las mejores prcticas actuales, no sern de plena aplicacin en todos los miembros de la INTOSAI, debido a los diferentes mandatos y tradiciones. Le corresponde a cada miembro determinar cul es la mejor manera de aplicar y utilizar estas directrices. El propsito de este documento es: Describir las caractersticas y los principios de la auditora del rendimiento. Ayudar a los auditores del rendimiento de las EFS en la direccin y la realizacin de las auditoras del rendimiento de un modo eciente y ecaz. Servir de base para las buenas prcticas de auditoras del rendimiento. Establecer un marco para el ulterior desarrollo de la metodologa y el desarrollo profesional de la auditora del rendimiento. En representacin del Comit de Normas de Auditora, quisiera agradecer a todos los Comits y miembros de la INTOSAI su dedicacin y cooperacin en la realizacin de este proyecto. Tambin agradezco a mis colegas del Comit su oportuno apoyo y sus contribuciones positivas a esta actividad. Estocolmo, julio de 2004 Kjell Larsson Auditor General, Ocina Nacional de Auditora de Suecia Presidente del Comit de Normas de Auditora de la INTOSAI

ndice
Introduccin Parte 1: Qu es la auditora del rendimiento? 7 11

1.1 Qu es la auditora del rendimiento segn la INTOSAI? 1.2 Cul es el rasgo caracterstico de la auditora del rendimiento? 1.3 Qu nociones constituyen la base de la auditora del rendimiento? 1.4 Cules son las cuestiones bsicas de la auditora del rendimiento? 1.5 Qu signica la scalizacin de la economa, la eciencia y la ecacia? 1.6 Cmo afecta la gestin pblica a la auditora del rendimiento? 1.7 Cmo se relaciona la auditora del rendimiento con la medicin del rendimiento y la evaluacin de programas? 1.8 Existen diferencias en las ambiciones y los enfoques analticos? 1.9 Resumen
Parte 2: Principios de la auditora gubernamental aplicables a la auditora del rendimiento

11 12 12 14 15 21 23 27 32
35

2.1 Cmo se aplican los principios de la auditora a la auditora del rendimiento? 2.2 Cules son los requisitos generales de un auditor del rendimiento? 2.3 Existen otras medidas de proteccin importantes? 2.4 Resumen
Parte 3: Normas y orientaciones prcticas: inicio y planificacin de la auditora del rendimiento

35 41 45 47
49

3.1 Cules son los pasos generales del ciclo de auditora del rendimiento? 3.2 Qu implica la planicacin estratgica?

49 50

3.3 Qu implica la planicacin de cada auditora del rendimiento? 3.4 Resumen

Parte 4: Normas y orientaciones prcticas: realizacin de la auditora del rendimiento

54 65
67

4.1 Qu caracteriza el proceso del estudio principal? 4.2 Qu tiene que tomarse en consideracin en el proceso de recogida de datos? 4.3 Qu caracteriza la prueba de auditora y los resultados de la auditora? 4.4 Cmo debe afrontarse un entorno cambiante y conictivo? 4.5 Qu es lo importante cuando se analizan los datos y se extraen conclusiones? 4.6 Resumen
Parte 5: Normas de informacin y orientacin: presentacin de los resultados de la auditora del rendimiento

67 68 71 73 75 77
79

5.1 Qu implica la necesidad de centrarse en el informe nal? 5.2 Qu se requiere para que el informe sea able? 5.3 Cules son las caractersticas de un informe correcto y til de auditora del rendimiento? 5.4 Cmo debe distribuirse un informe de auditora del rendimiento? 5.5 Para qu sirven los procesos de seguimiento? 5.6 Resumen
REFERENCIAS Y BIBLIOGRAFA

79 80 82 85 86 87
89

Apndices

1 2 3 4 5 6

Metodologa de la auditora del rendimiento Criterios de la auditora del rendimiento Prueba y documentacin Comunicacin y aseguramiento de calidad Auditora del rendimiento y tecnologa de la informacin Auditoras del rendimiento de las actividades con una perspectiva medioambiental 7 Hacia un enfoque orientado a sistemas en la auditora del rendimiento: un marco terico

97 119 123 133 139 147 159

Introduccin
Los auditores del rendimiento pueden enfrentarse en su trabajo a una diversidad y ambigedad considerables. Necesitan competencias en el anlisis de las actividades y las prcticas de gestin. Pueden encontrarse con la necesidad de familiarizarse con una amplia gama de contextos organizativos y disciplinas. Necesitan la capacidad de redactar informes sobre temas complejos de un modo lgico y cuidadosamente fundamentado. Estas directrices pueden brindar cierta ayuda en estos campos, pero gran parte de ello depende de que los propios auditores del rendimiento desarrollen por otros medios su competencia en dichas reas. Las directrices tienen en cuenta las pertinentes Normas de Auditora de la INTOSAI y se basan en los principios generalmente aceptados de la auditora del rendimiento, extrados de la experiencia de los miembros de la INTOSAI1. Para elaborar directrices de aplicacin basadas en la experiencia se ha llevado a cabo un estudio sobre las normas y directrices de diversas EFS con una larga experiencia en auditora del rendimiento. Esta experiencia de realizar auditoras del rendimiento y de aplicacin de las Normas de Auditora ha aadido una valiosa informacin, como mnimo con respecto a la interpretacin prctica de las Normas de Auditora. No es posible elaborar directrices aplicables a todas las clases de auditora del rendimiento, porque las comparaciones entre las prcticas de auditora del rendimiento realizadas en diferentes pases muestran notables variaciones en el mandato, el alcance, la organizacin y los mtodos utilizados. Las directrices de auditora del rendimiento no pueden abarcar ntegramente todos los enfoques, mtodos y tcnicas posibles, ya que en la prctica esto incluira la totalidad de las ciencias sociales. Adems, las auditoras del rendimiento hacen referencia a una
1

El Director de Auditora Tony Angleryd (Suecia) ha elaborado las directrices, pero muchos miembros de la INTOSAI han ayudado en el proceso. Se han estudiado las Normas de Auditora del Rendimiento de los miembros y de los grupos de trabajo regionales. Deben mencionarse explcitamente las Directrices de Auditora del Rendimiento, aprobadas en la VIII Asamblea de la ASOSAI, en octubre de 2000.

multitud de temas y perspectivas que cubren el sector gubernamental en su integridad, y no sera posible desarrollar normas y procedimientos detallados que funcionen igualmente bien en todas esas situaciones. En la auditora del rendimiento no es posible elaborar un manual tipo libro de cocina que pueda aplicarse con carcter universal para obtener buenos resultados. Algunas EFS, por consiguiente, encontrarn que las directrices de este tipo poseen un valor limitado. Por ejemplo, podran ser consideradas demasiado ambiciosas para los auditores que tengan escasa o ninguna experiencia en proyectos especcos de auditora de gestin o evaluaciones de programas. Como se arma en las Normas de Auditora, prrafo 1.0.6: Las EFS deben aplicar su propio criterio a las diversas situaciones que surjan en el curso de la scalizacin pblica. Adems, en el prrafo 1.0.13 se seala: Dado el enfoque y la estructura de algunas EFS, no todas las Normas de Auditora son aplicables a todos los aspectos de su actividad. Por ejemplo, los exmenes de carcter colegial y jurdico que efectan los Tribunales de Cuentas coneren a ciertos aspectos de su actividad un carcter fundamentalmente distinto de la auditora nanciera y operativa que efectan las EFS organizadas en un sistema jerrquico regido por un auditor o contador general. Esto signica que la propia EFS debe decir en qu forma y en qu medida tiene que emplear las directrices en sus propias prcticas de auditora y en su trabajo de desarrollo.2 Lo que se ha dicho antes no debe considerarse como un argumento contra la normalizacin ni las directrices sino que, cuando se trata de la normalizacin en la auditora del rendimiento, la cuestin consiste en saber qu hacer, y no en cmo hacerlo. Por ejemplo, al disear un estudio cabe esperar que los auditores realicen determinadas consideraciones y abarquen aspectos especcos. Cmo se lleva a cabo esa labor deber decidirse caso por caso, teniendo en cuenta que los mtodos y tcnicas tendrn que aplicarse con todo el cuidado necesario que suele considerarse como mejor prctica en ciencias sociales y auditora. El presente documento reeja la experiencia de las EFS con una larga tradicin y normas consolidadas de auditora del rendimiento.

En este documento los diversos prrafos de las Normas de Auditora (2001) se citan como NA seguido del (de los) correspondiente(s) nmero(s) de prrafo. Las citas guran en cursiva. El trmino auditora de regularidad (nanciera) se ha abreviado como auditora nanciera.

Trata primordialmente de cuestiones relacionadas con la auditora del rendimiento realizada como exmenes o investigaciones por separado. Es decir, la auditora de gestin como actividad por separado y profesional que requiere una preparacin especializada, normas por separado, una planicacin especial, informes especiales, etc.3 Por consiguiente, este documento est destinado sobre todo a aquellas EFS que estn llevando a cabo -o piensan llevar a cabo- este tipo de auditora del rendimiento.4 Estas directrices constan de cinco partes principales. La Parte 1 establece el marco general de la auditora del rendimiento. La Parte 2 dene la aplicacin de los principios de auditora a la auditora del rendimiento. La Parte 3 proporciona normas y directrices para la planicacin de auditoras del rendimiento. La Parte 4 proporciona normas y orientacin para realizar auditoras del rendimiento. La Parte 5 proporciona normas y orientacin para presentar los resultados de la auditora. Los Apndices contienen informacin adicional sobre la manera de planicar y realizar auditoras del rendimiento. Los Apndices incluyen asimismo informacin sobre auditora del rendimiento en relacin con la tecnologa de la informacin, y sobre la realizacin de auditoras del rendimiento con una perspectiva ecolgica. Adems, se expone un marco de enfoques orientados a sistemas en auditora del rendimiento.

Este documento proporciona directrices generales, y como la auditora del rendimiento vara considerablemente entre los distintos pases se ha credo conveniente que las directrices sean menos normativas y detalladas de lo habitual. 4 Por ejemplo, esto excluira en cierta medida la clase de ejercicio de control continuado que se basa en los llamados indicadores del rendimiento. Sin embargo, no se excluyen los estudios no peridicos (en profundidad) sobre temas tales como la posible ecacia y validez de los sistemas de medicin del rendimiento en los programas del sector pblico. (Vase la seccin 1.7).

10

Parte 1: Qu es la auditora del rendimiento?

1.1

Qu es la auditora del rendimiento segn la INTOSAI?

Las Normas de Auditora de la INTOSAI (NA 1.0.38 y 1.0.40) arman lo siguiente: El mbito de actuacin de la scalizacin pblica abarca las auditoras de regularidad y las operacionales o de gestin, y La auditora o scalizacin operacional o de gestin signica auditora de economa, de eciencia y de ecacia, y comprende: (a) el control de la economa de las actividades administrativas, de acuerdo con principios y prcticas administrativos razonables y con las directrices sealadas (b) el control de la eciencia en la utilizacin de los recursos humanos, nancieros y de cualquier otro tipo, junto con el examen de los sistemas de informacin, de las medidas de rendimiento y control, y de los procedimientos seguidos por las entidades scalizadas para corregir las deciencias encontradas y (c) el control de la ecacia con que se han llevado a cabo los objetivos de la entidad scalizada y de los resultados alcanzados en relacin con los pretendidos. La auditora del rendimiento se basa en decisiones tomadas por el poder legislativo o en los objetivos establecidos por ste, y puede llevarse e cabo en todo el sector pblico.
La auditora del rendimiento es un examen independiente de la eciencia y la ecacia de las actividades, los programas o los organismos de la Administracin pblica, prestando la debida atencin a la economa, y con el propsito de llevar a cabo mejoras.

11

1.2

Cul es el rasgo caracterstico de la auditora del rendimiento?

Como se arma en las Normas de Auditora, la auditora del rendimiento, en comparacin con la auditora nanciera, no est demasiado sujeta a expectativas y requisitos especcos. La auditora nanciera tiende a aplicar normas relativamente jas, mientras que la auditora del rendimiento es ms exible en su eleccin de temas y objetos, mtodos y criterios de scalizacin. La auditora del rendimiento no es una auditora de regularidad con criterios formalizados, y sus races no se encuentran en las auditoras del sector privado. Se trata de un examen independiente realizado con un carcter no reiterativo. Por su propia naturaleza, la auditora de gestin tiene un mbito amplio y est abierta a distintos criterios e interpretacin. La auditora de gestin debe disponer de una amplia seleccin de mtodos de investigacin y evaluacin, y actuar desde una base de conocimientos muy distinta a la de la auditora tradicional. No se trata de una forma de auditora basada en una lista de comprobacin. Las caractersticas especiales de la auditora del rendimiento se deben a la variedad y complejidad de las cuestiones relacionadas con su actividad. Dentro de su mandato legal, la auditora del rendimiento debe tener la libertad necesaria para examinar todas las actividades del sector pblico desde diferentes perspectivas (NA 4.0.4, 4.0.21-23 y 2.2.16). El carcter distintivo de la auditora del rendimiento no debe considerarse, por supuesto, como un argumento que socave la colaboracin entre los dos tipos de auditora.
La auditora del rendimiento no tiene sus races en la forma de auditora que es habitual en el sector privado. Tiene sus races en la necesidad de anlisis independientes y de amplio alcance acerca de la economa, la eciencia y la ecacia de los programas y organismos de la Administracin, efectuados con un criterio no recurrente.

1.3

Qu nociones constituyen la base de la auditora del rendimiento?

La rendicin de cuentas de la Administracin signica que quienes estn a cargo de un programa gubernamental o un ministerio son responsables de la ejecucin eciente y ecaz de dicho programa o ministerio. La rendicin de cuentas presupone una inspeccin p12

blica de las actividades del programa o ministerio. La auditora del rendimiento es una manera de que los contribuyentes, nanciadores, rganos legislativos, directivos, ciudadanos normales y medios de comunicacin lleven a cabo un control y obtengan una perspectiva acerca de la ejecucin y los productos de las diferentes actividades de la Administracin pblica. Es una forma de responder a preguntas como la siguiente: Obtenemos valor a cambio de dinero, o podra gastarse el dinero de un modo ms adecuado o ms inteligente? Adems, un criterio de correcta gobernanza es que todos los servicios pblicos o todos los programas de la Administracin- se sometan a auditora. La legitimidad y la conanza son valores esenciales para todas las actividades de la Administracin, y la auditora del rendimiento puede contribuir a fortalecer estos valores elaborando informacin pblica y able sobre la economa, la eciencia y la ecacia de los programas gubernamentales. Esto se ve facilitado por el hecho de que la auditora del rendimiento es independiente de los ministerios del Gobierno cuyas actividades se someten a scalizacin. De este modo se obtiene una visin independiente y able del rendimiento del programa o elementos scalizados. La auditora del rendimiento no representa a intereses creados y no tiene vnculos, nancieros o de otro tipo, con los sujetos de la auditora. Al elaborar evaluaciones independientes, la auditora del rendimiento tambin puede servir de base para las decisiones sobre futuras inversiones y actividades. La base para este instrumento proporcionar incentivos para el cambio mediante la realizacin de anlisis independientes y evaluaciones del rendimiento del sector pblico- es la importancia del aprendizaje y de la informacin able. En un mundo complejo y en rpido cambio, con recursos limitados y muchas incertidumbres, se necesita la auditora del rendimiento.
La base de la auditora del rendimiento est constituida por determinadas nociones: El punto de arranque es la importancia de evaluar la economa, la eciencia y la ecacia de todas las actividades del gobierno, y para ello, se necesita una auditora que examine y evale esas materias y que contribuya a la mejora del gasto pblico, de los servicios pblicos y de la rendicin de cuentas y la gestin pblicas. En segundo lugar, es importante disponer de informacin able e independiente. Se necesita un examinador que represente el inters pblico, que pueda pensar y actuar con independencia con objeto de mostrar y poner en tela de juicio la situacin actual.

13

Por ltimo, resultan importantes un resumen general y unas perspectivas sobre las actividades de la Administracin pblica, y la capacidad de inuir sobre el rendimiento de sta y mejorarlo. Se requiere un examinador competente que pueda desempear este papel, y que promueva incentivos para el aprendizaje y el cambio, y mejores condiciones para la toma de decisiones.

1.4

Cules son las cuestiones bsicas de la auditora del rendimiento?

Al menos en teora, todos los programas o empresas del sector pblico -y la mayora de los procesos que generan- pueden analizarse empleando una frmula que describe el modo de pasar de una a otra posicin por determinados medios con objeto de lograr objetivos especcos. En la auditora de gestin esto se lleva a cabo a menudo respondiendo a dos preguntas bsicas: Las cosas se estn haciendo en la forma correcta? Se estn haciendo las cosas correctas? La primera pregunta se dirige primariamente al productor y signica, en sentido amplio, si las decisiones polticas se estn aplicando en la forma adecuada. Esta pregunta suele asociarse con una perspectiva normativa, es decir, el auditor desea saber si el directivo ha cumplido las reglas o los requisitos establecidos. Con objeto de ensanchar el anlisis, la pregunta puede ampliarse en el sentido de descubrir si las actividades realizadas son las que se consideran ms apropiadas, siempre con la condicin de que se hagan las cosas correctas. Hasta este momento, la auditora del rendimiento se ha ocupado primordialmente de diferentes aspectos de la economa o la eciencia de las actividades. El alcance del anlisis se ampla notablemente planteando la segunda pregunta: se estn haciendo las cosas correctas? Otra manera de plantear la cuestin sera preguntarse si las polticas aprobadas se han aplicado en la forma adecuada o si se han empleado los medios adecuados. As, esta clase de pregunta hace referencia a la ecacia o al inujo ejercido sobre la sociedad. De hecho, la pregunta podra llegar incluso a implicar que una empresa del sector pblico -o una medida elegida para lograr un objetivo determinado- corre el riesgo de ser puesta en tela de juicio. Un auditor de gestin, por ejemplo, podra considerar
14

que una medida determinada es inecaz y no se ajusta a los objetivos. Sin embargo, en el momento en que el auditor comienza a preguntarse si el compromiso pblico en s mismo es viable, tendr que mostrarse cauto para no ir ms all de su mandato, cruzando la frontera que le separa del mbito poltico. El modelo de input/output es otro medio de ilustrar estas interacciones. El modelo supone un ujo como el que aparece a continuacin.
Compromiso Propsito definido Input Recursos asignados Accin/produccin Accin realizada Output Servicios prestados Logro (Producto) Objetivos cumplidos

Los outputs son el resultado de los inputs y de las acciones realizadas para lograr objetivos especcos. En teora, sera posible que la auditora del rendimiento investigue todos los componentes y relaciones existentes en el modelo input/output, excepto el componente que se encuentra en el extremo izquierdo. Las dos preguntas bsicas formuladas ms arriba continan siendo pertinentes, y tambin lo es la amplia gama de perspectivas que pueden aplicarse para responder a ellas.

1.5

Qu significa la fiscalizacin de la economa, la eficiencia y la eficacia?

Como se ha dicho con anterioridad la auditora de gestin se ocupa bsicamente de examinar la economa, la eciencia y la ecacia.5 De conformidad con las Normas de Auditora (NA 1.0.40), una auditora de gestin individual puede tener como objetivo el examinar uno o ms de uno de estos tres aspectos.
Economa reducir costes

De acuerdo con las Normas de Auditora, economa signica reducir al mnimo el coste de los recursos utilizados para realizar una actividad, con la calidad requerida. La economa slo podr medirse si existe un criterio razonable o motivos- para hacerlo.

En la auditora del rendimiento tambin se tienen en cuenta normas referentes a las consideraciones ecolgicas y los requisitos de equidad. (Vase el apndice 6.)

15

Las scalizaciones de la economa pueden aportar respuestas a interrogantes como los siguientes: Los medios elegidos o el equipo obtenido los inputs- representan el uso ms econmico de los fondos pblicos? Los recursos humanos, nancieros o materiales han sido utilizados de forma econmica? Las actividades de gestin se han realizado de conformidad con los principios correctos de administracin y las polticas adecuadas de gestin? Aunque el concepto de economa est bien denido, no resulta fcil llevar acabo una scalizacin de la economa. A menudo representa una tarea desaante para el auditor el evaluar si los inputs elegidos representan el uso ms econmico de los fondos pblicos, si los recursos disponibles se han utilizado de manera econmica, y si la calidad y la cantidad de los inputs se han coordinado de forma ptima y adecuada. Puede resultar an ms difcil el efectuar recomendaciones que reduzcan los costes sin afectar la calidad y la cantidad de los servicios prestados a los ciudadanos.
Eficiencia aprovechar lo mejor posible los recursos disponibles

La eciencia est relacionada con la economa. Tambin en este caso la cuestin central se reere a los recursos utilizados. La pregunta principal es si estos recursos se han empleado de manera ptima o satisfactoria, o si se hubiesen logrado los mismos o similares objetivos, desde el punto de vista de la calidad y del plazo de tiempo, con menos recursos. Estamos consiguiendo el mximo output en trminos de cantidad y calidad- de nuestros inputs y acciones? La pregunta se reere a la relacin existente entre la calidad y cantidad de servicios suministrados, y las actividades y el coste de los recursos utilizados para producirlos, con objeto de lograr resultados. Sin duda, una opinin sobre la eciencia siempre suele ser relativa. Son escasas las ocasiones en que la ineciencia se pone de maniesto de inmediato. Puede formularse un juicio sobre la eciencia apelando a una comparacin con actividades similares, con otros perodos de tiempo o con una norma que haya adoptado de manera explcita. A veces la mejor prctica es aplicable como norma. Las evaluaciones de la eciencia tambin pueden basarse en condiciones no relacionadas con normas especcas, por ejemplo, cuando las cuestiones son tan complejas que no existen normas. En esos casos las evaluaciones tienen

16

que basarse en los mejores argumentos e informaciones disponibles, de conformidad con el anlisis realizado en la auditora. La scalizacin de la eciencia abarca aspectos como la comprobacin de si se emplean de modo eciente los recursos humanos, nancieros y de otro tipo, los programas, entidades y actividades del sector pblico se gestionan, regulan, organizan, ejecutan, supervisan y evalan con eciencia, las actividades de las entidades pblicas son coherentes con los objetivos y requisitos estipulados, los servicios pblicos son de buena calidad, estn orientados hacia el cliente y se prestan en el momento oportuno, y los objetivos de los programas del sector pblico se cumplen con una relacin coste-ecacia adecuada. La nocin de coste-ecacia est relacionada con la capacidad o el potencial de una entidad, una actividad, un programa o una operacin que se scalicen para lograr determinados productos a un coste razonable. Los anlisis de coste-ecacia son anlisis de la relacin entre el coste y los productos, expresado como coste por unidad de producto obtenido. La relacin coste-ecacia slo es uno de los elementos en el examen completo de la eciencia, que tambin podra incluir anlisis del tiempo en el cual se han logrado los productos, por ejemplo. Sin embargo, esto no siempre coincide con el tiempo ptimo que se requiere para optimizar el inujo. En algunos casos puede resultar difcil separar por completo los dos conceptos, eciencia y economa. Por ejemplo, ambos pueden referirse a si la entidad scalizada se ajusta a prcticas correctas de aprovisionamiento, adquiere el tipo, la calidad y la cantidad apropiados de recursos a un coste adecuado, mantiene adecuadamente sus recursos, utiliza la cantidad ptima de recursos (personal, equipo e instalaciones) en la produccin o prestacin de la cantidad y calidad adecuadas de bienes o servicios, con puntualidad, cumple los requisitos de las leyes y reglamentaciones que rigen o afectan la compra, el mantenimiento y el uso de los recursos de la entidad, y ha establecido un sistema de controles de gestin. En realidad, las auditoras de la economa tienden a centrarse en los primeros tres puntos antes enumerados. El concepto de eciencia se
17

restringe bsicamente a la pregunta sobre si los recursos se han empleado de una manera ptima o satisfactoria. Por consiguiente, en la mayora de los casos la eciencia se especica de dos maneras posibles: (i) si podran haberse obtenido los mismos resultados utilizando menos recursos, y (ii) si podran haberse empleado los mismos recursos para lograr mejores resultados (en cantidad y calidad). La auditora nanciera tambin se dedica a estas cuestiones, por ejemplo cuando se scalizan las prcticas de compras. En la auditora nanciera, empero, el mbito es ms limitado. En comparacin con la auditora de gestin, el objetivo no consiste en evaluar la economa o la eciencia de las actividades del sector pblico.

Eficacia lograr los propsitos u objetivos estipulados

La ecacia constituye esencialmente un concepto de logro de objetivos.6 Hace referencia a la relacin existente entre los objetivos jados, los productos aportados y los objetivos cumplidos. Se estn cumpliendo los objetivos estipulados de acuerdo con los medios empleados, los productos obtenidos y los inujos observados? Los efectos constatados son realmente consecuencia de la poltica en cuestin, y no de otras circunstancias? La ecacia consta de dos partes: la cuestin sobre si se han logrado los objetivos de la poltica, y la cuestin sobre si esto puede atribuirse a la poltica aplicada. Con objeto de juzgar en qu medida se han logrado los objetivos, es necesario que stos se formulen de un modo que haga posible una evaluacin de este tipo. Tal cosa no puede conseguirse con objetivos vagos o abstractos. Para juzgar en qu medida los acontecimientos observados corresponden de hecho a la poltica se requiere efectuar una comparacin. Lo ideal sera realizar una medicin antes y despus de la aplicacin de la poltica, y una medicin sobre un grupo de control, que no se haya sometido a esa poltica.7 En la prctica tales comparaciones suelen ser difciles de realizar, en parte porque a menudo se carece de material de comparacin. En estos casos existe la alternativa de evaluar la plausibilidad de los supues6 Es decir, el grado en que un programa o una entidad logra sus metas y objetivos. 7 El trmino poltica abarca tanto la poltica del gobierno como la de la entidad scalizada (vanse la seccin 2.1 y la nota 25). Si los objetivos de la poltica son vagos y abstractos, siempre surgen dicultades en la realizacin de auditoras del rendimiento. Vase ms informacin en el apndice 2.

18

tos en los que se basa la poltica. Con frecuencia habr que elegir un objetivo de scalizacin menos ambicioso, por ejemplo evaluar en qu medida se han logrado los objetivos, se ha llegado a los grupos destinatarios o el nivel de rendimiento. El auditor podra tratar de evaluar o medir la ecacia comparando los productos -o el inujo, o el estado de cosas- con las metas establecidas en los objetivos de la poltica. Este enfoque a menudo se describe como anlisis del logro de objetivos. Sin embargo, al scalizar la ecacia, generalmente tambin hay que tratar de determinar en qu grado los instrumentos utilizados han contribuido de hecho al logro de los objetivos de la poltica. Esto constituye una scalizacin de la ecacia en su autntico sentido y exige pruebas de que los productos, etc. que se han observado han sido originados efectivamente por la accin en cuestin, y no por algn otro factor. Por ejemplo, si el objetivo de la poltica es reducir el desempleo, la observacin de una reduccin en la cantidad de desempleados es consecuencia de las actividades de la entidad scalizada, o es consecuencia de una mejora general en el entorno econmico, sobre el cual la entidad scalizada no ha tenido inuencia? En este caso el diseo de la auditora debe incluir las cuestiones de atribucin, es decir, tiene que afrontar el problema de excluir ecazmente las variables intermedias externas. Efectos colaterales. Un aspecto aparte de la auditora de gestin son los efectos colaterales no intencionados de la poltica. El estudio de los efectos colaterales resulta complicado debido al hecho de que pueden ser muy diversos, ya que no se limitan a los objetivos de la poltica. Una forma de limitar el mbito de la investigacin consiste en centrarse en aquellos efectos colaterales que en otras situaciones uno trata de evitar (p. ej. los efectos de la poltica econmica que son negativos para el medio ambiente). Esto no signica, sin embargo, que todos los efectos colaterales sean indeseables. Por ejemplo, al scalizar la ecacia la auditora del rendimiento puede evaluar si los programas gubernamentales han sido preparados y diseados ecazmente, y son claros y coherentes, evaluar si los objetivos de un programa gubernamental nuevo, o en curso, y los medios que se le asignan (jurdicos, nancieros, etc.) son apropiados, coherentes, adecuados o pertinentes, evaluar si la estructura organizacional, el proceso de toma de decisiones y el sistema de gestin para la ejecucin del programa son ecaces,

19

 evaluar la ecacia de los programas e inversiones gubernamentales y/o sus componentes individuales, es decir, evaluar si se cumplen las metas y los objetivos, evaluar si los inujos observados sociales, econmicos y ecolgicos, directos o indirectos, de una poltica determinada se deben a la poltica en cuestin o a otras causas, identicar factores que inhiban un rendimiento satisfactorio o el cumplimiento de los objetivos, evaluar si el programa complementa, duplica, se solapa o se contrapone a otros programas relacionados, evaluar si la calidad de los servicios pblicos satisface las expectativas de las personas o los objetivos establecidos, evaluar la adecuacin del sistema empleado para medir, supervisar e informar sobre la ecacia de un programa, identicar la utilidad relativa de los enfoques alternativos para lograr un mayor rendimiento, o eliminar factores que inhiban la ecacia del programa, y analizar las causas de los resultados y de los problemas observados al identicar las formas de conseguir que las actividades y los programas gubernamentales funcionen con ms ecacia. Si bien una auditora en particular no necesariamente tiene que llegar a conclusiones acerca de estos tres aspectos (es decir, economa, eciencia y ecacia), puede resultar no demasiado ventajoso el examinar aspectos de la economa o la eciencia de actividades aisladas, si no se toma en consideracin tambin aunque sea brevemente- su ecacia. A la inversa, en una scalizacin de la ecacia, es posible que el auditor tambin desee tener en cuenta aspectos de la economa y la eciencia: los productos de una entidad, una actividad, un programa o una operacin que se scalicen pueden haber causado el inujo deseado, pero los recursos empleados para lograrlo se han utilizado de modo econmico y eciente? Para examinar la ecacia por lo general es necesario evaluar el producto o inujo de una actividad. Si bien un enfoque basado en el sistema puede ser de utilidad (p. ej. para evaluar la manera en que la entidad scalizada mide y controla su inujo), el auditor tambin suele necesitar una prueba sucientemente ilustrativa acerca del resultado y el inujo de la actividad o del programa. De igual modo, para evaluar el inujo de una actividad o de una reforma gubernamental, por lo general es necesario siempre recoger informacin no slo sobre las entidades scalizadas y sus actividades
20

e interacciones, sino tambin sobre otros participantes en el rea en cuestin. Por supuesto, esto adquiere un inters especial cuando se cree que las acciones de otros participantes pueden inuir sobre el inujo mencionado.8 Un aspecto especco lo constituye el estudio de los efectos involuntarios, sobre todo si han sido negativos. En este caso se da un problema de establecimiento de lmites, porque tales efectos pueden extenderse en reas que se encuentren fuera de la competencia y las facultades de la EFS. Una forma de limitar el mbito podra consistir en examinar los efectos involuntarios contra los que se combate en otros programas, p. ej. los efectos colaterales sobre el medio ambiente de un programa de promocin econmica.9
En igualdad de circunstancias, la economa hace referencia a la reduccin de costes, la eciencia se reere a la obtencin de los mximos o los mejores resultados con los recursos disponibles, y la ecacia consiste en lograr los propsitos u objetivos establecidos.

1.6

Cmo afecta la gestin pblica la auditora del rendimiento?

La forma de gestin pblica que se utilice en un momento determinado tambin inuir necesariamente en las prioridades de la auditora del rendimiento. En pases donde la gestin pblica est relacionada primordialmente con los medios y est menos implicada en los nes, las auditoras tambin tienden a centrarse en establecer si las reglas se han cumplido y aplicado, y no si las reglas sirven -o parecen servir- al objetivo que se proponen. En aquellos pases que han adoptado la direccin por objetivos y resultados, parece haberse optado por la posicin contraria. En la mayora de los casos la gestin del sector pblico maniesta una combinacin de estos planteamientos. Como se ha mencionado antes, la direccin por objetivos y resultados tiende a promover el inters por la scalizacin de la eciencia y la ecacia. Asimismo, es posible que el auditor ya no tenga que tratar con una Administracin pblica tradicional que se rija por reglas, sino con una Administracin cuyo mandato se ha ampliado de modo con8 El mbito tiene que ser limitado. Los anlisis, sin embargo, no deben ser tambin limitados. 9 Para ms informacin: Auditing Efciency, OAG (Canad), 1995, y Auditing Policy Results Manual, Algemene Rekenkamer (Pases Bajos), 1997.

21

siderable en relacin con la forma en que deben ponerse en prctica las intenciones del poder legislativo, y con los medios que habr que emplear para lograrlas. Preguntas como las siguientes suelen ser de inters para un auditor del rendimiento: Existe una estructura clara de objetivos de rendimiento, y se han elegido las prioridades y los instrumentos adecuados en la utilizacin de los fondos pblicos? Existe un reparto claro de responsabilidades entre los distintos niveles de autoridad, teniendo presente tambin el principio de subsidiariedad? Existe una conciencia generalizada acerca de los costes, y una orientacin hacia la produccin de servicios, centrando la atencin en las necesidades de los ciudadanos? Se concede la importancia adecuada a los controles de gestin y a los requisitos de informacin? Los ministerios y los rganos que dependen de ellos se encargan de garantizar la implantacin de las medidas apropiadas de control interno. En este contexto, la tarea especca del auditor de gestin consiste en observar si se ha desempeado correctamente esta responsabilidad. En qu medida tambin la entidad scalizada lo haya realizado en la prctica en su funcionamiento habitual le corresponde evaluarlo al auditor nanciero.10 Adems, un frecuente objetivo de la mayora de los gobiernos en la actualidad es la mejora en la calidad de los servicios pblicos, sobre todo a medida que continan incrementndose las expectativas de las personas (a menudo en comparacin con el servicio que reciben en el sector privado) acerca de lo que representa la calidad. Para promover mejoras de este tipo, muchas Administraciones han iniciado programas de modernizacin con objeto de prestar mejores servicios que, por ejemplo, sean accesibles con ms facilidad y ms cmodos, brinden a los ciudadanos ms capacidad de eleccin, y se efecten con mayor rapidez. La calidad de los servicios pblicos es una cuestin cada vez ms importante, y los parlamentarios y los Gobiernos de todo el mundo esperan que las EFS se reeran a ella en sus informes sobre auditora del rendimiento.
10

En los ltimos aos las EFS han debatido con frecuencia las cuestiones referentes a la scalizacin de las polticas de la Administracin pblica y a las reformas administrativas.

22

Los pases que han adoptado la direccin por objetivos y resultados suelen centrarse ms que antes en el rendimiento. La forma de gestin pblica utilizada inuir en el inters por la auditora del rendimiento.

1.7

Cmo se relaciona la auditora del rendimiento con la medicin del rendimiento y la evaluacin de programas?

Tanto el poder ejecutivo como el legislativo necesitan una informacin evaluadora que les ayude a tomar decisiones acerca de los programas de los cuales son responsables, es decir, una informacin que les indique si -y de qu modos importantes- una empresa o un programa del sector pblico est funcionando de forma adecuada o no, y por qu. A lo largo de los aos los rganos de la Administracin y otras entidades han empleado numerosos enfoques analticos para evaluar las funciones y los resultados de los programas, polticas, actividades y organizaciones del sector pblico. La auditora del rendimiento y los estudios de evaluacin han sido diseados para juzgar la forma en que actan los programas especcos, y pueden diferir mucho entre s. Un aspecto particular consiste en la relacin existente entre la medicin del rendimiento, la evaluacin de programas y la auditora del rendimiento.
Medicin del rendimiento

La medicin del rendimiento signica habitualmente el proceso continuado de control e informacin sobre los logros de los programas, sobre todo en su consecucin de las metas preestablecidas. Las mediciones del rendimiento pueden hacer referencia al tipo o nivel de las actividades del programa que se llevan a cabo (proceso), los productos o servicios directos realizados por un programa (outputs), y/o los resultados de stos. La medicin del rendimiento se centra en que un programa haya logrado sus objetivos o requisitos, expresados como normas mensurables del rendimiento. La medicin del rendimiento, debido a su naturaleza continuada, puede servir como sistema de alerta temprana para la direccin, y como vehculo de mejoramiento de la rendicin de cuentas ante el pblico. El proceso continuado de comprobacin del cumplimiento de los objetivos jados por parte de un programa o un organismo pblico es una cuestin que corresponde a la direccin y el control internos, y no
23

una tarea de los auditores externos. Es responsabilidad de los auditores nancieros -y no de los auditores del rendimiento- el conrmar que las cuentas sean correctas. Sin embargo, en el campo de la medicin del rendimiento la comprobacin de la calidad de la informacin sobre el rendimiento elaborada por el poder ejecutivo para el poder legislativopueden intervenir tanto los auditores nancieros como los auditores de gestin, ya sea en actividades separadas o en scalizaciones conjuntas.11 Los indicadores del rendimiento a veces pueden utilizarse tambin como indicadores o referencias en la planicacin de auditoras individuales del rendimiento. Uno de los temas de la auditora del rendimiento consiste en comprobar si los sistemas de medicin del rendimiento en los programas pblicos son ecientes y ecaces. Por ejemplo, pueden llevarse a cabo estudios en profundidad sobre si los indicadores del rendimiento miden los elementos correctos, o si los sistemas de medicin del rendimiento implicados estn capacitados para proporcionar resultados mensurables dotados de credibilidad.12
Evaluacin de programas y auditora del rendimiento

Las evaluaciones de programas son estudios individuales sistemticos que evalan cmo funciona un programa. Las evaluaciones de programas suelen examinar una gama de informaciones sobre el rendimiento de los programas y su contexto que tiene un alcance ms amplio de lo que es factible controlar durante su funcionamiento habitual. Una evaluacin del programa permite una valoracin general del funcionamiento del programa, y de lo que puede hacerse para mejorar sus resultados. Las evaluaciones de programas constituyen un tipo de estudio que podran ejecutar las EFS bajo el ttulo general de auditoras del rendimiento. En los ltimos aos el concepto de evaluacin de programas ha sido un tema cada vez ms debatido entre las EFS. Se ha debatido si la evaluacin de programas es una tarea importante para una EFS. Se ha creado un grupo especial (Grupo de Trabajo sobre Evaluacin de Programas de la INTOSAI) para promover principios y orientaciones en este campo. Dentro de la INTOSAI suele aceptarse que la evaluaLos estudios ad hoc y en profundidad suelen ser una tarea tpica de la auditora del rendimiento en una EFS. Sin embargo, los informes continuados o peridicos sobre diferentes entidades de la Administracin pueden muy bien constituir una tarea de scalizacin para los auditores nancieros (a veces en colaboracin con los auditores del rendimiento, por ejemplo, si los auditores nancieros no han sido formados para llevar a cabo auditoras de este tipo). 12 Ver por ejemplo NA 1.0.27 y 1.0.45.
11

24

cin de programas posee objetivos similares a los de la auditora del rendimiento desde el punto de vista de que se propone analizar la relacin existente entre los objetivos, los recursos y los resultados de una poltica o un programa. Tambin se ha acordado que la evaluacin de programas constituye una tarea importante para una EFS que tenga la autoridad y la competencia requeridas para llevar a cabo tales estudios. La evaluacin de programas se ha concebido como un paradigma de las actividades y los mtodos destinados a realizar valoraciones exhaustivas de una cuestin, empleando enfoques cientcos ms o menos elaborados. Aunque la auditora del rendimiento puede utilizar enfoques y metodologas semejantes a los empleados en la evaluacin de programas, de conformidad con el Grupo de Trabajo sobre Evaluacin de Programas de la INTOSAI no necesariamente se dedica a evaluar la ecacia de una poltica o de las polticas alternativas. Adems de examinar el inujo de los resultados, una evaluacin de programas podra incluir temas tales como determinar si los objetivos estipulados son coherentes con la poltica general. Este tema ha sido objeto de discusin entre las EFS. Algunas EFS tienen derecho a evaluar la ecacia de la poltica del Gobierno y/o el organismo, e incluyen la evaluacin de programas en su mandato de auditora del rendimiento. Otras no estn obligadas a llevar a cabo dichas scalizaciones. De acuerdo con el Grupo de Trabajo sobre Evaluacin de Programas de la INTOSAI, la scalizacin y la evaluacin pueden dividirse en las siete categoras siguientes:13 Fiscalizacin de la regularidad: Se cumplen las reglamentaciones? Fiscalizacin de la economa: Los medios elegidos representan el uso ms econmico de los fondos pblicos en la gestin especca? Fiscalizacin de la eciencia: Los resultados obtenidos son proporcionales a los recursos empleados? Fiscalizacin de la ecacia: Los resultados son coherentes con la poltica? Evaluacin de la coherencia de la poltica: Los medios empleados por la poltica son coherentes con los objetivos jados? Evaluacin del inujo de la poltica: Cul es el inujo econmico y social de la poltica? Evaluacin de la ecacia de la poltica y anlisis de las causas: Los resultados observados se deben a la poltica, o existen otras causas?
13 Grupo de Trabajo sobre Evaluacin de Programas de la INTOSAI (1995). Informe resumido de proyecto.

25

En la prctica, empero, las clasicaciones varan. Una EFS con una prolongada experiencia en evaluacin de programas es la General Accounting Ofce de los EE.UU. Esta EFS dene cuatro tipos frecuentes de evaluacin de programas en la auditora del rendimiento:14
(1) La evaluacin de procesos

valora el grado en que un programa est funcionando en la forma deseada. Suele hacer referencia a la conformidad de las actividades del programa con los requisitos legislativos y reglamentarios, el diseo del programa, y las normas profesionales o las expectativas de los clientes. Cada vez resulta ms importante evaluar si la calidad de las actividades por ejemplo, los formularios de solicitud, los tiempos de proceso, las prestaciones de servicios y otras actividades orientadas a los clientes- satisfacen las expectativas de los ciudadanos.
(2) La evaluacin de productos

valora el grado en que un programa logra sus objetivos orientados a resultados y orientados a clientes. Se centra en outputs y productos (incluidos efectos colaterales y efectos involuntarios) con objeto de juzgar la ecacia de los programas, pero tambin puede destacar los temas de calidad y las perspectivas de los clientes. Una evaluacin de productos tambin puede evaluar los procesos de los programas para comprender la forma en que se elaboran los productos.
(3) La evaluacin del influjo

valora el efecto especco de un programa comparando los productos del programa con una estimacin de lo que podra haber ocurrido en ausencia del programa. Esta forma de evaluacin se emplea cuando se sabe que hay factores externos que inuyen sobre los productos del programa, con objeto de aislar la contribucin de ste al logro de sus objetivos.
(4) Las evaluaciones del coste-beneficio y del coste-eficacia

son anlisis que comparan los outputs o productos de un programa con los costes (los recursos dedicados) que se requieren para conseguirlos. Cuando se aplican a programas ya existentes, tambin se les considera como una forma de evaluacin de programas. El anlisis de la relacin coste-ecacia valora el coste de cumplir un nico objetivo
14

Medicin y Evaluacin del Rendimiento: Deniciones y Relaciones (GAO/GGD-98-26).

26

o meta, y puede utilizarse para identicar la alternativa menos costosa para satisfacer dicho objetivo. El anlisis de coste-benecio se propone identicar todos los costes y benecios pertinentes.15
En el campo de la medicin del rendimiento pueden intervenir tanto los auditores nancieros como los auditores del rendimiento. En algunos pases una auditora de gestin individual puede incluir muchas clases diferentes de estudios, e incluso diversas evaluaciones de programas. En ese sentido la evaluacin de programas puede considerarse como una de las numerosas herramientas posibles que utiliza la auditora del rendimiento. Con independencia de que la evaluacin de programas se dena como una tarea especial o como un tipo de estudio realizado por la EFS bajo el ttulo general de auditoras del rendimiento, se trata de una actividad con un inters y una importancia crecientes.16

1.8

Existen diferencias en las ambiciones y los enfoques analticos?

El mandato y la orientacin de la auditora del rendimiento, tal como se ha dicho con anterioridad, varan en los distintos pases. Muchas EFS no estn obligadas a realizar auditoras del rendimiento, o pueden considerar que se encuentran un tanto limitadas en su capacidad y experiencia. Otras EFS pueden tener una larga tradicin de realizacin de auditoras del rendimiento avanzadas y complejas evaluaciones de programas. Uno de los rasgos de la scalizacin es el enfoque normativo, en el que las discrepancias entre las normas y la realidad -los resultados obtenidos de hecho- se expresan de modo explcito, y las evaluaciones y recomendaciones poseen un carcter normativo. Sin embargo, adems de ser normativa, la auditora del rendimiento tambin suele ser descriptiva, y puede incluir asimismo elementos analticos. Por ejemplo, una auditora del rendimiento puede determinar cules son las causas de la diferencia existente entre las condiciones efectivas y los criterios tericos.
15 Algunas EFS, como parte de su mandato, pueden incluir tambin la evaluacin de polticas (la ecacia de las polticas establecidas), y unas cuantas EFS llevan a cabo lo que denen como evaluacin de sistemas (la adecuacin de los sistemas adoptados). 16 Otras areas reas de creciente inters son las auditoras del rendimiento de actividades con una perspectiva ecolgica y la auditora del rendimiento referente a la tecnologa de la informacin. (Vanse los apndices 5 y 6.)

27

El enfoque orientado a resultados y el orientado a problemas

En la auditora del rendimiento existen diversas tradiciones y aspiraciones. Hay dos enfoques que dieren de modo bastante signicativo, aunque ambos se basan en las normas nacionales de auditora del rendimiento. Son el enfoque orientado a resultados y el enfoque orientado a problemas. El enfoque orientado a resultados trata principalmente de cuestiones como Cul es el rendimiento obtenido o qu resultados se han logrado? o Se han cumplido los requisitos o los objetivos? En este enfoque se estudia el rendimiento (que hace referencia a la economa, la eciencia y la ecacia) y se relacionan los descubrimientos efectuados con las normas establecidas (metas, objetivos, reglamentaciones, etc.) o los criterios de auditora (denidos antes de que comience el estudio principal). Si el criterio es difcil de identicar, el auditor necesita trabajar con los expertos en el campo para desarrollar criterios crebles que sean objetivos, pertinentes, razonables y alcanzables en el momento de su aplicacin. Los criterios de scalizacin permiten proporcionar evaluaciones de los resultados. En este enfoque, es probable que las deciencias se denan como desviaciones de las normas y los criterios. Si se exponen recomendaciones, a menudo se proponen eliminar tales desviaciones. La perspectiva, en este sentido, es bsicamente normativa. En el enfoque orientado a problemas, en cambio, se trata primordialmente de la vericacin y el anlisis de problemas, por lo general sin hacer referencia a criterios de scalizacin denidos con anterioridad.17 En este enfoque, las deciencias y los problemas -o como mnimo, los indicios de los problemas- son el punto de arranque de una auditora, no la conclusin.18 Una de las tareas principales de la

17 Para evaluar un problema primero hay que entender tanto el problema como sus complejas causas y consecuencias. Al menos cuando se trata de analizar los complejos problemas de la eciencia y la ecacia, no siempre es posible denir el ideal y los criterios de scalizacin en la fase de planicacin. A veces ni siquiera tiene sentido hacerlo. 18 Los indicios acerca de problemas referentes a la eciencia y la ecacia a menudo son vagos, subjetivos, complejos y difciles de denir y comprender. stos son algunos ejemplos de posibles indicios de problemas referentes a las tres Es (economa, eciencia y ecacia): costes crecientes que provocan la demanda de ms recursos; desequilibrio evidente entre aportaciones y metas; falta de claridad en la asignacin de responsabilidades entre los rganos del poder ejecutivo que estn implicados; ambigedades y contradicciones de la reglamentacin; tiempos de espera prolongados o gran cantidad de atrasos; falta evidente de competencia, crticas del estilo de direccin, deciencias en los servicios y en la orientacin al cliente; gran nmero de quejas o reclamaciones del pblico; cambios en las circunstancias externas, e indicios de efectos colaterales negativos de los programas de la Administracin.

28

auditora consiste en vericar la existencia de los problemas sealados y analizar sus causas desde distintas perspectivas (problemas relacionados con la economa, la eciencia y la ecacia en empresas o programas del sector pblico). El enfoque orientado a problemas trata interrogantes de este tipo: Los problemas constatados existen realmente, y en tal caso, cmo pueden entenderse y cul es su causa? Se formulan y se comprueban hiptesis sobre las causas y las consecuencias.19 La perspectiva es analtica e instrumental; el propsito es facilitar informacin actualizada sobre los problemas constatados y cmo afrontarlos. Los auditores no tienen restricciones en sus anlisis.20 Se toman en consideracin todas las posibles causas importantes (slo se dan por supuestas las metas generales), es decir, no se excluyen las propuestas para modicar las leyes, las reglamentaciones y el diseo estructural de las empresas del sector pblico, si se demuestra que las premisas existentes dan origen a problemas graves y vericados.21 As, la valoracin de estos dos enfoques de la auditora de gestin puede tener un origen normativo (basado en las desviaciones con respecto a las normas o los criterios) o analtico (basado en anlisis de las causas especcas de los problemas). De hecho, el anlisis independiente es lo que caracteriza el enfoque orientado a problemas, mientras que el enfoque orientado a resultados se caracteriza bsicamente por su evaluacin imparcial sobre si se han cumplido determinados criterios o normas (aunque pueda implicar asimismo elementos analticos). Los enfoques orientado a resultados y orientado a problemas representan, por un lado, diferentes tradiciones de scalizacin.22 Por el otro, los enfoques tambin pueden servir para ilustrar el hecho de que la auditora del rendimiento abarca diversos tipos de mtodos prcticos.23

19 Una hiptesis es una armacin bien fundamentada (comprobable) que haga referencia a las causas y las consecuencias del problema que va a scalizarse (basndose en el supuesto de que el problema existe). 20 No se limitan a los anlisis de las diferencias entre las condiciones y los criterios de auditora. 21 Para ms informacin sobre el enfoque orientado a problemas, vase por ejemplo el Handbook on Performance Auditing, RRV (Suecia), 1998. 22 Cabe decir que representan distintos niveles de aspiraciones. 23 Los dos enfoques metodolgicos tambin pueden considerarse como enlazados entre s, como si se tratase de diferentes pasos de una scalizacin. Aunque, por naturaleza, el enfoque orientado a problemas es ms amplio y ms profundo en su ambicin analtica, el enfoque orientado a resultados, en su forma avanzada, tambin puede dar pie a anlisis elaborados.

29

Perspectivas descendentes y ascendentes

Las perspectivas tambin pueden variar. La auditora del rendimiento se basa normalmente en una perspectiva global de propietario, es decir, una perspectiva descendente. Se centra principalmente en los requisitos, intenciones, objetivos y expectativas del poder legislativo y la Administracin central. En algunos pases, sin embargo, tambin es posible -dentro del marco de objetivos y premisas que se establecenaadir una perspectiva orientada al cliente (un centro de atencin en la gestin de servicios, los tiempos de espera y otros temas pertinentes para los clientes o consumidores nales en cuestin). Esto podra considerarse como una interpretacin de la misin de scalizacin que se propone satisfacer los intereses de los ciudadanos centrando la atencin en problemas de importancia real para stos y para la comunidad, una especie de perspectiva de abajo a arriba.
El centro de atencin sobre la obligacin de rendir cuentas o sobre las causas de los problemas

Por norma general la auditora se relaciona con la obligacin de rendir cuentas, pero esto no siempre ocurre as. La rendicin de cuentas de la auditora puede describirse como un juicio acerca de la forma en que los responsables a diferentes niveles han obtenido las metas pertinentes y otros requisitos. Un enfoque alternativo consiste en centrarse en comprender y explicar las observaciones reales efectuadas durante la auditora. En vez de averiguar quin es el que se equivoca, pueden analizarse los factores que subyacen en los problemas descubiertos, y debatir qu es preciso hacer al respecto. Este enfoque reeja la idea de que el objetivo global de la auditora del rendimiento consiste en promover la economa, la eciencia y la ecacia. Los dos enfoques representan ideas diferentes de la auditora del rendimiento. En uno de ellos la auditora tiene como centro de atencin la rendicin de cuentas, al igual que en la auditora nanciera, mientras que el otro que pone el acento en la economa, la eciencia y la ecacia- se ocupa esencialmente de la materia que se scaliza y de las causas de los problemas observados. La scalizacin de la rendicin de cuentas tiene la ventaja de que a menudo es ms fcil de realizar y, adems, corresponde a la imagen convencional de la auditora. El problema, empero, reside en que la eciencia y la ecacia es un asunto complejo que exige anlisis ms amplios. La scalizacin de la rendicin de cuentas tambin implica riesgos: hay que limitar su perspectiva y su alcance, lo cual limita a su
30

vez de un modo indebido la posibilidad de un anlisis independiente. Por otra parte, si la atencin se centra en los problemas observados y en sus posibles causas, esto facilita la aparicin de auditoras que abarcan reas de responsabilidad correspondientes a diversas partes diferentes. De esta manera se crean las condiciones previas para anlisis globales. Es preciso sealar, sin embargo, que este enfoque plantea mayores exigencias con respecto a la competencia de los auditores. El mensaje de esta seccin es que tambin hay diferencias entre los enfoques metodolgicos en relacin con las aspiraciones analticas. En trminos generales, algunas EFS se han marcado elevadas aspiraciones analticas en su auditora del rendimiento, mientras que otras se jan un nivel inferior. La auditora del rendimiento no debe racionalizarse excesivamente. Una auditora del rendimiento avanzada consiste en un complejo trabajo investigador que exige exibilidad, imaginacin y una elevada competencia analtica. Los procedimientos, mtodos y normas excesivamente racionalizados pueden entorpecer de hecho el funcionamiento y el desarrollo de la auditora del rendimiento. Por consiguiente, es preciso evitar un exceso de detalle en las normas, al igual que en los sistemas de aseguramiento de calidad. El progreso y las prcticas deben basarse en el aprendizaje que procede de la experiencia.
La orientacin de la auditora del rendimiento vara en las distintas EFS. Hay dos enfoques especialmente distintos: el orientado a resultados y el orientado a problemas. El enfoque orientado a resultados trata cuestiones tales como Cul es el rendimiento obtenido, o se han cumplido los objetivos? El enfoque orientado a los problemas se dedica primordialmente al anlisis de problemas. Trata de cuestiones tales como Los problemas constatados existen realmente, y en tal caso, cul es su causa? La auditora del rendimiento puede aplicar perspectivas descendentes y ascendentes. Normalmente la scalizacin est vinculada con la rendicin de cuentas, pero en la auditora del rendimiento no siempre ocurre tal cosa. La auditora del rendimiento no debe ceirse a normas excesivamente detalladas y racionalizadas. Esto puede obstaculizar la creatividad y la profesionalidad.

31

1.9

Resumen
La auditora del rendimiento examina la economa, la eciencia y la ecacia de los programas y los organismos de la Administracin, y responde a preguntas tales como: Los inputs elegidos representan la utilizacin ms rentable de los fondos pblicos? Estamos obteniendo los mejores servicios con los recursos disponibles? Los objetivos de la poltica se estn cumpliendo en su totalidad, y los logros son consecuencia de la poltica aplicada? Las perspectivas y los objetos que se scalicen pueden variar, es decir, pueden scalizarse tanto los organismos especcos como las actividades que abarquen toda la Administracin. La auditora del rendimiento se basa en las decisiones tomadas y las metas jadas por el poder legislativo, y puede llevarse a cabo en todo el mbito del sector pblico. La auditora del rendimiento no es una auditora peridica con dictmenes formalizados. Se trata de un examen efectuado con carcter no peridico. Es una scalizacin que se centra en el rendimiento, ms bien que en los gastos y la contabilidad. Tiene su origen en la necesidad de anlisis independientes acerca de la economa, la eciencia y la ecacia de los programas y los organismos gubernamentales. El rasgo caracterstico de la auditora del rendimiento se debe en parte a la variedad y complejidad de las cuestiones relacionadas con su labor. Todas las actividades de la Administracin pueden analizarse mediante la utilizacin de una frmula que describe cmo pasar de una posicin a otra, a travs de un medio determinado, para lograr objetivos especcos. En la auditora del rendimiento eso se consigue a menudo tratando de responder dos preguntas bsicas: Las cosas se estn haciendo del modo correcto? Se estn haciendo las cosas correctas? El proceso continuado de garantizar que un programa o un rgano de la Administracin ha cumplido los objetivos es una cuestin de direccin y control internos. Sin embargo, en el rea de la medicin del rendimiento, pueden intervenir tanto los auditores nancieros como los auditores del rendimiento. Adems de examinar el inujo de los resultados, la evaluacin de programas puede incluir cuestiones tales como si los objetivos son coherentes con la poltica o con las opciones existentes para cambiar de poltica con objeto de lograr resultados que sean ms ecaces. En algunos pases las auditoras del rendimiento pueden incluir muchas clases de estudios e incluso diversas evaluaciones de programas. En ese sentido la evaluacin de programas puede considerarse como una de las numerosas herramientas posibles que emplea la auditora del rendimiento.

32

La auditora del rendimiento posee diversas tradiciones. Hay dos enfoques especialmente distintos. El enfoque orientado a resultados trata cuestiones tales como Cul es el rendimiento obtenido, o qu resultados se han logrado, y se han cumplido los requisitos o los objetivos? El enfoque orientado a los problemas trata cuestiones tales como Los problemas constatados existen realmente, y cul es su causa? La scalizacin est vinculada con la rendicin de cuentas, pero en auditora del rendimiento no siempre ocurre esto. No hay que racionalizar excesivamente la auditora del rendimiento. Es un trabajo de investigacin que exige exibilidad, imaginacin y capacidad analtica. Los procedimientos, mtodos y normas excesivamente detallados pueden obstaculizar en la prctica el funcionamiento de la auditora del rendimiento.

33

34

Parte 2: Principios de la auditora gubernamental aplicables a la auditora del rendimiento

Al llevar a cabo una auditora del rendimiento los auditores deben ajustarse al Cdigo de tica y las Normas de Auditora de la INTOSAI, y a las normas y directrices de la EFS aplicables a la auditora del rendimiento. Las normas generales de auditora de la INTOSAI estipulan que la scalizacin y la EFS deben ser independientes, poseer la competencia requerida y ejercer la atencin debida (NA 1.0.6 y 2.2.1.). 24

2.1

Cmo se aplican los principios de la auditora a la auditora del rendimiento?

Hay que definir adecuadamente el mandato de auditora y las metas generales

El mandato de auditora suele hacerse constar en disposiciones jurdicas. Entre otras cosas, regula en qu medida una EFS puede scalizar programas y organismos del sector pblico. A menudo se necesitan reglamentaciones especiales que especican las condiciones de la auditora del rendimiento, por ejemplo, acceso a informacin procedente de fuentes que no sean las entidades scalizadas, la capacidad de formular recomendaciones, el mandato de investigar las empresas y programas gubernamentales, y la ecacia de la legislacin. El mandato de auditora del rendimiento acostumbra a especicar los requisitos mnimos de scalizacin e informacin, especica qu se requiere del auditor y le conere a ste la autoridad necesaria para llevar a cabo la actividad e informar acerca de los resultados (NA 2.2.12, 2.2.19, 1.0.3238, 1.0.42 y 1.0.47).
24 Para ms informacin sobre estos documentos de la INTOSAI vanse: la Declaracin de Lima, el Cdigo de tica y las Normas de Auditora, pp. 10-34, e Independencia de las Entidades Fiscalizadoras Superiores.

35

Si es posible, el mandato debe abarcar la totalidad del presupuesto estatal, e incluir todos los rganos pertinentes del poder ejecutivo y todos los programas gubernamentales o servicios pblicos correspondientes. Sin el apoyo legal suciente podra llegar a considerarse ilegal la publicacin de crticas justicadas de la eciencia y la ecacia de los programas gubernamentales, al menos con respecto a temas polticamente sensibles. Para evitar esta situacin -y la sospecha de autocensura- el mandato debe tener apoyo poltico y pblico. (NA 2.2.18-20 y 2.2.23) Los objetos de la auditora los objetos que podran estar sujetos a auditoras del rendimiento por la EFS, de conformidad con su mandatoson la poltica, los programas, la organizacin y la direccin. La poltica suele denirse como la actividad dirigida a lograr determinados propsitos y, posiblemente, en un plazo determinado.25 Un programa puede denirse como un conjunto de medios interrelacionados -legislativos, nancieros, etc.- para aplicar una poltica determinada del organismo pblico o del gobierno. La organizacin puede caracterizarse de diferentes formas, pero en la mayora de los casos signica la suma de personas, estructuras y procesos que se proponen lograr determinados objetivos. La direccin suele signicar todas las decisiones, acciones y reglas necesarias para la conduccin, la contabilizacin y la utilizacin de los recursos humanos, nancieros y materiales. A menudo la direccin est relacionada con las actividades internas de una organizacin. Las polticas y los programas -decididos por el poder legislativo, el poder ejecutivo o los funcionarios del poder ejecutivotambin pueden tener un centro de atencin interno, relacionado con una organizacin especca (y sus actividades y rendimiento internos). Sin embargo, en la mayora de los casos su centro de atencin es ms amplio y ms externo, e incluso puede estar relacionado con actividades de organizaciones no gubernamentales (y el inujo que ejercen en la sociedad las polticas y programas, etc.).26

25

El trmino poltica en las presentes directrices si no se dice nada en contrario- abarca tanto la poltica del gobierno como la del organismo pblico. El trmino poltica puede emplearse como equivalente a poltica del organismo para aquellas EFS que no poseen el derecho de revisar o evaluar la poltica gubernamental. (El trmino actividad gubernamental abarca tanto la poltica como el programa.) 26 Vase, por ejemplo el Manual of Performance Auditing, AG (Pases Bajos), 1996.

36

En muchos pases la Constitucin o la legislacin vigente otorga a la EFS el derecho explcito a realizar determinada forma de auditora del rendimiento. Algunas EFS pueden llevar a cabo exmenes de la eciencia y ecacia de complejas polticas o empresas gubernamentales, quizs mediante un anlisis en profundidad de los problemas constatados. Otras adoptan un enfoque ms limitado. Como parte de la explicacin de las normas, las Normas de Auditora (NA 1.0.42) declaran: En muchos pases las facultades legales o mandato relativos a la auditora operacional de gestin tienen su lmite en la revisin de los fundamentos polticos de los programas del gobierno. En estos casos, la auditora del rendimiento no pone en tela de juicio los mritos de los objetivos polticos sino que implica el examen de las acciones emprendidas para disear, aplicar o evaluar los resultados de estas polticas, y puede implicar un examen de la adecuacin de la informacin que conduce a la toma de decisiones polticas. Incluso en pases donde la Constitucin o la legislacin no exigen que la EFS lleve a cabo scalizaciones de la economa, la eciencia y la ecacia, la prctica actual muestra una tendencia a incluir esta clase de actividad como parte de las auditoras nancieras o de regularidad (NA 1.0.13, 1.0.42-43). Los objetivos generales de la auditora del rendimiento tambin pueden denirse en la legislacin o ser materia de decisiones internas de la EFS. Habitualmente las EFS tratan de lograr uno o varias de las siguientes metas generales: (1) proporcionar al poder legislativo un examen independiente de las prcticas de aplicacin econmicas, ecientes o ecaces de las polticas o los programas gubernamentales; (2) proporcionar al poder legislativo anlisis independientes y no peridicos acerca de la validez y la abilidad de los sistemas de medicin del rendimiento, o declaraciones o autoevaluaciones acerca del rendimiento, que son publicados por las entidades del poder ejecutivo; (3) proporcionar al poder legislativo anlisis independientes acerca de los problemas de economa, eciencia y ecacia en las actividades del gobierno, y de esto modo, contribuir al mejoramiento de stas; (4) proporcionar al poder legislativo evaluaciones independientes acerca del inujo deliberado y no deliberado, directo o indirecto, de los programas de la Administracin y de los rganos de sta, y sobre en qu medida se han logrado los propsitos o los objetivos, o por qu no se han logrado. Un objetivo frecuente de la auditora del rendimiento en muchos pases jado por el legislador o por la propia EFS- consiste en evaluar
37

y mejorar el funcionamiento de los programas gubernamentales y la Administracin central y organismos vinculados (NA 1.0.20, 1.0.27, 1.0.40, y 4.0.25). En algunos pases la formulacin de recomendaciones es importante. En otros no se expresa ninguna recomendacin, debido a las estructuras, las caractersticas de la legislacin y las tradiciones histricas.
La auditora del rendimiento debe tener la libertad de elegir reas de fiscalizacin dentro de su mandato

De acuerdo con las Normas de Auditora (NA 2.2.10-19), una EFS debe tener libertad para decidir las reas que cubran sus auditoras de gestin. La NA 2.2.8 arma: Las EFS pueden dar a conocer a los miembros del poder legislativo los hechos recogidos en sus informes de scalizacin, pero es importante que mantengan su independencia ante las inuencias polticas con el n de conservar una posicin imparcial en el ejercicio de sus funciones de scalizacin. Esto signica que las EFS no deben responder, ni siquiera en apariencia, a los deseos de intereses polticos concretos. En el prrafo 2.2.10 se indica: En algunos pases, la scalizacin de la gestin nanciera del gobierno es una prerrogativa esencial del parlamento o de la asamblea electa; esto puede aplicarse tambin a la scalizacin de los ingresos y gastos en el mbito regional, donde la scalizacin externa es responsabilidad de una asamblea legislativa. En tales casos, las auditoras se llevan a cabo en representacin de dicho rgano y conviene que la EFS tenga en cuenta, al preparar la programacin de la actividad scalizadora, las demandas de misiones especiales de investigacin que formulen estas asambleas. No obstante, es importante que la EFS goce de libertad para decidir el modo en que desempear sus tareas, incluidas las requeridas por el Parlamento. Tambin es importante que el gobierno no tenga poder de direccin en relacin con el cumplimiento del mandato por la EFS (NA 2.2.14).
Las auditoras de gestin suelen ser auditoras ex-post

El momento inicial en el cual una EFS puede examinar la eciencia y la ecacia es despus de que la Administracin haya tomado una decisin respecto a la poltica en cuestin (esto es lo que se deriva aproximadamente de la NA 4.0.22 y 4.0.25). En ciertos pases puede llevarse a cabo un anlisis de objetivos o una scalizacin de las actividades de elaboracin de polticas antes de que se aplique la poltica misma. Por otra parte, los problemas en los que se centra la auditora de gestin -o
38

los que se propone eliminar- deben ser problemas actuales con objeto de que resulten valiosos para el usuario de los informes de auditora.
Los objetivos generales del poder legislativo se dan por supuestos

Por regla general, las decisiones polticas y los objetivos establecidos por el poder legislativo constituyen el marco de referencia que sirve de base a los criterios de scalizacin empleados en la auditora del rendimiento. No es funcin de una EFS el poner en tela de juicio estos objetivos y decisiones. Sin embargo, la EFS como consecuencia de sus resultados- puede efectuar comentarios crticos sobre los objetivos, por ejemplo, preguntarse si son coherentes o si resulta imposible calibrar en qu medida se han logrado. Por consiguiente, un informe de auditora del rendimiento puede poner de hecho en tela de juicio los mritos de las polticas o decisiones actuales. Las metas o los objetivos pueden ser demasiado vagos, entrar en conicto con otros objetivos, o basarse en una informacin insuciente. Las polticas pueden ser inecientes e inecaces, y es posible que se requieran cambios con objeto de superar las carencias existentes. Por otra parte, el papel de la auditora del rendimiento consiste sin duda alguna en evaluar la economa, eciencia y ecacia de los objetivos y regulaciones de carcter ms especco que establezcan, por ejemplo, los rganos de la Administracin. (Ver NA 2.2.5 y 2.2.9.) Si bien la auditora del rendimiento no cuestiona los objetivos polticos, puede sealar las consecuencias de una poltica determinada. Tambin puede identicar e ilustrar las carencias provocadas por los objetivos en conicto. Por lo tanto, la auditora del rendimiento, por ejemplo, no pone en tela de juicio el nivel de compensacin en los sistemas de bienestar social. Los auditores deben disponer, como punto de partida, de un conjunto de problemas que estn relacionados con la economa, la eciencia y la ecacia de los sistemas de bienestar que se scalizan. Esto podra ocurrir, por ejemplo, cuando determinado nivel de compensacin en un rea especca provoca efectos marginales involuntarios en otra rea. El auditor del rendimiento, en ese caso, puede estudiar la falta de coordinacin entre los diferentes sistemas e indicar los problemas que surgen. Si el nivel real de compensacin es palpablemente distinto del nivel que se haba jado en un principio, la auditora del rendimiento puede examinar los motivos de este fenmeno.

39

Hay que promover y garantizar un trabajo de alta calidad profesional

Las Normas de Auditora de la INTOSAI y su Cdigo Deontolgico ponen de maniesto que todos los auditores de la Administracin pblica deben actuar con integridad, imparcialidad, objetividad, competencia y profesionalidad. Es preciso ceirse a niveles ticos estrictos para servir lo mejor posible al inters pblico, y en la NA 2.2.36 se declara: Dado que el cumplimiento de los deberes y las obligaciones que recaen sobre las EFS es decisivo para el concepto de control de las cuentas pblicas, las EFS deben aplicar, en el desarrollo de sus funciones, las metodologas y prcticas ms cualicadas. Les incumbe, por tanto, jar las normas y los procedimientos que han de aplicarse de modo que quede garantizado el ejercicio ecaz de sus funciones en los informes de auditora, lo que supone, por parte tanto de su propio personal como de los expertos externos contratados, una estricta observancia de sus normas, procedimientos de planeacin, metodologas y supervisin. A menudo las auditoras de gestin son actividades complejas, que requieren una amplia gama de competencias, conocimientos y experiencias para ser llevadas a cabo. La NA 2.1.26 declara: Dada la importancia que tiene el que las EFS realicen sus funciones de la mejor manera posible, debe prestarse especial atencin a los programas relativos al control de calidad de sus actividades scalizadoras y de los resultados de ellas. Tambin se arma que las EFS deben establecer sistemas y mtodos para (a) conrmar que los procedimientos de control de calidad han funcionado de manera satisfactoria; (b) asegurar la calidad de los informes de scalizacin, y (c) conseguir alguna mejora y evitar que se repitan las deciencias. (NA 2.1.27). Sin embargo, ningn sistema de aseguramiento de calidad puede proporcionar garantas de una alta calidad en los informes sobre auditora del rendimiento. En pocas palabras, para el aseguramiento de calidad los sistemas avanzados son menos importantes que disponer de un personal competente y motivado. En otros trminos, los sistemas de aseguramiento de calidad debern ser pertinentes y fciles de gestionar, y no complejos ni demasiado elaborados. Segn la INTOSAI, los temas de calidad tienen que integrarse en el proceso de ejecucin, e incluso en las fases iniciales de planicacin los sistemas de aseguramiento de calidad pueden resultar indispensables para garantizar que los problemas que van a tratarse son importantes y estn bien denidos. Los objetivos, problemas e interrogantes de la auditora, as como las reas seleccionadas, determinan en gran medida la calidad de la auditora.
40

El proceso de planicacin y las diversas etapas que constituyen el proceso de toma de decisiones garantizan que la calidad se evale peridicamente, ya que es preciso cumplir determinadas condiciones antes de que la auditora pueda avanzar. Es importante una preparacin meticulosa con objeto de denir los interrogantes de la scalizacin, la informacin necesaria y el diseo de la auditora (NA 2.1.27 y 3.1.1).
El mandato de la auditora del rendimiento debe abarcar el presupuesto del Estado y la totalidad de los correspondientes programas de la Administracin. El auditor debe tener la libertad necesaria para elegir reas de scalizacin dentro de su mandato. El marco de referencia bsico est constituido por los objetivos y las decisiones polticas que establece el poder legislativo. Como consecuencia de sus resultados, una auditora del rendimiento puede poner en tela de juicio los mritos de las polticas existentes. Por lo general, las auditoras del rendimiento son scalizaciones ex post que hacen referencia a temas actuales. Es preciso promover y garantizar un alto nivel de calidad en su trabajo.

2.2

Cules son los requisitos generales de un auditor del rendimiento?

Los auditores del rendimiento deben poseer una competencia profesional especfica

La auditora del rendimiento es una actividad basada en la informacin, donde los valores profesionales ocupan una posicin central. Estos valores incluyen la importancia de que a los auditores se les d la oportunidad de desarrollar competencias y niveles adecuados de calidad y de resultados en su produccin. Esto incluye la creacin de un entorno estimulante y que promueva las mejoras en la calidad (NA 1.0.45 y 2.1.9). Todos los auditores deben poseer la adecuada capacidad profesional para llevar a cabo sus tareas (NA 2.2.1 y 2.2.33-38) y la EFS debe seleccionar personal que posea las cualicaciones adecuadas (NA 2.1.2). Las Normas de Auditora generales de la INTOSAI tambin sealan que las EFS tienen que desarrollar y formar a los empleados de las EFS para que stos puedan realizar ecazmente sus tareas, y denir la base para el avance de los auditores;
41

 preparar manuales y otros materiales de orientacin acerca de la realizacin de auditoras; apoyar las competencias y la experiencia disponibles dentro de las EFS e identicar las competencias de las que carecen; establecer una adecuada distribucin de competencias en las tareas de scalizacin y asignar el nmero de personas sucientes para la auditora, y llevar a cabo una planicacin y una supervisin adecuadas para lograr sus metas al nivel requerido de cuidado y preocupacin; y examinar la eciencia y ecacia de las normas y los procedimientos internos de la EFS. La capacidad de contratar al personal adecuado constituye un factor decisivo para la auditora del rendimiento. Cada miembro de la plantilla constituye una inversin de carcter nico. Un auditor del rendimiento debe poseer la formacin acadmica pertinente, y como norma general, se requiere que el auditor posea un ttulo universitario y experiencia en trabajos de investigacin/evaluacin. Las cualidades personales tambin son de una importancia considerable (capacidad analtica, creatividad, receptividad, habilidades sociales, honradez, criterio, resistencia, adecuadas capacidades de comunicacin oral y escrita, etc.). (NA 2.1.4 y 2.1.10.) Para convertirse en auditor del rendimiento, jefe de equipo de auditora del rendimiento o director de auditora del rendimiento es preciso poseer determinadas cualicaciones caractersticas. Por ejemplo, un auditor del rendimiento debe tener una adecuada formacin en ciencias sociales y en mtodos de investigacin y evaluacin cientca. Tambin podra resultar esencial un conocimiento especializado en las distintas reas funcionales que van a scalizarse, pero en la auditora del rendimiento o la evaluacin de programas no siempre se necesitan competencias avanzadas en contabilidad y auditora nanciera. En el caso de las EFS que hayan organizado su auditora del rendimiento por separado de la auditora nanciera, resulta perfectamente admisible que el personal seleccionado para la auditora del rendimiento tenga un historial y unas competencias diferentes a las del personal seleccionado para la realizacin de auditoras nancieras27.Con objeto de satisfacer los requisitos de calidad especicados en las Normas de Auditora (NA 2.2.36-39), las EFS debern tener un programa que garantice que su personal mantenga su competencia profesional mediante un estudio y una formacin permanentes. El aprendizaje a travs del trabajo prc27

Salvo que tenga una amplia experiencia en auditora del rendimiento o en tareas similares, un jefe de equipo o un director de auditora del rendimiento quizs corra el riesgo de no ser aceptado (o respetado) del todo por los auditores del rendimiento.

42

tico de auditora es un factor central en el proceso de desarrollo (NA 2.1.2, 2.2.37-38 y 2.1.16). El estudio y la formacin permanentes pueden incluir temas tales como los avances actuales en metodologa de scalizacin del rendimiento, direccin o mando, mtodos de investigacin cualitativa, anlisis de estudios de caso, muestreo estadstico, tcnicas de recogida de datos cuantitativos, diseo de la evaluacin, anlisis de datos y redaccin legible para el lector. Tambin puede incluir temas relacionados con el mbito de trabajo de los auditores, por ejemplo administracin pblica, poltica y estructura del sector pblico, poltica de la Administracin, economa, ciencias sociales o Tecnologa de la Informacin. (NA 2.1.6-10) Las cualicaciones de los miembros del personal que llevan a cabo auditoras del rendimiento incluyen conocimiento de los mtodos y tcnicas aplicables en auditora del rendimiento, y formacin, competencias y experiencia necesarias para aplicar este conocimiento a la auditora que se realice, conocimiento de los organismos, programas y funciones de la Administracin pblica, competencias para una comunicacin clara y ecaz, tanto oral como escrita, y competencias especiales en funcin de la auditora especca (estadstica, Tecnologa de la Informacin, ingeniera, etc., o conocimiento experto en la materia en cuestin (NA 2.2.33-38 y 2.1.11-12). La auditora del rendimiento debe constituir una actividad en equipo, ya que las cuestiones implicadas son complejas. Por consiguiente, no se requiere que todos los miembros del equipo posean la totalidad de las competencias antes mencionadas. Adems, no siempre ser posible que una EFS contrate a personal que cumpla todos los requisitos. Las competencias requeridas, por lo tanto, podrn desarrollarse cuando la persona est ya ocupando su cargo, en la medida en que los candidatos para la contratacin hayan demostrado con claridad que tienen el potencial y la actitud necesarios para la clase de trabajo que implica la auditora del rendimiento.
La eficacia, la profesionalidad y el cuidado deben servir de gua al trabajo de auditora

La auditora del rendimiento debe estar sucientemente bien denida y el enfoque de la auditora tiene que ser funcional. La organizacin de la auditora tiene que cumplir los requisitos generales de la correcta gestin de proyectos (NA 3.0.2-3 y 3.1.1-3).
43

La auditora del rendimiento debe llevarse a cabo de forma meticulosa, con el propsito de recoger pruebas pertinentes, ables y sucientes con objeto de permitir que cualquier otro llegue a las mismas conclusiones que aparecen en el informe de auditora del rendimiento. Esto exige ejercer un criterio correcto al decidir el objetivo de scalizacin, qu y cundo scalizar, el enfoque y la metodologa, el mbito de la auditora, las cuestiones sobre las cuales se informar, y la conclusin global de la auditora. La buena comunicacin con la entidad scalizada y con distintas clases de expertos es importante durante todo el proceso de auditora. De igual modo, los responsables de la auditora del rendimiento deben mostrarse vigilantes. Es importante que la base fctica de las descripciones, los anlisis y las recomendaciones nales sea exacta. El informe tiene que ser objetivo y equilibrado, y asumir un tono mesurado, con el propsito de que sea valioso para la Administracin. (NA 2.2.39, 3.5.12 y 4.0.22-25.) Tienen que cumplirse los principios de la adecuada administracin. El proceso de scalizacin debe quedar registrado en la forma apropiada. Hay que dejar constancia por escrito de las decisiones importantes efectuadas a lo largo de la auditora, y de las consideraciones subyacentes. Es preciso llevar archivos accesibles y un cuaderno de bitcora. Los principales objetivos de la documentacin adems de ayudar al equipo de scalizacin- consisten en registrar las pruebas de auditora que sirvan de apoyo a las conclusiones y decisiones, proporcionar registros que ayuden a la gestin y la supervisin de la auditora, y permitir que el trabajo sea revisado por funcionarios de nivel superior. La informacin obtenida durante la auditora deber ser tratada con carcter condencial hasta que se haya presentado el informe (NA 2.2.39-40, 3.0.2-3, 3.1.1, 3.2.1, 3.5.2-7, y 4.0.24). Todos los auditores de la Administracin deben actuar con honradez, imparcialidad, objetividad, competencia y profesionalidad. Para cumplir estas normas el auditor del rendimiento debe tener la formacin adecuada y poseer experiencia en trabajo de investigacin/evaluacin. Las cualidades personales tambin son de una importancia considerable. La ecacia, la profesionalidad y el cuidado deben guiar el trabajo de auditora.

44

2.3

Existen otras medidas de proteccin importantes?

Aunque estas directrices constituyen una base coherente para la realizacin de una auditora de gestin, el criterio profesional (si bien aplicado sobre la base de reglas y procedimientos pertinentes) contina siendo el componente ms importante de la auditora del rendimiento. El auditor deber adoptar una actitud de escepticismo profesional durante toda la auditora, reconociendo que pueden existir circunstancias que hagan que determinados aspectos de la informacin relacionada con el rendimiento se expongan errneamente. Es posible que haya que aplicar diversas medidas de proteccin tanto esenciales como prcticas- para evitar que ocurran estas cosas.
Deber darse una garanta razonable sobre la calidad de informacin

Una auditora de gestin realizada de conformidad con las normas de auditora aplicables proporciona una garanta razonable de que la informacin relacionada con el rendimiento est exenta de errores de importancia. La auditora del rendimiento depende cada vez ms de la calidad de la informacin presentada por las entidades auditadas y de las posibilidades de obtener informacin, que en la actualidad se almacena en soportes electrnicos. Un adecuado sistema de control del funcionamiento interno servir de ayuda para el auditor. Lo razonable depende de la situacin, es decir, de la clase de pruebas disponibles y las conclusiones que puedan extraerse de ellas. (NA 3.5.2) Es preciso informar adecuadamente a las entidades en cuestin La EFS deber noticar a las entidades de la Administracin responsables del programa scalizado, o que intervengan en l, acerca de las caractersticas de la auditora, preferentemente antes de que comience sta (NA 3.1.4). Debido a los rasgos de la auditora del rendimiento, es importante que los funcionarios de nivel superior estn adecuadamente familiarizados con el propsito de la scalizacin.
El trabajo realizado debe supervisarse en la forma apropiada

Las normas de auditora de la INTOSAI arman: El trabajo realizado por el personal de auditora en cada nivel, y en cada fase de la scalizacin, debe ser adecuadamente supervisado durante la auditora y la documentacin obtenida debe ser revisada por un miembro experimentado del equipo scalizador(NA 3.2.1). Cuando el trabajo se delega en un miembro del equipo de auditora, el responsable del proyecto debe dirigir, supervisar y revisar cuidadosamente el trabajo
45

delegado. Todos los miembros del equipo deben comprender los objetivos de la auditora, los trminos de referencia del trabajo que les ha sido asignado, y la naturaleza de las obligaciones que se les imponen (NA 3.2.2.). La supervisin del equipo de auditora del rendimiento por parte de miembros experimentados del personal de scalizacin implica dirigir, apoyar y supervisar el trabajo del equipo con objeto de garantizar el cumplimiento de los objetivos de la auditora. (Ver apndice 4.) De conformidad con las Normas de Auditora (NA 3.2.3), esto implica garantizar que todos los miembros del equipo comprenden plenamente los objetivos de la auditora, los procedimientos de scalizacin son adecuados y se llevan a cabo en la forma apropiada, se ponen en prctica las normas de auditora internacionales y nacionales, las pruebas de la scalizacin son relevantes, ables, sucientes, documentadas y sirven de apoyo a los resultados y conclusiones, y se cumplen los presupuestos, los programas y los calendarios.
El uso de expertos requiere un cuidado especial

En auditora del rendimiento a menudo se utilizan expertos. Antes de acudir a un experto, sin embargo, el auditor deber asegurarse de que el experto posee la competencia necesaria requerida para los objetivos de la auditora. Un experto, en caso necesario, es una persona o una empresa que posee competencias, experiencia y conocimientos especializados en un campo determinado distinto de la auditora. El auditor debe asegurarse de que el experto es independiente de la actividad/el programa, y hay que informar a los expertos acerca de las condiciones y de la deontologa necesarias. Aunque el auditor del rendimiento puede utilizar el trabajo de un experto como prueba de auditora, el auditor contina siendo ntegramente responsable de las conclusiones que contenga el informe de auditora (NA 2.1.18, 2.2.4345.).

46

Los auditores deben noticar a las entidades de la Administracin implicadas en el programa scalizado acerca de las caractersticas del compromiso. Dichas entidades deben garantizar de modo razonable que la informacin relacionada con el rendimiento es able. Aunque el auditor puede utilizar el trabajo de un experto, es aqul el que sigue siendo plenamente responsable de las conclusiones.

2.4

Resumen
El mandato de auditora del rendimiento debe estar denido por la legislacin, y con frecuencia se necesitan reglamentaciones especiales que especiquen las condiciones de la auditora del rendimiento. El mandato debe abarcar la totalidad del presupuesto del Estado, incluidas todas las empresas pblicas y todos los servicios pblicos pertinentes. El mandato debe establecer auditoras de las entidades individuales de la Administracin y de las grandes empresas de inters pblico que son de propiedad estatal, as como de los programas que hacen referencia a toda la Administracin desde distintas perspectivas. El auditor del rendimiento debe tener libertad para seleccionar reas de scalizacin dentro del mandato de auditora del rendimiento. Las decisiones y los objetivos polticos establecidos por la legislatura deben constituir el punto de partida de la auditora del rendimiento. Sin embargo, una EFS como consecuencia de sus resultados- tambin puede efectuar comentarios crticos sobre aquellos, por ejemplo, si los objetivos son incoherentes o si se demuestra que es imposible comprobar hasta qu punto se han logrado. Por lo general las auditoras del rendimiento tienen que ser auditoras ex post, pero en algunos pases puede llevarse a cabo una auditora de las actividades de preparacin de polticas antes de que stas sean puestas en prctica. Todos los auditores de la Administracin deben actuar con honradez, imparcialidad, objetividad, competencia y profesionalidad, pero, debido a las caractersticas de la auditora del rendimiento, esto adquiere una importancia especial. El auditor del rendimiento debe poseer una formacin adecuada y tener experiencia en trabajos de investigacin/evaluacin. Las cualidades personales tambin son de una importancia considerable (capacidad analtica, creatividad, receptividad, habilidades sociales, honradez, criterio, resistencia y adecuadas competencias de comunicacin oral y escrita).

47

La auditora del rendimiento es una actividad basada en el conocimiento, y debido a sus rasgos especiales y a sus estrechos vnculos con la poltica- un trabajo de elevada calidad representa quizs el factor individual de mayor importancia para reconocerla. Con objeto de garantizar una alta calidad en el trabajo, la EFS debe prestar una atencin especial a la creacin de un entorno para la auditora del rendimiento que garantice incentivos para la buena calidad y las mejoras en la calidad. Un sistema de aseguramiento de calidad que funcione adecuadamente constituye un elemento importante en este contexto. La ecacia, la profesionalidad y el cuidado deben guiar el trabajo de auditora, y deben cumplirse los principios de una correcta administracin. Los auditores tienen que noticar a las entidades de la Administracin que intervienen en el programa cules son las caractersticas del compromiso. Antes de utilizar expertos, el auditor debe asegurarse de que es necesario y garantizar que los expertos son independientes. Aunque el auditor puede utilizar como prueba el trabajo de los expertos, l continuar siendo plenamente responsable de las conclusiones.

48

Parte 3: Normas y orientaciones prcticas: inicio y planicacin de la auditora del rendimiento

3.1

Cules son los pasos generales del ciclo de auditora del rendimiento?

Como se arma en NA 3.0.1: El propsito de las normas de campo es establecer los criterios o sistemas generales que el auditor debe seguir para lograr que sus actuaciones sean objetivas, sistemticas y equilibradas. Las normas de campo establecen el marco para la planicacin, realizacin y direccin del trabajo de auditora (NA 3.0.2). El ciclo de auditora del rendimiento abarca diversos pasos. En sentido amplio, incluye el proceso de planicacin, el proceso de ejecucin y el proceso de seguimiento. A menudo el proceso de planicacin se divide en diferentes etapas. La primera etapa consiste en la planicacin estratgica, donde se analizan los posibles temas y cuestiones. Una vez elegido un tema para la auditora del rendimiento, puede realizarse un estudio previo que origine un plan de trabajo para el estudio principal- con objeto de recoger informacin que permita disear una propuesta de estudio principal. A lo largo de todo el estudio principal hay que conceder una importancia especial a la elaboracin de un informe nal que se someta a la consideracin del Gobierno, el poder legislativo, los rganos ejecutivos implicados, y el pblico en general. El proceso de redaccin del informe basado en la experiencia- debe considerarse como un proceso continuado de formulacin, prueba y revisin de ideas acerca del tema. Cuestiones tales como el inujo y el valor previstos de la auditora deben tomarse en consideracin a lo largo de toda la auditora. Fijar plazos para el proceso de redaccin puede mejorar la puntualidad de la informacin. Los procesos de seguimiento identican y documentan el inujo de la auditora y el avance efectuado en la ejecucin de las recomen49

daciones de la auditora. Dichos procesos son decisivos para aportar comentarios a la EFS y al poder legislativo (NA 2.2.5-6).
El ciclo de auditora del rendimiento implica diferentes pasos: planicacin estratgica, trabajo de preparacin, estudio principal y actividades de seguimiento.

3.2

Qu implica la planificacin estratgica?

La auditora del rendimiento se aplica primordialmente a las reas en que se considera que una scalizacin externa e independiente resulta valiosa para promover la economa, la eciencia y la ecacia. Con frecuencia en la auditora nanciera los objetos de la scalizacin y las perspectivas que se aplicarn- los dene la propia legislacin bsica de la EFS. Como se seal antes, la EFS suele disponer de mayor libertad en la eleccin de objetos y enfoques de la auditora de gestin. La EFS debe prestar una cuidadosa consideracin a la estrategia de seleccin de temas para las auditoras de rendimiento, que ayuden a jar prioridades y efectuar elecciones. El inters en el cambio que manieste el gobierno, por ejemplo, puede contribuir a este proceso. (NA 2.1.21-22 y 3.1.1-2). La eleccin de reas de auditora debe realizarse sin presiones externas (NA 2.2.14). La EFS debe mantener su neutralidad poltica, pero el mantenimiento de la independencia de la EFS no impide que el poder ejecutivo le haga solicitudes y proponga temas de scalizacin. Sin embargo, para disfrute de la independencia adecuada, la EFS debe poder rechazar las solicitudes de este tipo (NA 2.2.16). La planicacin estratgica es la base de la eleccin de temas de scalizacin y de posible estudios previos. La planicacin puede llevarse a cabo siguiendo estos pasos: 1. Determinar las posibles reas de scalizacin a partir de las cuales se efectuarn las elecciones estratgicas. La eleccin de reas de scalizacin implica opciones estratgicas con consecuencias para la EFS. El nmero de reas posibles es amplio, y la capacidad de la EFS es limitada. Esto signica que tales elecciones deben realizarse con cuidado (NA 2.1.21 y 2.2.38). 2. Establecer los criterios que se emplearn en estas elecciones. Probablemente el principal criterio de seleccin sea la potencial con50

tribucin de la auditora a la evaluacin y la mejora del funcionamiento de la Administracin central y los organismos vinculados con ella. (NA 3.0.1.) Como en el apartado 2, los criterios generales de eleccin seran los siguientes: Valor aadido: cuanto mejores sean las perspectivas de realizar una scalizacin til de calidad elevada, y cuanto menos haya sido objeto de evaluacin el campo o el tema en cuestin, mayor ser el valor aadido correspondiente. Aadir valor signica proporcionar nuevos conocimientos y perspectivas. Problemas o reas de problemas importantes: Cuanto mayor sea el riesgo de que surjan consecuencias desde el punto de vista de la economa, la eciencia y la ecacia, o la conanza pblica, ms importantes tienden a ser los problemas. Puede considerarse que un problema es importante o de relevancia si es probable que los conocimientos existentes acerca de l inuyan sobre el usuario del informe de auditora del rendimiento. Una supervisin activa y orientada a problemas facilita la identicacin de reas de scalizacin.28 Riesgos o incertidumbres: La planicacin estratgica puede basarse en el anlisis de riesgos, o con un carcter menos terico- en el anlisis de los indicios de problemas reales o potenciales. Cuanto mayor sea el inters pblico implicado cuando existan motivos para sospechar de ineciencias, mayores sern los riesgos, y cuanto menor sea el conocimiento, mayor ser la incertidumbre. La acumulacin de estos indicios o factores vinculados con una entidad o un programa de la Administracin puede representar una seal importante para las EFS e inducirlas a planicar auditoras cuyo alcance y mbito dependern de los indicios detectados. Entre los factores que podran indicar un mayor riesgo (o incertidumbre) se cuentan por ejemplo los siguientes: Las cuantas nancieras o presupuestarias son de un gran volumen, o se han producido cambios importantes en dichas cuantas. Estn implicadas reas tradicionalmente proclives al riesgo (adquisiciones, alta tecnologa, cuestiones ecolgicas, sanidad, etc. o reas de riesgo imposible de aceptar).

28 Vase una exposicin ms amplia sobre la seleccin de problemas en Handbook in Performance Auditing RRV (Suecia), 1999, y Picking the winners, NAO (Reino Unido) 1997.

51

 Estn implicadas actividades nuevas o urgentes, o condiciones modicadas (requisitos, exigencias). Las estructuras de gestin son complejas, y podra producirse cierta confusin en torno a las responsabilidades. No existe informacin able, independiente y actualizada sobre la eciencia o la ecacia de un programa de la Administracin. Algunas EFS pueden elegir temas basndose en elecciones estratgicas y no en criterios de seleccin (por ejemplo, con respecto al tipo de auditora del rendimiento, las esferas de polticas, la relacin con reformas dentro del sector pblico, etc.). A veces estas elecciones estratgicas pueden reejar las condiciones constitucionales y legales, as como las tradiciones establecidas. Tambin pueden reejar las realidades polticas, es decir, no se espera que determinados temas estn sujetos a scalizacin. Por consiguiente, la planicacin estratgica permite diferentes aspiraciones y decisiones. Vinculada con un sistema de planicacin anual de la EFS, la planicacin estratgica puede ser una herramienta que sirva para establecer prioridades y elegir posibles auditoras para su ejecucin. En otro contexto, puede servir como mecanismo para elegir futuros temas de auditora, como base de una planicacin ms detallada. Tambin puede servir como instrumento para tomar decisiones estratgicas acerca de las polticas referentes al futuro derrotero de la scalizacin. Por ejemplo, una EFS puede manifestar las siguientes opciones con respecto a su futura orientacin scalizadora.
Centrada en el cumplimiento de las leyes y reglamentaciones para garantizar su ejecucin Centrada en unidades organizacionales individuales Centrada en empresas/ programas de la Administracin

Centrada en la eficacia para contribuir al cambio y la renovacin

Una posible eleccin estratgica consiste en contribuir a la modernizacin de la Administracin pblica y centrarse en la scalizacin de programas del gobierno que tengan problemas importantes de ecacia. Una eleccin alternativa podra ser otra aspiracin y otro centro de atencin dedicados a la scalizacin de organismos individuales de la Administracin, y su cumplimiento de las reglamentaciones administrativo-econmicas. En una sociedad cambiante es muy lgico revisar peridicamente las actividades pblicas para comprobar si cumplen los objetivos y solucionan los problemas para los cuales han sido creadas. A medida
52

que avanza el tiempo, nuevas exigencias sustituyen a las anteriores. Como las demandas y las circunstancias cambian constantemente, la auditora del rendimiento o de gestin tendr que estar preparada para controlar y seguir los avances y las tendencias de desarrollo, revisar las prioridades y utilizar nuevos enfoques y mtodos. Si se dene una EFS -o ella misma se dene- como instrumento de cambio, es importante que las prioridades de la auditora de gestin reejen las necesidades de mejora del sector pblico. Por ejemplo, en una situacin de gran dcit presupuestario o con un estilo de gestin anticuado, la auditora del rendimiento puede realizar aportaciones al ahorro, a un mejor uso de los recursos o a una modernizacin de la gestin. En cambio, si el debate pblico se centra en el problema del desempleo, la ecologa, la equidad, la transparencia, los servicios al cliente, etc., es posible que la auditora del rendimiento preera otorgar prioridad a estos temas. En otras palabras, la planicacin estratgica puede no limitarse a proponer temas viables de scalizacin. Lo ideal sera integrar los temas de auditora o cuestiones de auditora- en una perspectiva global. 29 Algunas EFS llevan a cabo estudios especiales para congurar conocimientos o competencias dentro de una nica rea de la Administracin pblica o en un rea denida por un tema de auditora- que ayuden al proceso de planicacin estratgica.30 El ejercicio de la planicacin estratgica, por regla general, da como resultado un programa de auditora coherente y convincente de la EFS. El programa enumera las reas de auditora y expone brevemente los problemas, interrogantes y dems cuestiones provisionales en las que se apoya cada uno de aqullas. Lo ideal es que, a continuacin, el programa sirva de base para la planicacin operativa y la asignacin de recursos.
La planicacin estratgica constituye la base de la eleccin de temas de auditora, y vinculada con el sistema de planicacin anual de la EFS, puede servir como herramienta para jar prioridades y elegir auditoras. Puede servir como mecanismo de eleccin de futuros temas de auditora, y como base para una planicacin ms detallada. Finalmente, puede servir como instrumento de las decisiones de poltica estratgica

El trabajo de scalizacin sobre un tema especco se ha vuelto ms frecuente en los ltimos aos. Se trata de un trabajo a largo plazo, que suele producir diversos informes de auditora interrelacionados. 30 Vase un ejemplo en Strategy for Performance Audits in the Chemical Sector, Ocina Nacional de Suecia, 2002.

29

53

acerca del futuro derrotero de la auditora. La planicacin puede llevarse a cabo mediante los pasos siguientes: determinar las reas potenciales de scalizacin, establecer los criterios de seleccin que van a utilizarse, e identicar las fuentes principales de informacin para las posibles auditoras. Por lo general el ejercicio de planicacin estratgica dar como resultado un programa coherente y convincente de auditora para la EFS, como base para la planicacin operativa y la asignacin de recursos.

3.3

Qu implica la planificacin de cada auditora del rendimiento?

De acuerdo con las normas de auditora (NA 3.1.1) de la INTOSAI, el auditor debe planicar la scalizacin de un modo que garantice la realizacin de una auditora de alta calidad de un modo econmico, eciente y ecaz, y con la debida puntualidad. Por lo general, en la auditora del rendimiento se hace indispensable un plan bien meditado. Antes de iniciar el estudio principal de la auditora del rendimiento, por consiguiente, es importante denir los objetivos de scalizacin, su mbito y la metodologa requerida para lograr los objetivos. Esto se lleva a cabo a menudo en forma de estudio previo.31 El propsito del estudio previo es determinar si existen las condiciones necesarias para efectuar un estudio principal, y si existen, presentar una propuesta de auditora junto con un plan de trabajo. En primer lugar, la planicacin operativa debe ser una herramienta que oriente el proceso de ejecucin. Adems, aporta los conocimientos bsicos y la informacin que se necesitan para comprender la entidad, el programa o la funcin. Por ejemplo, un plan adecuado del trabajo de scalizacin garantiza mejor que la auditora del rendimiento sea amplia y realista. Normalmente el estudio previo debe llevarse a cabo en un perodo bastante breve.
Tres pasos importantes

Los pasos ms importantes en la elaboracin de una propuesta de auditora son los siguientes: denir el tema especco que va a estudiarse y los objetivos de la scalizacin,

31

Algunas EFS utilizan el trmino estudio preliminar.

54

 desarrollar el mbito y el diseo de la auditora, determinar el aseguramiento de la calidad, el calendario y los recursos. En la prctica, estos pasos no siempre pueden separarse estrictamente entre s, y no siempre tienen lugar en el mismo orden.
1. Definir el tema especfico que va a estudiarse y los objetivos de la fiscalizacin

El paso inicial es una denicin ms precisa del tema o de los problemas que van a scalizarse. Hay que elaborar los motivos y los objetivos del estudio. Se trata de un paso difcil e importante que implica, por ejemplo, un examen en profundidad de la materia en cuestin, mediante el estudio de la bibliografa, los documentos y las estadsticas pertinentes, la realizacin de entrevistas con los principales protagonistas y expertos, etc., y un anlisis de los indicios de problemas potenciales desde diversos puntos de vista. Es importante que las deniciones sean claras. Hay que evitar deniciones ambiguas o vagas.32 Incluso cambios secundarios en el tema que se scaliza o en el problema que va estudiarse pueden ejercer un inujo importante sobre el alcance general de la auditora. En pocas palabras, este paso implica responder a estas dos preguntas: Qu? Cul es el tema de la scalizacin o el problema que va a estudiarse? Por qu? Cules son los objetivos de la auditora? El enunciado de la cuestin bsica de la auditora constituye un aspecto de fundamental importancia dentro del proceso de examen: se trata de un factor decisivo para los resultados de la auditora. La cuestin bsica de la auditora puede considerarse como la cuestin fundamental que va a investigarse dentro de un programa de la Administracin y a la que los auditores se proponen dar respuesta. Por lo tanto, es importante que se base en consideraciones racionales y objetivas. Con carcter general, una EFS deber aplicar a la auditora del rendimiento la perspectiva totalizadora ms conveniente para el inters pblico y para su misin general.

32

Para ms informacin, ver por ejemplo Handbook on Performance Auditing, RRV, 1999.

55

Los objetivos de scalizacin estn relacionados con los motivos que justican la realizacin de la auditora y deben establecerse al principio del proceso de ejecucin para ayudar a identicar las materias que van a scalizarse y sobre las que va a informarse. Al determinar los objetivos, el equipo de auditora tiene en cuenta las funciones y responsabilidades de la EFS y el inujo neto previsto de la scalizacin tal como se dene en el plan estratgico de auditora. Los objetivos y el mbito de la scalizacin estn relacionados entre s y es preciso tomarlos en consideracin en conjunto. Es una prctica adecuada de gestin el debatir el mbito de la auditora con las entidades scalizadas en la primera oportunidad de que se disponga.33 Al denir los objetivos de scalizacin, un criterio podra consistir en optimizar la contribucin efectuada por la auditora. Una posible herramienta para determinar esta contribucin es exponer las conclusiones previstas. Si se lleva a cabo una auditora a peticin, los objetivos de scalizacin pueden estar ms o menos determinados o ser ms o menos obvios (NA 3.1.3). El detalle con el que hay que planicar la auditora es otra de las elecciones que hay que efectuar. Siempre se plantea la necesidad de una scalizacin elaborada con cuidado. Una adecuada planicacin previa impedir que ms adelante surjan problemas en la realizacin de la auditora. Por otra parte, una planicacin excesivamente detallada puede inhibir en ocasiones el pensamiento innovador y la apertura. Las auditoras se llevan a cabo en un mundo complejo, y por consiguiente, rara vez es posible disear una scalizacin amplia que pronostique el avance de una auditora del rendimiento en todos sus detalles.
2. Definir el mbito y el diseo de la auditora

El prximo paso en la fase de diseo es el desarrollo del mbito y el diseo de la auditora. Como en la scalizacin nanciera, es preciso estructurar el enfoque de la auditora del rendimiento.34

En algunos casos tambin puede ser de utilidad aclarar explcitamente lo que no va a scalizarse en el estudio real (aquello que no se intenta abarcar). Esto puede contribuir a reducir las nociones errneas o las falsas expectativas entre los interesados. 34 En este paso a veces resulta til estudiar las teoras y el trabajo cientcos referentes al area que va a scalizarse o las preguntas que van a responderse.

33

56

Definir el mbito y las cuestiones o hiptesis especficas que van a examinarse

El mbito dene las fronteras de la auditora. Trata aspectos tales como las preguntas especcas que van a formularse, el tipo de estudio que va a realizarse y el carcter de la investigacin.35 Adems, abarca el trabajo de recoger informacin y los anlisis que van a ejecutarse (NA 3.1.3-4). 36 El mbito de una auditora est determinado por la respuesta a las siguientes preguntas: Qu? Qu preguntas o hiptesis especcas van a examinarse? Qu clase de estudio parece adecuado?37 Quin? Quines son los protagonistas clave y la(s) entidad(es) que se scaliza)? Dnde? Hay limitaciones en el nmero de centros de trabajo que se abarcan? Cundo? Hay limitaciones en el tiempo que va a abarcarse? Despus de denir las razones y los objetivos del estudio, as como la cuestin general de auditora o los problemas que van a estudiarse, es importante denir las preguntas especcas que van a responderse o las hiptesis que van a examinarse (las posibles causas del problema). En la prctica, constituirn la base para la eleccin de mtodos de recogida de datos. El auditor deber denir tambin el carcter del estudio: qu clase de estudio se requiere para destacar las preguntas? Debe armarse, sin embargo, que la realizacin del trabajo de campo consiste en un proceso de aprendizaje continuado ms que en limitarse a recoger datos. Adems, las preguntas (o hiptesis) quizs tengan que modicarse a medida que los auditores adquieren ms conocimientos durante la scalizacin. No obstante, a lo largo de la fase de planicacin el propsito es dirigir la atencin de un modo sistemtico a lo que los auditores necesitan conocer, y dnde y cmo pueden obtener tal informacin.

Ver la siguiente seccin 4.2. Para ms informacin, ver Performance Audit Manual, CAG, Bangladesh, 2000, y Government Auditing Standards, GAO (EE.UU.), 2002. 36 A veces una EFS puede limitar su auditora del rendimiento a una metaevaluacin (una evaluacin de las autoevaluaciones). Debe entenderse, sin embargo, que ese enfoque slo es factible cuando el auditor de la EFS est completamente convencido de que los procesos de evaluacin interna aportan valoraciones objetivas, puntuales y amplias acerca de los programas en cuestin. 37 El diseo del estudio (estudio sobre logro de objetivos, estudio sobre gestin del tiempo, etc.).

35

57

La posibilidad de scalizacin es otro requisito importante del proceso de planicacin operativa. Dene si un tema es adecuado para la realizacin de un estudio principal. Como los objetivos y el mbito varan de una a otra auditora, el equipo de scalizacin necesita evaluar si puede llevarse a cabo una auditora. Una cuestin debe ser, al mismo tiempo, susceptible de ser scalizada, y tiene que valer la pena scalizarla, para que se incluya en el mbito de la auditora. Por ejemplo, el auditor podra tomar en consideracin si se dispone de enfoques, metodologas y criterios, y si es probable que se disponga de la informacin o las pruebas requeridas, y si pueden obtenerse de un modo eciente. Adems, tiene que haber informacin able y objetiva, y oportunidades razonables de obtener esta informacin. Otros aspectos que deben tenerse en cuenta son el cumplimiento del mandato de auditora, los recursos, las competencias profesionales requeridas y los plazos temporales. Debe disponerse de personal con las competencias pertinentes, y una auditora no debe quedar desestimada por otros estudios que ya estn realizando otros organismos (NA 2.1.23, 2.2.39, 3.0.3 y 3.1.1-4).
La comprensin del programa

Es importante lograr una comprensin adecuada del programa scalizado o de la actividad de la entidad scalizada que sirva para lograr los objetivos de la auditora, facilitar la identicacin de los temas importantes de la scalizacin y cumplir las responsabilidades asignadas a las auditoras. Este conocimiento incluir, por ejemplo, una comprensin de el carcter del programa de la Administracin que se scaliza, (papel y funcin, actividades y procesos en general, tendencias de desarrollo, etc.) la legislacin y los objetivos generales de los programas y del rendimiento, la estructura organizacional y las relaciones de rendicin de cuentas, el entorno interno y externo de la entidad scalizada y de los interesados38, las limitaciones externas que afectan la realizacin del programa, las investigaciones previas en el campo correspondiente, los procesos y los recursos de direccin.
38 En caso necesario, algunas EFS pueden llevar a cabo anlisis de los interesados durante esta etapa, para conseguir una imagen clara de la situacin real desde distintas perspectivas.

58

Obtener los conocimientos necesarios constituye un proceso continuado y acumulativo de recoger y evaluar informacin, y de relacionar el conocimiento resultante con las pruebas de scalizacin a lo largo de todas las fases de la auditora. Es importante que los auditores sopesen los costes de la obtencin de informacin y el valor aadido de la informacin para la auditora. Entre las fuentes de informacin se incluyen las siguientes: la legislacin vigente y los discursos parlamentarios, las declaraciones ministeriales, las manifestaciones y decisiones de la Administracin pblica, los informes de auditora, revisiones, evaluaciones e investigaciones recientes, los estudios cientcos y la investigacin pertinente (incluso en otros pases), los planes estratgicos y empresariales, las declaraciones sobre la misin y las memorias anuales, los expedientes sobre polticas y las actas de las reuniones de los comits de direccin y consejos de administracin, los organigramas, las directrices internas y los manuales operativos, la evaluacin de programas y los planes y memorias de auditora interna, los informes y actas de conferencias, puntos de vista de expertos en el campo en cuestin los debates con la direccin de la entidad scalizada y los principales interesados, y los sistemas de informacin de gestin, y otros sistemas pertinentes de informacin y las estadsticas ociales. Las revisiones anteriores constituyen a menudo una fuente de informacin til. Pueden evitar un trabajo innecesario al examinar reas que han sido investigadas recientemente, y poner de maniesto las deciencias que an no se han subsanado. Tambin pueden ser de importancia los debates con la alta direccin de los programas para obtener una perspectiva global a ese respecto. Otras fuentes relevantes de informacin son las siguientes: estudios realizados por grupos industriales, profesionales o de intereses especiales, investigaciones o revisiones anteriores realizadas por el poder legislativo, informacin en poder de organismos pblicos de coordinacin o comits de la Administracin pblica,
59

 trabajos realizados por otras Administraciones pblicas, y cobertura periodstica.

Definir los criterios de auditora

Los criterios de auditora se proponen servir de orientacin a la evaluacin (ayudando al auditor a responder a preguntas como por ejemplo: sobre qu fundamento puede evaluarse el comportamiento real, qu se requiere o se espera, qu resultados va a lograr el programa, y de qu forma?) En otros trminos, los criterios son normas que se emplean para determinar si un programa cumple o supera las expectativas.39 En las auditoras nancieras las transacciones examinadas suelen ser consideradas como correctas o incorrectas, legales o ilegales, etc. por el auditor. Estos criterios acostumbran a ser relativamente cerrados y por lo general han sido preestablecidos, por ejemplo, por la legislacin mediante la cual se crea la entidad scalizada (para ms informacin, vase el apndice 2). En las auditoras del rendimiento, sin embargo, la eleccin de los criterios de scalizacin suele ser relativamente abierta, y la efecta el propio auditor, y como se ha sealado antes, a menudo los criterios son menos importantes en el enfoque orientado a problemas. En este tipo de enfoque es ms importante formular hiptesis comprobables (vericables) sobre las causas posibles del problema scalizado.40 Por consiguiente, en auditora de gestin los conceptos generales de economa, eciencia y ecacia tienen que interpretarse en relacin con la materia en cuestin, y los criterios resultantes variarn en las distintas auditoras. Al denir los criterios de auditora los auditores deben asegurarse de que sean pertinentes, razonables y alcanzables. Finalmente, cada indicador se congura en forma de preguntas. stas poseen un carcter prctico y se proponen describir o medir la situacin especca que va a scalizarse. Los criterios de auditora pueden extraerse, por ejemplo, de las fuentes siguientes:

Por ejemplo, los criterios de auditora tendrn que ser ables, objetivos, tiles, completes y aceptados. 40 Vase informacin, por ejemplo, sobre cmo denir los problemas de auditora, y cmo formular y comprobar hiptesis, en Handbook in Performance Auditing: Theory and practice, Ocina Nacional de Auditora de Suecia, 1999.

39

60

 las leyes y las reglamentaciones que rigen el funcionamiento de la entidad scalizada, las decisiones tomadas por el poder legislativo o el poder ejecutivo, las referencias a comparaciones histricas y comparaciones con la mejor prctica, las normas, las experiencias y los valores profesionales, los indicadores clave del rendimiento establecidos por la entidad scalizada o por la Administracin, el asesoramiento y el know-how de expertos independientes, conocimientos cientcos nuevos o ya consolidados, y otras informaciones ables, los criterios utilizados previamente en auditoras similares, o empleados por otras EFS, organizaciones (dentro o fuera del pas) que lleven a cabo actividades semejantes o tengan programas similares, normas de rendimiento, o investigaciones anteriores efectuadas por el poder legislativo, y bibliografa sobre direccin general y sobre la materia en cuestin. La base de los criterios de auditora puede considerarse desde distintos ngulos: Segn el caso en cuestin, las fuentes ms autorizadas sern las normas ociales (por ejemplo los objetivos establecidos en las leyes, y las reglamentaciones, decisiones y polticas aprobadas por el poder legislativo o el poder ejecutivo), o Tomando como base los fundamentos cientcos de las normas, se otorgar un mayor nfasis a la bibliografa cientca especializada y a otras fuentes tales como las normas profesionales y las mejores prcticas. A veces los criterios de auditora son fciles de denir, por ejemplo cuando los objetivos jados por el poder legislativo o el poder ejecutivo son claros, precisos y relevantes. A menudo, sin embargo, no ocurre tal cosa. Los objetivos pueden ser vagos, conictivos o inexistentes. En estas condiciones los auditores quizs tengan que reconstruir los criterios. Una posibilidad consiste en aplicar un enfoque terico, permitiendo que los expertos en el campo en cuestin respondan a preguntas como las siguientes: Cules tendran que ser los resultados ideales en perfectas condiciones, de acuerdo con el pensamiento racional o la mejor prctica conocida que sea comparable? De modo alternativo, para denir y obtener apoyo para criterios bien fundamentados y realistas, quizs sirva de ayuda aplicar un enfoque
61

emprico, que implique debates con interesados y personas con capacidad de decisin.41
Planificacin metodolgica

La planicacin metodolgica implica gran cantidad de actividades diferentes. Por ejemplo, es importante distinguir entre el programa de auditora (el tipo de investigacin que se necesita para la recogida de datos) y las tcnicas de recogida de datos. Las auditoras del rendimiento pueden basarse en una amplia diversidad de tcnicas de recogida de datos que se emplean habitualmente en las ciencias sociales, por ejemplo encuestas, entrevistas u observaciones, y en el estudio de documentos escritos.42 El propsito consiste en adoptar las mejores prcticas, pero puede haber razones prcticas por ejemplo la disponibilidad de datos- que restrinjan la eleccin de mtodos, y a menudo los auditores quizs tengan que optar por la segunda mejor solucin. Como norma general, resulta aconsejable mostrarse exibles y pragmticos en la eleccin de mtodos.43 Las consideraciones prcticas tambin tendrn que inuir sobre el programa de auditora. Los mtodos de muestreo y las encuestas podran servir para extraer conclusiones generales, y los estudios de caso proporcionan la oportunidad de realizar estudios en profundidad.44 Aunque la naturaleza de las auditoras del rendimiento exige opciones y combinaciones- cuidadosas con respecto a las metodologas
41 Vase, por ejemplo, informacin sobre cmo denir problemas de auditoria, y cmo formular y probar hiptesis, en Handbook in Performance Auditing: Theory and practice, Ocina Nacional de Auditora de Suecia, 1999. Vase el apndice 2. 42 Esto implica que los auditores del rendimiento deben estar activamente interesados en una mejora continuada de sus competencies metodolgicas y disponer del tiempo necesario para ello- y seguir los avances metodolgicos en diversas entidades de investigacin, etc. Esto puede llevarse a cabo, por ejemplo, organizando seminarios internos con profesionales externos, y leyendo artculos y bibliografa. Al elegir mtodos de recogida de datos los auditores deben estar guiados por el propsito de la auditora y las cuestiones o hiptesis especcas que van a responderse. Vase una perspectiva global sobre el empleo de diferentes tcnicas para recoger datos de auditora y para analizar la informacin en Evidence-Gathering Techniques, OAG (Canad), 1994. Vase un debate ms profundo sobre metodologa, tcnicas y conceptos en investigacin social en The Research Methods Knowledge Base, Trochim, 2002. Ver tambin Evaluation, Rossi et al. 1999, y Case Study Research, Design and methods, Yin et al., 1994. 43 Los motivos para mostrarse pragmticos en la eleccin de mtodos se exponen en Designing Evaluations, GAO (EE.UU.), 1991, captulo 2. 44 Ver Case Study Research, Diseo y Mtodos, Yin et al., 1994. Pueden emplearse formas de seleccionar casos en Case Study Evaluation, GAO, (EE.UU.), 1990. Sobre las encuestas ver Conducting Surveys, OAG (Canad), 1998, Using statistical sampling, GAO (EE.UU.), 1992 y The Research Methods Knowledge Base, Trochim, 2002.

62

de examen de variables, es importante tener una mentalidad abierta durante el proceso de ejecucin. En esta etapa la eleccin de fuentes no tiene que ser rgida (NA 3.0.3, 3.1.1-4, 3.5.2-4 y 4.0.4). Para ms informacin, vase apndice 1.45 En particular para las auditoras del rendimiento el auditor se preocupar por la validez y abilidad de los mtodos utilizados para recoger y analizar datos: Validez: los mtodos tienen que medir aquello que se proponen medir; Fiabilidad: los resultados tienen que ser coherentes si se efectan mediciones reiteradas en la misma poblacin.46
3. Determinar el aseguramiento de calidad, el calendario y los recursos

La fase nal consiste en la determinacin de las medidas de aseguramiento de calidad que vayan a tomarse en la auditora, el calendario y el presupuesto nanciero.
Aseguramiento de calidad

Las Normas de Auditora (NA 2.1.27) de la INTOSAI arman que la EFS debe establecer sistemas y procedimientos de aseguramiento de calidad. Hay que disear procedimientos de control de calidad para garantizar que todas las auditoras se llevan a cabo de acuerdo con las normas y polticas pertinentes. Podra distinguirse entre procedimientos de aseguramiento de calidad ex ante y procedimientos durante el trabajo en curso, por ejemplo a travs de revisiones paritarias, co-lectores, utilizacin de paneles de expertos, comits especiales y especialistas o expertos en el campo en cuestin, y tcnicas como por ejemplo anlisis del tema y procedimientos ex post tales como revisiones independientes de informes publicados, para identicar las lecciones aprendidas y la forma en que reciben los informes los interesados clave, y los benecios que stos extraen de dichos informes. Algunas EFS han contratado cientcos individuales o instituciones cientcas para llevar a cabo evaluaciones ex post. Hay que planicar procedimientos ex ante, intermedios y ex post.

45 Para disear auditoras del rendimiento vase Handbook in Performance Auditing, RRV (Suecia) y Designing vfm studies, a guide, NAO (Reino Unido), 1997. 46 Por ejemplo, vase una exposicin ms amplia en The Research Method Knowledge Base, Trochim, 2002.

63

El director de la auditora es el responsable de la gestin diaria de la auditora, incluida su planicacin detallada, la ejecucin de la auditora, la supervisin del personal, el informe a la direccin de la EFS y el control de la preparacin del informe de auditora. En el caso de auditoras del rendimiento ms complejas, la EFS puede tomar en consideracin la designacin de un comit directivo que sirva de gua al equipo de auditora y controle el avance de la scalizacin (vase el apndice 4).
Planificacin administrativa

Hay que elegir el equipo de auditora y un jefe de equipo, y se requiere un plan de actividades. Es importante determinar el calendario y los recursos necesarios. Entre los factores relevantes se cuentan la forma en que est organizada la auditora, los costes previstos (de personal, tomando como base las tarifas determinadas previamente, y de equipos), y el tiempo previsto de duracin. Es preciso documentar el presupuesto y el calendario. Deber controlarse el avance hacia estos objetivos. El director de auditora y la direccin de la EFS son los responsables de garantizar que la auditora del rendimiento se lleve a cabo dentro de los lmites de presupuesto y de tiempo (NA 2.1.26-28, 2.2.36 y 3.1.4).
Cumplimiento de leyes y reglamentaciones

Cuando las leyes, las reglamentaciones y otros requisitos de cumplimiento correspondientes a la entidad scalizada son signicativos para los objetivos de la auditora, los auditores tienen que disear la auditora de forma que proporcione una seguridad razonable de cumplimiento de tales requisitos. En las auditoras del rendimiento los auditores deben estar alertas ante situaciones o transacciones que pueden ser indicativas de actos ilegales o de abusos. El auditor necesita asimismo determinar el grado en que tales actos afectan los resultados de la scalizacin. En los casos complicados podran requerirse especialistas en estas cuestiones (NA 3.4.1-7).
El resultado del estudio previo la propuesta de estudio principal

La fase de diseo de la auditora da origen a una propuesta coherente de auditora junto con un plan de trabajo (NA 3.0.1-3). Hay que asegurar la calidad del trabajo antes de decidir el inicio de un estudio principal.

64

Antes de iniciar el estudio principal de la auditora del rendimiento, es importante denir los objetivos de la auditora, el mbito y la metodologa para lograr los objetivos. Esto se lleva a cabo mediante un estudio previo. El propsito de un estudio previo consiste en establecer si existen las condiciones requeridas para un estudio principal, y en caso de que existan, presentar una propuesta de auditora junto con un plan de trabajo. Los pasos ms importantes en la elaboracin de una propuesta de auditora son denir la cuestin especca que va estudiarse y los objetivos de scalizacin; desarrollar el marco de referencia y el diseo de la auditora; y determinar el aseguramiento de calidad, el equipo de auditora, el calendario y los recursos. Deber informarse a la(s) entidad(es) scalizada(s) acerca de los objetivos, el mbito y el calendario de la auditora.

3.4 Resumen
El ciclo de la auditora del rendimiento implica una planicacin estratgica, un trabajo de preparacin, un estudio principal y actividades de seguimiento. La planicacin estratgica es la base de la seleccin de temas o cuestiones de auditora que se lleven a cabo. Tambin puede servir como instrumento para tomar decisiones estratgicas referentes a la orientacin de la auditora. La planicacin podra realizarse a travs de los pasos siguientes: determinar las reas potenciales de scalizacin, establecer los criterios de seleccin e identicar las principales fuentes de informacin para las auditoras potenciales. Antes de iniciar el estudio principal de la auditora del rendimiento, es importante denir los objetivos de scalizacin, el mbito y la metodologa para lograr los objetivos. Esto se consigue mediante un estudio previo. El propsito de un estudio previo consiste en establecer si existen las condiciones requeridas por un estudio principal y, en caso de que existan, presentar una propuesta de auditora junto con un plan de trabajo. En la planicacin de las auditoras del rendimiento, los auditores debern cumplir lo siguiente:

Tomar en consideracin la importancia y las necesidades de los usuarios potenciales del informe de auditora y de otras partes interesadas. Comprender la entidad pblica que va a scalizarse y los problemas que van a investigarse, incluida una comprensin del contexto de las actividades en cuestin.

65

 Identicar los resultados signicativos de las auditoras previas y dems investigaciones e informes que podran afectar los objetivos de scalizacin (incluidos los estudios en curso). Tomar en consideracin los objetivos polticos, as como los entornos legislativo y reglamentario. Denir los temas y los problemas que van a estudiarse, la entidad que va a scalizarse y los objetivos de la auditora, es decir, el efecto previsto de la auditora. Denir las preguntas bsicas de la auditora as como las preguntas ms especcas- que van a responderse o la hiptesis que va a comprobarse. Establecer los criterios de auditora. Los criterios de auditora representan las normas obligadas con respecto a las cuales se juzga la comprobacin de la auditora. Los criterios variarn segn el tema y los objetivos especcos de la auditora, la legislacin que rija la empresa o la entidad scalizada, los objetivos establecidos y las condiciones especcas que la EFS considere pertinentes e importantes en ese caso. Determinar la comprobacin de auditora que responder a la pregunta de la scalizacin: deber evaluarse la pertinencia, la abilidad y el carcter suciente de los datos disponibles dentro de las entidades scalizadas. Deber comprobarse la posibilidad de recoger las pruebas (los datos) que se requieran. Identicar las fuentes potenciales de informacin que debern utilizarse en la auditora para vericar hiptesis, obtener un mayor conocimiento acerca del objeto de scalizacin, o lograr respuestas a los interrogantes de la auditora, esto es, informacin que pueda emplearse como comprobacin. Tomar en consideracin, en caso necesario, la ayuda procedente de expertos (consultores, otros auditores) y cmo garantizar la calidad de la auditora. Es importante evaluar el conocimiento y las competencias profesionales que requiere el equipo de scalizacin para llevar a cabo la auditora. Asignar el personal y dems recursos sucientes para realizar la auditora y elaborar un plan por escrito. Elegir un equipo de auditora adecuado. Decidir un presupuesto correspondiente a los recursos necesarios para poner en prctica el examen y el calendario. Tomar en consideracin los posibles inujos y conclusiones del examen. El producto al que aspira la auditora del rendimiento debe juzgarse en trminos de utilidad y viabilidad. El auditor debe tener en cuenta las opiniones y los intereses de los protagonistas.

66

Parte 4:

Normas y orientaciones prcticas: realizacin de la auditora del rendimiento

4.1 Qu caracteriza el proceso del estudio principal?

El propsito del estudio principal es ejecutar el plan de trabajo, llevar a cabo la auditora y presentar un informe de auditora de alta calidad.47 Una auditora de gestin no consiste en una serie de mediciones, operaciones o subprocesos claramente denidos que se llevan a cabo por separado y de forma consecutiva. En la prctica, los procesos evolucionan gradualmente a travs de su interaccin recproca, y se llevan a cabo de modo simultneo, haciendo que los mtodos se desarrollen en profundidad y adquieran una complejidad cada vez mayor. (NA 2.2.39, 3.0.1 y 4.0.21). El trabajo de realizar una auditora puede considerarse un proceso analtico y, al mismo tiempo, de comunicacin. En el proceso analtico se recogen, interpretan y analizan datos. El proceso de comunicacin comienza cuando la auditora se expone por primera vez ante la entidad scalizada, y contina a medida que avanza la scalizacin, al valorar los distintos resultados y temas, y sigue hasta el momento en que nalice el informe.48 El ideal consiste en un dilogo abierto y constructivo, pero una auditora puede provocar reacciones negativas. El auditor tiene que enfrentarse a situaciones diversas, desde la apertura y la voluntad de cooperar hasta una actitud de evasin y secretismo. Por consiguiente, es importante que los auditores informen a la entidad scalizada acerca de los objetivos y mtodos de la scalizacin. Esto no signica que el objeto de la auditora dicte las condiciones del proceso de scalizacin
47 El estudio principal se llevar a cabo cindose a las mejores prcticas referentes a las tcnicas y metodologas (NA 2.2.36-37, 1.0.14 y 1.0.46). 48 Para ms informacin, vase por ejemplo Performance Auditing at the Swedish National Audit Bureau, RRV (Suecia), 1994.

67

o lo controle de algn otro modo. Por el contrario, implica establecer un proceso constructivo de interaccin. Por regla general, la ayuda de personas que trabajen en el organismo scalizado es esencial para que la auditora sea ecaz. Un dilogo activo con la entidad scalizada, los expertos y dems implicados durante la auditora hace que resulte ms fcil, por ejemplo, la realizacin de continuadas comprobaciones de los resultados preliminares (NA 2.2.25-26). Tambin es importante llevar a cabo la auditora con honradez. Debe cumplirse el plan de trabajo (recursos, tiempo y calidad) y la auditora debe realizarse de conformidad con las decisiones y las normas pertinentes (NA 2.2.39 y 3.0.2).
El propsito del estudio principal es ejecutar el plan de trabajo, llevar a cabo la scalizacin y presentar un informe de auditora. Las auditoras del rendimiento se realizarn empleando las mejores prcticas. El trabajo de realizacin de una auditora puede considerarse como un proceso analtico y comunicativo al mismo tiempo. El ideal consiste en un dilogo abierto y constructivo, pero la honradez tambin es importante. Hay que ceirse al plan de trabajo y deben cumplirse las normas pertinentes.

4.2 Qu tiene que tomarse en consideracin en el proceso de recogida de datos?

La calidad en la recogida de datos y la documentacin es decisiva, porque la auditora de gestin est sometida a un enjuiciamiento. Las NA declaran que: Para fundamentar las opiniones y las conclusiones del auditor relativas a la organizacin, al programa, a la actividad o a la funcin scalizada, deben aportarse pruebas adecuadas, pertinentes y razonables(NA 3.5.1). Si bien en las auditoras nancieras la prueba tiende a ser concluyente (s/no o correcto/equivocado), rara vez sucede lo mismo en las auditoras del rendimiento. Lo ms frecuente es que la prueba en la auditora de gestin tenga un carcter convincente (apunta hacia la conclusin segn la cual ).49 Los auditores deben ser creativos, exibles y cuidadosos en la bsqueda de pruebas. Al trabajar en mbitos donde la prueba que se obtenga sea convincente y no concluyente, a veces resulta til debatir
49

Para ms informacin, ver Government Auditing Standards, GAO (EE.UU.), 2002.

68

previamente con la entidad scalizada la naturaleza de la prueba que vaya a obtenerse y la forma en que el auditor la analizar e interpretar. Este enfoque reduce el riesgo de desacuerdo, y puede acelerar el proceso. Tambin es importante que los auditores busquen informacin de diferentes fuentes, ya que las organizaciones, las personas de una organizacin, los expertos y las partes interesadas tienen diferentes perspectivas y argumentos que defender (NA 2.2.39, 3.4.5 y 4.0.24). Los datos, la informacin y los conocimientos, en sentido amplio, son conceptos semejantes que estn encadenados entre s. Los datos constituyen la herramienta primaria. Una vez compilados, se transforman en informacin. sta, al ser analizada y comprendida, se convierte en conocimientos. Durante una auditora pueden recogerse datos tanto cuantitativos como cualitativos- con diferentes propsitos, como parte del proceso de aprendizaje o debido a la necesidad de describir y analizar un producto o un problema.50 Basndose en la experiencia general, es importante distinguir entre los siguientes componentes dentro del proceso de recogida de informacin: Interrogantes formulados que el estudio deber responder Diseo del estudio, es decir, el tipo de estudio necesario para responder a las preguntas (gestin del tiempo, coste-benecio, estudios de logro de objetivos, etc.) Programas de auditoras, es decir, el tipo de investigacin necesaria para la recogida de datos (por ejemplo muestreo, estudios de caso, anlisis secundarios, investigaciones, anlisis antes y despus, evaluaciones comparables, etc.) Tcnicas de recogida de datos necesarias para responder a las preguntas establecidas (estudio de documentacin, reuniones, cuestiones, entrevistas, etc.) Anlisis cuantitativos y cualitativos aplicados a los datos recogidos (para un anlisis ms profundo de la informacin recogida). La recogida de datos se realiza de una sola vez o a travs de mediciones continuadas (diseo de serie temporal, anlisis longitudinal). La informacin se recoge tomando como base las pruebas fsicas, los documentos (incluidas las declaraciones por escrito), los testimonios orales (entrevistas) o por cualquier otro medio, en funcin de los objetivos de la auditora. Con frecuencia ser necesario recoger datos tanto cuantitativos como cualitativos. Los tipos de datos que vayan a obtenerse
50

Vase Handbook on Performance Auditing, RRV (Suecia), 1998.

69

tienen que poderse explicar y justicar en lo que respecta a su suciencia, validez, abilidad, pertinencia y razonabilidad. La auditora del rendimiento elabora datos primarios (su propio material original) con la ayuda de los cuestionarios, las encuestas y la observacin directa. Sin embargo, tambin se emplea con frecuencia un gran volumen de datos secundarios (material producido por otros). Hay que recoger la mejor informacin disponible (dentro de los lmites razonables). Los auditores, sin embargo, no deben mostrarse rgidos en sus requisitos de exactitud. Podra resultar costoso e innecesario, y en otras palabras, a menudo es suciente y apropiada la segunda mejor solucin (NA 3.4.5 y 3.5.1-4).51 Tiene una importancia decisiva el que los auditores adopten un enfoque crtico y mantengan una distancia objetiva con respecto a la informacin aportada en el transcurso de una auditora. Al mismo tiempo, tienen que ser receptivos a las opiniones y los argumentos. Los auditores deben ser capaces de ver las cosas desde distintas perspectivas, y mantener una actitud abierta y objetiva con respecto a los diferentes argumentos y opiniones. Si no son receptivos, a los auditores pueden escaprseles los mejores argumentos. Esto tambin subraya la importancia de realizar evaluaciones racionales, es decir, el hecho de que los auditores eliminen sus propias preferencias personales y las de los dems. Por lo tanto, es importante que la implicacin del auditor se exprese mediante un proceso de reexin y de anlisis objetivo, y no en el convencimiento de que determinados puntos de vista son los correctos. (NA 2.2.40, 3.5.1 y 4.0.24). Cuando los datos procesados informticamente sean importantes para los resultados de la auditora, es conveniente tomar precauciones adicionales con el propsito de obtener pruebas sucientes, competentes y pertinentes de que los datos son vlidos y ables. Adems, cuando el objetivo primario de la auditora es la abilidad de un sistema de informacin, los auditores tienen que efectuar una revisin de los controles generales y de aplicacin del sistema. Con carcter adicional, durante un estudio principal los auditores pueden obtener informacin condencial (por ejemplo, opiniones sobre la direccin o sobre poltica). En consecuencia, deben garantizar el anonimato y no divulgar las opiniones de las personas (NA 2.2.37, 2.2.46 y 3.3.4).

51

Como suele decirse: Es mejor ser vagamente correcto que estar equivocado con exactitud.

70

Es necesario documentar, archivar y efectuar referencias cruzadas sobre los resultados del trabajo de campo y del anlisis, junto con la documentacin de planicacin de la auditora, para que los responsables de la scalizacin puedan revisar el trabajo efectuado y validar las conclusiones alcanzadas. Es preciso conservar un registro de la labor en forma de documentos de trabajo. Hay que obtener pruebas sucientes, competentes y relevantes como base justicativa de los resultados y conclusiones (NA 3.2.1 y 3.5.5-7).
La calidad en la recogida de datos y la documentacin es decisiva. Los auditores tienen que ser creativos, exibles y cuidadosos en su bsqueda de pruebas sucientes. Es importante mantener una distanciacin objetiva con respecto a la informacin aportada, pero los auditores tambin tienen que ser receptivos a las opiniones y los argumentos, y buscar informacin procedente de diferentes fuentes e interesados.

4.3 Qu caracteriza la prueba de la auditora y los resultados de la auditora?

Las pruebas pueden ser fsicas, documentales, testimoniales o analticas. Una inspeccin u observacin directas de las personas, los bienes o los acontecimientos aportan pruebas fsicas. La prueba documental consiste en informacin como por ejemplo cartas, contratos, asientos contables, facturas e informacin de la direccin sobre el rendimiento. La prueba testimonial se obtiene mediante entrevistas o cuestionarios. La prueba analtica abarca los aspectos informticos, las comparaciones, la divisin de la informacin en sus componentes, y los argumentos racionales. Las pruebas tienen que ser sucientes, competentes y relevantes. La prueba es suciente si est en condiciones de servir de apoyo a los resultados de la auditora. La prueba que se utiliza en apoyo de un resultado es pertinente si posee una relacin lgica y detectable con ese resultado. La prueba es competente si es coherente con los hechos (NA 3.4.5 y 3.5.1). Los resultados de la auditora son las pruebas especcas recogidas por el auditor para cumplir los objetivos de la auditora, es decir, para responder las preguntas de scalizacin, vericar las hiptesis formuladas, etc. Las conclusiones son armaciones que el auditor deduce de dichos resultados, y las recomendaciones son tipos de accin
71

sugeridos por el auditor en relacin con los objetivos de la scalizacin. Los resultados de la auditora contienen los elementos siguientes: los criterios (lo que debera ser), la condicin efectiva (lo que es), y el efecto (cules son las consecuencias, consideradas asimismo como el inujo futuro lgico y razonable), ms la causa (por qu se produce una desviacin con respecto a las normas o los criterios), cuando se encuentran problemas.52 Sin embargo, no siempre es obligatorio que los cuatro elementos estn presentes en una auditora; por ejemplo, el elemento criterios no siempre interviene en el enfoque orientado a problemas.53 El proceso de analizar pruebas, desarrollar resultados y presentar recomendaciones para solucionar las reas en que se produzca una prctica deciente se resume en el siguiente diagrama de las directrices de la ASOSAI.
Criterios de auditora (lo que debera ser) Pruebas de auditora (lo que es) Resultado de la auditora (lo que es comparado con lo que debera ser) Determinar las causas y los efectos del resultado Desarrollar las conclusiones y recomendaciones de la auditora Calcular los probables influjos de las recomendaciones, siempre que sea posible

Despus de haber identicado un resultado de la scalizacin, se llevan a cabo dos formas complementarias de evaluacin: la evaluacin de la importancia de los resultados y la determinacin de sus causas (del incremento de rendimiento o de la falta de rendimiento cuando ste es inferior a lo previsto). Los auditores tambin pueden tratar de evaluar las consecuencias del resultado. En muchos casos las consecuencias de ste pueden cuanticarse. Por ejemplo, es posible calcular el coste de los procesos o los inputs caros, o de las instalaciones no productivas. Adems, el efecto de los procesos inecientes, por ejemplo, los recursos sin utilizar o una direccin deciente, se traducen en retrasos temporales o en el desaprovechamiento de recursos materiales. Los efectos cualitativos que
52 Para ms informacin, ver Government Auditing Standards, GAO (EE.UU.), 2002. 53 Vase la seccin 1.8.

72

se ponen de maniesto en la inexistencia de controles, las decisiones errneas o la falta de preocupacin por el servicio tambin pueden ser importantes. La consecuencia debe demostrar la necesidad de una accin correctora. Dicha consecuencia tambin puede haber ocurrido en el pasado, estar ocurriendo ahora u ocurrir en el futuro. Para que un descubrimiento tenga validez, hay que cerciorarse de que -si el efecto ya ocurri en el pasado- la situacin no se haya remediado ya, con objeto de evitar que reaparezca. Si los efectos no se identican con rapidez, es posible que el auditor de gestin necesite comprobar sus efectos potenciales.54
Las pruebas pueden clasicarse en fsicas, documentales, testimoniales o analticas. Las prueban deben ser sucientes, competentes y relevantes. Los resultados de la auditora aportan respuesta a los interrogantes de la scalizacin. Las conclusiones son armaciones deducidas de los resultados. La comparacin entre las observaciones (condiciones) de la scalizacin y los criterios de la auditora sirve para identicar los resultados de la auditora. Una vez identicado un resultado de la auditora, se llevan a cabo dos formas complementarias de evaluacin: la evaluacin de la importancia de los resultados y la determinacin de sus causas.

4.4 Cmo debe afrontarse un entorno cambiante y conflictivo?

Una auditora del rendimiento puede durar mucho tiempo, y pueden surgir cambios en los conocimientos y en la realidad con posterioridad al punto de partida originario. A menudo es difcil, en una auditora del rendimiento, elegir entre las instrucciones que guran en el plan de trabajo y la descripcin de la estructura de scalizacin, por una parte, y el inters por estudiar cuestiones que pasan a primer plano en un momento posterior, por la otra. Para no quedar atrapado en detalles y en una cantidad abrumadora de datos, antes de la auditora y durante su realizacin es preciso efectuar evaluaciones detalladas de la necesidad de informacin acerca de los problemas que van a tratarse. Basndose en la experiencia, esto facilita la eliminacin de detalles superuos y enfoques irrelevantes, y la clasicacin o estructuracin de la infor-

54

Para ms informacin, ver Performance Auditing Guidelines, ASOSAI, 2000.

73

macin recogida. Una vez ms, sin embargo, los auditores no deben ser rgidos y tienen que evitar toda recogida de datos no planicada. La NA 2.2.26 estipula: En contraposicin con lo que sucede en el sector privado, en el que la labor del auditor se concreta en una carta de contratacin, la entidad scalizada no tiene el carcter de cliente de la EFS. La EFS ha de cumplir su mandato libre e imparcialmente, y ha de tener en cuenta, en la formacin de sus opiniones, conclusiones y recomendaciones, el punto de vista de la direccin de las entidades scalizadas, pero no es responsable ante la direccin de stas con respecto al mbito o la naturaleza de las auditoras realizadas. Sin embargo, los auditores tienen que crear buenas relaciones con la entidad scalizada y otras partes interesadas. Para evitar conictos innecesarios, los auditores deben escuchar y aprender, y tratar de entender la naturaleza especca de la actividad que se somete a scalizacin. Para ello debern contemplar una actividad desde perspectivas diferentes, y adoptar una actitud abierta y objetiva ante las opiniones y objeciones que se planteen. Con frecuencia las reuniones y los debates peridicos con la entidad scalizada constituyen una parte valiosa de la auditora. Si aparece un conicto, hay que esforzarse por sacar a la luz las opiniones discrepantes con el propsito de congurar una imagen denitiva tan veraz y justa como sea posible. Los auditores tratan de establecer una actitud de cooperacin y unas interacciones abiertas, as como un clima de conanza con la entidad scalizada. Sin embargo, la naturaleza misma de la auditora y la importancia de su independencia signica que es necesario jar un lmite claro para evitar que el auditor del rendimiento se implique en el trabajo prctico de implantar cambios en la entidad scalizada (NA 2.2.25, 2.2.29, 4.0.24). Existen lmites para el grado al que una auditora de gestin puede llegar con objeto de corroborar declaraciones y vericar resultados. Por regla general, no es posible evitar crticas, ni siquiera se emplean los mtodos cientcos ms perfeccionados. Por consiguiente, las ventajas de vericar una cuestin debern sopesarse en relacin con las limitaciones temporales y el consumo de recursos. Al mismo tiempo, los datos bsicos tienen que ser de buena calidad. (NA 3.1.1, 3.5.1, 4.0.23 y 2.1.26).

74

Un plan de trabajo bien diseado ayuda a los auditores a no quedar atrapados en detalles y en una cantidad abrumadora de datos. Para evitar conictos innecesarios los auditores deben comprender la naturaleza especca de la actividad que se scaliza. Si se producen conictos, hay que esforzarse para que se den a conocer las opiniones discrepantes con el propsito de congurar una imagen denitiva tan veraz y correcta como sea posible.

4.5 Qu es lo importante cuando se analizan los datos y se extraen conclusiones?

La mayora de las auditoras implican algn tipo de anlisis para entender o explicar lo que se ha observado. Como se ha mencionado antes, se utiliza una amplia gama de modelos o mtodos de anlisis (NA 4.0.21). Esto puede asumir la forma de anlisis estadsticos ms detallados, debates sobre los resultados dentro del equipo de auditora, estudios de la documentacin y de los documentos de trabajo, etc. A veces el anlisis puede exigir comparaciones entre los resultados, por ejemplo entre cuestiones que funcionan bien y otras que no funcionan tan bien, entre una o varias cuestiones, y una visin general, y el rea scalizada y un rea semejante scalizada en otro pas. La fase nal en el anlisis de los datos consiste en combinar resultados de diferentes tipos de fuentes. No existe un mtodo general para llevarlo a cabo. Sin embargo, es de una importancia bsica que el auditor trabaje de manera sistemtica y cuidadosa en la interpretacin de los datos y argumentos recogidos. Esta fase implica comparar los argumentos y las armaciones entre s, consultar expertos, y efectuar comparaciones y anlisis. A medida que el trabajo contina va congurndose gradualmente un proyecto de informe.55 Las notas y observaciones se ordenan de un modo estructurado. Al avanzar los debates internos y externos, se redactan, evalan y reescriben textos; se comprueban los datos, y se debaten las conclusiones. Es necesario intercambiar informaciones tomando como
55

Si los anlisis se basan en conocimientos cientcos y en teoras consolidadas, probablemente resultarn ms slidos e interesantes. A menudo tambin es ms fcil interpretar las observaciones a la luz de una teora solvente. (No existe nada ms prctico que una buena teora. )

75

base los documentos debatidos para discutir los principales asuntos que han surgido en el curso de la auditora. Estas reuniones sirven para conrmar hechos con las entidades scalizadas y promover el desarrollo de resultados y recomendaciones de la auditora. Si es posible, hay que abarcar la totalidad de los argumentos principales que puedan contemplarse, con objeto de que en la fase nal de la auditora no se presenten argumentos o hechos- completamente nuevos y quizs decisivos. En una auditora de gestin ejecutada adecuadamente los argumentos formulados se equilibran en relacin con los mejores argumentos contrarios, y las diversas opiniones contrastantes se comparan entre s. En este proceso pueden ayudar colegas experimentados, asesores externos contratados al efecto, etc. Las conclusiones debern basarse en los objetivos, la racionalidad, y normas y criterios especcos del proyecto (NA 2.2.36, 2.2.39-40, 3.2.4, 3.5.2, 3.5.7 y 4.0.24). Las recomendaciones tienen que argumentarse de un modo lgico, basado en conocimientos y racional. La causa de un resultado constituye la base de la recomendacin. La causa puede encontrarse fuera del control de la entidad que se scaliza, en cuyo caso la recomendacin debera dirigir la atencin hacia el exterior de la entidad scalizada. Las recomendaciones requieren una cuidadosa revisin para garantizar que son viables, valiosas y hacen referencia a los objetivos de la auditora. (NA 1.05 y 4.0.23-27). Antes de publicar un informe de auditora del rendimiento, hay que conceder siempre a la(s) entidad(es) implicada(s) la oportunidad de examinar el contenido fctico del informe. El proyecto de informe le da a la entidad scalizada la primera oportunidad de ver por escrito el contexto completo de resultados y conclusiones de la auditora. Cuando las reacciones aporten nuevas informaciones, el auditor deber evaluarlo y estar dispuesto a modicar el proyecto de informe, siempre que se cumplan las normas habituales correspondientes a las pruebas. En la medida de lo posible, las reacciones orales y escritas debern estar documentadas. Es preciso analizar todos los desacuerdos (NA 3.2.4 y 4.0.23-24).

76

La fase nal del anlisis de los datos consiste en combinar los resultados procedentes de distintos tipos de fuentes. No existe un mtodo general para llevarlo a cabo. En una auditora del rendimiento adecuadamente realizada los argumentos expuestos se comparan con los mejores argumentos en contrario, y las diversas opiniones se sopesan entre s. Las conclusiones deben basarse en los objetivos, la racionalidad, y en normas y criterios especcos del proyecto. Antes de publicar un informe de auditora del rendimiento hay que dar a la(s) entidad(es) scalizada(s) la oportunidad de examinar su contenido fctico. Las recomendaciones, en su caso, tienen que argumentarse de un modo lgico, basado en conocimientos y racional. Deben tratar de remediar las causas que estn en la raz de los problemas.

4.6

Resumen
En pocas palabras, cuando se lleva a cabo una auditora, hay que tomar en consideracin lo siguiente: Ejecutar el plan de trabajo con honradez y con cuidado, puntualmente, de conformidad con las normas internacionales y nacionales para la auditora de gestin. La planicacin debe continuar a lo largo de toda la auditora. Las actividades debern revisarse y modicarse a medida que avance el proceso de scalizacin. El proyecto debe presentarse adecuadamente a la entidad scalizada. Mantener un dilogo activo, abierto y constructivo con sta y con las otras partes interesadas durante la auditora. La entidad scalizada (o los principales organismos del poder ejecutivo que intervengan en la entidad que va a investigarse) deber participar en el proceso. Ejecutar con cuidado el propsito de la auditora. La calidad en la recogida de datos, el anlisis y la documentacin es un factor decisivo. Recoger la mejor informacin posible (dentro de lo razonable) o la ms adecuada tanto hechos como opiniones, argumentos y reexiones- procedente de distintas fuentes, y buscar los conocimientos y los conocimientos tcnicos que se requieren. Es preciso que el trabajo se caracterice por la objetividad, la imparcialidad y la condencialidad. Valorar de un modo crtico la informacin obtenida y los argumentos aportados. Hay que recoger todos los hechos y argumentos pertinentes.

77

Proteger la integridad de las personas que proporcionan la informacin, garantizar que los documentos de trabajo no se divulguen de modo incorrecto, y a todos los dems efectos, ceirse a normas ticas elevadas. Si se efectan recomendaciones, deben proponerse remediar las causas que estn en la raz de los problemas. Hay que documentar, archivar y efectuar referencias cruzadas con respecto a los resultados del trabajo de campo. Las pruebas tienen que ser sucientes, competentes y pertinentes. Llevar a cabo los adecuados anlisis cuantitativos y cualitativos. Debatir los anlisis con los auditores de nivel superior, los interesados y los expertos en el campo. Analizar y evaluar las observaciones sobre la base de las intenciones polticas, las consideraciones racionales y los criterios especcos de la auditora. Los resultados deben constituir la base de las recomendaciones. Garantizar que la base fctica de las descripciones, los anlisis y las recomendaciones sea exacta, est adecuadamente fundamentada, sea equilibrada y se comunique correctamente a la entidad scalizada. El auditor deber comprobar que las recomendaciones, en su caso, hagan referencia a los objetivos de la auditora.

78

Parte 5:

Normas de informacin y orientacin: presentacin de los resultados de la auditora

5.1 Qu implica la necesidad de centrarse en el informe final?

De conformidad con las Normas de Auditora, los auditores deben preparar informes de auditora por escrito (NA 4.0.7). Los informes escritos tienen que comunicar los resultados de las auditoras a todos los niveles de la Administracin, hacer que los resultados susciten menos interpretaciones errneas, hacer que los resultados puedan ser inspeccionados pblicamente, y facilitar un seguimiento que determine si se han efectuado acciones correctoras. El informe sobre la auditora del rendimiento es el producto con respecto al cual la Administracin, el poder legislativo y los ciudadanos enjuician la funcin scalizadora del rendimiento de la EFS. La mayora de las EFS con una larga experiencia de auditora del rendimiento publican informes individuales, es decir, cada auditora del rendimiento se publica por separado. Otras EFS que no estn obligadas a ejecutar esos proyectos de auditora, o que no estn autorizadas a publicar la totalidad de los resultados de sus auditoras del rendimiento, pueden publicar sus observaciones y conclusiones de forma resumida en sus informes anuales. Las directrices siguientes se aplican principalmente a las EFS que carecen de restricciones en sus informes. Debido al volumen de informacin que se requiere durante una auditora, el proceso de informacin puede facilitarse mediante el uso de un proceso continuado de redaccin de informes. Este proceso puede comenzar al principio de la auditora mediante un esquema que origine diversos documentos de debate, unicados a continuacin en el proyecto de informe, y que d lugar ms adelante al informe de auditora denitivo (NA 3.2.4).

79

Los auditores deben preparar informes de auditora por escrito. Dado el volumen de informacin que se requiere durante una auditora, el proceso de informacin puede verse facilitado por el uso de un proceso continuado de redaccin de informes.

5.2 Qu se requiere para que el informe sea fiable?

El informe de auditora tiene que ser able. En l deben gurar los objetivos y el alcance de la auditora, as como la metodologa y las fuentes empleadas, los resultados de la auditora, las conclusiones y las recomendaciones.56 Hay que hacer constar cualesquiera limitaciones en el mbito del trabajo y los motivos de ello. El lector tiene que comprender con facilidad los propsitos de la auditora e interpretar adecuadamente sus resultados. El informe deber ser completo, exacto, objetivo, convincente, y tan claro y conciso como lo permita la materia (NA 4.0.8 y 4.0.24). La integridad exige, por ejemplo, que el informe contenga todos los argumentos e informaciones necesarios para cumplir los objetivos de scalizacin, promover una comprensin adecuada y correcta de las materias y condiciones sobre las que se informa, y cumplir los requisitos de contenido del informe.57 Es decisivo que en el informe nal de auditora se hagan constar los puntos de partida de la scalizacin y los mtodos empleados, as como las fuentes importantes de material y las conclusiones. Es preciso que la relacin entre los objetivos de la auditora, los criterios, los resultados y las conclusiones sea vericable y completa, y se exprese con claridad. Si se efectan recomendaciones, es necesario que exista un vnculo claro entre el anlisis o las conclusiones y las recomendaciones. Los auditores, dentro de los objetivos de la auditora, debern comunicar todos los casos signicativos de incumplimiento y los abusos signicativos que se hayan encontrado durante la scalizacin o en relacin con sta (NA 4.0.87-88, 4.0.22).

56 El informe, por ejemplo, podra incluir comparaciones con los criterios de auditora, y contener un anlisis de las diferencias existentes entre lo observado y los criterios de auditora, y hacer constar las causas y las consecuencias de las diferencias. 57 La legislacin o las reglamentaciones quizs prohban la divulgacin general de determinadas informaciones. stas podran facilitarse, slo en la medida en que alguien est obligado a conocerlas, nicamente a aquellas personas autorizadas por la ley a recibir esa comunicacin. Quizs sea possible incluir material condencial o reservado en un informe aparte, no publicado (NA 4.0.8).

80

La exactitud requiere que las pruebas presentadas sean veraces y completas, y que todos los resultados se expongan correctamente. La necesidad de exactitud se basa en la necesidad de garantizar a los lectores que lo que se informa es creble y able. Una sola inexactitud de un informe puede suscitar dudas sobre la validez de todo el informe, y desviar la atencin con respecto a la esencia del informe. Adems, los informes inexactos daan la credibilidad de la EFS. En otras palabras, un nivel elevado de precisin exige un sistema ecaz de aseguramiento de calidad. Las pruebas que se aleguen deben demostrar la correccin y la justicacin de los asuntos objeto de informe. Una imagen correcta implica describir con exactitud el alcance y la metodologa de la scalizacin, y exponer los resultados y conclusiones de un modo coherente con el alcance del trabajo de auditora (NA 4.0.23-24). La objetividad requiere, como se ha dicho antes, que la exposicin de todo el informe tenga un contenido y un tono equilibrados. La credibilidad de un informe se ve incrementada signicativamente cuando expone las pruebas con imparcialidad. El informe tiene que ser justo y no provocar confusiones, y debe situar en perspectiva los resultados de la auditora. Esto implica presentar tales resultados con imparcialidad y evitar la tendencia a exagerar o a recalcar en exceso las deciencias de rendimiento. Las interpretaciones debern basarse en la observacin en profundidad y la comprensin de los hechos y las situaciones. Es preciso evitar las exposiciones unilaterales. Aunque la naturaleza misma de la scalizacin se centra en las carencias, conviene que en los informes de auditora del rendimiento se hagan constar los resultados y valoraciones de carcter positivo, y no slo los negativos (NA 4.0.7 y 4.0.23). Ser convincentes exige, en sentido amplio, que los resultados de la scalizacin respondan a los objetivos de la auditora, los resultados se presenten de modo persuasivo, y las conclusiones y recomendaciones se deduzcan lgica o analticamente de los hechos y argumentos expuestos. Los hechos deben exponerse por separado de las opiniones. El lenguaje empleado no tiene que ser tendencioso ni sugerente. La informacin presentada deber bastar para convencer a los lectores de la validez de los resultados, la justicacin de las conclusiones y las ventajas de poner en prctica las recomendaciones. Tienen que estar representados diferentes argumentos y opiniones (NA 4.0.7 y 4.0.24). La claridad requiere que el informe sea fcil de leer y de entender (tan claro como el tema lo permita). Hay que denir con claridad los trminos tcnicos y las abreviaturas. La organizacin lgica del mate81

rial y la exactitud al exponer los hechos y extraer conclusiones son esenciales para la claridad y la comprensin. Aunque los resultados se presenten con claridad, los auditores deben tener presente que uno de los objetivos es mostrarse convincentes, y que el mejor mtodo para lograrlo consiste en evitar un lenguaje que genere defensividad y oposicin (NA 4.0.7-8). Ser conciso exige que el informe no sea ms largo de lo necesario para transmitir y apoyar el mensaje. Si bien puede dedicarse espacio a un enjuiciamiento amplio en el contenido de los informes, es probable que los informes completos, pero concisos, obtengan mejores resultados. Debe manifestarse, empero, que los estudios avanzados exigen a menudo informes ms extensos. Tambin es preciso tener presente que los informes de auditora del rendimiento no se escriben nicamente para quienes posean conocimientos especiales; se escriben asimismo para aquellos que necesitan ms informacin para comprender los temas. Un informe ms amplio podra proporcionar al lector una comprensin ms completa del fundamento en que se basan las conclusiones extradas, y de este modo aadir valor y credibilidad al informe de auditora (NA 4.0.4).
El informe de auditora tiene que ser able. El informe debe informar y, en su caso, establecer recomendaciones lgicas y claras que estn vinculadas con los objetivos y los resultados de la auditora. Es preciso que los auditores informen sobre los objetivos y el mbito de la scalizacin, as como sobre los resultados, conclusiones y recomendaciones de la auditora. Los propsitos de la auditora tienen que ser fciles de comprender, y sus resultados deben interpretarse con facilidad. El informe ha de ser completo, exacto, objetivo, convincente, y tan convincente como sea posible.

5.3 Cules son las caractersticas de un informe correcto y til de auditora del rendimiento?

Los buenos informes de auditora del rendimiento deben ser valiosos para los interesados en cuestin, y cumplir los objetivos jados. Tienen que aportar informacin accesible, concisa y actualizada, que la Administracin, el Parlamento, la entidad scalizada y otros interesados puedan emplear para mejorar la economa, eciencia y ecacia del sector pblico, es decir, el informe debe contribuir a un mejor
82

conocimiento y a las mejoras apropiadas.58 Los adecuados informes de auditora del rendimiento tienen que basarse en los intereses del lector y estar bien estructurados, y el lenguaje no tiene que ser ambiguo. Deben exponer los resultados de un modo objetivo y equilibrado (NA 4.0.7). Esto exige que: los resultados y conclusiones se presenten por separado, los hechos se expongan e interpreten en trminos neutrales, estn representados puntos de vista y perspectivas diferentes, se incluyan todos los resultados, argumentos y pruebas pertinentes, y los informes sean constructivos y se expongan conclusiones positivas.59 En un sentido ms amplioy a modo de resumen la calidad de una auditora del rendimiento puede evaluarse mediante criterios especcos, entre los que se cuentan los siguientes:
Importancia, pertinencia y objetividad

Los temas tratados deben ser importantes. La informacin dada deber ser pertinente para el tema, la cuestin que se scaliza o el problema analizado. La objetividad puede denirse como imparcialidad, equilibrio y neutralidad. Al tomar decisiones sobre el alcance, las pruebas de la scalizacin, la importancia de las observaciones y las conclusiones, el auditor deber adoptar un punto de vista imparcial y una actitud objetiva. El diseo de la auditora debe garantizar que la seleccin de hechos que se investiguen y que se expongan en el informe sea equilibrada y carente de prejuicios. Los resultados tienen que estar determinados por las pruebas obtenidas y estructuradas de conformidad con las normas de auditora pertinentes. No hay que suprimir hechos, y el auditor no debe exagerar las deciencias de carcter secundario. Siempre hay que buscar explicaciones sobre todo por parte de la entidad scalizada, y evaluarlas crticamente (NA 1.0.9, 2.2.40, 3.5.4, 4.0.7 y 4.0.24-26).
58

La forma y el contenido de todos los informes de auditora se fundamentan en los siguientes principios generales: un ttulo adecuado y un informe rmado adecuadamente, una presentacin clara de los objetivos y el mbito, la integridad, el destinatario y la identicacin de la material en cuestin (NA 4.0.7-8). 59 sta podra ser una posible estructura de los informes sobre el rendimiento: (1) resumen ejecutivo, (2) introduccin y diseo de la auditora (incluido el trasfondo, las razones del estudio, sus objetivos, alcance y mtodos), (3) descripcin de la material que se scaliza, (4) resultados y anlisis, (5) conclusin y valoraciones, y (6) recomendaciones y apndices.

83

Fiabilidad, validez y coherencia

Los usuarios deben poder conar en la abilidad y la validez de los resultados sobre los que se informe. Los mtodos de recogida de datos tienen que ser vlidos y ables. El diseo de auditora debe hacer que las conclusiones surjan de los resultados y los anlisis, y se basen en hechos vericados y en otras informaciones procedentes de fuentes diversas. Es preciso que todos los documentos del proceso estn adecuadamente equilibrados en sus perspectivas y juicios (NA 2.2.36, 2.2.39, 3.2.3, 3.4.5, 3.5.2, 4.0.8 y 4.0.22-25).
Transparencia, utilidad y puntualidad

No se debe obligar a una EFS a retener resultados, y dentro de su mandato legal, deber disponer de la libertad necesaria para decidir qu se publica y en qu forma. El informe debe proporcionar informacin accesible, concisa y actualizada, que la Administracin, el Parlamento y los organismos gubernamentales pueden utilizar para mejorar su funcionamiento, es decir, la informacin proporcionada debe ser valiosa. Hay que responder las preguntas que se formulan en la auditora. Es preciso sealar con claridad aquellos puntos en los que la EFS prev emprender acciones, y quin se encargar de ello. La puntualidad exige que el informe se publique a tiempo para que su informacin est a disposicin de la direccin, la Administracin, los miembros del poder legislativo y otras partes interesadas en el momento oportuno (NA 2.2.10-11, 3.1.1, 4.0.4-5, 4.0.7-8 y 4.0.21-22).
Los informes adecuados de auditora del rendimiento son valiosos para los interesados y cumplen los objetivos jados. Contribuyen a un mejor conocimiento y a realizar las mejoras necesarias. Tienen en cuenta al lector y estn bien estructurados, y su lenguaje no es ambiguo. Los resultados se presentan de forma objetiva y equilibrada. Se exponen por separado los resultados y las conclusiones, y los hechos se presentan e interpretan en trminos neutrales. Estn representados puntos de vista y perspectivas diferentes, se incluyen todos los resultados, argumentos y pruebas pertinentes, y los informes son constructivos: se presentan conclusiones positivas.

84

5.4 Cmo debe distribuirse un informe de auditora del rendimiento?

Unos informes amplios y una extensa distribucin de cada informe son claves para la credibilidad de la funcin de scalizacin. De acuerdo con su papel institucional, cada EFS debe decidir cul es la forma de servir mejor a los intereses de los ciudadanos y a los de la propia EFS en la distribucin de los informes de auditora, tanto en general como cada uno de los informes. Si es posible, todos los resultados pertinentes de la auditora debern hacerse pblicos (mediante informes individuales del rendimiento, o en el informe anual de la EFS). Es conveniente que los informes se sometan a la crtica y al debate pblicos (NA 2.2.11). El informe, siempre que sea posible, deber entregarse a la entidad scalizada, la Administracin, los representantes legislativos, los medios de comunicacin y otros interesados. Los funcionarios que deban incluirse en la distribucin son, por ejemplo, los designados por la ley o la reglamentacin como destinatarios de tales informes, los responsables de poner en prctica los resultados y las recomendaciones, los pertenecientes a otros niveles de la Administracin que haya prestado asistencia a la entidad scalizada, y los legisladores (NA 4.0.8). La publicacin de los informes de auditora puede provocar malentendidos. Los medios de comunicacin pueden interpretar errneamente y exagerar los resultados, y como consecuencia, frustrar el propsito de la auditora. Por consiguiente, y basndose en la experiencia, se recomienda que se entregue a los medios de comunicacin una informacin adecuada y equilibrada, que est respaldada por pruebas fcticas, que asuman la forma de comunicados de prensa, por ejemplo.
Unos informes extensos y una amplia distribucin de cada informe son decisivos para la credibilidad de la funcin scalizadora. Siempre que sea posible, cada auditora del rendimiento deber publicarse en un informe por separado.

85

5.5 Para qu sirven los procesos de seguimiento?

Un proceso de seguimiento facilitar la ejecucin ecaz de las recomendaciones de los informes y aportar comentarios a la EFS, el poder legislativo y la Administracin sobre la ecacia de la auditora del rendimiento. En el seguimiento del informe el auditor deber mantener la objetividad y la independencia, y por lo tanto, centrarse en determinar si se han corregido los puntos dbiles identicados, y no en el hecho de que se hayan puesto en prctica o no las recomendaciones especcas.60 La prioridad de las tareas de seguimiento debe tenerse en cuenta en el contexto de la estrategia global de scalizacin, tal como se establezca en el proceso de planicacin estratgica (NA 4.0.26). El seguimiento de las recomendaciones de la EFS sirve para cuatro objetivos principales: aumentar la ecacia de los informes de auditora - la razn primordial para hacer un seguimiento de los informes de auditora es aumentar la probabilidad de que se pongan en prctica las recomendaciones; ayudar a la Administracin pblica y al poder legislativo el seguimiento tiene que ser til para orientar las medidas del poder legislativo; la evaluacin de la gestin de la EFS la actividad de seguimiento proporciona una base para valorar y juzgar el rendimiento de la EFS; y crear incentivos para el aprendizaje y el desarrollo - las actividades de seguimiento pueden contribuir a un mejor conocimiento y a una mejor prctica. Cuando naliza una auditora del rendimiento, existen diversas oportunidades para obtener informacin sobre la forma en que ha sido recibida, por ejemplo, observando las reacciones de las entidades scalizadas, el Parlamento y los medios de comunicacin. Pueden organizarse conferencias internas y externas para resumir la experiencia y promover el aprendizaje. Asimismo, pueden ser tiles las revisiones y evaluaciones internas de la scalizacin. Adems, puede pedirse a crticos externos cientcos, expertos y otros- que examinen los informes
60 Hay que reconocer la dicultad de aislar el impacto de un informe de auditora en el contexto de otros cambios importantes. El factor clave sigue siendo el que se hayan llevado a cabo las recomendaciones de auditora, y a menudo esto puede ser el nico indicador susceptible de medicin del impactoin.

86

de auditora del rendimiento o expresen sus opiniones sobre la calidad del trabajo (NA 2.1.26-30). Es preciso registrar los resultados del seguimiento de las recomendaciones de la auditora. En caso necesario, deber informarse a la Administracin o al poder legislativo acerca de las deciencias y mejoras identicadas en el seguimiento de las auditoras.
Un proceso de seguimiento facilitar la ejecucin ecaz de las recomendaciones del informe y aportar comentarios a la EFS. Existen diferentes formas de obtener dicha informacin: revisiones y evaluaciones internas, conferencias y seminarios, auditoras especial de seguimiento, etc.

5.6

Resumen
En resumen, he aqu unos cuantos principios importantes acerca de la informacin: Los resultados deben documentarse, y la informacin tiene que ser puntual. Es preciso que el informe de auditora se comunique en la forma adecuada a la entidad scalizada y facilite informaciones, valoraciones y anlisis bien fundamentados y equilibrados, que sean valiosos para quienes toman decisiones y a otros interesados. El informe deber ser objetivo, estar bien redactado y bien estructurado, ser completo, able, y contener conclusiones pertinentes y utilizables. El informe debe publicarse y ser objeto de seguimiento de manera objetiva.

87

88

REFERENCIAS Y BIBLIOGRAFA

Organizacin Internacional de Entidades Fiscalizadoras Superiores (INTOSAI)

Declaracin de Lima sobre las Lneas Bsicas de la Fiscalizacin. 1977. Revista Internacional de Auditora Gubernamental.
Comit de Normas de Auditora

Cdigo de tica y Normas de Auditora. 2001.

Subcomit para la Independencia de las EFS

Proyecto sobre la independencia de las EFS, INTOSAI. 2001

Organizacin de Entidades Fiscalizadoras Superiores de Asia, ASOSAI

Directrices sobre Auditora del Rendimiento (ASOSAI), 2000.

Grupo de Trabajo sobre Evaluacin de Programas

Proyecto de Informe Resumen, 1995

Grupo de Trabajo sobre Auditora Ecolgica

Auditora Ecolgica en Europa 2000 resultados de los cuestionarios de la EUROSAI y la INTOSAI, 2000. Directrices sobre la realizacin de auditoras y actividades con una perspectiva ecolgica, 2001. Auditora ecolgica y scalizacin de regularidad, 2002.
Grupo de Trabajo sobre Auditora TI

Presentacin de la auditora del rendimiento sobre el uso de la informtica.1997. Fiscalizacin de la direccin del servicio de TI. Parte I-III. 2001. Mandatos de las Entidades Fiscalizadoras Superiores. 2003. IntoIT- Revista de TI de la INTOSAI (1-17).
89

Grupo de Trabajo sobre Privatizacin

Normas para un mejor ejercicio de la auditora de las privatizaciones. 1998 Lineamientos para la mejor prctica en la auditora de la regulacin econmica. 2001. Lineamientos para la mejor prctica en la auditora de nanciamientos pblico y privados y concesiones. 2001.

Entidades Fiscalizadoras Superiores Oficina Nacional de Auditora de Australia

The Performance Audit Policy Manual, 2001.

Oficina del Controlador y Auditor General de Bangladesh

Performance Audit Manual.2000. Value-for-Money Audit in Bangladesh. Efforts and Challenges. 2002.
Oficina del Auditor General del Canad

Auditing the Management of People. An approach to the Identication and selection of Audit Issues. 1991. Evidence-Gathering Techniques. 1994. Auditing Efciency. 1995. Conducting Surveys. 1998. VFM Audit Manual. 2000.
Oficina Nacional de Auditora de Dinamarca

Planning and choice of methods for performance audit. 2001. Measuring results of performance audit. 2002.
Oficina Estatal de Auditora de Estonia

Measuring Performance Audit Effectiveness: The Case of Estonia. 2002.

Oficina del Auditor General de Guyana

Developing Training Programs for the Introduction of VFM Audit in OAG/Guyana. 2000.
Oficina Estatal del Controlador de Israel

Studies in State Audit, State Comptrollers Ofce.1995.

90

Tribunal de Cuentas de los Pases Bajos

Manual on Performance Audits. 1996. Audit of Policy Results Manual. 1997.

Oficina del Auditor General de Noruega

Guidelines for Performance Auditing. Preface. 1998.

Comisin de Auditora de Filipinas

Development of a Self-Study Guide for Philippine VFM Auditing. 2001.

Oficina Nacional de Auditora de Suecia

System-Oriented Effectiveness Audit. 1985. Performance Auditing at the Swedish National Audit Bureau. 1993. Handbook in Performance Auditing. Theory and practice. 1999. Quality Control Model for Performance Audit. 2003.
Oficina Estatal de Auditora de Tailandia

Strategy to Improve Planning for Performance Audits. 2000.

Oficina Nacional de Auditora del Reino Unido (NAO)

Collecting, Analysis and Presenting Data. 1996. Picking the winners. A guide to vfm selection. 1997. Designing vfm studies. A guide. 1997. Benchmarking. How benchmarking can help in vfm examinations. 1997. Focus groups. How to apply the techniques to vfm work. 1997. Value for money. Handbook. 1997. Performance measurement. What to look for in vfm studies. 1998. Presenting data in reports a guide. The Public Face of the NAO. 1998. Getting beneath the surface. A Handbook in Using qualitative evidence in value for money examinations. 1999. Taking a Survey. 1999. State Audit in the European Union. 2001. National Audit Ofce Sampling Guide. 2001. Writing smart recommendations. Are we being served? A value for money guide.

91

General Accounting Office (GAO) de los Estados Unidos

Causal Analysis: A Method to Identify and Test Cause Effect Relationships in Program Evaluation. 1982. Content Analysis: A Methodology for Structuring and Analysing Written Material. 1982. Case Study Evaluation. GAO/PEMD-91-10.1.9. 1990. Prospective Evaluation Methods: The Prospective Evaluation Syntesis.1990. Designing Evaluations. GAO/PEMD-10.1.4.1991. Using Structured Interviews Techniques, GAO/PEMD-10.1.5.1991. How to Get Action on Audit Recommendations. 1991. Quantitative Data Analysis. GAO/PEMD-10.1.11.1992. Using Statistical Sampling. GAO/PEMD-10.1.6. 1992 The Evaluation Synthesis.1992 Developing and Using Questionnaires.GAO/PEMD-10.1.7.1993. Best Practices Methodology. 1995. Program Evaluation: Studies Helped Agencies Measure or Explain Program Performance. 2000. Total Quality Management for SAIs. 2002 Managing for results. Using Human Capital Management to Drive Transformational Change. 2002 Government Auditing Standard. 2002.
Oficina del Controlador y Auditor General de Zimbabwe

Value for money audit manual and the quality assurance system for value for money audits. 2001.
Tribunal de Cuentas Europeo

Implementing guidelines for the INTOSAI Auditing Standards. 1997.

92

Bibliografa

Richard Boyle y Donald Lemaire, editores. Building effective evaluation capacity: Lessons from practice. New Brunswick, N.J., Londres, Transaction, 1999. Brown, Auditing Performance in Government. Concepts and Cases. New Brunswick, New Transaction Books, 1982. Campbell, D.T. & Stanley, J.C. Experimental and Quasi-Experimental Designs for Research. Chicago, Rand McNally, 1966. Coelli, Tom, D.S. Prasala Rao, George Batteses, An introduction to Efciency Analisis, Kluwer Academic Publishers, 1998. Franklin J.E.& Trascher, J.H., An introduction to Program Evaluation, Nueva York, Wiley & Sons, Inc., 1976. Greenbaum, T.L., The Handbook of Focus Group Research, edicin revisada y ampliada, Lexington Books, Nueva York, NY, 1993. May, Claire, Effective Writing. A Handbook for Accountants, tercera edicin, Englewood Cliffs, New Jersey, Prentice Hall, 1992. Mohr, L.B. Impact Analysis for Program Evaluation, Newbury Park, Sage Publications, Inc., 1992. Naess, Arne, Communication and argument. Elements of Applied Semantics, Universitetsfrlaget, Tangen-Trykk, Drammen, 1981. Pollit Christoffer y Hilkha Summa. Performance or Compliance? Performance Audit and Public Management in Five Countries, Oxford University Press, 1999. Roosi, Peter H., Freeman, Howard E. y Lipsey, Mark W., Evaluation: A Systematic Approach, 6a edicin, Sage Publications Inc., Thousands Oaks, California,1999. Vedung, Evert, Public policy and program evaluation, New Brunswick, N.J., Transaction Publishers, 1997. Weiss, Carol H., Evaluation: methods for studying programs and policies, Upper Saddled River, N.J., Prentice Hall, 1998. Yin, Robert K., Case Study Research. Design and Methods, segunda edicin, Applied Social Research Methods. vol. 5. Sage Publications. Thousands Oaks, Londres, Nueva Delhi, 1994.

93

94

Apndices

95

96

Apndice 1

Metodologa de la auditora del rendimiento

Introduccin la auditora del rendimiento y el proceso de recogida de datos

Los auditores del rendimiento pueden tratar gran cantidad de temas y perspectivas que abarcan la totalidad del sector pblico. Tambin pueden utilizar y combinar- una gran diversidad de mtodos para recoger y procesar informacin, y en una auditora los datos pueden recogerse con diferentes propsitos. Por lo general la informacin y los datos se recogen para posibilitar la comprensin y descripcin del objeto de scalizacin, valorar y medir el resultado, identicar las deciencias, describir y analizar las relaciones de causa/efecto, comprobar hiptesis y explicar el rendimiento, y someter a prueba argumentos y propuestas. La recogida de datos puede constituir asimismo una parte importante del proceso de aprendizaje mediante el cual el auditor trata de comprender el rea estudiada y sus problemas. Resulta imposible describir todos los enfoques, modelos y mtodos que emplean los auditores del rendimiento. Los enfoques varan y existen pocas restricciones. A continuacin se realiza una breve descripcin de los enfoques y mtodos ms utilizados. Algunos de ellos se proponen obtener conocimientos y una mejor comprensin, mientras que otros se utilizan para vericar y extraer hechos bsicos.61

61 Aqu se pretende facilitar una descripcin general de los mtodos utilizados en la auditora del rendimiento. Para una ejecucin prctica se requiere una informacin ms detallada, que incluya la exposicin de las prcticas de auditora. El hecho de que la INTOSAI deba proporcionar o no dicha orientacin es una cuestin que deber debatirse en el futuro. En Internet hay mucha informacin disponible.

97

Las auditoras del rendimiento implican diversos pasos durante el proceso de recogida de datos, por ejemplo:
Planificacin (el proceso de definir las cuestiones o los problemas que van a estudiarse) Preguntas de fiscalizacin (las preguntas que van a responderse) Diseo del estudio (la informacin necesaria y el estudio que va a realizarse) Programa de fiscalizacin (el tipo de investigaciones que van a llevarse a cabo) Recogida de datos (las tcnicas de recogida de datos que van a utilizarse)

Anlisis (las explicaciones y las relaciones que van a examinarse) Aunque estos pasos constituyen la metodologa de la auditora del rendimiento, debe sealarse que una auditora del rendimiento tambin tiene que estar siempre basada en la intuicin, la experiencia, la imaginacin, la creatividad, etc. de cada persona, es decir, en procesos o acontecimientos que no pueden seguirse o aplicarse de forma mecnica.

1.

Planificacin de la auditora

La recogida de datos se inicia ya en la fase de planicacin, cuando se controlan y seleccionan posibles temas de scalizacin. La bsqueda se vuelve ms especca durante el estudio de viabilidad, cuando se prepara el estudio principal. Los estudios de documentos y entrevistas con diferentes interesados constituyen probablemente las tcnicas ms frecuentes de recogida de datos en esta fase. Las EFS emplean diversos mtodos que colaboran en el proceso de planicacin, por ejemplo: Anlisis de riesgos, Anlisis SWOT, y Anlisis de problemas.62

62 El anlisis de riesgos es frecuente en todas las formas de scalizacin, sobre todo en la auditora nanciera. Siempre ha sido una herramienta importante en la auditora interna. El anlisis SWOT (anlisis de puntos fuertes, puntos dbiles, oportunidades y peligros) quizs sea menos frecuente en la auditora del sector pblico, pero algunas EFS lo aplican en sus procesos de planicacin. El anlisis de problemas es bsicamente una herramienta que emplean aquellas EFS que han adoptado un enfoque ms orientado a problemas. Vase ms informacin, por ejemplo, en Auditing: A Risk Analysis Approach., 5 ed., Konrath, Larry, F. Thomson, Learning. 2002; Dynamic SWOT Analysis the Developers guide, Richard Dealtry, IPC, Reino Unido, 1994; y Handbook in Performance Auditing, RRV, 1998.

98

2.

Formulacin de la pregunta de fiscalizacin o definicin del problema de fiscalizacin

Un vez decididos los objetivos y la materia de la auditora, es preciso denir las preguntas que deber responder el estudio. He aqu unos cuantos ejemplos de preguntas generales de scalizacin que son frecuentes en auditora del rendimiento: Los medios elegidos constituyen un uso econmico de los fondos pblicos? Cul es la causa de los rpidos incrementos de costes? Los servicios prestados son de la calidad adecuada y estn orientados al cliente? Por qu los servicios no se prestan en el momento oportuno? Los programas de la Administracin se ejecutan de un modo eciente? Se cumplen las metas y los objetivos de los programas de la Administracin? Cul es el motivo por el cual el programa de la Administracin ejerce un inujo tan escaso? Al formular la pregunta de scalizacin, los auditores del rendimiento tienen que arse de la informacin recogida y de sus propias competencias y experiencia. En esta fase se emplean a veces tcnicas del tipo del mind-mapping, el brain-storming, etc.63 El proceso requiere debates internos con el equipo de auditora (y con los auditores ms experimentados y los directivos), y al mismo tiempo, reuniones externas con expertos e interesados en la cuestin. Despus de formular la pregunta general de scalizacin, los auditores tienen que desglosarla en subpreguntas especcas y susceptibles de comprobacin que van a ser respondidas por el estudio, es decir, preguntas ms especcas referentes al qu es? o por qu es? Se trata de un proceso iterativo. En el enfoque orientado a problemas, hay que poner el acento en la forma adecuada de denir el problema. Por lo general, la auditora comienza con indicios de problemas de alguna clase (carencias en el servicio, reclamaciones, costes crecientes, etc.). En la fase siguiente, los auditores tratan de relacionar y vincular entre s los diferentes problemas, y nalmente, tratarn de denir de la manera ms exacta

63 Vase por ejemplo Brainstorming: How To Create Successful Ideas, Charles Clarke, Paperback, 1990; y Mapping the Mind, Rita Carter, Paperback, 2000.

99

posible el problema que va a scalizarse. Tambin formularn hiptesis comprobables referentes a las posibles causas del problema.64

3.

Definicin del diseo del estudio

El paso siguiente consiste en decidir qu clase de informacin es necesaria para responder a las preguntas. Hay que tomar en consideracin una amplia gama de cuestiones para poder elegir un enfoque que reeje la realidad y se ajuste a las preguntas formuladas. Vanse a continuacin determinados enfoques frecuentes de la auditora del rendimiento:
1. Estudios sobre el logro de metas o estudios basados en resultados65 Pregunta bsica: los programas estn logrando sus objetivos globales?

Estos estudios evalan en qu medida un programa logra sus metas u objetivos orientados a resultados y orientados a clientes. Se centran en outputs y productos (incluidas las consecuencias colaterales y las consecuencias involuntarias) con objeto de enjuiciar la ecacia del programa, pero tambin pueden conceder una atencin especial a los temas de calidad y a las perspectivas de los clientes. stas son algunas de las preguntas frecuentes, por ejemplo: De qu forma se han establecido las metas del programa? En qu estado se encuentra el avance del programa? Las metas se lograrn en los plazos especicados? Entre los pasos generales de los estudios sobre el logro de metas o sobre los basados en resultados se cuentan los siguientes: denir los principales outputs y productos que van a estudiarse, especicar las medidas observables que indican que se estn alcanzando los resultados clave para los clientes que se estudian, e identicar qu informacin se necesita para ponerlo de maniesto. Los estudios sobre el logro de metas son frecuentes en la auditora del rendimiento. Se emplean principalmente para examinar si se estn alcanzando los objetivos jados, y para establecer mediante una

64 Vase informacin prctica sobre el modo de denir problemas y formular hiptesis, etc. en Handbook in Performance Auditing, Theory and practice, RRV, 1999. 65 Para ms informacin, ver Weiss, C. H., Evaluation research: Methods for assessing program effectiveness, Englewood Cliffs, N.J., Prentice Hall.,1972, y Rossi, Peter H. y Howard E. Freeman, Evaluation A Systematic Approach, Beverly Hills, Ca, SAGE, 1985.

100

evaluacin general- si se han encontrado deciencias en el trabajo que se ha realizado. Pueden determinarse las posibles desviaciones relacionando los resultados y consecuencias con las metas y demandas estipuladas. El auditor del rendimiento utiliza principalmente los estudios sobre logro de metas cuando stas se han denido con claridad y se emplean como instrumento de la direccin, cuando slo se dispone de un conocimiento limitado acerca de las consecuencias, y cuando se necesiten evaluaciones de un carcter ms general. El examen de los productos en comparacin con los objetivos formulados en trminos generales pueden dar una idea de la forma en que se han cumplido dichos objetivos. Sin embargo, esta clase de informacin no suele originar satisfactoriamente directrices para un evaluacin ms detallada de las entidades en cuestin, o de lo que se necesita para mejorar el producto. En determinadas circunstancias, los estudios sobre el logro de metas, sin embargo, proporcionan una base sobre la cual evaluar qu cambios se necesitan. Tal es el caso, por ejemplo, cuando los objetivos son pocos, compatibles, concretos, y estn relacionados ms directamente con una actividad determinada o un medio de control especcos (una reglamentacin, una campaa de informacin, etc.). De vez en cuando se utiliza el anlisis de objetivos-medios, para ilustrar determinadas deciencias entre los recursos dedicados y los objetivos alcanzados. Un anlisis de objetivos-medios tambin puede utilizarse cuando hay razones para creer que una entidad scalizada no ha actuado de modo eciente. Un modelo lgico del programa (o una teora poltica/teora de la intervencin) ayuda al auditor a llevar a cabo estudios de obtencin de metas (as como otros estudios). El modelo representa la estructura o la lgica del programa que se scaliza. Muestra la jerarqua del programa desde el punto de vista de los objetivos y responsabilidades. Comenzando por los objetivos y efectos deseados de mximo nivel de los programas, el modelo lgico del programa va descendiendo a travs de sub-programas y componentes de sub-programa y actividades especcas, y cada elemento de nivel inferior est relacionado lgicamente con un elemento de nivel superior. Un modelo lgico del programa ayuda al auditor a comprender las cuestiones de la auditora del rendimiento puesto que centra la atencin en la relacin entre los objetivos y sub-objetivos del programa, por un lado, y los outputs y

101

productos (inujos y consecuencias) que se derivan del programa, por el otro. Ayuda al auditor a identicar y buscar respuestas a preguntas como las siguientes: Los objetivos proporcionan una comprensin clara de la lgica fundamental del programa, de los productos y servicios que se proporcionan, y de los receptores de estos bienes y servicios? Los objetivos permiten la identicacin de resultados mensurables? Son plausibles los enlaces causales entre los niveles jerrquicos? En la fase de planicacin los modelos lgicos del programa ayudan al auditor a comprender la entidad scalizada y a identicar los resultados claves del programa y los sistemas y operaciones que los producen. Un modelo lgico del programa es aplicable sobre todo cuando la realidad es sencilla y racional. El inconveniente del modelo es que la realidad rara vez se ajusta a estas premisas.
2. Estudios basados en el proceso66 Pregunta bsica: Cmo funciona el programa?

Los estudios basados en el proceso tienen el propsito de permitir una comprensin completa de la forma en que funciona un programa de la Administracin pblica: cmo produce sus resultados? Las preguntas tpicas que se formulan son de este tipo: Cules son los pasos y procedimientos del proceso de trabajo? Los recursos se gestionan y utilizan de un modo econmico y eciente? Cul es el proceso general que siguen los clientes a lo largo del programa? Cules son las reclamaciones ms frecuentes? Qu es lo que los clientes y el personal consideran como puntos fuertes y dbiles del programa? Sobre qu base se necesitan los servicios? Esta clase de estudios son frecuentes, y son de especial utilidad cuando los programas son de larga duracin y se han modicado a lo largo del tiempo, y cuando se advierten seales de deciencias. El enfoque basado en el proceso implica muchas clases de investigaciones (por ejemplo, estudios sobre gestin del tiempo, utilizacin de los recursos, los interesados, etc.).

Ver por ejemplo Weiss, C. H. Evaluation research: Methods for assessing program effectiveness, Englewood Cliffs, N.J., Prentice Hall, 1972, y Rossi, Peter H., y Howard E. Freeman, Evaluation A Systematic Approach, Beverly Hills, Ca, SAGE, 1985.

66

102

3. Estudios sobre el influjo67 Pregunta bsica: Cules son los efectos netos del programa de la Administracin?

Los estudios sobre el inujo evalan el efecto neto de un programa mediante la comparacin de los productos del programa con una estimacin de lo que habra sucedido en ausencia del programa. Este tipo de estudio se utiliza, por ejemplo, cuando se sabe que hay factores externos que inuyen sobre los productos del programa, con objeto de determinar cul es la contribucin del programa al logro de sus objetivos.
4. Estudios de coste-beneficio y estudios de coste-eficacia68 Preguntas bsicas: Los beneficios del programa son superiores a sus costes, y los objetos se consiguen con el mnimo de costes posibles?

Los estudios de coste-benecio son investigaciones sobre la relacin entre los costes y las ventajas de los proyectos o programas de la Administracin, expresados en trminos dinerarios. Un estudio de costebenecio puede utilizarse, por ejemplo, para scalizar la eciencia de los proyectos de inversin (por ejemplo, proyectos de construccin de carreteras). El propsito de estos estudios es determinar si las ventajas de una entidad, un programa o un proyecto superan sus costes. Los estudios de coste-benecio pueden utilizarse para: asegurarse de que un anlisis efectuado por la entidad scalizada se ajusta a las normas profesionales; comparar costes y benecios cuando ambos se conocen o pueden calcularse de modo razonable; comparar los costes de las alternativas, manteniendo constantes las ventajas. Realizado de forma apropiada un estudio de coste-benecio debera considerar habitualmente no slo los costes y benecios tangibles (y que pueden medirse con una relativa facilidad), sino tambin los costes y benecios intangibles (y difciles de calcular).

Para ms informacin vase por ejemplo Impact Analysis for Program Evaluation, Lawrence. B. Mohr, Paperback, 1996, y Causal Analysis: A method to Identify and Test Cause and Effect Relationships in Program Evaluation, GAO, 1982. 68 Ver Cost-benet and cost-effectiveness analysis en D.S. Codray, H.S. Bloom y J.R. Light (eds.), Evaluation practice in review, San Francisco, Ca. Jossey-Bass, 1987.

67

103

Los estudios de coste-ecacia son estudios sobre la relacin entre los costes y los resultados de un proyecto, expresados en costes por unidad de resultado conseguida. Un estudio de coste-benecio permite que los auditores comparen la eciencia econmica de las alternativas del programa, mientras que un estudio de coste-ecacia est destinado a encontrar el medio ms barato de lograr un objetivo denido o el valor mximo con respecto a un gasto determinado. A diferencia de la versin de los economistas sobre los estudios de coste-benecio, en los estudios de coste-ecacia los benecios pueden expresarse en unidades fsicas y no en unidades dinerarias: la ecacia de un programa para el logro de determinadas metas de importancia est relacionada con el valor dinerario de los recursos asignados al programa o actividad.
5. Estudios de evaluacin comparativa (benchmarking)69 Pregunta bsica: Las cosas se estn haciendo de conformidad con las mejores prcticas?

La evaluacin comparativa es un proceso de comparacin de los mtodos, procesos, procedimientos, productos y servicios de una organizacin (un programa) con los de organizaciones (programas) que destaquen de manera sistemtica en las mismas categoras. La evaluacin comparativa se utiliza para: estimular una revisin objetiva de los procesos, prcticas y sistemas; desarrollar criterios de funcionamiento e identicar mejores formas posibles de actuar; conceder ms credibilidad a las recomendaciones de la auditora.
6. Estudios de meta-evaluacin70 Pregunta bsica: Es aceptable la calidad de la evaluacin realizada?

Los propsitos de las meta-evaluaciones son juzgar la calidad de las evaluaciones, mejorar la calidad de las evaluaciones y promover el uso efectivo de la investigacin sobre la evaluacin en el proceso de gestin. El papel de la EFS consistir en examinar la calidad real de las evaluaciones realizadas, y la adecuacin y las condiciones de procedimiento de la evaluacin. Los criterios de las meta-evaluaciones se centrarn en la calidad de la investigacin evaluadora efectuada y en la forma en que
69 Ver Benchmarking. How benchmarking can help in vfm examination, NAO, 1997. 70 Vase, por ejemplo, Cook, T. D. & Gruder, C. L., Meta-evaluation research. Evaluation Quarterly, 2 (1), p. 5-51, 1978; y Scriven, M., An introduction to meta-evaluation, Educational Product Report No 2, 1999.

104

se ha integrado la funcin de evaluacin en el proceso de gestin. En sentido amplio, existen dos criterios posibles: La calidad cientca y epistemolgica de la investigacin sobre la evaluacin: los criterios tericos, metodolgicos y tcnicos ms avanzados sobre la cuestin. Los requisitos tericos hacen referencia, entre otras cosas, a la formulacin del problema, la denicin de los conceptos, las hiptesis y la coherencia de la teora en conjunto. Los requisitos metodolgicos impuestos a la investigacin de la evaluacin implican, entre otras cosas, la validez y abilidad de los resultados de la investigacin. Los requisitos se reeren, entre otras cosas, a la puesta en prctica de los criterios de evaluacin, con base en los cuales puede determinarse si la situacin en el campo de las polticas cumple las normas de evaluacin. Criterios de utilidad de la investigacin para la poltica/la prctica de gestin: esto signica que un informe de evaluacin debe proporcionar informacin, lo cual es importante para lograr un enfoque ecaz, eciente y legtimo ante determinados problemas polticos, p. ej., el informe deber contener referencias explcitas a la necesidad de informacin que debe aportar la investigacin, a un problema de prctica poltica, a los objetivos de investigacin asociados con la prctica poltica, etc.
7. Otros tipos frecuentes de estudios

Tanto los enfoques como las razones de las valoraciones deben adaptarse a la multiplicidad de asuntos que trata la auditora del rendimiento. Puede llegar a decirse que la naturaleza de la auditora del rendimiento, en gran medida, ha ayudado a congurar y denir los temas de scalizacin y a seleccionar y disear los modelos y mtodos que van a aplicarse en cada auditora. El auditor del rendimiento debe mantener una extensa red de contactos, que incluye contactos en el campo de las ciencias sociales. La naturaleza especial de su trabajo exige que los auditores del rendimiento controlen los nuevos resultados de la investigacin y adquieran nuevos conocimientos, por ejemplo para estar al da de los avances y familiarizarse con los enfoques innovadores. stos son ejemplos de otros enfoques frecuentes: Estudios organizacionales: estudios sobre si las estructuras, los procesos, los programas, etc. corresponden a las mejores prcticas. Estudios especcos sobre gestin de servicios y de la calidad: estudios sobre la capacidad del servicio, y sobre los sistemas de aseguramiento de calidad.
105

4.

Definicin del programa de auditora

En la auditora del rendimiento rara vez se llevan a cabo investigaciones sobre grandes poblaciones. Sin embargo, son frecuentes los muestreos y los estudios de casos. Cuando en una auditora se incluyen estudios de casos, el inters no se centra en los casos individuales sino en las posibles conclusiones que pueden extraerse de ellos. stos son algunos de los diseos habituales de investigacin:
1. Investigacin comparativa71

El anlisis comparativo se emplea sobre todo para examinar las tendencias de desarrollo y las situaciones alternativas. Pueden efectuarse comparaciones a lo largo del tiempo, y entre diferentes productos o alternativas. Es posible comparar sujetos que trabajan bien con quienes trabajan menos bien, se comparan una o varias materias con una imagen general, y se realizan comparaciones entre reas similares de diferentes pases.
2. Investigacin antes y despus72

En una investigacin antes y despus se compara la situacin anterior al comienzo del programa con la posterior a la ejecucin de ste. Un sencillo estudio antes y despus es aqul en el cual se efectan un conjunto de mediciones en un grupo de sujetos antes de su participacin en el programa, y se realiza un segundo conjunto de mediciones sobre los mismos sujetos despus de una participacin lo sucientemente prolongada. El inujo se calcula comparando los dos conjuntos de medidas. El principal inconveniente de este diseo consiste en que las diferencias entre las mediciones antes y despus no pueden adjudicarse al programa con toda seguridad.
3. Investigacin de muestreos73

Los resultados, conclusiones y recomendaciones de la auditora deben basarse en pruebas. Como los auditores rara vez tienen la oportunidad de tomar en consideracin toda la informacin existente acerca

71 Para ms informacin vase Ragin, C.C., The Comparative Method: Moving Beyond Qualitative and Quantitative Strategies, Berkeley, University of California Press, 1989. 72 Ver, por ejemplo, Campbell, D.T. & Stanley, J.C., Experimental and Quasi-Experimental Designs for Research, Chicago, Rand McNally, 1966. 73 Por ejemplo, vase Using Statistical Sampling, GAO. 1992.

106

de la entidad scalizada, es decisivo elegir con cuidado las tcnicas de recogida de datos y de muestreo. El auditor debe juzgar si el muestreo constituye una forma apropiada de obtener una parte de las pruebas de auditora requeridas. Entre los factores que hay que tomar en consideracin se encuentran los siguientes: la cantidad y el tamao relativo de los elementos pertenecientes a la poblacin; la complejidad de las preguntas que deber responder la muestra; la pertinencia y abilidad de las pruebas obtenidas mediante exmenes y procedimientos alternativos, y los correspondientes costes y plazos que stos requieran. Cuando el auditor trata de extraer conclusiones acerca de toda una poblacin, sometiendo a prueba una muestra de elementos procedentes de dicha poblacin, es esencial que la muestra sea representativa de la poblacin de la cual se extraen. Una muestra puede ser estadstica o no estadstica. Ambas requieren el empleo de un criterio profesional. La primera fase de planicacin de la muestra es denir exactamente la poblacin. En las muestras estadsticas es importante que la poblacin sea homognea. Tambin es esencial que el auditor dena con claridad el objetivo especco de scalizacin que la comprobacin de la muestra se propone lograr. Adems, es preciso determinar el tamao de la muestra. A lo largo de todo el proceso de seleccin el auditor debe examinar de forma peridica si la muestra seleccionada representa adecuadamente a la poblacin. Siempre que sea posible, la comprobacin debe ajustarse a un cuestionario previo. Cuando se encuentren errores o excepciones es necesario tomar en consideracin su causa y su naturaleza. Los resultados debern evaluarse y documentarse. En las auditoras de gestin se utiliza a menudo el muestreo para obtener pruebas. Si bien los objetivos especcos del ejercicio de muestreo pueden ser diferentes, los principios subyacentes son los mismos. En la auditora del rendimiento las tcnicas de muestreo se utilizan sobre todo cuando los hechos esenciales no pueden obtenerse de otra forma y cuando se necesita una comparacin estructurada o se requieren generalizaciones bien fundamentadas. Debido a la limitacin de recursos las muestras rara vez son muy numerosas, y por lo general es necesario limitar el nmero de interrogantes a los que hay que responder. Con objeto de obtener un conocimiento ms profundo, los
107

mtodos de seleccin pueden complementarse con otras tcnicas de recogida de informacin, por ejemplo los estudios de casos.
4. Investigacin de estudios de casos74

Los estudios de casos pueden utilizarse para demostrar que existen los problemas supuestos, y que no se trata de simples problemas marginales. Los estudios de casos tambin pueden ser de utilidad para realizar anlisis y comparaciones en profundidad. Sin embargo, es difcil efectuar armaciones basadas en estudios de casos con respecto a la frecuencia y el alcance de los problemas, aunque los casos se seleccionen para ilustrar problemas generales y sean representativos. Sin embargo, en combinacin con otros mtodos, los estudios de casos permiten extraer determinadas conclusiones generales. Como estos estudios son preferibles a las grandes investigaciones, se utilizan con frecuencia en las scalizaciones del rendimiento. Entre otras cosas, los estudios de casos se emplean para: efectuar un anlisis amplio y en profundidad de problemas complejos; obtener ejemplos ilustrativos que puedan debatirse y comprobarse en comparacin con otras informaciones, combinar sus resultados con las estadsticas generales e ilustrar y conrmar los resultados de estudios ms amplios. Al elegir la cantidad de casos que van a estudiarse, debe establecerse un equilibrio entre la amplitud y la profundidad del examen. La seleccin de estudios de casos puede incluir casos con dicultades y casos con xito, de modo que se realicen comparaciones que identiquen los factores subyacentes. Otro tipo de estudio de caso es el que se lleva a cabo para complementar informaciones ms generales obtenidas mediante el examen en profundidad de un caso individual. Despus de haber compilado diversos estudios de casos, los auditores pueden comunicar los resultados a las entidades scalizadas en cuestin para que stas expresen su opinin sobre en qu medida los estudios brindan una imagen general de los problemas. Los resultados de los estudios de casos tambin pueden debatirse con cientcos, expertos y especialistas en seminarios y en otros lugares. Combinando las estadsticas generales con los estudios de casos en profundidad -y
74

Para ms informacin vase Case Study Evaluation, GAO, 1990., Yin, Robert K., Case Study Research. Design and Methods, 2 ed., Applied Social Research Methods. Vol. 5, Sage Publications, Thousands Oaks, Londres, Nueva Delhi, 1994.

108

vericndolos- los auditores pueden obtener una aceptacin suciente de su validez como ilustracin que les sirva para establecer la base de determinadas generalizaciones.
5. Investigacin cuasi-experimental75

El rasgo esencial de los experimentos autnticos es la asignacin al azar de sujetos a grupos sometidos a tratamiento o no, que constituyen respectivamente los grupos experimentales y los grupos de control. Un grupo de control es un grupo de sujetos no sometidos a tratamiento que se compara con grupos experimentales en lo que se reere a sus productos. Un grupo experimental es un grupo de sujetos sobre los cuales se practica una intervencin y cuyas mediciones de productos. se comparan con las de los grupos de control. Un cuasi-experimento es un diseo de investigacin en el que los grupos experimental y de control no se han constituido al azar. El uso del mtodo experimental en problemas prcticos y polticos ha provocado un incremento de los mtodos cuasi-experimentales, que se proponen eliminar en la mayor medida posible los efectos externos que dicultan la evaluacin del inujo, pero sin llegar al mismo rigor cientco total que caracteriza a un experimento llevado a cabo en la forma adecuada. Los dos tipos ms frecuentes de diseos cuasi-experimentales implican la conguracin de grupos de control o comparativos con el propsito de aproximarse a una asignacin al azar. Esto se consigue emparejando a los sujetos participantes con los no participantes, o mediante un ajuste estadstico de participantes y no participantes de modo que tengan la mxima equivalencia posible de caractersticas pertinentes.

5.

Eleccin de tcnicas de recogida de informacin

La recogida de datos puede efectuarse de una sola vez o a travs de mediciones continuadas (diseo de series temporales, anlisis longitudinales). Puede recogerse informacin que est basada en pruebas materiales, documentos (incluidas las declaraciones por escrito),

Ver Campbell, D. T. & Stanley, J.C., Experimental and Quasi-Experimental Designs for Research, Chicago, Rand McNally, 1966.

75

109

testimonios orales (entrevistas), o que proceda de otros medios, segn los objetivos que tenga la auditora. A menudo ser necesario recoger datos tanto cuantitativos como cualitativos. Los tipos de datos que vayan a obtenerse tienen que poderse explicar y justicar en lo que respecta a su suciencia, validez, abilidad, pertinencia y razonabilidad. La auditora del rendimiento elabora datos primarios (su propio material original) con la ayuda de los cuestionarios, las encuestas y la observacin directa. Sin embargo, tambin se emplea con frecuencia un gran volumen de datos secundarios (material producido por otros). Esto incluye las estadsticas ociales, que se extractan y procesan; tambin se emplean a menudo las estadsticas propias de las entidades scalizadas, si se consideran pertinentes y ables. Se utilizan (y se combinan) informaciones y datos tanto cuantitativos como cualitativos. Los datos cuantitativos se reeren a relaciones mensurables o numricas, y pueden utilizarse para ilustrar o apoyar una armacin. Las informaciones y los datos cualitativos pueden referirse, por ejemplo, a opiniones y actitudes u observaciones generales, pero tambin a conocimientos ms profundos. Normalmente se necesitan determinadas informaciones cualitativas para elaborar un anlisis amplio y en profundidad acerca de la auditora del rendimiento. stos son algunos de los mtodos utilizados para la recogida de datos.
1. Examen de archivos

Los documentos proporcionan un modo eciente de recoger datos, y es probable que el examen de archivos constituya la base de muchas auditoras del rendimiento. Los archivos contienen una amplia gama de tipos de prueba: por ejemplo, decisiones de funcionarios, los registros de casos de los beneciarios de programas y los registros de los programas de la Administracin. Es importante determinar la naturaleza, localizacin y disponibilidad de los archivos al principio de una auditora del rendimiento con objeto de poder examinarlos de manera rentable.
2. Anlisis secundario y bsqueda de bibliografa

El anlisis secundario puede estar relacionado con el examen de los informes de investigacin de carcter general, los libros y artculos pertenecientes a la materia del programa o a estudios ms especcos, y las estadsticas correspondientes a ese mbito, incluyendo tanto los
110

materiales anteriores como las publicaciones actuales. Es importante estudiar diferentes clases de documentos pertenecientes a la entidad scalizada, o a auditoras y evaluaciones anteriores realizadas por la EFS o por otros, ya que as se actualiza y ampla el conocimiento operativo del auditor sobre un tema en particular. Los estudios sobre la documentacin otorgan al auditor de gestin el acceso a material til, pero es importante evaluar la abilidad del contenido de los documentos, y saber si la informacin que contienen ofrece una imagen objetiva o subjetiva, o si brindan una imagen plural, etc.
3. Encuestas o cuestionarios

Una encuesta es una recogida sistemtica de informacin procedente de una poblacin determinada, por lo general mediante entrevistas o cuestionarios administrados a una muestra de miembros de la poblacin. Las encuestas se utilizan para recoger informacin detallada y especca sobre un grupo de personas u organizaciones. Son de particular utilidad cuando hay que cuanticar informacin procedente de gran cantidad de individuos sobre una cuestin o un tema especcos. Los cuestionarios se utilizan principalmente para recoger hechos que no estn disponibles de ningn otro modo, y que son importantes como referencia para documentar un punto de vista. Por lo tanto se utilizan cuestionarios cuando se necesita un conocimiento amplio. Los estudios de casos y otros mtodos de mayor profundidad se utilizan a menudo como complemento del cuestionario. Existe una amplia gama de tcnicas de encuesta. Las utilizadas con ms frecuencia son las encuestas por correo, por Internet o por telfono, y las entrevistas personales. Los cuestionarios requieren a menudo que se procesen informticamente los datos obtenidos. Tambin suponen un conocimiento adecuado del mbito en cuestin. La tcnica del cuestionario es ecaz si se utiliza de forma apropiada, aunque redactar las preguntas y procesar las respuestas puede resultar difcil y exigir mucho tiempo. Por consiguiente, a menudo se necesita disponer de expertos.
4. Entrevistas

Una entrevista es, en esencia, una sesin de preguntas y respuestas para obtener una informacin especca. Gran parte del trabajo de auditora del rendimiento est basado en entrevistas, y en las distintas fases del proceso de scalizacin se llevan a cabo diferentes clases
111

de entrevistas. Se utiliza toda la gama de posibles entrevistas, desde las conversaciones y los debates para el establecimiento de hechos, pasando por las entrevistas no estructuradas (es decir, con preguntas abiertas) hasta las entrevistas estructuradas que se ajustan a una lista de preguntas cerradas: Entrevistas preparatorias y de inventario Entrevistas para recoger material e informaciones Entrevistas para describir actitudes y argumentos. Entrevistas para generar y evaluar ideas y sugerencias. Las entrevistas pueden utilizarse en la fase de planicacin y tambin en el propio examen, para obtener documentos, opiniones e ideas que se relacionen con los objetivos de la auditora, conrmar hechos y corroborar datos procedentes de otras fuentes, o explorar posibles recomendaciones. Se utilizan diversas clases de tcnicas de entrevista, pueden entrevistarse una o varias personas al mismo tiempo, y las entrevistas pueden realizarse por telfono o mediante visitas personales. A veces se trata de entrevistas en profundidad, o pueden limitarse a comprobar informaciones. Para obtener una visin lo ms amplia posible de la realidad, conviene entrevistar a personas que tengan diferentes cargos, perspectivas y opiniones (por ejemplo, personas que trabajen en niveles centrales o locales, o que pertenezcan a diferentes partes u organismos afectados, y expertos en el campo en cuestin.) Las entrevistas son una forma de recoger hechos e informaciones, y de obtener apoyo para una diversidad de argumentos, pero uno puede arse exclusivamente de las entrevistas. Muchos de los datos y declaraciones procedentes de una entrevista tendrn que comprobarse antes de utilizarlos, pero en muchos contextos las entrevistas siguen siendo una forma til de recoger hechos. A continuacin, los resultados de las entrevistas deben compilarse y documentarse de un modo que facilite el anlisis y el aseguramiento de calidad, por ejemplo agrupando por separado el material constituido por los hechos; los problemas, las causas y las consecuencias que se mencionen, y las propuestas formuladas (condiciones, criterios, causas, consecuencias y recomendaciones potenciales).

112

5. Seminarios y audiencias

A menudo se utilizan seminarios en las diferentes fases de una auditora del rendimiento, sobre todo cuando hay que debatir observaciones y conclusiones preliminares. Por ejemplo, los seminarios pueden servir para: - obtener conocimientos acerca de una rea especializada, - debatir problemas, observaciones y posibles medidas, - expresar argumentos a favor y en contra de diferentes criterios y perspectivas. Los seminarios tienen la ventaja de reunir a gran nmero de personas que representan una amplia gama de conocimientos y perspectivas. Esto permite conocer mejor el rea en cuestin. Sin embargo, la organizacin y realizacin de seminarios y audiencias, que son semejantes a los seminarios, es una tarea exigente. Sin embargo, el objetivo de las audiencias consiste, de un modo mucho ms especco, en invitar o convocar a las partes interesadas y a expertos para que expongan sus opiniones sobre el rea que va a scalizarse.
6. Grupos especializados, tcnicas grupales, grupos de referencia y expertos

Los grupos especializados son una seleccin de personas que se renen para discutir cuestiones y temas especcos. Se utilizan primordialmente para recoger datos cualitativos, es decir, informacin que proporcione perspectivas sobre los valores y opiniones de dichas personas durante el proceso o actividad que se scaliza. Las tcnicas grupales se utilizan para obtener informacin sobre la ejecucin de los programas de la Administracin y los inujos ejercidos por stos, tomando como base las perspectivas de los beneciarios y otros implicados. El patrn de las opiniones puede expresarse mediante un modelo de implicado. En la planicacin de la auditora podra utilizarse un estudio sobre los implicados, con objeto de identicar los principales grupos interesados en una accin determinada que desarrolle la Administracin. Los grupos de referencia estn compuestos por personas procedentes o no de la EFS, y suelen estar formados por expertos y especialistas. A veces se utilizan para iniciar un proyecto de auditora, o en el curso de la scalizacin, como fuente de distintas opiniones. Algunos expertos son consultores o empleados temporales de la organizacin.

113

En los grupos de referencia puede haber expertos empleados directamente por la EFS, consultores contratados por la entidad scalizada o expertos independientes (p. ej. investigadores acadmicos). El propsito de utilizar expertos consiste, por ejemplo, en poner a disposicin del equipo de auditora los conocimientos tcnicos o las competencias esenciales para el logro de los objetivos de la auditora. Esta clase de ayuda especializada tiene la ventaja de permitir que se adquiera con rapidez la informacin pertinente. Un inconveniente, sin embargo, es que puede resultar difcil juzgar la competencia de los expertos, obtener la competencia apropiada, comprobar su trabajo y evaluar los resultados que aporten los expertos.
7. Observaciones directas

Las observaciones directas no son habituales en la auditora del rendimiento. Este mtodo se emplea principalmente para obtener perspectivas acerca de la forma en que se lleva a cabo una operacin, y para comprender dicha forma de actuar; obtener opiniones del personal sobre el terreno, y debatir y comprobar ideas, as como sumarse a otras informaciones, y compararlas con ellas. En la tabla siguiente se exponen algunos de los mtodos mencionados para la recogida de datos durante las auditoras/evaluaciones (fuente: Carter McNamara, 1998).

114

Mtodo Cuestionarios, encuestas, listas de comprobacin

Propsito global Cuando se necesita obtener, con rapidez y/o facilidad, gran cantidad de informacin que poseen las personas, de un modo que no resulte amenazador

Ventajas Puede respetarse el anonimato realizacin barata fcil de comparar y analizar puede administrarse a muchas personas puede obtener gran cantidad de datos ya existen muchos modelos de cuestionarios

Dicultades Podra no obtenerse una retroalimentacin cuidadosa la redaccin puede sesgar las respuestas de los clientes son impersonales en las encuestas pueden requerirse expertos en muestreo no cuentan toda la historia Puede tardar mucho tiempo puede ser de difcil anlisis y comparacin puede ser cara el entrevistador puede sesgar las respuestas del cliente A menudo ocupa mucho tiempo la informacin puede ser incompleta es necesario tener una idea muy clara sobre lo que uno est buscando medio no exible de obtencin de datos; los datos se limitan a lo ya existente La conducta puede resultar difcil de interpretar categorizar las observaciones puede ser complicado puede inuir en la conducta de los participantes en el programa puede ser cara Las respuestas pueden resultar difciles de analizar se necesita un facilitador adecuado para que haya seguridad y para el cierre es difcil programar la reunin de un conjunto de 68 personas

Entrevistas

Cuando se quiere en Obtener una gama tender por completo las completa de informacioimpresiones o la experien- nes, en profundidad cia de alguien, o conocer desarrollar la relacin mejor sus respuestas a los con el cliente puede ser exible con cuestionarios el cliente

Revisin de la documentacin

Cuando se desea una impresin acerca de la forma en que acta el programa, sin interrumpirlo, a partir de una revisin de solicitudes, documentos nancieros, memorndums, actas, etc.

Brinda una informacin amplia y a lo largo del tiempo no interrumpe el programa ni el comportamiento del cliente en el programa la informacin ya existe pocos sesgos de la informacin Ver las actividades de un programa mientras estn ocurriendo realmente puede adaptarse a los acontecimientos mientras stos se producen

Observacin

Para recoger informacin exacta acerca de la forma en que acta realmente un programa, sobre todo en lo referente a sus procesos

Grupos especializados

Explorar una cuestin en profundidad mediante el debate en grupo, p. ej. las reacciones ante una experiencia o una sugerencia, comprender las quejas frecuentes, etc.; til en la evaluacin y el marketing

Obtener con rapidez y abilidad impresiones frecuentes puede ser un modo eciente de obtener una informacin amplia y profunda en poco tiempo puede transmitir informacin clave acerca de los programas

115

6.

El anlisis y la interpretacin de la informacin

El anlisis de los datos cuantitativos y cualitativos constituye un paso importante en todas las auditoras del rendimiento. Al analizar los datos (procedan de cuestionarios, entrevistas, grupos especializados, o tengan cualquier otro origen), los auditores tienen que comenzar por revisar los objetivos y la pregunta de la scalizacin. Esto ayudar a los auditores a organizar sus datos y centrar sus anlisis. Cuando interpreten la informacin los auditores deben tratar de situarla en perspectiva, comparando los resultados con los criterios de auditora o con lo que cabra esperar normalmente. Es importante estudiar la informacin en profundidad y con amplitud. Un anlisis de la auditora del rendimiento debe basarse siempre en una comprensin adecuada de la actividad scalizada y sus condiciones de trabajo. Sin embargo, ningn anlisis puede tomar en consideracin todas las cosas. Cada anlisis debe elaborarse con sentido comn y con una visin realista de lo que se puede y se debe proponer. Al analizar la informacin o los datos procedentes de las entrevistas, el primer problema que se plantea es clasicar en diferentes categoras o temas lo que se ha dicho. El auditor busca en sus entrevistas lneas comunes de la informacin, cosas que se ajusten entre s, o ejemplos de un mismo problema, cuestin o concepto subyacente. En este sentido, puede utilizarse el anlisis cualitativo (no numrico) para evaluar y para explicar el rendimiento de una entidad scalizada. Al leer los documentos, los auditores recogen informacin descriptiva y analizan sistemticamente el texto y buscan lo que sea pertinente. El anlisis de la informacin es un proceso intelectual, creativo e iterativo, que incluye elementos tanto racionales como irracionales. Siempre implica reexiones y discusiones, brainstorming y, primordialmente, tcnicas no cuantitativas tales como el anlisis de contenidos, el anlisis comparativo, el anlisis con la ayuda de equipos de expertos, etc.76 A continuacin se exponen dos ejemplos de tcnicas cuantitativas.77

76

La mayora de estos mtodos se describen en libros como p. ej. Weiss, Carol H., Evaluation: methods for studying programs and policies, Upper Saddled River, N.J., Prentice Hall, 1998; y Roosi, Peter H., Freeman Howard E. y Lipsey, Mark W., Evaluation A Systematic Approach. 6a edicin, Sage Publications Inc, Thousands Oaks, California, 1999. 77 Vase por ejemplo Quantitative Data Analysis, GAO, 1992.

116

1. Estadsticas descriptivas para la comprensin de las distribuciones de datos

A menudo una distribucin de datos puede expresarse mediante un grco (un diagrama de barras o una curva) que muestra todos los valores de una variable. Las estadsticas que describen las distribuciones de datos son potentes herramientas de anlisis e informes acerca de la scalizacin. En una distribucin de datos existen tres dimensiones bsicas que son importantes para un auditor: La "tendencia central" de la distribucin de los datos (moda, mediana, media, nivel de cuartil, etc.). La amplitud (variabilidad o dispersin) de los datos (valores mnimos y mximos, colas, etc.). La forma de los datos (desviacin estndar, distribucin normal, distribucin plana, distribucin bi-modal, etc.). Las distribuciones de datos pueden utilizarse para: identicar el nivel, la amplitud o la forma de los datos cuando esto sea ms importante que una nica cifra promedio, decidir si un rendimiento variable cumple o no un criterio de scalizacin, interpretar la probabilidad de una distribucin determinada para evaluar el riesgo; y valorar si los datos de la muestra son representativos de la poblacin.
2. Anlisis de la regresin

El anlisis de la regresin es una tcnica para valorar el grado en que estn asociadas (correlacionadas) las variables. El anlisis de la regresin puede utilizarse para: demostrar una relacin cuya existencia se supone; identicar relaciones entre variables causalmente relacionadas que puedan explicar los resultados, identicar casos inhabituales que se aparten de los valores previstos, y efectuar predicciones acerca de los futuros valores.

117

118

Apndice 2

Criterios de la auditora del rendimiento

Los criterios de auditora son niveles razonables y alcanzables de rendimiento en comparacin con los cuales pueden evaluarse la economa, la eciencia y la ecacia de las actividades. Reejan un modelo normativo (es decir, deseable) con respecto a la materia que es objeto de revisin. Representan una buena prctica, o la mejor posible: la expectativa de una persona razonable e informada acerca de lo que debera ser. Cuando los criterios se comparan con lo realmente existente, surgen los resultados de la auditora. El cumplimiento o la superacin de los criterios podran indicar la mejor prctica, pero el no cumplimiento de los criterios indicara la posibilidad de introducir mejoras. stos son algunos de los rasgos de los criterios adecuados: Fiabilidad: Los criterios ables permiten conclusiones coherentes cuando son utilizados por otro auditor en las mismas circunstancias. Objetividad: Los criterios objetivos estn exentos de cualquier sesgo del auditor o la direccin. Utilidad: Los criterios tiles originan resultados y conclusiones que satisfacen las necesidades de informacin de los usuarios. Comprensibilidad: Los criterios comprensibles se expresan con claridad y no dan pie a interpretaciones signicativamente diferentes. Comparabilidad: Los criterios comparables son coherentes con los utilizados en auditoras del rendimiento de otros organismos o actividades similares, y con los utilizados en anteriores auditoras de gestin dentro de la entidad scalizada. Integridad: La integridad hace referencia al desarrollo de todos los criterios importantes que sean adecuados para evaluar el rendimiento. Aceptabilidad: Los criterios aceptables son aquellos en los que suelen coincidir los expertos independientes en el campo, las entidades scalizadas, el poder legislativo, los medios de comunicacin y el pblico en general.

119

Los criterios desempean una serie de importantes funciones para ayudar en la realizacin de una auditora del rendimiento. Entre otras cosas: constituyen una base comn para la comunicacin dentro del equipo de auditora y con la direccin de la EFS en lo referente a la naturaleza de la auditora; constituyen una base para la comunicacin con la direccin de la entidad scalizada; constituyen el fundamento de la fase de recogida de datos de la auditora, y sirven de base sobre la cual construir procedimientos para la recogida de pruebas de auditora; y proporcionan la base para los resultados de la auditora, ayudando a implantar una forma y una estructura en las observaciones. Su nivel de detalle y la forma que asumen determinar a menudo el grado en que los criterios son satisfactorios al servicio de estos usos. No es realista esperar que estos sistemas, actividades o niveles de rendimiento en las reas de la economa, la eciencia y la ecacia cumplan siempre ntegramente estos criterios. Es importante darse cuenta de que la gestin satisfactoria no signica un rendimiento perfecto, sino que est basada en lo que una persona razonable podra prever, teniendo en cuenta las circunstancias de la entidad scalizada. Los criterios de auditora deben jarse con objetividad. El proceso requiere una consideracin racional y un juicio correcto. Por ejemplo, los auditores deben: Tener una comprensin general del rea que va a scalizarse, y estar familiarizados con los documentos jurdicos y de otro tipo que sean pertinentes, as como los recientes estudios y auditoras efectuados en dicha rea; Tener un conocimiento adecuado de las razones y el fundamento jurdico del programa o la actividad de la Administracin que vaya a scalizarse, y de las metas y los objetivos jados por el poder legislativo o la Administracin pblica; Tener una comprensin razonablemente adecuada de las expectativas de los principales implicados, y disponer de conocimientos especializados bsicos; y Tener un conocimiento general de las prcticas y la experiencia en otros programas o actividades semejantes de la Administracin que sean pertinentes.

120

Adems, con frecuencia es til recibir las observaciones de la direccin de la(s) entidad(es) scalizada(s) para desarrollar los criterios. A continuacin el desacuerdo acerca de los criterios puede identicarse, debatirse y, quizs, solucionarse en una fase ms temprana. Sin embargo, los hechos y argumentos presentados por la(s) entidad(es) scalizada(s) deben compararse con otros hechos y argumentos pertinentes (procedentes de otras fuentes, expertos, etc.). Las metas jadas por el poder legislativo o el poder ejecutivo a veces son vagas o contradictorias. En tales condiciones, los auditores podran tener que interpretar las metas para que resulten ms operativas o mensurables. Una posibilidad sera que los expertos y los implicados en el campo en cuestin respondiesen a preguntas tales como: Cul sera la mejor forma de interpretar y medir las metas y los objetivos? Cules seran los resultados previsibles dentro de las condiciones existentes? Cul es la prctica comparable ms conocida? Si las metas son contradictorias, una opcin sera si otras alternativas parecen inadecuadas- dividir el proyecto de auditora en varios estudios secuenciales, que cubran una meta cada uno. En el caso de metas vagas o a largo plazo a veces sera posible establecer un mbito un poco ms estrecho, y buscar perspectivas a corto plazo (y criterios claros). Tambin existen otras opciones.

121

122

Apndice 3

Las pruebas y la documentacin

1.

Las pruebas de auditora

Las pruebas de auditora consisten en informacin recogida y utilizada para apoyar los resultados de auditora. Las conclusiones y recomendaciones que aparecen en el informe de auditora estn fundamentadas en dichas pruebas.78 Por consiguiente, los auditores de gestin deben reexionar cuidadosamente acerca de la naturaleza y la cantidad de las pruebas que recojan. Todo el trabajo de campo deber planicarse desde la perspectiva de adquirir pruebas que apoyen los resultados que aparecen en el informe denitivo. Las normas de auditora de la INTOSAI maniestan que Para fundamentar las opiniones y las conclusiones del auditor relativas a la organizacin, al programa, a la actividad o a la funcin scalizada, deben aportarse pruebas adecuadas, pertinentes y razonables. (NA 3.5.1).
1.1. Competencia de las pruebas

La prueba es competente (vlida y able) si representa de hecho lo que se propone representar. La abilidad de las pruebas puede evaluarse tomando en consideracin los siguientes factores: La corroboracin aportada por las pruebas es una tcnica poderosa para aumentar la abilidad. Esto implica que el auditor busque diferentes tipos de prueba que tengan diferentes orgenes. A menudo, con razn o sin ella, las pruebas originadas en el exterior de la entidad scalizada se consideran ms ables, a los efectos de la auditora, que la informacin generada dentro de la propia entidad scalizada.

78

Cdigo de tica y Normas de Auditora de la INTOSAI, glosario.

123

 La prueba documental suele considerarse ms able que la prueba oral. La prueba que tiene su origen en la observacin o el anlisis directos del auditor es ms able que la prueba obtenida de modo indirecto. La abilidad de la informacin generada por la entidad scalizada estar parcialmente en funcin de la abilidad de la direccin/los sistemas de control interno de la entidad scalizada. La prueba oral corroborada por escrito es ms able que la prueba meramente oral. Los documentos originales son ms ables que las fotocopias.
1.2 Pertinencia de las pruebas

La pertinencia exige que la prueba posea una relacin clara y lgica con los objetivos y los criterios de la auditora. Un enfoque de la planicacin de la recogida de datos consiste en enumerar, para cada tema y cada criterio, la naturaleza y la localizacin de la prueba que se necesita, as como el procedimiento de auditora que va a ejecutarse.
Suficiencia de las pruebas

El auditor deber obtener las sucientes pruebas apropiadas de auditora como para extraer conclusiones razonables que sirvan de base al informe de auditora. La suciencia es la medida de la cantidad de pruebas de auditora, y el carcter apropiado es la medida de la calidad de las pruebas, su pertinencia con respecto a determinados criterios y su abilidad. La prueba es suciente cuando existe una prueba pertinente y able que alcance para convencer a una persona razonable de que los resultados, conclusiones y recomendaciones de la auditora del rendimiento estn fundamentados y garantizados. Al establecer si la prueba documental es suciente, el auditor debe tener en cuenta la clase del documento. Los factores que indican la fuerza de las pruebas requeridas en apoyo de una observacin en auditora del rendimiento son los siguientes: Nivel de importancia o signicacin de la observacin, Grado de riesgo asociado con la adopcin de una conclusin errnea, Experiencia obtenida en anteriores exmenes de scalizacin u otras investigaciones- sobre el grado de abilidad de los registros y declaraciones de la entidad scalizada,
124

 Sensibilidad conocida de la entidad scalizada con respecto a un tema, y Coste de obtencin de las pruebas, en comparacin con los benecios logrados a favor de la observacin. Las pruebas recogidas durante una auditora del rendimiento pueden tener una naturaleza predominantemente cualitativa y exigir una amplia aplicacin de criterio profesional. Por consiguiente, el auditor buscar generalmente pruebas conrmatorias en fuentes distintas, o pruebas de naturaleza diferente al efectuar evaluaciones y elaborar conclusiones. Al planicar la auditora, el auditor identicar la naturaleza, los orgenes y la disponibilidad probables de las pruebas de auditora requeridas. El auditor deber tomar en consideracin factores tales como la disponibilidad de otros informes o estudios de scalizacin, y el coste de obtencin de las pruebas de auditora.

2.

Caractersticas de las pruebas de auditora del rendimiento

Los auditores tienen que ser conscientes de los problemas o debilidades potenciales de las pruebas de auditora del rendimiento. Los problemas potenciales son los siguientes: Pruebas basadas en una nica fuente (abilidad, validez, suciencia); Pruebas orales carentes de documentacin u observaciones de apoyo (abilidad); No sensibles al tiempo, es decir, demasiado viejas y que no reejan los cambios (pertinencia); Prueba demasiado costosa de obtener en comparacin con los benecios que aporta (pertinencia y suciencia); El origen de la prueba tiene un inters creado en el resultado (abilidad); las muestras recogidas no son representativas (pertinencia, validez, suciencia); La prueba slo puede relacionarse con un nico hecho (validez, suciencia); La prueba es incompleta, es decir, no demuestra una causa o un efecto (abilidad, suciencia); y La prueba es contradictoria (abilidad).

125

Las pruebas pueden clasicarse, de acuerdo con el tipo al que pertenecen, en materiales, orales, documentales o analticas.
2.1 Pruebas materiales

La observacin de personas y acontecimientos, o el examen de bienes, son formas de obtener pruebas materiales. La prueba puede consistir en fotografas, tablas, mapas, grcos u otras representaciones mediante imgenes. Una imagen de un estado inseguro es mucho ms convincente que una descripcin escrita. Cuando la observacin de un estado material es decisiva para lograr los objetivos de la auditora, tendr que ser conrmada. Esto puede lograrse haciendo que dos o ms auditores lleven a cabo la observacin, acompaados -si es posible- por representantes de la entidad scalizada.
2.2 Pruebas orales

Las pruebas orales asumen la forma de manifestaciones que, por lo general, proceden de encuestas o entrevistas. Estas manifestaciones pueden proporcionar importantes indicios que no siempre cabe obtener a travs de otras formas de trabajo de auditora. Son efectuadas por empleados de la entidad scalizada, beneciarios y clientes del programa que se scaliza, expertos y consultores contactados para que aporten pruebas que conrmen la prueba en relacin con una scalizacin, y miembros del pblico en general. Se requiere la conrmacin de las pruebas orales si van a utilizarse como prueba y no como simple historial de base. La conrmacin de las pruebas orales puede efectuarse: Mediante conrmacin por escrito del entrevistado, Mediante el anlisis de mltiples fuentes independientes que revelen los mismos hechos, o Mediante comprobacin posterior de los registros. Al valorar la abilidad y pertinencia de las pruebas orales el auditor necesita tener en cuenta la credibilidad del entrevistado; es decir, el cargo, los conocimientos, la experiencia y la franqueza de la persona que se entrevista.
2.3 Pruebas documentales

La forma ms comn de pruebas de auditora son las pruebas documentales de carcter material o electrnico. Puede ser externas o internas a la entidad scalizada. Las pruebas documentales externas
126

abarcan cartas o memorndums recibidos por la entidad scalizada, facturas de proveedores, arrendamientos, contratos, auditoras externas e internas y otros informes, y conrmaciones de terceros. Las pruebas documentales internas tienen su origen en la entidad scalizada. Incluye elementos como por ejemplo registros contables, copias de la correspondencia de salida, descripciones de puestos de trabajo, planes, presupuestos, informes y memorndums internos, estadsticas de resumen del rendimiento, y polticas y procedimientos internos. La abilidad y pertinencia de las pruebas documentales tienen que valorarse en relacin con los objetivos de la auditora. Por ejemplo, la existencia de un manual de procedimientos no demuestra que el manual se ponga en prctica. Al igual que en el caso de las pruebas orales, hay que evaluar el cargo, los conocimientos y la experiencia del autor o del emisor del documento. Los documentos que son consecuencia de los sistemas de control de la gestin (p. ej. el sistema contable) tendrn que evaluarse de conformidad con los controles internos que se aplican dentro de dicho sistema. Los auditores que deseen basarse en dichas pruebas debern valorar los controles internos del sistema.
2.4 Pruebas analticas

Las pruebas analticas surgen del anlisis y vericacin de los datos. El anlisis puede realizarse sobre clculos, anlisis de ratios, tendencias y patrones de datos procedentes de la entidad scalizada u otras fuentes pertinentes. Tambin pueden efectuarse comparaciones con las normas obligatorias o con las evaluaciones comparativas propias del sector. El anlisis suele ser numrico, por ejemplo, y toma en consideracin los ratios entre productos y recursos, o el porcentaje del presupuesto que se ha gastado. Puede tener asimismo un carcter no numrico; por ejemplo, cuando se observa una tendencia coherente en la naturaleza de las reclamaciones realizadas con respecto a una entidad scalizada.

3.

El proceso de prueba

La recogida de pruebas se lleva a cabo durante las fases de estudio previo y de examen de una auditora. El trabajo realizado en la fase de estudio previo tambin forma parte de la prueba general.

127

Los auditores debern: Examinar las caractersticas de los datos requeridos, Recoger datos pertinentes para el logro de los objetivos especcos de la auditora, Recoger datos basados en los criterios de auditora expuestos en el plan de trabajo de la auditora, Recoger datos sucientes y convincentes que fundamenten lgicamente los anlisis, observaciones, conclusiones y recomendaciones, y Aplicar la norma de prueba para establecer de forma satisfactoria "un equilibrio de probabilidades". Las fuentes de pruebas se exponen en los prrafos siguientes.
3.1 Declaraciones polticas y legislacin

Los auditores deben recoger documentos de poltica, directrices de funcionamiento, manuales, directivas ministeriales, delegaciones, etc., y examinar el trasfondo que ha conducido a su promulgacin. Los auditores tambin tienen que tomar en consideracin los cambios en la legislacin y la serie de documentos que imponen la necesidad de efectuar cambios, es decir documentos presentados, recortes de prensa, reclamaciones, historiales de casos y discursos.
3.2 Datos publicados sobre el rendimiento de los programas

Los estados presupuestarios publicados de la entidad scalizada proporcionan datos sobre los objetivos y el rendimiento de los organismos. Incluyen una visin general de la entidad scalizada y proporcionan una informacin sobre su nanciacin y rendimiento.
3.3 Entrevistas

Las entrevistas pueden ser tiles, pero es necesario identicar a la persona correcta que facilite la informacin, y conrmar la informacin oral. Es esencial una slida preparacin a este respecto, y resulta til una lista de interrogantes elaborada con antelacin; en algunos casos, puede resultar efectivo suministrar con anterioridad esta lista al entrevistado.
3.4 Examen de archivos

La informacin procedente de los archivos aporta una prueba elocuente en apoyo de las recomendaciones. En los sistemas de registro de la entidad scalizada deber obtenerse un listado de archivos. Adems, la informacin de archivos que sea relevante para una rea de
128

trabajo particular puede encontrarse en esa rea de trabajo. Las entrevistas de auditora tambin pueden ofrecer indicios sobre qu archivos es preciso buscar y revisar. Los archivos tiles para la revisin son los que hacen referencia a: Planicacin estratgica y operativa, Control de gestin, Actas de las reuniones de carcter ejecutivo, Reclamaciones y conictos, y Revisiones y auditoras. Las pruebas procedentes de archivos pueden proporcionar un slido apoyo a los resultados. El examen de los archivos exige tiempo, y por lo general no pueden examinarse todos los archivos. Hay que decidir si se examina una seleccin al azar o una seleccin basada en el propsito de la investigacin. Habitualmente se adopta esta ltima clase de seleccin, pero si hay tiempo suciente, deber examinarse una muestra al azar de otros archivos.
3.5 Informes y revisiones de la gestin

Los organismos pblicos suelen generar diversos informes o revisiones de carcter interno que resumen para la alta direccin los temas de inters en cada momento, o que proponen alternativas de actuacin. Los auditores deben localizar y analizar dichos informes. Las formas de identicar los informes incluyen las entrevistas y el examen de las actas de las reuniones de la direccin.
3.6 Bases de datos

La mayora de los organismos pblicos poseen algn sistema de informacin a la direccin que recoge la informacin pertinente para la realizacin de las operaciones. Estos sistemas son importantes fuentes de pruebas, sobre todo en la cuanticacin de distintos asuntos.
3.7 Fuentes externas

Es posible que los organismos de mayores dimensiones tengan grandes bibliotecas especializadas pertinentes para sus reas de responsabilidad. Puede resultar especialmente til la bsqueda de bibliografa sobre los temas pertinentes y los trminos claves.

129

3.8 Fuentes de la EFS

El auditor no debe pasar por alto las pruebas que se han recogido en las auditoras previas o a travs de la recogida de informacin que sirve de apoyo a la planicacin estratgica de la entidad scalizada.
3.9 Observacin

El valor de la observacin directa tampoco debe subestimarse. Una observacin del comportamiento general del personal aporta informacin sobre la presin, la moral laboral o la falta de trabajo, sobre las cuales puede efectuarse a continuacin un seguimiento, si se considera apropiado. Sin embargo, es preciso realizar una cuidadosa consideracin con objeto de seleccionar las actividades o instalaciones que van a inspeccionarse fsicamente. stas tienen que ser representativas del rea que se examina. Los auditores tambin tienen que ser conscientes de que las personas actan de forma diferente cuando se las somete a observacin. Este tipo de pruebas pueden considerarse como dbiles salvo que se conrmen. Las fotografas y las grabaciones de vdeo incrementan el valor de la observacin directa. Se recomienda efectuar una descripcin detallada por escrito de los resultados de las observaciones.

4.

Documentacin

Las normas de auditora de la INTOSAI estipulan que: Los auditores deben justicar documentalmente, de manera adecuada, todos los hechos relativos a la scalizacin, incluso los antecedentes y la extensin de la planeacin, del trabajo realizado y de los hechos puestos de maniesto (NA 3.5.5). Tambin se ha armado que: Una documentacin adecuada es importante por diversas razones: a) para conrmar y fundamentar las opiniones e informes del auditor b) para incrementar la eciencia y la ecacia de la auditora c) como fuente de informacin en la preparacin de los informes o en la respuesta a las preguntas de la entidad scalizada o de otras partes interesadas d) como prueba del cumplimiento por parte del auditor de las normas de auditora

130

e) para facilitar la planeacin y la supervisin f) como ayuda al desarrollo profesional del auditor g) como ayuda para garantizar que los trabajos delegados han sido realizados satisfactoriamente, y h) como prueba del trabajo realizado, para futuras referencias (NA 3.5.6). Son documentos de trabajo todos aquellos documentos pertinentes que se recogen y generan durante una auditora del rendimiento. Debern incluir los documentos en los que se registran la planicacin, el calendario y el alcance de los procedimientos de auditora realizados, los resultados de la auditora y las conclusiones extradas de las pruebas de auditora obtenidas. Los documentos de trabajo, por consiguiente, deben contener tres secciones como mnimo: planicacin, ejecucin e informacin. Los documentos de trabajo sirven como vnculo de conexin entre el trabajo de campo y el informe de auditora, y tienen que ser lo bastante completos y detallados como para permitir una comprensin de la auditora. Por lo tanto, tienen que contener las pruebas acumuladas en apoyo de las opiniones, las conclusiones y los anlisis que apoyan las recomendaciones del informe. Los documentos de trabajo organizan y facilitan el acceso a la documentacin probatoria, y de este modo: ayudan en la planicacin y la realizacin de la auditora; facilitan la direccin ecaz de las auditoras individuales y de la tarea de auditora en su conjunto; colaboran en la supervisin y revisin del trabajo de auditora; y registran las pruebas resultantes del trabajo de scalizacin realizado en apoyo de la opinin de auditora. El auditor debe adoptar los procedimientos apropiados para mantener la condencialidad y la custodia segura de los documentos de trabajo, y debe conservarlos durante el perodo suciente para cumplir los requisitos legales y profesionales de conservacin de registros.

131

5.

Es mejor ser vagamente correcto que estar equivocado con exactitud

Rara vez es posible que los auditores del rendimiento obtengan toda la informacin que necesitan. Los datos disponibles pueden ser inexactos, incompletos o contradictorios. En consecuencia, los auditores tienen que ser creativos para encontrar datos que describan con una correccin mnimamente razonable lo que aquellos estn buscando. Quizs se pueda obtener estimaciones bien fundamentadas, o puede haber otros medios de hallar datos que sean tiles para el anlisis prctico y la evaluacin global. Datos menos precisos combinados con deducciones lgicas y otras informaciones- a veces podran bastar; por ejemplo, si lo que se desea es describir tendencias. Otra posibilidad consiste en que las entidades scalizadas y dems implicados conrmen que los datos menos precisos que se recogen proporcionan una imagen razonable y correcta de la realidad, es decir, la informacin recogida puede utilizarse como prueba de un tipo u otro, y como base de posteriores anlisis y conclusiones generales. La recogida de datos es siempre un compromiso entre el ideal (la mejor solucin) y la realidad (la segunda o tercera mejor solucin). De hecho, unas ambiciones demasiado elevadas en la bsqueda de datos completos, precisos y exactos pueden perjudicar la ecacia de una auditora del rendimiento. Los esfuerzos por lograr exactitud pueden entrar en conicto fcilmente con la ambicin de realizar un anlisis inteligente. La necesidad de exactitud, por consiguiente, siempre debe tener en cuenta aquello que es razonable, econmico y pertinente a los efectos de la recogida de datos. En consecuencia, en todos los casos los auditores del rendimiento deben tratar de ser prcticos en sus esfuerzos para recoger, interpretar y analizar datos. Es importante, sin embargo, que el lector del informe de auditora est informado acerca de la calidad de todas las informaciones que han sido recogidas, y de la forma en que han sido reunidas. Esto resulta incluso ms decisivo en el caso de enfrentarse con datos menos precisos. Los auditores slo deben extraer aquellas conclusiones que sean permitidas por la calidad de los datos.

132

Apndice 4

Comunicacin y aseguramiento de calidad

Relaciones externas y relaciones con las entidades fiscalizadas

El establecimiento de buenas y apropiadas relaciones con la entidad scalizada a menudo constituye un factor clave para el logro de auditoras ecaces y ecientes de los programas de la Administracin o de un programa o una funcin de una entidad scalizada. El desarrollo y el resultado de la auditora mejorarn si el equipo de auditora consigue un contacto adecuado y fomenta la conanza, manteniendo un enfoque plenamente profesional a lo largo de la auditora. El personal de la EFS debe tratar de mantener buenas relaciones con todos los implicados, promover un ujo libre y franco de informacin, y llevar a cabo debates en una atmsfera de mutuo respeto y comprensin. La EFS tiene que utilizar con prudencia su capacidad de acceso a la informacin, y prestar la atencin debida a las responsabilidades operativas en curso. La EFS deber noticar con una antelacin razonable a las entidades scalizadas su propsito de iniciar una auditora, y tendr que debatir el alcance general del estudio con los directivos pertinentes.
Relaciones con las entidades fiscalizadas

El director de la auditora a cargo del estudio o el lder del proyecto- es el que, normalmente, establece el contacto inicial con la(s) entidad(es) scalizada(s) para comunicarle(s) cuestiones como las siguientes: los objetivos, calendario, duracin y tipo de scalizacin que va a efectuarse; las ocinas o regiones que se tiene la intencin de visitar; y los nombres, cargos, nmeros de telfono, etc. del personal de auditora y de una persona de contacto ocial dentro de la EFS con respecto a la auditora.
133

Los objetivos de las reuniones o conferencias en el proceso inicial son: Establecer acuerdos adecuados de enlace en los niveles de direccin y de trabajo, que abarquen acuerdos para realizar gradualmente informes sobre posibles resultados; Garantizar que la(s) entidad(es) scalizada(s) comprende(n) claramente los objetivos y procesos de scalizacin, lo cual incluye una descripcin de las capacidades de acceso y la proteccin de la condencialidad; Describir las responsabilidades de la(s) entidad(es) scalizada(s) y aclarar las consultas o los malentendidos que puedan tener la(s) entidad(es) scalizada(s); y Llevar a cabo acuerdos administrativos referentes al equipo de auditora, tales como acceso a los edicios, personal, archivos, sistemas y datos. Al nal de cada auditora, deber concertarse una entrevista de salida con los directivos de la(s) entidad(es) scalizada(s), por ejemplo para Debatir los resultados, conclusiones y recomendaciones provisionales de la auditora, con la direccin de la entidad scalizada, y recibir los comentarios de la direccin sobre aquellos; Dar a la entidad scalizada la oportunidad de corregir los malentendidos y poner en tela de juicio las conclusiones y los resultados de la auditora.

Sistemas de aseguramiento de calidad y de control de calidad

Las normas de auditora de la INTOSAI estipulan que la EFS debe establecer sistemas que conrmen que los procesos de aseguramiento de una calidad integral han funcionado de modo satisfactorio; garantizan la calidad del informe de auditora; y aseguran las mejoras de calidad y evitan la repeticin de los puntos dbiles. La EFS debe poner en prctica polticas y procedimientos de aseguramiento/control de calidad tanto en la EFS como en cada auditora. El aseguramiento de calidad hace referencia a polticas, sistemas y procedimientos establecidos por la EFS para mantener un nivel elevado en la actividad de scalizacin. Tambin se reere a los requisitos aplicables a la direccin de los encargos de scalizacin en el da a da. El control de calidad, en cambio, hace referencia a las revisiones efectuadas para evaluar el sistema de aseguramiento de calidad o los proyectos de scalizacin ejecutados.

134

Actividades de aseguramiento de calidad de la EFS

Como parte de las obligaciones legales y profesionales de la EFS sta debe establecer y apoyar los adecuados sistemas de aseguramiento de calidad. Los sistemas abarcan la estructura, las polticas y los procedimientos diseados para proporcionar a la EFS el adecuado aseguramiento de que el trabajo efectuado por la EFS cumple los requisitos y las normas profesionales. Las actividades de aseguramiento de calidad incluyen lo siguiente: Garantizar la calidad de la planicacin; hay que revisar la planicacin de las tareas seleccionadas para asegurar que se presta la consideracin adecuada a todas las materias consideradas como esenciales. Garantizar la calidad del trabajo en curso; el trabajo en curso debe estar sujeto a una revisin continuada. Esta revisin es esencial para el mantenimiento de la calidad de las tareas de auditora, y para promover el aprendizaje y la retroalimentacin. Garantizar la calidad de la auditora nalizada; todas las tareas acabadas debern revisarse antes de rmar los informes. Los procedimientos de aseguramiento de calidad debern disearse de un modo que garantice que todas las auditoras se llevan a cabo de conformidad con las normas de auditora pertinentes. Los objetivos de los procedimientos de aseguramiento de calidad deben incluir: la competencia y la honradez profesional, la supervisin y la asignacin de personal a las actividades, orientacin y asistencia, evaluacin de los clientes, y adjudicacin de responsabilidades administrativas y tcnicas. Las polticas y los procedimientos generales de aseguramiento de calidad de la EFS debern darse a conocer a su personal de un modo que permita un aseguramiento razonable de que las polticas y los procedimientos se comprenden y se ejecutan. stos son algunos de los hechos y elementos del trabajo de scalizacin que exigen una atencin especial por parte de los directores de la auditora y de los directores de la EFS:
Planificacin de la auditora y del presupuesto

El director de la auditora debe tener en cuenta factores tales como la calidad, los recursos y el calendario en la planicacin de la auditora. Los presupuestos consisten en asignaciones a salarios, viajes, consultores y otros costes directos.
135

Utilizacin de consultores

Si la EFS busca el asesoramiento de expertos externos, las normas de ejercicio de la debida atencin y la condencialidad de la informacin se aplicarn a estos casos.
Supervisin y ejecucin de la auditora

Los directores debern garantizar que las auditoras se llevan a cabo dentro de los lmites presupuestarios y temporales, ampliando el presupuesto en caso necesario. El director de la auditora debe ser consciente de los riesgos que ponen en peligro la conclusin de la scalizacin en el momento jado, y garantizar que el trabajo de auditora es pertinente para los objetivos y el alcance de la auditora. El desarrollo del proceso de recogida de datos y del trabajo de anlisis tiene que someterse a control. El director de la auditora debe garantizar que los equipos de auditora estn capacitados para mantener relaciones correctas y adecuadas con la(s) entidad(s) scalizada(s) y otros implicados.
Informacin sobre el avance e informacin sobre la auditora

El director de la auditora deber informar a la direccin de la EFS sobre el avance de la auditora, donde guren recomendaciones acerca de acciones correctoras en caso necesario. El director tambin debe garantizar que los informes de auditora del rendimiento cumplan las normas de informacin.
Programa de revisin del aseguramiento de calidad revisiones externas e internas

Un programa de revisin del aseguramiento de calidad consiste en una serie de revisiones externas e internas sobre las actividades efectuadas por la EFS: evala la calidad general del trabajo que se ha llevado a cabo, y abarca diversos temas y perspectivas. Por consiguiente, el programa tiene que ser exible. Los resultados del programa debern comunicarse a la direccin de la EFS como mnimo una vez al ao (con un elevado volumen de auditoras del rendimiento). Una revisin de aseguramiento de calidad puede examinar la delidad con que se pongan en prctica las polticas y los procedimientos, e identicar reas donde exista la oportunidad de efectuar mejoras en estos procedimientos y polticas, o evaluar la calidad del trabajo realizado para cumplir los objetivos especicados o satisfacer las perspectivas de los implicados. Las revisiones de aseguramiento de calidad tratarn
136

normalmente tanto la delidad a los procesos especicados como la calidad del trabajo realizado. El informe sobre el programa de revisin del aseguramiento de calidad deber resumir los resultados de todas las revisiones, incluyendo las tareas seleccionadas (cantidad y tipo), los resultados y las posibles recomendaciones.
Aseguramiento de calidad y desarrollo de la calidad

Es importante que todas las actividades de aseguramiento/control de calidad tengan un alto grado de legitimacin entre los auditores, y que los procedimientos y sistemas no sean demasiado complicados. Adems de las actividades de aseguramiento y control de la calidad, quizs la manera ms ecaz de promover la calidad en el trabajo de auditora consiste en seleccionar personal competente y crear condiciones de trabajo que (i) estimulen el desarrollo de la calidad, (ii) mejoren la apertura y la delegacin dentro de la organizacin, y (iii) alienten el sentido de responsabilidad propio de los auditores. En una actividad basada en la informacin y de carcter profesional como la auditora del rendimiento, suele ser ms importante apoyar a los equipos de auditora en su trabajo, en vez de supervisarlos en el sentido tradicional del trmino.

137

138

Apndice 5

Auditora del rendimiento y tecnologa de la informacin

Introduccin79

La tecnologa de la informacin (TI) est siendo utilizada cada vez ms en la planicacin, la ejecucin y el control de programas dentro del sector pblico. Compartir o integrar informacin entre organismos plantea temas tales como el riesgo de infracciones de la seguridad y el manejo no autorizado de informacin. Los auditores no slo deben conocer los usos de la TI sino tambin desarrollar estrategias y tcnicas que aseguren a los interesados la rentabilidad del uso de la TI, la seguridad de los sistemas, la existencia de los adecuados controles del proceso, y la integridad y exactitud de los outputs. Con anterioridad era frecuente que la auditora del rendimiento se centrase en cuestiones tales como la planicacin, el desarrollo y el mantenimiento de sistemas individuales de TI. En la actualidad la perspectiva es ms amplia. Los sistemas de TI se consideran primordialmente como componentes importantes en todos los programas de la Administracin (gobierno electrnico). El cambio de perspectivas tiene consecuencias para la auditora del rendimiento en el rea de la tecnologa de la informacin. El valor de los buenos sistemas de TI consiste en que pueden mejorar la economa, la eciencia y la ecacia de los programas existentes y contribuir a la mejora de los servicios pblicos. Los sistemas de TI podrn constituir un mecanismo eciente y ecaz de realizacin de programas. Disponen del potencial necesario para prestar los servicios actuales a un precio ms reducido, y proporcionan una gama de servicios adicionales, entre los que se incluyen la informacin sobre el rendimiento de los programas, con una eciencia, una seguridad y
79 Este apndice se basa en documentos procedentes del Comit de TI de la INTOSAI, y en las directrices de auditora del rendimiento propuestas por la ASOSAI. Tambin se ha tenido en cuenta la experiencia de EFS individuales.

139

una capacidad de control mayores que las existentes en los sistemas manuales. Sin embargo, los sistemas de TI tambin pueden provocar importantes errores sistmicos, con un inujo sobre el rendimiento del organismo pblico mucho mayor del que se dara en los sistemas manuales. Este apndice pone de relieve diversas consideraciones importantes para la auditora del rendimiento en un entorno de TI, y no se propone sustituir las directrices detalladas que las EFS necesiten crear para evaluar el entorno de TI de las entidades scalizadas. El enfoque de la auditora del rendimiento en un entorno de TI deber abarcar los siguientes procesos interrelacionados: Comprender los sistemas de TI de las entidades scalizadas y determinar su importancia para el objetivo de la auditora del rendimiento, Identicar el grado de scalizacin de los sistemas de TI requerido para lograr el objetivo de la auditora del rendimiento (p. ej. scalizacin de los procesos de inversin en TI y sus vinculaciones con las estrategias empresariales, scalizacin del desarrollo de sistemas; auditora de los controles del entorno y de las aplicaciones) y emplear auditores especializados en sistemas de informacin/TI para llevar a cabo la tarea; y desarrollar y utilizar, en su caso, tcnicas de auditora asistida por ordenador para facilitar la auditora. Una auditora del rendimiento en un entorno de TI deber: Evaluar si los sistemas de TI mejoran la economa, la eciencia y la ecacia de los objetivos del programa y de su direccin, sobre todo en relacin con la planicacin, la ejecucin, el control y la retroalimentacin referentes a los programas. Determinar si los resultados del sistema cumplen los parmetros establecidos de realizacin de calidad, servicio y coste; Identicar las deciencias en los sistemas de informacin y los controles de IT, y las consecuencias resultantes sobre la eciencia, economa y ecacia del rendimiento; Comparar las prcticas de desarrollo y mantenimiento de los sistemas de TI de la entidad scalizada con las principales prcticas y normas; Comparar la planicacin estratgica de TI, la gestin de riesgos y las prcticas de gestin de proyectos de la entidad scalizada con las principales prcticas y normas, incluidas las prcticas de gobernanza empresarial.
140

Un modelo de alto nivel para fiscalizar la utilizacin de TI

Al scalizar la utilizacin de TI en programas empresariales, el auditor necesita centrarse en determinados aspectos. En sentido amplio, es posible identicar los componentes siguientes en un modelo de alto nivel para scalizar cuestiones de TI: Los requisitos de la Administracin y otras exigencias referentes a la utilizacin de TI en los servicios de la Administracin pblica. Las estrategias de mejora de actividades y de procesos de decisin basados en TI por parte de la Administracin y referentes a proyectos de inversin en mejora de actividades de la Administracin tomando como base la TI (ejecucin de la TI). Proyectos de desarrollo de la Administracin, ejecucin y mantenimiento de actividades/programas basados en TI, sistemas de TI e infraestructura de TI, incluidos aspectos de seguridad, honradez, control, etc. Utilizacin de los sistemas de TI por parte de los clientes, incluidos los aspectos de capacidad de uso y la interaccin entre usuarios y sistemas de TI. La ecacia a largo plazo de los sistemas de TI y el apoyo de la TI a los programas empresariales (rentabilidad de la utilizacin de TI). El apoyo de diferentes protagonistas en cuestiones relacionadas con la TI y entregadas a organismos de la Administracin pblica, incluidos temas como por ejemplo normas de TI, tecnologa de la TI, etc. Los principales protagonistas que inuyen sobre la Administracin y sus organismos en cuestiones relacionadas con la TI, por ejemplo tendencia de la TI, conocimientos sobre TI, etc.

Aspectos del rendimiento de la fiscalizacin en un entorno de TI

En muchos casos el tema ms importante de la auditora consiste en determinar si el sistema de TI ha mejorado la eciencia con la que la entidad scalizada gestiona sus programas, y si el sistema de TI tiene consecuencias beneciosas para los implicados. Tambin puede esperarse que el auditor evale si los sistemas de TI han facilitado una gestin mejorada del programa. stas son algunas de las reas que hay que tomar en consideracin:

141

 La vinculacin del proceso de inversin en TI especialmente el sistema de innovacin de la entidad scalizada para crear, procesar y decidir acerca de las propuestas de inversin en TI- con los procesos de estrategia empresarial, direccin y planicacin; La TI debe apoyar los objetivos y la estrategia empresarial de la entidad scalizada y, por consiguiente, es parte integrante de sus operaciones; Las actividades de TI exigen un personal de alta cualicacin; La contribucin de la TI a las actividades se mide en trminos de eciencia operativa; Es posible que las ventajas de la TI no se consigan sin la realizacin de los cambios adecuados; y Quizs resulten ms difciles de aplicar las mediciones habituales de la rentabilidad. Adems de evaluar si los sistemas de TI son rentables, tambin cabe esperar que el auditor del rendimiento mida si el entorno de TI ha contribuido a la transparencia, la rendicin de cuentas y la adecuada gobernanza. La auditora tambin puede contener temas de TI ms especializados, p. ej. desarrollo de sistemas de TI y su gestin operativa.

Una auditora del rendimiento que implique desarrollo de sistemas de TI

Una auditora del rendimiento que implique el desarrollo de sistemas de TI deber determinar si la entidad scalizada Posee la adecuada aprobacin ejecutiva para el desarrollo del sistema de TI, es decir, la direccin de la TI se ajusta a la gobernanza empresarial de la entidad scalizada; Tiene instalados los procesos apropiados de direccin de proyectos que sirvan para gestionar el proyecto; Ha cumplido los objetivos requeridos de tiempo, coste, funcionamiento de sistemas y rentabilidad; Emplea una metodologa apropiada de desarrollo de sistemas; y Tiene instalados procesos, incluida la implicacin de auditores internos, que garanticen que el nuevo sistema incluye todos los controles e itinerarios de auditora que sean necesarios, y es probable que cumpla los requisitos de la entidad scalizada y los implicados en sta.
142

La auditora del rendimiento con sistemas operativos de TI

En la lista siguiente aparecen algunos de los aspectos ms importantes que se espera que tome en consideracin el auditor, y que debern ser modicados en la forma requerida por la entidad especca que se scalice: la direccin estratgica y operativa de TI, incluida la seguridad de que la TI est incluida en la gobernanza empresarial general de la entidad scalizada; la direccin de proyectos de TI, incluido el historial de la entidad scalizada en el cumplimiento de los plazos legislativos y de otras clases; las prcticas de direccin de riesgos en relacin con la TI; diseo, desarrollo y controles de mantenimiento de los sistemas de TI; cumplimiento de las normas, incluidas las normas externas; controles de aplicacin; controles de proceso, incluidos los itinerarios de scalizacin; acuerdos de continuidad empresarial; integridad de los datos, que incluye el muestreo de datos (posiblemente utilizando tcnicas de auditora asistidas por ordenador (CAAT)); controles de acceso y seguridad fsica y lgica de redes y ordenadores, incluidos cortafuegos de Internet; controles para protegerse del software ilegal; direccin y medicin del rendimiento; y otros asuntos que surjan durante la auditora. Al efectuar la evaluacin el auditor podr: revisar archivos y otros documentos pertinentes para el desarrollo y el funcionamiento de los sistemas de TI; utilizar un paquete de software adecuado para probar los controles centrales y en red del sistema informtico; probar una muestra de transacciones (incluido el uso de CAAT) para validar los sistemas y controles pertinentes; y entrevistar al Auditor General y a los miembros clave del personal.

143

Planificacin

Como ocurre en toda auditora, es necesario planicar la auditora del rendimiento en un entorno de TI. El proceso de planicacin debe integrar los objetivos de la auditora en los objetivos de la entidad scalizada referentes a la adopcin/introduccin de sistemas de TI, y deber incluir aspectos de la scalizacin relacionados con la seguridad, los controles y la rentabilidad. La fase de planicacin tambin tiene que identicar los sistemas de TI, sus funciones en los programas, los sistemas informticos y los paquetes de software utilizados por la entidad scalizada. Durante esta fase los auditores tambin necesitan identicar los principales riesgos potenciales de los sistemas de TI. La auditora del rendimiento en un entorno de TI requiere competencias especializadas, y hay que dedicar a esta tarea un personal formado de manera especca en competencias de TI, sistemas de informacin, auditora y contabilidad. Quizs sean necesarios los servicios de consultores externos para las reas tcnicas ms especializadas. La EFS tambin necesita tomar en consideracin la adquisicin de las herramientas apropiadas de hardware y software. El personal de la EFS requerir una amplia formacin para mantenerse al da de los avances tecnolgicos y de las tcnicas de scalizacin de la TI.

Tcnicas de Auditora Asistidas por Ordenador

Los auditores estn utilizando cada vez ms las Tcnicas de Auditora Asistida por Ordenador (CAAT). Estas tcnicas utilizan programas de software adaptados especcamente para ayudar en la ejecucin de la auditora. Pueden utilizarse para el muestreo de datos de transacciones del sistema y para probar el sistema en conjunto. Las herramientas de CAAT pueden desarrollarse para: acceder y extraer informacin de las bases de datos de la entidad scalizada; totalizar, resumir, clasicar, comparar y seleccionar a partir de grandes volmenes de datos de conformidad con criterios especcos; tabular, comprobar y realizar clculos sobre los datos; llevar a cabo muestreos, procesos estadsticos y anlisis; facilitar informes diseados para satisfacer determinadas necesidades de auditora;
144

 facilitar la planicacin y el control de la auditora, p. ej. documentos de trabajo de auditora electrnica que apoyen una indexacin, una revisin y una informacin ecaces; realizar encuestas a travs de cuestionarios por Internet; incrementar el anlisis de las pruebas y los resultados de la auditora. Las CAAT pueden utilizarse para recoger datos, validar los procesos del programa o analizar los datos. Los auditores debern desarrollar estas tcnicas y formar al personal de la entidad scalizada. Estas herramientas automatizadas de scalizacin deben desarrollarse/modicarse teniendo presente el entorno de TI en la entidad scalizada y los objetivos de la auditora. Las CAAT tambin pueden utilizarse en las auditoras del rendimiento tanto en entornos de TI como fuera de ellos.

Informacin

El informe de auditora del rendimiento debe elaborarse con el propsito de reducir al mnimo el uso de terminologa tcnica para que la TI sea fcil de entender por la direccin, los miembros del poder legislativo y el pblico en general. Cuando el uso de trminos tcnicos sea inevitable, debern explicarse. Los informes de auditora debern publicarse en los sitios web de la EFS o en CD, para que los informes tengan una amplia distribucin.

145

146

Apndice 6

Auditoras del rendimiento en actividades con una perspectiva ecolgica

1.

Introduccin

A lo largo de los ltimos 20 aos la conciencia general acerca de los temas ecolgicos ha crecido rpidamente, y se ha otorgado un relieve especial a materias como la disminucin de la capa de ozono, la destruccin de los bosques tropicales y el calentamiento global. El conocimiento y la experiencia cada vez mayores que se han adquirido acerca de los asuntos medioambientales durante este perodo han llevado a replantear la funcin y las responsabilidades de las Administraciones pblicas (nacionales y locales, y sus organismos vinculados) y las empresas. stos son algunos de los cambios decisivos que se han producido: El incremento de las reglamentaciones ecolgicas por parte de las autoridades estatales o locales. El coste creciente de la proteccin ecolgica tanto en el sector privado como en el pblico. Han aumentado los recursos que gastan ambos sectores en el control de la contaminacin, y las entidades empresariales y pblicas estn buscando las maneras ms rentables de afrontar estas cuestiones. La conciencia ecolgica de las entidades nancieras, nacionales e internacionales. La presin y los controles a que estn sometidas estas entidades impulsan a Administraciones y empresas a prestar una atencin ms profunda a los temas ecolgicos. Despus de la Conferencia sobre el Medio Ambiente celebrada por las Naciones Unidas en Ro de Janeiro, los gobiernos y las empresas de todo el mundo han mostrado mayor preocupacin por el desarrollo sostenible. El creciente inters en que las organizaciones que daan el medio ambiente tengan que rendir cuentas de sus actos ha llevado a exigir que
147

se informe acerca de las consecuencias de dichos actos. A su vez, han crecido las expectativas de que las declaraciones efectuadas en estos informes ecolgicos estn obligadas a someterse a una scalizacin independiente. Debido a las implicaciones que tales expectativas tienen para las EFS, la INTOSAI se hizo cargo de esta cuestin. En el XV INCOSAI, en El Cairo (1995), se decidi que, utilizando como base las Normas de Auditora de la INTOSAI, el Grupo de Trabajo sobre Auditora Ecolgica de la INTOSAI crease una gua que contuviese directrices y metodologas para la realizacin de auditoras con una perspectiva ecolgica. El resultado del trabajo, Orientacin para la Ejecucin de Auditoras de Actividades con una Perspectiva Medioambiental, fue aprobado en el XVII INCOSAI, en Sel (2001).80 El propsito de la gua es proporcionar a las EFS una base de comprensin de la naturaleza de dicha scalizacin, tal como se ha desarrollado hasta ahora en el mbito de la Administracin pblica. Esta base aspira a constituir un punto de partida a partir del cual crear un enfoque que permita el cumplimiento satisfactorio de las obligaciones de auditora ecolgica en el contexto de la jurisdiccin correspondiente a cada EFS. El trmino auditora ecolgica es una etiqueta cmoda que suele utilizarse para describir multitud de actividades por ejemplo, auditoras de direccin, certicacin de productos, medidas de control de la Administracin y muchas otras que tienen escasa o ninguna relacin con una auditora externa. A menudo las EFS tambin llevan a cabo actividades que, por denicin, no son auditoras, pero contribuyen a una mejor Administracin pblica. En este apndice el trmino auditora ecolgica se emplea exclusivamente en el contexto de la scalizacin externa independiente. En el XV INCOSAI (El Cairo) se acord que la auditora ecolgica, en principio, no es diferente del enfoque de scalizacin tal como lo practican las EFS, y puede abarcar todos los tipos de auditora. En este contexto la scalizacin puede dedicarse, por ejemplo, a establecer cules son los activos y pasivos ecolgicos, el cumplimiento de la legislacin y los convenios-nacionales e internacionales- y las medidas instituidas por la entidad scalizada para promover la economa, la eciencia y la ecacia. Por consiguiente, a veces resulta ms fcil referirse a la auditora del rendimiento con una perspectiva ecolgica.
Esta breve presentacin se basa en gran medida en dicha gua y en otros documentos e informes del Grupo de Trabajo sobre Auditora Ecolgica de la INTOSAI. Tambin se ha tenido en cuenta la experiencia de EFS individuales.
80

148

2.

Aplicacin del Cdigo de tica y las Normas de Auditora de la INTOSAI

El Cdigo de tica y las Normas de Auditora de la INTOSAI reejan un consenso acerca de las mejores prcticas entre las EFS. Por lo tanto, es evidente que las normas codican las prcticas profesionales de general aceptacin, que se aplican en la realizacin de auditoras externas independientes, lo cual tambin puede incluir la auditora de actividades con una perspectiva ecolgica. De ello se deduce que una EFS -en la medida ms amplia que sea adecuada- debe tener en cuenta las Normas de Auditora de la INTOSAI al planicar, realizar e informar sobre una auditora ecolgica.
2.1 El postulado bsico de pertinencia y sus consecuencias para la auditora del rendimiento con una perspectiva ecolgica

La EFS debe tomar en consideracin el cumplimiento del Cdigo de tica y las Normas de Auditora de la INTOSAI en todas las materias que se denan como importantes. Cada EFS tiene que implantar una poltica que garantice que las auditoras ecolgicas sean de alta calidad. La EFS debe reconocer la naturaleza global de los asuntos ecolgicos y promover auditoras del rendimiento con una perspectiva ecolgica. Los programas o entidades de la Administracin que ejercen un inujo sobre el medio ambiente pueden clasicarse en los tres grupos siguientes: Programas y entidades cuyas actividades afectan directa o indirectamente al medio ambiente. Programas o entidades cuyas actividades pueden afectar directa o indirectamente la formulacin de polticas y reglamentaciones ecolgicas, en el mbito internacional, nacional o local. Programas o entidades cuyas tareas implican la capacidad de supervisar y controlar las actividades medioambientales de otras. La Administracin es la responsable de determinar qu informacin necesita para comprobar que est cumpliendo sus objetivos ecolgicos. Adems, las autoridades ejecutivas (los organismos de la Administracin) y sus directivos son directamente responsables de la correccin y suciencia de la informacin sobre el inujo de la entidad sobre el medio ambiente, ya sea en lo relacionado con el rendimiento nanciero, los activos o pasivos, el cumplimiento de la legislacin u otras disposiciones relacionadas con su rendimiento.

149

Sin embargo, es probable que surjan en la prctica situaciones donde no exista la legislacin pertinente que ordene la divulgacin de la informacin ecolgica pertinente, o en las que no se comunique tal informacin por algn otro motivo. En ese caso la EFS deber informar de esta carencia, y tambin puede tomar en consideracin los posibles efectos que tenga sobre su informe de auditora. El mbito completo de la auditora del sector pblico, de regularidad (nanciera y de cumplimiento) y auditora del rendimiento, se aplica asimismo a la auditora ecolgica. La auditora del rendimiento de las actividades ecolgicas puede evaluar, por ejemplo: si los programas ecolgicos estn adecuadamente preparados, si las polticas y los programas ecolgicos se llevan a cabo de un modo econmico, eciente y ecaz, si los programas ecolgicos se controlan y evalan de forma apropiada, si los programas ecolgicos son ecaces. La auditora ecolgica aade un desafo especial a las funciones en expansin de los auditores y a la responsabilidad de stos de mejorar y desarrollar nuevas tcnicas y metodologas para vericar si la entidad scalizada est utilizando medidas del rendimiento razonables y vlidas.
2.2 Las normas generales de auditora de pertinencia y sus consecuencias

El auditor y la EFS deben ser, y debe considerarse que son, independientes y objetivos en la realizacin de auditoras ecolgicas. El auditor y la EFS deben poseer asimismo la competencia requerida. Cuanto ms amplio es el mandato de la EFS y cuanto ms discrecional es su naturaleza, ms compleja ser la tarea de garantizar la calidad de la gestin en todo el mandato. Esto se aplica directamente a la auditora ecolgica y a menudo puede conseguirse mediante el empleo de equipos u obteniendo la colaboracin especial de expertos en ese campo. Si la EFS utiliza expertos medioambientales externos, debe tener el cuidado oportuno para asegurarse de la competencia de stos. Las EFS y sus auditores y otras personas que lleven a cabo auditoras ecolgicas deben demostrar un adecuado conocimiento tanto de las cuestiones medioambientales como de la auditora del rendimiento/la evaluacin de programas.

150

2.3 Normas de trabajo de campo y de informacin

El auditor debe planicar la auditora de un modo que garantice una scalizacin de alta calidad, y recoger informacin acerca del programa o de la entidad scalizada. En su caso, esto debe incluir asimismo informacin ecolgica pertinente, por ejemplo: Leyes y reglamentaciones pertinentes Metas y objetivos jados por el Parlamento o la Administracin Las polticas, los objetivos y las prcticas establecidos por las entidades que van a scalizarse La existencia de activos y pasivos ecolgicos, y los cambios que puedan haber ocurrido en ellos durante el perodo sometido a revisin. El objetivo y el alcance de la auditora ecolgica deben denirse con claridad. Las necesidades especcas de la auditora ecolgica pueden exigir procedimientos adicionales para que puedan llevarse a cabo. Quizs resulte aconsejable apelar a especialistas de la EFS para revisar la planicacin y el trabajo de campo desde una perspectiva ecolgica.

3.

Desarrollo de mtodos y prcticas

Una EFS puede emprender auditoras ecolgicas en virtud de su mandato de llevar a cabo auditoras de regularidad o del rendimiento. En las auditoras del rendimiento existen como mnimo cinco tipos distintos de centros de atencin ecolgica: Auditoras del control por parte de la Administracin del cumplimiento de las leyes ecolgicas, Auditoras del rendimiento de los programas ecolgicos de la Administracin, Auditoras del inujo ecolgico de otros programas de la Administracin, Auditoras de los sistemas de gestin del medio ambiente, y Evaluaciones de los proyectos de polticas y programas ecolgicos. Como la EFS no puede scalizar todos los programas o entidades implicados en esta cuestin, necesitar disear cuidadosamente una metodologa que le permita extraer conclusiones fundamentadas sobre la forma en que una funcin o una actividad determinada se ejecuta en el pas. Algunas de las herramientas que pueden emplearse son las visitas de campo, los cuestionarios y el muestreo estadstico.

151

3.1 Fiscalizacin del control por parte de la Administracin pblica

En muchos pases existe un ministerio o departamento del medio ambiente (u otro rgano del poder ejecutivo) que se encarga de garantizar que las entidades pblicas y/o privadas cumplen correctamente las leyes y los objetivos ecolgicos. Estas leyes pueden encargar al ministerio de medio ambiente actividades de este tipo: Expedir autorizaciones que limiten la cantidad o la concentracin de los vertidos contaminantes, Controlar el cumplimiento de esas autorizaciones, Controlar la situacin del medio ambiente con objeto de identicar otras posibles infracciones de la reglamentacin, Colaborar en la interpretacin de la reglamentacin, y proporcionar otras ayudas a las entidades reguladas para ayudarlas en su labor de cumplimiento, y Exigir la aplicacin de las normas cuando se produzcan infracciones. En algunos casos la Administracin federal (nacional), estatal o de otros niveles puede delegar estas responsabilidades reguladoras del medio ambiente. Adems, otros tipos de departamentos o ministerios -por ejemplo el ministerio de transportes o el de agricultura- pueden ejercer asimismo determinadas responsabilidades reguladoras del medio ambiente. A menudo se encarga a la EFS que examine en qu medida estos otros ministerios ejercen sus responsabilidades ecolgicas. Los datos necesarios para apoyar los resultados y las conclusiones quizs estn en una localizacin central y puede disponerse de ellos con facilidad. Lo ms habitual, sin embargo, es que haya que recoger informacin importante en diversos lugares y en numerosas entidades tanto pblicas como no gubernamentales. Una EFS debe ser consciente de que en muchos pases se ha demostrado que los datos de cumplimiento de las reglamentaciones ecolgicas son particularmente susceptibles a los errores. La inexistencia de datos ecolgicos ables puede convertirse en s misma en un mensaje central del informe de la EFS.
3.2 Fiscalizacin del rendimiento

Una Administracin puede estar facultada por la legislacin u otra autoridad para llevar a cabo (o nanciar a otras entidades para que lleven a cabo) diversos programas o actividades con objeto de proteger o mejorar el medio ambiente. Dicho programa o actividad: Puede ser responsabilidad de un ministerio, un departamento o uno o varios organismos de la Administracin con un inters particular en el medio ambiente, o
152

 Puede ser responsabilidad, por ejemplo, de un departamento o un organismo de la Administracin para la agricultura, a travs de un programa de asistencia a los agricultores para que adopten prcticas que reduzcan al mnimo la contaminacin. Para una EFS puede resultar til identicar los acuerdos internacionales en materia ecolgica que hayan sido aprobados por el gobierno, y a continuacin, identicar qu programas se han establecido para ponerlos en prctica. Hay que tener cuidado en la seleccin y la conguracin de la auditora de un programa ecolgico de la Administracin. Una EFS tambin puede considerar la posibilidad de centrar la atencin en un nico instrumento poltico principal, o en muchos instrumentos polticos diferentes. Al seleccionar una auditora del rendimiento la EFS tiene que prestar una atencin particular a la disponibilidad de datos sucientes, pertinentes y ables. Al planicar la auditora, la EFS deber tomar en consideracin los riesgos y la importancia del programa o actividad de la Administracin, teniendo en cuenta los recursos implicados, la importancia del problema ecolgico que va a tratarse, y la magnitud del efecto al que se aspira. Los auditores deben estudiar tambin si existen indicios de problemas de eciencia y ecacia en el rea que vaya a estudiarse. Al considerar el mbito y la metodologa de scalizacin habr que referirse a la disponibilidad de criterios de auditora, sobre todo cuando el programa no est sujeto a requisitos legales. La EFS puede identicar maneras de comparar las actividades del programa con la mejor prctica de gestin, o con las prcticas utilizadas en programas ecolgicos similares en el mismo pas o en otros lugares. La EFS tambin puede informar sobre los logros del programa a lo largo del tiempo, en comparacin con las metas propias del programa, o las metas o los puntos de referencia establecidos por expertos. El auditor debe tener presente que los programas ecolgicos pueden pretender inujos que: sean, cada uno de ellos, de pequeas dimensiones, pero que en conjunto inuyan a gran escala, tarden mucho tiempo en manifestar efectos apreciables, y se vean afectados por factores externos importantes (condiciones meteorolgicas, etc.)

153

3.3 Fiscalizacin del influjo ecolgico de otros programas de la Administracin

Adems de los programas cuyo n principal sea proteger o mejorar el medio ambiente, todas las actividades afectan de un modo u otro al medio ambiente a travs de su utilizacin de recursos o las consecuencias de sus dems actividades. Algunos programas de la Administracin producen inujos signicativos, que pueden ser positivos o negativos, voluntarios o involuntarios. Los inujos ecolgicos de las actividades pueden destacarse como parte de una auditora del rendimiento de amplio espectro -sobre la economa, la eciencia y la ecacia de una actividad de la Administracin- o mediante un estudio de mbito reducido que se centre exclusivamente en los inujos ecolgicos. La EFS puede revisar la adecuacin de: La descripcin del programa o actividad, su entorno y las condiciones de la base de referencia, La integridad de la gama de inujos clave que se hayan identicado, Los datos utilizados para evaluar la probabilidad de los inujos y su escala prevista, y Las propuestas de medidas para contrarrestar los inujos. La EFS quizs desee comprobar por s misma qu inujos puede tener sobre el medio ambiente una actividad de la Administracin, su escala probable, y los valores que puedan asignarse a sus costes y benecios. Los debates con expertos y las bsquedas de bibliografa permiten identicar las metodologas de evaluacin que se emplean habitualmente. Puede resultar til asimismo identicar y solicitar opiniones a los interesados decisivos (p. ej. residentes en el rea afectada por la actividad, grupos claves de intereses ecolgicos, y las organizaciones no gubernamentales existentes en ese mbito) y a acadmicos especializados en las pertinentes metodologas de evaluacin. Desde el primer momento la Administracin puede identicar medidas que contrarresten o reduzcan los inujos ecolgicos. La scalizacin de la EFS puede referirse a si estas medidas Han sido establecidas y se ajustan a las mejores prcticas o a la mejor informacin o tecnologa disponible, y no implican un coste excesivo, y han tenido el efecto preventivo al que se aspiraba, y en caso contrario, qu acciones ha adoptado la Administracin. En algunos casos quizs sea necesario que la contramedida sea adecuada para impedir o afrontar hechos de escaso riesgo pero con un inujo
154

importante, por ejemplo la liberacin involuntaria de sustancias radioactivas. Los procedimientos para casos de accidente o de incidente quizs tengan que utilizarse pocas veces, pero es necesario que estn operativos en caso de necesidad. Cuando dichos procedimientos son importantes, una auditora puede revisar los procedimientos, la formacin del personal que intervenga, la frecuencia de comprobacin de los procedimientos, y si estn actualizados los necesarios acuerdos con terceros (proveedores, servicios de urgencias, etc.).
3.4 Fiscalizacin de los sistemas de gestin ecolgica

Las organizaciones introducen sistemas de gestin ecolgica para garantizar el establecimiento sistemtico de polticas de mejora continuada del rendimiento ecolgico, y el logro ecaz de los objetivos polticos. Al considerar la conveniencia de realizar o no una auditora de los sistemas de gestin ecolgica, la EFS debe identicar la poltica de la Administracin en relacin con el establecimiento de dichos sistemas. La EFS puede scalizar sistemas completos de gestin ecolgica para ministerios especcos del Gobierno. De forma alternativa, la auditora puede centrarse en uno o varios elementos pertenecientes a distintos ministerios, organismos u otras organizaciones dentro de la jurisdiccin de la EFS. Este ltimo enfoque es til para afrontar asuntos a pequea escala donde exista, sin embargo, la posibilidad de efectuar mejoras signicativas en toda la Administracin. Una EFS puede tomar en consideracin la posibilidad de scalizar e informar acerca del cumplimiento real de los objetivos jados por la Administracin. En dicha scalizacin la EFS podra investigar tilmente la forma en que acta la Administracin en comparacin con las prcticas empleadas en otros lugares, y con los compromisos y prcticas que ha contrado el gobierno mediante acuerdos internacionales. Una EFS tambin puede analizar si el control de la Administracin sobre los sistemas de gestin de los ministerios de medio ambiente y los informes de cumplimiento de las disposiciones ecolgicas les permite rendir cuentas de modo suciente ante el poder legislativo y el pblico en general acerca del cumplimiento de los objetivos claves de su actividad. La EFS podra realizar una scalizacin que identique el nivel de rendimiento y los motivos que explican la no consecucin de los objetivos.

155

3.5 Evaluacin de las polticas y los programas propuestos

Es posible que se solicite a algunas EFS que expongan anlisis o informen sobre propuestas de polticas o programas ante el poder legislativo de sus pases. Puede ocurrir tal cosa, por ejemplo, cuando un poder legislativo nacional abandona el interrogante El programa est actuando correctamente de conformidad con sus requisitos ociales? y pasa a una pregunta ms bsica: Los requisitos ociales de fondo necesitan modicarse para que sean ms rentables o para mejorarlos en otros aspectos? En estas circunstancias el poder legislativo puede solicitar a la EFS que analice propuestas alternativas sometidas a consideracin. Por lo general, este trabajo supone desafos y riesgos. En particular, los anlisis de las propuestas de polticas o programas exigen a veces competencias especiales (personal con una formacin especial, consultores, equipos de expertos, etc.) Incluso con estas competencias aadidas la naturaleza de estos anlisis plantea riesgos para la EFS, sobre todo si se llega a pensar que est tomando partido en los debates sobre materias polticas. La EFS puede optar por las siguientes alternativas para reducir al mnimo dichos riesgos: Proporcionar informacin sobre hechos, y no efectuar juicios. Llegar a un consenso entre los expertos. Evaluar y comentar los anlisis realizados por otras organizaciones. Declinar la solicitud de intervencin.

4.

Establecimiento de criterios de fiscalizacin

Una preocupacin de las EFS en la realizacin de auditoras ecolgicas consiste en determinar los criterios con respecto a los cuales se evaluarn las entidades o el programa scalizados. Es importante garantizar que los criterios elegidos si se utilizan- sean de general aceptacin como pertinentes, completos y comprensibles. Una auditora del rendimiento quizs tenga que basarse en criterios, en un sentido formal, que pueden tener un doble origen: normativo (basados en leyes, polticas y metas documentadas, normas de general aceptacin, etc.) y no normativo (bibliografa acadmica, expertos, indicadores o medidas que utilizan entidades semejantes u otras entidades dedicadas a actividades similares, etc.). Vase apndice 2. El riesgo especial que afronta una EFS al realizar una auditora ecolgica es que los criterios que haya utilizado sean inaplicables,
156

inadecuados o sesgados. El mximo riesgo para la EFS proceder de la utilizacin de criterios con orgenes no normativos. Por otra parte, estas fuentes a menudo son necesarias y fructferas cuando se requiere un anlisis ms profundo o ms amplio. La prueba denitiva de los criterios elegidos es que (al igual que todos los criterios de scalizacin) sean objetivos y no subjetivos. Los criterios tambin tienen que garantizar la integridad de los indicadores del rendimiento empleados (y los indicadores de gestin tienen que ser pertinentes, comprensibles y ables). En el enfoque orientado a problemas, sin embargo, el uso de criterios de auditora desempear un papel menos importante. En cambio, adquiere gran importancia la formulacin de hiptesis correctamente fundamentadas.81

81

Ver por ejemplo Handbook in Performance Auditing. Theory and practice, 1999.

157

158

Apndice 7

Hacia un enfoque sistmico de la auditora del rendimiento: un marco terico

1.

El enfoque sistmico de la fiscalizacin de la eficacia82

Los servicios pblicos son complejos, y la creciente complejidad de los programas de la Administracin incrementa la aparicin de metas contradictorias y efectos colaterales involuntarios, que tienen su origen en funciones que se solapan o coinciden. Adems, las decisiones ms esenciales acerca de los programas pblicos deben tomarse sin estar completamente seguros de que lograrn los objetivos establecidos, como mnimo no en el primer intento. No es tarea fcil convertir las metas polticas en programas de gobierno ni disear y ejecutar medidas que obtengan los resultados deseados. Incluso el hecho de encontrar mtodos adecuados para evaluar los resultados y la ecacia de las intervenciones de la Administracin resulta difcil. Cada vez se cree en mayor medida que a menudo existe una gran distancia entre lo que se ha decidido polticamente y lo que ms adelante se ejecutar y se lograr nalmente. Por lo tanto, es esencial desarrollar modelos que ayuden a los auditores del rendimiento en sus esfuerzos por analizar y evaluar la ejecucin y la ecacia de las intervenciones de la Administracin. Un enfoque comn en la auditora del rendimiento es el llamado modelo de objetivos y medios (propsitos y mtodos). En este modelo se considera que la ejecucin es un proceso en el que los objetivos generales se desglosan en sub-objetivos o medios por parte de los ministerios o autoridades ejecutivas, que a continuacin debern rendir cuentas acerca de la forma en que gestionan y producen los servicios.

82

Para ms informacin, ver Towards A System-Oriented Approach In Performance Auditing: A Theoretical Framework, Ocina Nacional de Auditora de Suecia (RRV), 1985.

159

El enfoque sistmico en la scalizacin de la ecacia, que se expone ms adelante, tiene sus races en el modelo de objetivos y medios. Tambin se basa en ideas y conceptos procedentes de la teora de sistemas, donde las actividades o los programas de la Administracin son considerados como sistemas de elementos que interactan y son funcionalmente interdependientes. Las reglamentaciones, los recursos, los rganos de la Administracin, etc. son ejemplos de elementos que constituyen un sistema de este tipo de actividad gubernamental. Denir como sistema una actividad gubernamental signica que los auditores del rendimiento tienen que aplicar una perspectiva totalizante. Al scalizar la ecacia de dichos sistemas no se pone tanto nfasis en la rendicin de cuentas de los organismos individuales. El centro de atencin consiste en la ecacia de los propios sistemas.

2.

El modelo sistmico y las actividades de la Administracin

A continuacin se presenta el modelo sistmico, paso a paso.

2.1 La produccin: primer componente del modelo

La produccin se encuentra en el centro del modelo sistmico. En cualquier produccin de servicios, la produccin y el consumo se llevan a cabo al mismo tiempo. Por consiguiente, los clientes, el personal, los mtodos de trabajo y los recursos forman parte en todos los casos del sistema de produccin. Esto se aprecia en la gura siguiente.

El objetivo de la produccin es prestar servicios a la sociedad, de un modo eciente. Esto podra exigir, por ejemplo, un personal motivado y competente; la utilizacin racional de los recursos; buenas prcticas; clientes participativos y adecuadamente informados, etc.

160

2.2 La administracin: segundo componente del modelo

El funcionamiento del sistema de produccin tiene lugar en el marco de una administracin, y puede implicar a varios ministerios y numerosos departamentos y organismos, as como ocinas regionales y autoridades locales.

La funcin de los sistemas administrativos -asignar recursos, planicar y ejecutar actividades, controlar y evaluar el avance, etc.- consiste bsicamente en facilitar la coordinacin y el control de las actividades de la Administracin. Los sistemas administrativos deben contribuir a la ejecucin ecaz de las actividades.
2.3 El diseo estructural: tercer componente del modelo

Este diseo estructural forma otro marco (en torno a los sistemas de produccin y administracin). La empresa societaria y los correspondientes objetivos polticos no son las nicas cuestiones sobre las que deben decidir los Parlamentos y los gobiernos. Son igualmente importantes la estructura de la organizacin ejecutiva, los marcos presupuestarios y las reglamentaciones que dirigirn las operaciones de los sistemas de produccin. Esto puede apreciarse en la gura siguiente.

161

2.4 El entorno y el modelo sistmico completo

Finalmente, hay que sealar que las fuerzas del entorno inuyen sobre la manera en que se ejecuta una actividad societaria. Por lo tanto, el modelo sistmico completo es el siguiente:

El modelo sistmico muestra que las actuaciones de los organismos o autoridades de la Administracin (ministerio u rganos) constituyen slo uno entre los muchos eslabones de una cadena ms larga de acontecimientos. Por consiguiente, un rgano de la Administracin tendr que evaluarse a la luz de otros factores de control: las reglas, los recursos, la organizacin creada para llevar a cabo determinadas actividades, y el entorno social en el cual actan la unidad o la organizacin individuales. El modelo sistmico da origen a un concepto amplio de la scalizacin de la ecacia, y a interrogantes de este tipo: la actividad de la Administracin est bien estructurada? Las scalizaciones de estas cuestiones pueden implicar evaluaciones acerca del enfoque reglamentario, la distribucin de responsabilidades o la concesin de fondos, etc.
162

3.

La fiscalizacin de la eficacia: algunas conclusiones

En su scalizacin de la ecacia, la EFS examina la ecacia de la Administracin y de las actividades nanciadas por sta. Con ello nos referimos a que se examina si los resultados son los que el Parlamento y el gobierno aspiraban a lograr al asignar recursos, crear organismos y aprobar leyes para ejecutar una empresa societaria. El modelo que aparece ms arriba ilustra que este tipo de evaluacin de la ecacia requiere un enfoque sistmico. Es preciso tomar en consideracin todos los factores que tienen un efecto tangible sobre el grado en que se consiguen las metas. En caso contrario, existe un riesgo considerable de que en la evaluacin, por ejemplo, se hipertroe la importancia de un nico organismo. Los instrumentos a disposicin de los organismos pueden ser de hecho bastante dbiles en comparacin con las diversas fuerzas que actan en la sociedad. Una parte importante de la scalizacin de la ecacia en su totalidad es la evaluacin de las actuaciones y de la toma de decisiones. Por lo tanto, no es suciente con una mera exposicin de los posibles motivos de la no consecucin de los objetivos establecidos. Tambin es preciso identicar los factores sobre los que puede inuirse. El modelo sistmico muestra que existen dos tipos de factores sobre los que es posible inuir: Las actuaciones del organismo pblico: los organismos desempean sus tareas del modo ms apropiado, en relacin con la actividad que hay que poner en prctica? El diseo estructural: el conjunto de reglas, la adjudicacin de recursos y la organizacin propia de los organismos son apropiados para su propsito en relacin con la actividad que se pondr en prctica? El enfoque sistmico de la scalizacin de la ecacia se basa en un doble aspecto de la scalizacin. Se toman en consideracin tanto las actividades de la entidad scalizada como su diseo estructural, con objeto de valorar si el funcionamiento es o no ecaz. La auditora de la ecacia siempre ha incluido un cierto riesgo de contemplar ciegamente el funcionamiento interno del rgano scalizado. No siempre se advierte que el necesario cumplimiento estricto de las tareas habituales y los procedimientos de planicacin pueden tener menos importancia con respecto al inujo sobre la ecacia real. A veces se plantean fuertes crticas, sin caer en la cuenta que las actividades del organismo se ven limitadas por una gran escasez de recursos
163

o una posicin dbil en la Administracin pblica. Situando el organismo scalizado en un contexto ms amplio el enfoque sistmico de la scalizacin compensa el riesgo de adoptar una perspectiva demasiado estrecha. El propsito del modelo que se ha expuesto es poner en claro los nes de una auditora sistmica. La pregunta siguiente es cmo alcanzar este nivel de aspiraciones. Basndose en la experiencia del organismo en el enfoque sistmico, obtenida a travs de proyectos especcos, cabe distinguir tres requisitos con respecto a los mtodos: 1. Las auditoras sistmicas toman como punto de partida las operaciones dentro de un rea determinada de la sociedad. Esto se pone de maniesto permitiendo que una actividad especca sirva de base al estudio y a la evaluacin nal. 2. En la scalizacin sistmica el mbito del anlisis se dene como sistema constituido por la propia actividad y las fuerzas/los actores que inuyen sobre la realizacin de esta actividad. 3. En la scalizacin sistmica los datos sobre el resultado siempre se incluyen en la base de los anlisis y evaluaciones. El propsito de este modelo es aportar un marco terico para la scalizacin de la ecacia que tome como punto de partida la actividad de la Administracin pblica, es decir, los efectos ltimos que el programa/ el organismo de la Administracin se propone obtener.

164