You are on page 1of 65

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.

net

1


























APUNTES DE CLASE

FERNANDO SALAMANCA O. JOSE REINALDO SAEZ M.


Santiago de Chile, Marzo 2004

F
F
O
O
R
R
M
M
U
U
L
L
A
A
C
C
I
I
O
O
N
N
Y
Y

E
E
V
V
A
A
L
L
U
U
A
A
C
C
I
I
O
O
N
N

D
D
E
E

P
P
R
R
O
O
Y
Y
E
E
C
C
T
T
O
O
S
S
S
S
O
O
C
C
I
I
A
A
L
L
E
E
S
S


El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

1
INDICE


Pgina
RESUMEN 3
PRESENTACIN 4
I. MARCO GENERAL 6
I.1. Programas y proyectos 6
I.2. El ciclo de proyectos 8
II. ANTECEDENTES Y SITUACIN PROBLEMA 11
II.1. Informacin en base a estadsticas sociales 11
II.3. Diagnostico y rbol de Problemas 16
II.4. Cobertura de beneficiarios 18
II.5. Seleccin de beneficiarios 19
II.6. Localizacin 20
III. MARCO INTERPRETATIVO Y PROPUESTA 21
III.1. Marco analtico y alternativas de solucin 21
III.2. Anlisis de prefactibilidad de alternativas de solucin 24
III.3. Objetivos y metas 25
III.4. El uso del marco lgico 26
IV. PRESUPUESTO, ADMINISTRACION Y GESTION 28
IV.1. Productos, requerimientos y presupuesto 28
IV.1.1. Cuantificacin de los productos 28
IV.1.2. Cuantificacin de los requerimientos 29
IV.1.3. Tipos de presupuesto 30
IV.1.4. Flujo de caja 31
IV.2 Etapas y actividades 31
IV.3. Modelo de gestin 33
V. SUPERVISIN DE PROYECTOS 35
V.1. Control financiero 35
V.2. Control tcnico 35
VI. EVALUACION EN PROYECTOS SOCIALES 38
VI.1. Los grandes modelos de evaluacin 38
VI.2. Caractersticas de los diseos evaluativos.38
VI.3. Los datos e instrumentos para la evaluacin de un proyecto 39
VI.4. Evaluacin en los sectores sociales 42
VI.5. Evaluacin ex ante.. 45
VI.6. Evaluacin de procesos o monitoreo ..... 45


El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

2
VI.7 Necesidades y exigencias de la supervisin y monitoreo de proyectos. 47
VI.8. Evaluacin del impacto o ex post. 48
VI.9. Evaluacin de eficiencia 49
VI.9.1. El modelo costo-beneficio ...49
VI.9.2. El modelo costo-efectividad 52
VI.10. Evaluacin de eficacia ...54
VI.10.1. El diseo experimental 54
VI.10.2. El diseo cuasi experimental .. ......55
VI.10.3. Modelos de regresin.57
VI.11. Diseos semiformalizados 57
VI.11.1. Serie temporal ..57
VI.11.2. Diseo no experimental antes-despus .58
VI.11.3. Diseo despus con grupo de comparacin . 59
VI.11.4. Diseo despus..59
VI.12. Diseos cualitativos...61
El uso de expertos en la evaluacin de acreditacin 62
BIBLIOGRAFA 64




El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

3

RESUMEN

La formulacin y evaluacin de programas y proyecto se contextualiza inicialmente
en el marco de las polticas pblicas y en particular de las relacionadas con
problemas o necesidades sociales.

Se describe el proceso de formulacin y evaluacin de proyectos dentro del ciclo de
inversin pblica dentro del cual se establecen pautas o formatos bsicos a los
proyectos sociales.

Dentro de la formulacin del proyecto se describen los antecedentes cualitativos y
cuantitativos que diagnostican la situacin problema y determinan la cobertura, tipo
de acceso y localizacin del proyecto.

Una vez diagnosticada la carencia, se propone una estrategia de intervencin
fundamentada en un marco interpretativo y en el anlisis de otras alternativas de
accin. La alternativa propuesta se operacionaliza en objetivos, metas y en un marco
lgico de programacin.

En tanto el proyecto demanda recursos fsicos, humanos y financieros, se aade a la
formulacin del mismo la elaboracin del presupuesto, el cronograma y el modelo de
gestin. Particular atencin se presta a modelos de gestin participativos.

Secuencialmente a la formulacin de programas o proyectos se presentan la
evaluacin de los mismos en dos modalidades: evaluacin de costo-impacto y
evaluacin de resultados. En la primera modalidad se describen las tcnicas costo-
beneficio y costo-efectividad y en la segunda las variantes del diseo experimental y
la evaluacin cualitativa.

Por ltimo, se caracteriza el desempeo de los modelos evaluativos en los sectores
sociales, con referencia a sus particularidades para una adecuada evaluacin.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

4
PRESENTACIN



Tanto las polticas pblicas como las iniciativas de la sociedad civil tienen como
herramientas operacionales a programas o proyectos. Los problemas o necesidades sociales
se traducen en estas herramientas operativas, especialmente agrupadas por sectores sociales.

La formacin de profesionales en programacin y evaluacin social implica la capacidad de
formular y evaluar proyectos, en el marco de la necesidad de optimizar, mediante programas
y proyectos, los recursos pblicos en una ptica de eficacia, eficiencia, equidad y
participacin social.

Estos apuntes se enmarcan en la necesidad ms general de formacin de recursos humanos
en polticas, programas y proyectos en la amplia gama de necesidades sociales. Su utilidad
reside en constituir un apoyo a la docencia, as como un instrumento permanente de
asistencia para los profesionales que trabajan en proyectos tan variados como promocin de
la salud, educacin, desarrollo comunitario, comunicacin, capacitacin y empleo y
construccin y mantencin de infraestructura social. Su utilidad es extensiva a programas y
proyectos en el mbito comunal y regional en el sector pblico, as como organismos
gubernamentales relacionados con la agenda social.

El documento se inicia con los componentes del diagnstico de la situacin problema y las
metodologas en uso para la deteccin de necesidades. Posteriormente se extiende en las
caractersticas de la estrategia de intervencin, su operacionalizacin y marco lgico. Detalla
adems los elementos constitutivos del presupuesto y cronograma de trabajo.

Se releva la gestin participativa en los proyectos, recogiendo el acento puesto por diversos
organismos multilaterales en incorporar a beneficiarios/as, y en general a actores de la
sociedad civil, en la formulacin, gestin y evaluacin de proyectos de desarrollo.

Dentro de la evaluacin se distingue entre evaluacin de eficiencia y de impacto. En la
primera opcin se destacan las tcnicas costo-beneficio y costo-efectividad y en la segunda,
las variantes del diseo experimental y las estrategias cualitativas.

Por ltimo, los apuntes precisan la aplicabilidad de los diseos evaluativos en los sectores
sociales ms usualmente asociados a respuestas estatales a necesidades bsicas de la
poblacin.



El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

5
INTRODUCCIN



Estos apuntes han sido diseados como material de apoyo a las clases lectivas y talleres de
cursos de Formulacin como de Evaluacin de proyectos sociales, dictados en diversos
centros acadmicos y organismos pblicos.

En ellos se enfatizan en los conceptos asociados a las herramientas operativas en
planificacin, y se remarca la nocin de proyecto asociado tanto a la formulacin e
implementacin de proyectos como de los programas, calificando la diferencia entre ambos
niveles cuando sea pertinente.

Los apuntes se ordenan en un Captulo introductorio sobre marco general y los Captulos
subsiguientes en secciones correlativas segn el ciclo del proyecto (Captulo II):
antecedentes y situacin problema en el Captulo III, la estrategia de intervencin en el
Captulo IV; presupuesto, administracin y gestin de proyectos en el Captulo V; el
Captulo VI se refiere a supervisin de proyectos y el Captulo VI a evaluacin de proyectos
sociales.

Se sintetizan los conceptos usuales en el diseo, implementacin y evaluacin de proyectos
sociales y se agregan referencias a proyectos productivos de carcter local y con
externalidades sociales. Se hace referencia, como evidencia emprica, tanto a investigaciones
aplicadas como a proyectos evaluados o en desarrollo.

Los apuntes recogen valiosas observaciones y crticas formuladas por alumnos de diversos
cursos, pero las opiniones emitidas sobre las intervenciones sociales analizadas slo
comprometen a los autores.




El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

6
I. MARCO GENERAL


I.1. Programas y proyectos

Las herramientas operativas de la planificacin son los programas y proyectos. Los
programas tienen su origen ya sea en una respuesta institucional del Estado a movimientos
sociales o en la deteccin de necesidades bsicas, como tambin en la modernizacin de las
polticas sociales. Estn dotados de una base institucional slida y de larga data, y su
expresin formal es usualmente un Ministerio o una agencia gubernamental especializada.
Poseen adems personal profesional y administrativo que forma parte regular del aparato
pblico. Sus recursos provienen del presupuesto ordinario de la nacin.


Diagrama 1.


PROGRAMA 1
POLTICA SOCIAL
PROGRAMA 2
PROYECTO 1.1 PROYECTO 1.2 PROYECTO 2.2 PROYECTO 2.1



Los beneficiarios de los programas son grandes agregados de poblacin, generalmente
categorizados por grupos de edad o por necesidades bsicas especficas. Los programas
tienen cobertura de carcter nacional y su intervencin es llevada a cabo mediante bienes o
servicios estandarizados. En ello generalmente no se contempla la participacin directa de
los beneficiarios. Son precisamente estas caractersticas las que colocan a los programas bajo
el juicio crtico acerca de su capacidad para garantizar niveles adecuados de equidad, de
redistribucin o participacin social.

Dentro del nuevo marco de la planificacin, ambas herramientas (programas o proyectos)
deben enmarcarse en ciertos ejes recurrentes de planificacin que pretender dar respuestas a
ciertos problemas o tpicos, que se sintetizan en el siguiente cuadro:

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

7
Cuadro 1

EJES PARA EL DISEO Y EVALUACIN DE POLTICAS PROGRAMAS Y
PROYECTOS

EJES PROBLEMAS O TPICOS
Integralidad
Capacidad intersectorial.
Niveles de integralidad (nacional, regional, local)
Equidad
Focalizacin.
Territorializacin.
Sectores vulnerables
Cobertura
Magnitud de dficit.
Priorizacin.
Seleccin de usuarios
Participacin
Implementacin y sus obstculos.
Escala.
Replicabilidad.
Inferencia.
Insercin en la institucionalidad estatal
Transferencia monetaria
Dificultad de cuantificacin.
Estimacin de niveles mnimos.
Accesibilidad a subsidios
Financiamiento
Directo.
Tributacin o indirecto
Tarifas.
Autofinanciamiento
Eficiencia
Costos administrativos.
Uso de Infraestructura y equipamiento. Retencin de
beneficiarios o clientes
Eficacia
Medicin en base a insumos o resultados.
Externalidades.
Sustentabilidad.
Metodologas efectivamente aplicables

TEMAS EMERGENTES

PROBLEMAS O TPICOS
Medio ambiente
Evaluacin multidisciplinaria. Auditora y monitoreo. Impacto
Genero
Incorporacin a polticas. Sectorizacin
Identidad cultural
Escala de la poltica. Estructuras jurdico-institucionales.
Subsidios


Como complemento a los programas y en algunos casos como alternativa en la ltima
dcada se ha enfatizado en el papel de los proyectos sociales como herramienta
complementaria y eventualmente substitutiva de los programas. Los proyectos sociales
tienen el propsito de enfrentar carencias sociales mediante acciones especficas
complementarias al Estado, dentro de una concepcin solidaria innovativa y promocional de

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

8
resolucin de problemas sociales, invirtiendo en la generacin de capacidades de la
poblacin para mejorar sus condiciones de vida.

Sera incongruente reemplazar los programas por proyectos como instrumento de planeacin,
en cuanto son herramientas con diferentes propsitos y niveles. Sin embargo, para los fines
de diseo y evaluacin de intervenciones sociales, es importante destacar las diferencias
metodolgicas presentes en ambas herramientas. Entonces, los programas estn ms
asociados al anlisis general de polticas pblicas, en cambio los proyectos a fondos de
inversin, que cuentan con tcnicas de evaluacin ex ante para sus intervenciones.


I.2. El ciclo de proyectos

Diagrama 2.

Diseo
APRENDIZAJES
NECESIDADES
Evaluacin
Ex ante
Ejecucin
Seguimiento
Evaluacin
de
procesos
Resultados
Evaluacin
de
impacto
CICLO DE VIDA DE LOS PROYECTOS



En Amrica Latina los proyectos se enmarcan, en forma creciente, en un ciclo decisional que
establece criterios formales para la asignacin de recursos hacia los sectores sociales. Este
ciclo se inicia usualmente en los niveles ms desagregados del aparato pblico, o sea, en el
gobierno local o en el regional. Eventualmente, las organizaciones comunitarias pueden ser
generadoras de ideas o perfiles de proyectos, con el respaldo de los gobiernos locales.

De esta manera, el proyecto social inicia un proceso progresivo de jerarquizacin y
compatibilizacin con lneas programticas preexistentes, salvo cuando cumple la funcin de
innovar dentro de programas sectoriales tradicionales.

Independientemente de los rasgos especficos de cada sector social (salud, vivienda,
educacin, etc.), los proyectos responden a un formato comn de diseo en su formulacin,
en que destacan como elementos centrales la deteccin del problema y la magnitud de la

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

9
demanda, la solucin propuesta y los objetivos, sus posibles impactos, requerimientos,
presupuesto, etapas y actividades, el modelo de gestin y el marco institucional.

El proceso final de este ciclo termina con la aprobacin tcnico-financiera de un ente
regional, sectorial o nacional de planeacin y finalmente con la sancin positiva de las
oficinas de presupuesto y su adecuacin a las normas de contralora o auditora vigentes en el
Estado. Por otro lado, algunos proyectos deben atenerse a los criterios de aprobacin y
supervisin de la cooperacin internacional u organismos multilaterales (Banco Mundial,
BID).

Este ciclo de proyectos presenta el gran mrito de ordenar el flujo de ideas, perfiles y diseos
de proyectos y de inhibir el uso caprichoso o discrecional de los recursos pblicos. Introduce
un margen de objetividad en la jerarquizacin de las necesidades sociales y evita dejar la
ejecucin de los proyectos al libre juego de los actores sociales demandantes de necesidades
bsicas.

Como contrapartida, implica la necesidad de una gestin idnea de proyectos por
organizaciones muy heterogneas en cuanto a su capacidad programadora. Ese es el caso de
las organizaciones de base, gobiernos locales e incluso de una cantidad apreciable de
gobiernos regionales y agencias sectoriales.

En la prctica, aquellos gobiernos locales o regionales con mejor acceso a la informacin,
con buenos equipos tcnicos, grupos y movimientos sociales organizados, son los ms
beneficiados, por su mejor capacidad para generar y ejecutar proyectos sociales.

Para corregir esta anomala, los gobiernos estipulan una serie de salvaguardias para la
asignacin social y espacial equitativa de los recursos pblicos, como cuotas regionales,
niveles de pobreza prioritarios para proyectos focalizados, lneas de accin para grupos
objetivos de riesgo y otras formas de determinar anticipadamente los proyectos ms
redistributivos y de alto impacto social. Crecientemente, en los proyectos financiados con la
cooperacin internacional se estipula una sujecin al marco del contexto nacional, la
explicitacin de factores socio-econmicos y la incorporacin de los intereses de la mujer.

Como resultante de una tendencia creciente en Amrica Latina hacia la desconcentracin y
descentralizacin de los fondos sociales se han producido interesantes modificaciones en la
modalidad de asignacin de proyectos sociales, lo que afecta positivamente el tipo de
formato o diseo de proyectos (ILPES, 1993a).

Una expresin de esta tendencia son los fondos de inversin focalizados (Wurgaft, 1993) y el
incremento de los recursos financieros a los gobiernos locales, lo que facilita la insercin
comunitaria en la generacin de proyectos. El ciclo de gestin de proyectos pblicos se
simplifica y la capacitacin se extiende a funcionarios medios o a dirigentes sociales. Se
introduce un criterio de competitividad intralocal y regional que mejora la originalidad de los
proyectos, aunque debe reconocerse que este proceso est en sus inicios y para un juicio
definitivo es temprano an.


El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

10
La evaluacin preliminar de los proyectos locales plantea desafos, como la necesidad de
asegurar un alto impacto en proyectos con alta demanda por beneficiarios y adems con
presupuestos reducidos. Se agrega a ello, la corta duracin de la intervencin y el
requerimiento de sustentabilidad a mediano plazo.

En general, el ciclo de proyectos sociales gubernamentales deja como leccin la necesidad de
socializar y capacitar a las organizaciones sociales en las caractersticas tcnicas de
formulacin de proyectos. Las carencias formativas se evidencian principalmente en la
sociedad civil y en las comunas o distritos pobres de un pas lo que, por el carcter
competitivo de los fondos de inversin, produce un crculo vicioso de menor dotacin de
recursos para esas zonas.



El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

11
II. ANTECEDENTES Y SITUACIN PROBLEMA


El primer paso en la formulacin de proyectos es la recoleccin de antecedentes que
identifiquen una situacin problema. Una situacin problema en los sectores sociales
proviene de desequilibrios, demandas o insatisfaccin de necesidades bsicas. La definicin
del problema a su vez puede provenir de variadas fuentes, desde movimientos de masas,
demanda de clientes potenciales hasta estndares mnimos de bienes o servicios sociales
definidos tcnicamente o por organismos internacionales.

Para identificar, describir y dimensionar la situacin problema es necesario registrar distintos
tipos de informacin, que se resean en las siguientes secciones.

II.1. Informacin en base a estadsticas sociales

En la determinacin del diagnstico se trata de establecer la magnitud de la carencia que el
proyecto social pretende modificar y se recurre a un conjunto de indicadores sociales, a los
que se confiere validez y confiabilidad para determinar brechas o dficit en cobertura en
niveles de atencin u otra forma de carencias.

Se ha discutido extensamente sobre las formas ms adecuadas de registrar las necesidades
bsicas, aceptando que las estadsticas sociales son un reflejo parcial de la magnitud y
complejidad de las carencias sociales. Sin embargo, la experiencia indica que es ms certero
el uso creativo de las estadsticas y datos disponibles que la espera de metodologas de
diagnstico excesivamente costosas o complejas.

Para definir la magnitud del problema es necesaria una previa estimacin de la poblacin
carenciada y conocer las caractersticas del grupo al cual se orientara el programa y de su
distribucin espacial. En los programas y proyectos sociales, es particularmente til la
distincin por grupos de edad, en la medida en que ello permite categorizar programas y
proyectos sociales de acuerdo al ciclo vital. Eventualmente, es adecuado diferenciar los
grupos de edad por sexo, para atender a la equidad de gnero en el acceso a polticas
pblicas.

El concepto de poblacin blanco, grupo objetivo o demanda potencial se refiere a la
distincin de subgrupos al interior de la poblacin carenciada, y cabe utilizar al respecto dos
distinciones: grupo en dficit y grupo en riesgo.

En el primer caso (grupo en dficit) la disponibilidad de datos es ms factible, ya que es
posible dimensionar "stocks" de deficitarios o carenciados por medio de datos provenientes
de censos o encuestas de hogares, como sexo, edad, tipo y calidad de la vivienda, tamao de
la familia (expresados en mapas de extrema pobreza, de grupos vulnerables, etc.).
El grupo en riesgo presupone mayor vulnerabilidad que se deducen del conocimiento de un
modelo causal y de su dinmica en el tiempo para la constitucin del riesgo. Para establecer
las variables de riesgo; los datos son ms difciles de obtener y generalmente exigen la

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

12
elaboracin de diagnsticos ad hoc, los que son poco frecuentes por el costo y la
complejidad de los instrumentos de recoleccin de la informacin requerida.

El concepto de grupo en riesgo se deriva del enfoque de la intervencin temprana en salud
pblica, y que adquiere creciente importancia en la programacin social (OPS, 1986). En
este caso, los programas y proyectos se orientan principalmente hacia grupos vulnerables,
como los menores de seis aos y las madres embarazadas. El concepto de grupo de riesgo
busca incentivar programas preventivos dirigidos a poblacin vulnerable, como en
problemas de conducta irregular y drogadiccin juvenil.

Un uso de estadsticas sociales es la medicin de necesidades bsicas insatisfechas (NBI)
con fines de focalizacin. La medicin de NBI se apoya en indicadores estadstico
compuestos de nivel socioeconmico que se derivan de una reelaboracin de los datos
censales y de encuestas de hogares y se basas en indicadores habitacionales. En Amrica
Latina se desarrollan registros de NBI, desagregables para el nivel nacional, regional y,
eventualmente en el mbito local. Algunos pases disponen de instrumentos especficos de
medicin de carencias que permiten una mejor focalizacin dentro de las personas o familias
pobres.

La focalizacin es til para comparar la secuencia temporal de programas, cuando entre
ellos hay una baja cobertura de bienes y servicios sociales a grupos en riesgo. En Chile, por
ejemplo, dentro de los grupos pobres, parte significativa de las demandas del grupo de edad
de 0-24 meses es atendida casi en su totalidad por el Programa Nacional de Alimentacin
Complementaria (PNAC). Lo mismo sucede con las del grupo de edad 7-14 aos, que son
atendidas por el programa de alimentacin escolar (PAE). Sin embargo, en el grupo entre 2 y
6 aos existe una brecha de baja cobertura en la educacin preescolar. Estas anomalas
ilustran la necesidad de establecer programas secuenciales con propsitos mltiples segn el
ciclo vital.

Los datos secundarios permiten la delimitacin de los grupos objetivos y de los beneficiarios
del proyecto y, en algunos casos particulares, deben complementarse con estudios de
carencias o diagnsticos ad hoc. En estos ltimos se utilizan cuestionarios estructurados o
datos secundarios de origen administrativo, en particular estadsticas vitales.

Un caso particular lo representan los diagnsticos sobre la estructura productiva y del empleo
sectorial. Los datos se extraen de los Censos nacionales de Poblacin y Vivienda y Encuestas
continuas de ocupacin. Ms all de los datos descriptivos sobre los sectores productivos y
de empleo predominantes, el desafo de las estadsticas de empleo es su calidad de
predictores adecuados de la demanda de oficios para formular proyectos de capacitacin y de
microempresas. De antemano se puede establecer que se trata de estadsticas demasiado
estticas y agregadas sectorial y geogrficamente que no permiten su uso ptimo a nivel
local y comunitario.

Sin embargo, estas fuentes administrativas permiten mejorar la calidad de los diagnsticos
para proyectos y programas sociales (ver Cuadro 2).



El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

13
Cuadro 2

CARACTERSTICAS DE LAS FUENTES DE INFORMACIN SECUNDARIA


TIPO

COBERTURA

VARIABLES

VENTAJAS

DESVENTAJAS

Censos


Nacional
Necenal
Poblacin
Educacin
Empleo
Familia
Vivienda
Calidad
Saneamiento
Equipamiento
comunitario
Desagregacin
Intracomunal
Existencia como
base de datos
Expedicin de
acceso

Perodo de
tiempo
Secreto
estadstico
Ausencia de
variables
psicosociales
Encuestas de
hogares
Encuestas de
ocupacin
Encuesta de
presupuestos
familiares




Metropolitana




Ciudades medias
Poblacin
Educacin
Empleo
Familia
Vivienda
Calidad
Saneamiento
Equipamiento
comunitario o
acceso a bienes y
servicios


Periodicidad
Flexibilidad


Restriccin por
muestra
Acceso limitado
a la base de
datos


Estadsticas
sectoriales
Sectores:
Salud,
Educacin
Vivienda,
Comunicaciones.
Controles
Consultas,
Poblacin
escolarizada
Nmero de
viviendas
Flujos telefnicos

Series temporales
Factibilidad de
ndices

Inexistencia
como base de
datos.
Desagregacin
social y
territorial

Es importante destacar el conjunto de entidades gubernamentales que producen informacin
regular, como el Servicio de Impuestos Internos, el Registro Civil, el Instituto Nacional de
Estadsticas y otras.

II. 2. Datos primarios

Otras fuentes de informacin provienen de datos primarios para diagnosticas necesidades
bsicas. Ellas son generalmente de orden cualitativo, especialmente tcnicas basadas en
entrevistas semi-estructuradas a informantes claves y en entrevistas grupales.

La informacin primaria es necesaria para dimensionar carencias en reas de difcil
deteccin estadstica, como salud mental, adicciones, comportamiento reproductivo,
conducta irregular, minoras tnicas, necesidades de capacitacin, etc. Sin embargo, estos
datos no siempre cuentan con la difusin adecuada para ser aprovechados por las
organizaciones comunitarias o por entes descentralizados del Estado. Sus limitantes residen
en la falta de periodicidad y cobertura territorial de la informacin.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

14

a) la entrevista semi-estructurada

La entrevista semi-estructurada es una tcnica adecuada para estimar la demanda cualitativa
cuando esta demanda se refiere a tpicos sociales complejos. La entrevista semi-estructurada
se dirige a informantes claves y es adecuada para estimar demanda en proyecto de pequea
escala y con referencia a valores, actitudes o comportamientos locales.

Las entrevistas semi-estructuradas pueden tener como informantes claves a Directores de
Escuelas, de Centros de Salud, dirigentes de organizaciones sociales, a los que se les solicita
informacin sobre antecedentes que configuran un problema social. Posteriormente se
analizan y sintetizan los distintos tipos de informacin, para establecer un patrn comn en
sus categoras de deteccin de necesidades.

b) entrevistas grupales

Tambin las entrevistas grupales sirven para identificar, ordenar y jerarquizar necesidades
bsicas de orden cualitativo. Las entrevistas grupales son tcnicas basadas en informantes
claves, como las entrevistas grupales. Las entrevistas grupales1 han demostrado su utilidad
como tcnica de recoleccin de informacin. Ellas entregan un gran caudal de informacin
interpretativa, dimensionamiento de carencias, para proyectos de difcil cuantificacin en sus
resultados.

Una variante pero en base a entrevistas paralelas para constituir un grupo virtual, son las
tcnicas Delphi (ILPES, 1994) en base a grupo de expertos o informantes claves. 2



2 O su variante mas predeterminada como los Focus groups

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

15

Cuadro 3

TECNICA DELPHI


Caractersticas y pasos de la Tcnica Delphi

Cuestionarios secuenciales aplicados a expertos
Recoleccin de informacin progresivamente especfica
til para obtener juicios subjetivos
Aplicabilidad:
Restricciones de costo, tiempo y recursos
Imposibilidad de interaccin cara a cara
Alto desacuerdo probable en los expertos
Pasos de aplicacin de la Tcnica Delphi
Deteccin y listado extenso de problemas
Jerarquizacin de problemas
Identificacin de soluciones
Jerarquizacin de soluciones

Las ONG han aportado una provechosa experiencia en tcnicas cualitativas de recoleccin
de informacin, en base a material de fcil comprensin y con tcnicas de animacin social.
Ello producto de la especializacin en la investigacin, sistematizacin y difusin de material
de educacin popular.

El diagnostico o recopilacin de antecedentes no puede ignorar que un proyecto responde a
criterios de elegibilidad fijados de antemano, de all que una preseleccin inicial de proyectos
ser la mera sujecin del proyecto a las lneas de prioridad gubernamentales o bases de
concurso de los fondos de inversin. Usualmente estas bases son: focalizacin de niveles
socioeconmicos, orientacin a grupos vulnerables o prioridades regionales. El diagnostico
debe contemplar adems la existencia de otras organizaciones que realizan proyectos
similares en el rea para lograr optimizar complementariedades, o al contrario, evitar
yuxtaposiciones de poblacin objetivo.


El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

16
II.3. Diagnostico y rbol de Problemas

Son frecuentes los diagnsticos realizados con diferentes datos sociales y que se basan en
encuestas o estudios no continuos en el tiempo y preparados con otros fines, como tambin
con informacin primaria. Ambos tipos de informacin deben entenderse como
complementarios y necesarios para configurar un marco analtico para ordenar y sistematizar
la informacin.

Cabe citar, por ejemplo, diagnsticos realizados por equipos sanitarios en reas de salud,
diagnsticos en asentamientos precarios ejecutados por municipios, organizaciones no
gubernamentales (ONGs) o entidades acadmicas, monografas sobre empleo, tesis de grado
sobre pobreza en reas o sectores delimitados, etc. Estos diagnsticos, aunque carecen de la
cobertura y periodicidad de las estadsticas sociales, entregan antecedentes valiosos -
guardando los mrgenes de error o inferencia- para diagnsticos en reas de difcil deteccin,
como valores y conductas sexuales, relaciones intrafamiliares, expectativas migratorias, etc.
El paso siguiente es formalizarlos en una expresin metodolgica secuencia y analtica cuya
menor operacionalizacin es el rbol de Problemas.

Esta tcnica permite que los datos que permiten la identificacin del problema pueden ser
continuada con un proceso de anlisis de las causas que lo generan y los efectos que
produce el mismo problema

El rbol del problema es una tcnica que permite analizar y ordenar los diversos
factores que inciden en la gestacin de un problema.

Todo problema social tiene causas histricas o estructurales que lo generan en su origen,
como tambin causas o variables ms intermedias o contingentes, que son las
consecuencias de las causas histricas. A su vez, el propio problema suscita otras
consecuencias o efectos en el entorno social o geogrfico.3

Para la descripcin de un problema, el rbol ordena los factores que originan el problema
en una secuencia de relaciones de causas y efectos, que se presentan grficamente
identificando las causas estructurales en la base o abajo (las races) del rbol hasta
rematar en las consecuencias o arriba del rbol (las ramas), como se presenta en el
siguiente esquema:

3 En la situacin de ampliar el rbol de causas a las consecuencias derivadas del problema se puede hablar del
rbol de causas y efectos

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

17

Diagrama 3


RBOL DE PROBLEMAS O DE CAUSAS Y EFECTOS

















En sntesis, el rbol permite establecer la secuencia de causas, partiendo abajo con las ms
estructurales, pasando a otras derivadas de carcter intermedio, hasta rematar arriba en el
problema e identificando la secuencia de efectos que genera el propio problema.

Para la construccin del rbol se pueden utilizar fuentes de informacin cuantitativa como
cualitativa y ser desarrollado por el propio proponente de la iniciativa. Sin embargo, es
Variables o
causas
estructurales
Efectos
Variables o
causas
intermedias
Variables o
causas
estructurales
Efectos Efectos
Variables o
causas
estructurales
Variables o
causas
intermedias
Variables o
causas
intermedias
VARIABLE
DEPENDIENTE O
PROBLEMA CENTRAL

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

18
altamente recomendable para su desarrollo utilizar la tcnica cualitativa de la entrevista
focal o de grupo focal4. La tcnica del grupo ncleo o focal consiste en una entrevista
colectiva en grupos pre-seleccionados, los cuales usualmente entregan informacin de
calidad. En este caso vlida para el anlisis del problema.

Hay que considerar que el rbol del Problema con su capacidad de identificacin de causas,
ya sea expresada en variables estructurales o intermedias, no significa necesariamente una
posibilidad de intervencin sobre las mismas. Una adecuada identificacin de causas no
equivale mecnicamente a lograr una intervencin inmediata y exitosa por parte de
programas u proyectos sociales. Para ello se debe elaborar una derivacin del rbol de
Causas que es el paso precedente al rbol de Objetivos, que se describe mas adelante.

II.4. Cobertura de beneficiarios

La cobertura se refiere a la capacidad del proyecto de cubrir el tipo de universo al cual est
dirigida la intervencin. La mayora de los programas universales o de cobertura total se han
demostrado como regresivos al invisibilizar desigualdades sociales internas de la poblacin.
En los proyectos, por su mismo carcter discontinuo, una cobertura amplia es difcil de
lograr, ya sea por escasez de recursos econmicos del proyecto, automarginacin, exceso de
dispersin de la poblacin, o por barreras culturales o psicolgicas que dificultan el acceso
del usuario.

En la formulacin de un proyecto existe la disyuntiva entre optimizar su cobertura (la mayor
cantidad posible de beneficiarios) o incrementar la calidad de la intervencin con un bajo
nmero de beneficiarios. La opcin ms generalizada es optar por una cobertura amplia, pero
en grupos focalizados de acuerdo a los criterios de extrema pobreza.

Si la falta de recursos imposibilita esta opcin, cabe seleccionar a un grupo de beneficiarios
pobres que presenten mayor vulnerabilidad o que tengan un buen pronstico en los
resultados de la intervencin.

A los beneficiarios directos se agregan comnmente beneficiarios indirectos, personas o
grupos que reciben parte de los beneficios o efectos del proyecto. Estos beneficiarios
indirectos, muchas veces son familias u organizaciones ligadas al proyecto. No es adecuado
sobre-estimar la relacin beneficiario directo-indirecto mas all de lo que indica la experiencia
previa en proyectos similares, ni menos aun utilizarla como recurso para aumentar
artificialmente el numero de beneficiarios de un proyecto.

Segn las lneas programticas de una poltica social puede interesar fijar una discriminacin
positiva para un tipo particular de beneficiarios como mujeres, etnias, adultos mayores, etc.;
condicin que debe ser considerada para flexibilizar modalidades de acceso al programa o
proyecto.


4 Con algunas variaciones los grupos focales, son asimilables a las entrevistas grupales, grupos de
discusin o focus groups.


El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

19
II.5. Seleccin de beneficiarios

La seleccin a un proyecto implica una modalidad de acercamiento al grupo objetivo y se
relaciona indirectamente con la cobertura del proyecto. La seleccin rigurosa en est en
relacin directa a la cobertura del proyecto. En algunos casos, se impone una seleccin
interna tanto del bien o servicio ofrecido como de la diferenciacin por nivel de dficit de los
demandantes.

Muchos programas inducen o estimulan el acceso de los grupos objetivos. El atractivo o
magnitud de la induccin facilita la captacin de usuarios. As un Programa de cuidado
infantil que entrega alimentacin complementaria o leche, lo que permite adicionalmente la
vacuna y control peridico del beb, o un Programa de Alimentacin Escolar, incentiva la
asistencia a la escuela por la factibilidad de alimentacin gratuita para los hijos. En resumen,
se usa un recurso de otro Programa para captar a la poblacin objetivo. En algunas
circunstancias este incentivo es monetario, como becas de mantencin. Esta modalidad est
sujeta a debate, por cuanto muchos se cuestionan un eventual estmulo a una relacin
utilitaria y dependiente con programas sociales.

El acceso puede incluso estar mediado por una coaccin e incluso por sanciones legales, y
medidas coercitivas, como multas o prdida de acceso a otros programas o proyectos
sociales. Por ejemplo, en una campaa de inmunizaciones la confianza en una demanda
espontnea con certeza ira en desmedro de la salud de la poblacin. Eventualmente, el
acceso puede producirse por derivacin o transferencias entre programas, como en el caso
del sector salud, donde se asignan pacientes del nivel primario al secundario

Tambin existen en selectividad o autoseleccin por motivacin o inters de los
beneficiarios. La voluntariedad es propia de intervenciones de escasa demanda, ya que en el
caso de un dficit agudo de una necesidad bsica toda la poblacin carenciada intentar
acceder al proyecto.

La selectividad en el acceso y altas exigencias en la eleccin del usuario, influyen en las
posibilidades de xito de un programa, ya que esta seleccin apunta a lo mejor del universo
escogido. Un ejemplo est en la eleccin de menores irregulares con mejores calificaciones,
sin adiccin a drogas o antecedentes penales. Esto puede prestarse para usos inadecuados de
los criterios de seleccin y produce desequilibrios, desde el inicio, en el desempeo de
proyectos cuando estos actan bajo criterios restrictivos.

En la determinacin de las reglas que fijarn el ingreso deben excluirse criterios
marginalizantes que puedan estar asociados a la capacidad de pago de la persona y que
implican una exclusin socioeconmica indirecta (pago por servicios o actividades conexas).
Es la situacin, por ejemplo, del sector universitario, donde el ingreso est limitado por altos
aranceles de matrcula, o, en el caso de los programas habitacionales, con la exigencia de
ahorro previo para acceder a viviendas sociales.

Una forma de mejorar el acceso de posibles usuarios consiste en el uso de sistemas mviles
de oferta de servicios, debido a que los beneficiarios tienen problemas de acceso al programa
y entonces deben ser localizados en sus residencias o lugares de trabajo. Esa es la situacin

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

20
caracterstica de los proyectos dirigidos a sectores rurales o focalizados en enfermos o
adultos mayores postrados.

La motivacin con que ingresa un usuario es un predictor de xito de un programa. Esta
motivacin es mayor en las intervenciones voluntarias, ya que en las obligatorias los clientes
son heterogneos y con diferentes grados de motivacin y percepcin de sus necesidades. Es
explicable entonces el impacto positivo que tienen los proyectos de las ONGs que trabajan
con demanda espontnea.

En proyectos con demanda espontnea se facilitan los cambios conductuales o actitudinales.
Es as como en programas gubernamentales de educacin popular los usuarios llegan por
motivacin o por contacto previos con la institucin. 5

Es recomendable utilizar para el ingreso al proyecto una ficha de registro que contiene datos
del diagnstico o antecedentes del usuario. Estos datos permiten utilizar la instancia del
ingreso del programa para establecer una lnea base o medicin pre-test, que sirvan de
contraste con los indicadores de impacto en la evaluacin ex post.

II.6. Localizacin

Todo programa o proyecto social est localizado espacialmente. Esa localizacin responde a
dos lgicas espaciales que son contradictorias. Por una parte, los programas sociales tienen
las ventajas de las mismas economas de escala porque los servicios sociales tienen fuertes
economas a medida que aumenta su volumen de entrega. Y externas porque se localizan en
un punto del espacio que es equidistante de sus insumos fundamentales y del mercado.
Luego, la localizacin de estos servicios es en puntos centrales que concentren una demanda
masiva y heterognea.

Un buen ejemplo de esta lgica sera la localizacin de un hospital de especialidades que
cubra una demanda nacional. Por el alto monto de la inversin, estos establecimientos se
localizan en un punto fijo, usualmente una metrpoli.

En un sentido contrario, el grupo objetivo o el usuario est interesado en obtener el servicio
con un costo mnimo de accesibilidad y en un punto ptimo, como el lugar donde desarrolla
sus actividades cotidianas, ya sea su vivienda o su lugar de trabajo.

Naturalmente, la localizacin real de un programa social es un compromiso entre ambas
lgicas, aunque en ciertas ocasiones el Estado subsidia algunos costos para lograr una mejor
accesibilidad geogrfica del proyecto. Algunos ejemplos estn en los proyectos rurales de
atencin primaria, educativos o de capacitacin.


5 En algunos casos, los usuarios pueden convertirse en demandantes permanentes, marginando a otros posibles interesados.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

21
III. MARCO INTERPRETATIVO Y PROPUESTA


III.1. Marco analtico y alternativas de solucin

El diagnstico de todo programa social debera conducir a una alternativa de solucin
sustentada en marcos analticos de tipo interpretativo, derivados de la acumulacin bsica de
conocimiento en el rea. El marco analtico est asociado a la investigacin bsica referida a
programas sociales. En los hechos, en algunas circunstancias se carece de tal marco, con lo
que pierden gran parte de su futura eficacia por carecer de referentes tericos, o por que estos
estn basados en antecedentes no vlidos y confiables,. Un buen antecedente para el marco
analtico es el ya mencionado rbol de Problemas o de Causas.

El ejemplo siguiente muestra su aplicacin a un caso concreto

Diagrama 4.
APLICACIN DE RBOL DE CAUSAS



















En este rbol de problema se advierte que en relacin a las variables estructurales o
intermedias, no existe necesariamente una posibilidad de intervencin sobre las mismas.

PERDIDA DE
IDENTIDAD
CULTURAL
REGIONAL
Baja
escolaridad
Escaso
asociacionismo
Consumismo
Baja inversin
cultural pblica
Pobreza Migraciones
Escaso rol
del Estado
Concentracin
urbana
CAUSAS

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

22
Sin embargo, hay muchos problemas sociales en que an no logra generar marcos
interpretativos validos sobre ciertos tipos de intervencin, como es el caso del SIDA, la salud
mental, adicciones, etc.6. Pero con una revisin y sistematizacin de experiencias anteriores
es posible deducir un nivel mnimo de acumulacin terica, que sirvan para identificar
alternativas de solucin. Este marco interpretativo debe permitir, adems, desprender
posibles alternativas de intervencin efectivas y eficientes.

La debilidad de marcos interpretativos explica la falta de correspondencia entre la situacin
problema y la solucin propuesta. Esta desproporcin es frecuente. en proyectos a pequea
escala entre la magnitud o complejidad de la situacin problema y la especificidad o
concrecin de la solucin propuesta.

III.2. Alternativas de Solucin

El marco interpretativo se puede traducir en alternativas de solucin, la que se pueden
derivar de la aplicacin del rbol de Objetivos.

6 En algunos proyecto de carcter piloto, no es necesario que una intervencin tenga anticipadamente un
marco terico;

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

23
Diagrama 5
rbol de objetivos


























En este rbol de objetivos se advierte que en relacin a las variables estructurales o
intermedias, no existe necesariamente una posibilidad de intervencin sobre las mismas de
parte de los ejecutores del proyecto.

Muchas intervenciones sociales carecieron en su momento de un rbol de Objetivos, lo
que particularmente patente en proyectos de capacitacin en que la fase de antecedentes y
diagnostico se describen altos niveles de desempleo y trabajo informal, y la propuesta solo
alude a proyectos de capacitacin o micro-empresas, las cuales, por mas exitosos que se
postulen sus intervenciones, difcilmente modifican la magnitud de los dficit detectados en la
fase de diagnstico.
Conciencia de
deterioro de identidad
por actores
Inters por recopilar
antecedentes de
desarrollo histrico
Actitud favorable a la
manutencin de la cultura
Festival de msica
y canto
Seminario de gestin
cultural con actores
regionales
Asistencia Tcnica para
monitores de rescate de
cultura popular
Medios fundamentales para la accin o el cambio
del Problema Falta de identidad cultural
Eventuales alternativas de solucin
Incremento de
identidad
cultural
regional

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

24

Situaciones similares se advierten en proyectos abocados a la salud mental, las adicciones, el
embarazo precoz o los procesos migratorios, en los cuales hay un marcado desequilibrio
entre la magnitud del diagnstico y lo limitado de la intervencin.

Los paradigmas profesionales y destrezas operacionales del grupo tcnico influyen en las
variables seleccionadas como alternativas de solucin. Por ejemplo, la alternativa de solucin
en un problema de drogadiccin de un psiclogo clnico pueden ser significativamente
diferentes a las de un psiclogo comunitario o sistmico y tal diferencia se reflejara en la
intervencin seleccionada dentro del rbol de Objetivos


III.2 Anlisis de prefactibilidad de alternativas de solucin

Las soluciones estimadas deben satisfacer requisitos de factibilidad para garantizar el xito
de la alternativa de solucin seleccionada. Una mala eleccin de alternativa de solucin
puede conducir a resultados que pueden ser precarios o efmeros. Los criterios de decisin
son generalmente los siguientes

Prefactibilidad tcnica: diseos, estrategias y metodologas pertinentes.
Prefactibilidad financiera: disponibilidad y fuentes de fondos para inversin y
operacin.
Prefactibilidad econmica: valorizacin de recursos y recuperacin de costos.
Prefactibilidad administrativa: fortaleza del organismo ejecutor
Prefactibilidad social: incremento del bienestar equidad y empoderamiento de los
beneficiarios.

Por ejemplo, una alternativa de solucin basada en pocas charlas informativas no superara
un anlisis de prefactibilidad tcnica por ser una estrategia no pertinente para modificar
conductas asociadas a la prevencin de enfermedades de transmisin sexual. Una alternativa
basada en monitores juveniles podra superar el anlisis de prefactibilidad tcnica, pero
podra tener como ejecutor una ONG de escasa fortaleza institucional, luego no superara un
anlisis de prefactibilidad administrativa Luego el desafo para un proyecto social es lograr
el mximo posible de anlisis de prefactibilidad positivos para lograr un resultado eficaz en
un perodo reducido de tiempo,

El proceso de anlisis de prefactibilidad tiene cierta similitud con los anlisis de riesgo en los
que se determinan las probabilidades de xito de una combinacin de alternativas.

Cabe recordar la importancia que tiene, en las distintas prefactibilidades, una subdimensin
de la prefactibilidad social que es el empoderamiento o de capacidad de autonoma de
beneficiarios, evitando una solucin asistencial o dependiente de subsidios en la fase
posterior al proyecto.



El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

25
III.3. Objetivos y metas

Los programas tienen objetivos generales basados en la estrategia o poltica social vigentes y
orientados a mejorar los dficit o carencias detectadas. Muchas veces hay falta de precisin
en los objetivos programticos, lo que dificulta su evaluacin posterior, y obliga al
programador a deducir ex post criterios de evaluacin de programas, generalmente basados
en indicadores nacionales y regionales de equidad, redistribucin y fortalecimiento
institucional.

Todo proyecto o programa tiene objetivos, ya sea implcito o explcito. La naturaleza del
objetivo puede ser de carcter fisiolgico (preservacin de la vida), cognoscitivo (entregar
conocimiento), afectivo (expresin emocional), conductual (cambio o logro de rutinas
conductuales, hbitos, etc.), organizacional y grupal.

Los medios para lograr estos objetivos consisten en bienes (vivienda, paquetes alimentarios,
vacunas, etc.) o en servicios (horas de capacitacin, prestaciones mdicas, etc.).

En relacin al grupo objetivo, es ms sencillo programar objetivos con unidades ms
identificables (generalmente el individuo, como es el caso de indicadores de rendimiento
individual en educacin). Los objetivos grupales u organizacionales se pueden considerar
como impactos u objetivos de desarrollo pero, dado que las tcnicas de investigacin social
registran generalmente respuestas a nivel individual, la evaluacin de esos objetivos es
compleja. Como alternativa se ha intentado utilizar tcnicas de investigacin organizacional
registradas externamente como observacin o entrevistas grupales. Aun as, estas tcnicas no
garantizan que efectivamente se estn registrando vlidamente objetivos basados en cambios
organizacionales.

Los objetivos deben cumplir una serie de requisitos como:

- ser secuenciales, estipulando los objetivos generales o de desarrollo, generalmente a largo
plazo, y luego los objetivos especficos o de corto plazo destacando dentro de ellos una
secuencia temporal de relacin causa-efecto.

- ser mensurables; o sea que se expresen en Metas que identifican mediante cifras o nmeros
absolutos, en unidades fsicas o de servicios, aunque en lo posible los objetivos especficos
deberan apuntar a fijar porcentajes de variacin (incremento o disminucin) en relacin a
un porcentaje que sirva de lnea base. Si no es factible la cuantificacin del objetivo, al
menos mencionar el listado empricamente verificable de Metas o logros esperados del
proyecto.


El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

26
III.4. El uso del marco lgico

Una forma de jerarquizar y dar secuencia a la operacionalizacin de un programa o proyecto
es utilizar el marco lgico, que no es ms que un esquema ordenador de la formulacin e
implementacin de un proyecto. El marco lgico es de uso generalizado en proyectos de
cooperacin internacional, y una resea de su organizacin se aprecia en el siguiente
diagrama.

Cuadro 4

MARCO LGICO DEL PROYECTO

Sntesis Indicadores
objetivamente
verificables
Medios de
verificacin
Supuestos
Objetivo de
desarrollo o
FIN
Participacin
Acceso a mercados
Grado de desnutricin

Registros administrativos
Informacin de la
organizacin
Estabilidad
macroeconmica
Accesibilidad a la
informacin
Objetivos
inmediatos o
Propsito.
Metas
Mejorar
Aumentar
Disminuir

Nmeros de bienes y
servicios
Porcentajes
Registros sectoriales
Datos municipales
Entrevistas
Aceptacin de usuarios
Organizacin
comunitaria
Resultados o
Productos
Capacitacin
Alimentacin
Asistencia
tcnica
Nmeros de bienes y
servicios otorgados
Variaciones en lnea base
porcentual
Registros sectoriales
Datos municipales
Entrevistas
Informantes claves
Estabilidad de la
intervencin
Viabilidad de la evaluacin
Actividades.

Insumos
Infraestructura
Insumos
Recursos humanos
Acuerdos institucionales
Currculos
Equipos
Instrumentos de
registro
Organigrama
Centro comunitario
Existencia de registros
Existencia de
organizaciones de apoyo
Disponibilidad de
infraestructura,
recursos humanos y
financieros
Fuente: adaptado de CEPAL, Mujer y desarrollo: gua para la planificacin de programas y proyectos, 1984.
Santiago.


El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

27
La gran ventaja del Marco Lgico es que ordena jerrquicamente los diversos componentes
del proyecto desde su aporte a los niveles superiores del programa o proyecto, como los
objetivos de desarrollo (o fin en la terminologa de otros marcos lgicos) a los objetivos
inmediatos de los proyectos (o propsito en otras terminologas) como los resultados que son
sub-reas internas a los proyectos (o componentes segn otra nomenclatura. Otra ventaja es
que direcciona el diseo del proyecto a indicadores verificables, ms que afirmaciones vagas
o escasamente operacionales.



El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

28
IV. PRESUPUESTO, ADMINISTRACION Y GESTION


IV.1. Productos, requerimientos y presupuesto

Los objetivos especficos o Metas son traducibles en la generalidad de los casos en
productos, que cuantifican bienes y servicios otorgados por el proyecto. Para muchos
programadores resulta parcial y limitante reducir la Metas a productos cuantificados,
especialmente cuando existen otras externalidades e impactos de difcil medicin. Aun as, el
esfuerzo de traducir los objetivos especficos de un proyecto a productos es fructfero, pues
limita la vaguedad de que adolecen muchos proyectos sociales.

El proyecto entrega un cantidad total de productos y cada uno de estos productos implica
requerimientos o insumos, que a su vez servirn de base para disear el presupuesto del
proyecto, como se aprecia en el siguiente esquema:


Diagrama 6.


IV.1.1. Cuantificacin de los productos

La cuantificacin del producto comprende cuatro elementos:

- La unidad fsica o de servicios (por ejemplo, desayunos escolares o atenciones mdicas).

- Duracin de la entrega: fecha de inicio y de trmino (por ejemplo, un ao, desde el 1 de
julio 1994 al 30 de junio de 1995)

- Nmero total de unidades que se entregarn segn tiempo:
*) 4 sesiones mensuales, de dos horas cada una, durante seis meses (en total 48 horas),
o
*) 300 desayunos por da durante un ao; en total 109 500 desayunos

- Descripcin de la unidad; por ejemplo, en el caso de desayunos escolares: tazn de leche,
cereales y azcar, pan con mantequilla y dulce (1 150 caloras)

En los programas o proyectos hay diversos tipos de productos, entre los que cabe mencionar:

- Bienes de consumo duradero (vivienda)
PRODUCTO---------- REQUERIMIENTO------ PRESUPUESTO
(Cuantificador) (Cuantificar insumos) (Monetarizar)

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

29
- Bienes fungibles o de consumo inmediato (paquetes alimentarios, desayunos escolares)
- Bienes fungibles de impacto duradero (vacunas, preservativos)
- Servicios de impacto duradero (educacin formal o sanitaria)
- Servicios de corto impacto (recreacin, informacin turstica)
- Servicios de impacto difuso universal (comunicaciones).

Cada uno de estos productos (o su combinacin) contribuye al impacto del proyecto. En
algunas circunstancias son utilizados como substituto de indicadores de impacto del proyecto
o programa.


IV.1.2. Cuantificacin de los requerimientos

La cuantificacin de los requerimientos permite dimensionar recursos que se necesitan
adquirir, contratar o comprar, para entregar los productos del proyecto.

Los requerimientos se pueden dividir en seis tems, que tienen su contraparte en el desglose
del presupuesto (Ver diagrama 7):

Cuadro 5

REQUERIMIENTOS PRESUPUESTO
Insumos
Equipamiento
Infraestructura
Personal
Administracin
Otros
Costo de los insumos
Costo del equipamiento
Costo de infraestructura
Sueldos del personal
Costos administracin
Otros gastos


Se evidencia una correspondencia directa entre los productos, los requerimientos y los
correspondientes rubros del presupuesto.

En programacin social se utilizan diferentes nomenclaturas para referirse a los
requerimientos. Considerando los trminos de uso frecuente, se pueden establecer las
siguientes distinciones:

- Insumos: se refieren a los bienes y servicios que son adquiridos para ser transformados en
otros productos a lo largo del proyecto; por ejemplo, leche, horas-instructor, y otros.

- Equipamiento: se refiere a los bienes que se adquieren para desarrollar el proyecto:
mobiliario, herramientas. Esos bienes experimentan desgaste y la consiguiente depreciacin,
con una duracin estimada en aproximadamente en ocho aos.


El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

30
- Infraestructura: construcciones o instalaciones fsicas necesarias para el funcionamiento
del proyecto. Se les imputa una larga duracin, que es cercana a los treinta aos.

- Personal: recursos humanos necesarios para la generacin de los productos. Esos recursos
pueden o no ser calificados.

- Administracin: actividades que apoyan la ejecucin de un proyecto, es decir, contabilidad,
comunicaciones, etc.

- Otros requerimientos: becas, viticos, movilizacin y otros.

- Prstamos: crditos de una institucin financiera en el caso de los proyectos productivos.

En una presentacin simplificada de presupuesto, el FNUAP identifica los siguientes
componentes: personal, subcontratos, capacitacin, equipo y gastos diversos (FNUAP,
1988).

Los requerimientos que se solicitan a la agencia financiera pueden corresponder a
donaciones o a prstamos. Se agregan aquellos aportes de los interesados.

Estas diferentes fuentes de recursos son graficadas en un cuadro de fuentes de
financiamiento, el que puede anexarse al presupuesto.


IV.1.3. Tipos de presupuesto

La estructura presupuestaria vara radicalmente segn se trate de proyectos sociales o
productivos. Dentro de la escala local y comunitaria ambos tipos de proyectos comparten
elementos comunes, como su especificidad territorial, la orientacin a los sectores ms
carenciados, o su ndole participativa y promocional.

Los proyectos productivos tienen como finalidad producir bienes o servicios y generan
ganancias monetarias a sus beneficiarios. En pequea escala (por ejemplo, microempresas)
se puede incentivar una dimensin solidaria, aunque en definitiva su finalidad es la de transar
bienes o servicios en el mercado.

Usualmente son financiados por crditos o fondos rotativos, y por tanto los ingresos iniciales
deben dirigirse a la amortizacin del crdito.

Los proyectos sociales potencian a grupos de beneficiarios mediante la generacin o
formacin de una capacidad, producto o servicio, que quedan incorporados en el capital
humano y organizacional de personas o grupos. Sus gastos se entienden como financiados
mediante una donacin7, y no implican devolucin al ente financista.



7 En el caso de un financiamiento mas permanente, tienen el carcter de subsidio

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

31
IV.1.4. Flujo de caja

El flujo de caja es un cronograma financiero relacionado con la programacin de las etapas
del proyecto y con las actividades de cada etapa. Es otra forma de la programacin temporal
del proyecto, ya que en este flujo de caja quedan contenidos los ingresos y egresos. Ellos
reflejan la valorizacin de todas las actividades del proyecto, incluyendo el seguimiento y la
evaluacin.

Para la construccin del flujo de caja debe tomarse en cuenta el calendario de desembolsos
solicitados a la agencia financista. En el caso especfico de proyectos productivos se
identifican, los momentos en que la agencia financiera recuperar los aportes prestados. Al
terminar el perodo de financiamiento de la agencia el monto del prstamo debe ser igual al
de su devolucin. Dada la exigencia de sustentabilidad econmica que implican los
proyectos productivos, el presupuesto de caja debe ser construido con mucho realismo,
evitando convertir un crdito en una donacin encubierta. Al respecto, la experiencia de los
fondos rotativos en desarrollo rural y autoconstruccin es muy promisoria como forma de
retorno y de uso ptimo del crdito.

IV.2 Etapas y actividades

Las etapas se derivan de los objetivos y metas y definen la duracin del proyecto. Con
relacin a la duracin de la intervencin hay que tener presente que la motivacin disminuye
a medida que se prolonga la intervencin, aumentando el nmero de desertores.

Para evitar estas deserciones habra que hacer un estudio de las causales y distinguir cules
de estas son manejables, para as fijar en futuros proyectos niveles razonables de desercin.

Una prolongada duracin de la intervencin puede llevar a intervenciones de menor calidad
por escasez de recursos. El nivel decisorio o poltico puede identificar erradamente los
proyectos de corta duracin con los de mayor impacto y marginar programas o
intervenciones que inevitablemente deben ser de larga duracin.

Para el control de las actividades del proyecto, la forma usual es su descripcin en un lapso
de tiempo. Una manera de preparar este calendario es utilizar un diagrama, carta o grfica de
Gantt, como se ilustra en el ejemplo siguiente:

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

32
Cuadro 6

CRONOGRAMA
Etapas y actividades (semanas)
Motivacin
Actividad 1 X
Actividad 2 X
Actividad 3 X
Etapa II
Organizacin
Actividad 1 X X
Actividad 2 X
Actividad 3 X X X
Etapa
..
Actividad 1
Actividad ..

Etapa I 1 2 3 12

La carta Gantt es til para detectar superposicin de actividades que tienen una secuencia
lgica, o bien para coordinar actividades distintas que se implementan en un mismo perodo
de tiempo. En la fase de ejecucin, cada actividad puede subdividirse en tareas con fecha de
iniciacin y trmino, para definir plazos de cumplimiento. Se contemplan usualmente plazos
holgados, para evitar ajustes apresurados o de ltima hora.

Hay varios software de computacin que pueden ser herramientas de apoyo a una
programacin y que tienen la virtud de una visualizacin de la descripcin de tareas,
vinculacin de actividades, plazos de cumplimiento. Uno de ellos es el Microsoft Project,
que nos proporciona diagramas como el siguiente:

Diagrama 7 Carta Gantt














El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

33

IV.3. Modelo de gestin

El modelo de gestin o marco institucional de un proyecto proporciona informacin sobre el
organismo ejecutor u otros actores involucrados en el proyecto. Describe la estructura
organizativa en el proyecto de los beneficiarios, grupo tcnico, y otros actores involucrados en
el proyecto. La tendencia actual es formular modelos de gestin participativos en los
proyectos sociales. 8

Los modelos de gestin pueden ser altamente institucionalizados hasta otros de ndole
comunitaria o no institucional. Esta variabilidad refleja diferentes concepciones de gestin
organizacional, los modelos escasamente institucionales contribuiran a un mayor impacto ya
que potenciaran un clima de espontaneidad. Otros enfoques consideran que una gestin
desinstitucionalizada sera disfuncional para ciertas modificaciones conductuales.

Aunque es complejo implementar modelos de gestin no institucionalizados, la evidencia
emprica avala el xito de algunos de ellos, como programas de de comunicacin en
planificacin familiar.

El modelo de gestin institucionalizado es propio de programas o proyectos en que el sistema
de entrega de bienes o servicios implica necesariamente una permanencia de las personas en
un lugar (uso de bibliotecas, herramientas, etc.) y donde generalmente se controlan o inhiben
las transferencias a otras personas. El control de filtraciones puede incrementar los costos
econmicos o administrativos del sistema de entrega. 9

Modelos de gestin participativos

Dentro del modelo de gestin, es importante analizar el rol del la participacin de los usuarios
y si los beneficiarios participarn uniformemente en todas las etapas, o si es adecuada que los
niveles de participacin varen por razones tecnolgicas, segn la etapa de produccin (por
ejemplo en la construccin de vivienda) o puntos crticos en la toma de decisiones..

Los modelos de gestin participativos, bajo la perspectiva de la eficiencia se perciben como
ms lentos. Sin embargo, por el xito de tcnicas participativas derivadas de la planificacin
estratgica, esta aprensin esta cambiando con rapidez. A esto debe aadirse la tendencia a
que el Estado tiende a derivar la ejecucin de proyectos a un entidad externa (ONGs,
gobierno local u otros) estableciendo al interior del proyecto mecanismos de participacin
como Comits o Consejos consultivos.

Los modelos de gestin participativos surgen como componente clave en el diseo de
proyectos sociales cuando hay limitaciones severas en el incremento del gasto social, ya que
permite disminuir los costos crecientes de los servicios por persona atendida, como
produccin de material grfico o audiovisual. En los proyectos de educacin sanitaria tambin

8 En parte debido a la incorporacin de esquemas propios de la planificacin estratgica
9 El modelo de gestin no puede evitar filtraciones en el caso de servicios pblicos, como programas de TV
abierta o radio.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

34
puede haber una participacin conjunta de la poblacin con el grupo tcnico en la
implementacin.

En los programas o proyectos institucionalizados es limitada la participacin comunitaria,
como por ejemplo en la educacin forma donde casi todas las actividades estn estructuradas
de antemano. Una hiptesis que se puede formular es que la estandarizacin y el
requerimiento de elementos tcnicos y complejos frenaran la participacin. Eventualmente
un modelo de gestin participativo puede ser nocivo o disfuncional por la falta de
conocimiento de los beneficiarios en la ejecucin tcnica y organizacional del proyecto.

Entre los elementos limitantes de la participacin se destaca: el cacicazgo, la manipulacin, el
clientelismo y la selectividad en el ingreso de los beneficiarios, desigualdades de gnero, la
duracin y horario del proyecto. Las limitantes y potencialidades de la participacin debe
contemplarse con realismo en la identificacin del modelo de gestin, explicitando los
supuestos o restricciones a la participacin.



El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

35
V. SUPERVISIN DE PROYECTOS

El paso siguiente al diseo del proyecto, incluyendo sus aspectos temporales y financieros,
es su aprobacin por la agencia financista y su implementacin. Actualmente es un lugar
comn afirmar que la implementacin de un proyecto es bastante ms que la proyeccin en el
tiempo de su diseo o formulacin. Para ello se ha planteado la supervisin de proyecto.

El proceso de supervisin tiene tres niveles cualitativamente diferentes: el control y financiero
y el monitoreo tcnico y de procesos interactivos vigentes en la ejecucin de la intervencin.


V.1. Control financiero

La prctica de un control financiero es comn en todo tipo de programa o proyecto social.
Precisamente por la escasez de recursos, el Estado y otro agente financista se reserva una
supervisin rigurosa de la rendicin de cuentas por parte del ejecutor. Son comunes las
rendiciones mensuales de egresos, o las autorizaciones de giros en funcin de aprobacin de
informes tcnicos. Esta supervisin financiera se apoya en el presupuesto de caja y de fuentes
de financiamiento originalmente estipulada en el diseo del proyecto.


V.2. Control tcnico

El control tcnico como evaluacin de implementacin, apunta a una supervisin de las etapas
y actividades y el proceso de entrega de bienes y servicios.

En proyectos sociales de escala local se utiliza generalmente una combinacin de controles
tcnico-financieros mediante listas de verificacin, que incluyen eventualmente factores ms
dinmicos dentro de la implementacin del proyecto. Esta modalidad resulta evidente en la
pauta de seguimiento de proyectos no-gubernamentales por un Ministerio de Salud de
Amrica Latina (ver cuadro adjunto)

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

36
Cuadro 7

FICHA DE SEGUIMIENTO PROYECTOS (Ej. MINSAL-ONGs)

I. INFORMES Y EVALUACIONES
1. Informes tcnicos mensuales ONG-Departamento de Atencin Primaria
(DAP).
% de cumplimiento
2. Informes financieros mensuales ONG-DAP
% de cumplimiento

3. Evaluaciones tcnicas trimestrales DAP-MINSAL


4. Evaluaciones financieras trimestrales DAP-MINSAL

II. DESCRIPCIN DE ACTIVIDADES Y MATERIALES
1. Actividades de atencin de salud Tipo de
actividad
Destinatario Recursos humanos
2. Actividades educativas Tipo de
actividad
Destinatario N
sesiones
N
participantes
N de
asistentes
3. Actividades de coordinacin local Tipo de actividad Coordinado con
4. Actividades intersectoriales
5. Otras actividades: comunicacin,
participacin, etc.

6. Produccin de material didctico
7. Otros materiales
III. EVALUACIN CUALITATIVA
Grado de cumplimiento segn Cronograma
Problemas Obstculos
IV. FACILITADORES LOGROS


V. SUPERVISIN MINSAL


Fecha Nombre Observaciones

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

37

La utilidad de sta o cualquier ficha de supervisin tcnica estn en su capacidad para
registrar validamente una serie de problemas recurrentes en el seguimiento de proyectos.

Una alternativa de solucin consiste en disear pautas de supervisin con estructura de
escalas, con listado o inventarios de situacin en un rango de calificacin, como se advierte en
algunas pautas de supervisin de un Fondo de Inversin Social, de la cual se presenta una
versin abreviada


Cuadro 8
INFORME DE SUPERVISIN DE PROYECTOS FONDO DE INVERSIN SOCIAL

OBJETIVOS DEL PROYECTO EN RELACIN A LOGROS
OBTENIDOS A LA FECHA

Ejecucin del proyecto
Etapa o actividad Fecha real Financiamiento Fondo
Inicio/ Termino Previsto/ Recibido

Listado de verificacin Si No No aplicable Comentarios
Planificacin y coordinacin

Avance del proyecto

Financiamiento

Ejecutor

Beneficiarios

Conclusin


PRINCIPALES CONCLUSIONES Y RECOMENDACIONES

Medidas a ser tomadas


Por el ejecutor

Por el Fondo

Por otros


CONTINUACIN TRMINO DE PROYECTO Uso Secretara
de
Planificacin




Posiblemente esta estructura escalar (que de hecho es una dicotoma) deje en la penumbra la
evaluacin de procesos interactivos en el proyecto, propio de la dinmica de implementacin
de proyectos, los cuales se desarrollan en la Seccin siguiente.




El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

38
VI. EVALUACION EN PROYECTOS SOCIALES

VI.1. Los grandes modelos de evaluacin

En un sentido estricto, la evaluacin iluminativa puede ser categorizada, segn sea el tipo de
programa evaluado, en los diferentes diseos mencionados en los puntos anteriores. Por lo
tanto, los programas o proyectos evaluados por este enfoque pueden ser de corte
experimental o no experimental pero tienden, por el uso generalizado de tcnicas
cualitativas, a aproximarse a los no experimentales. Ms aun, esta evaluacin implica
solamente un nfasis cualitativo en el registro e interpretacin de la informacin recogida en
el proceso evaluativo, pero sin diferencias epistemolgicas con las modalidades usuales de
evaluacin de eficacia, como se puede apreciar en el Cuadro siguiente.

Cuadro 9

CLASIFICACIN DE LOS MAYORES MODELOS EVALUATIVOS
CUALITATIVOS

MODELO AUDIENCIAS METODOLO-
GIA
RESULTADO PREGUNTAS
TIPICAS
LIBRE DE
OBJETIVOS
CONSUMIDORES ANALISIS
LOGICO
SISTEMATICO
UTILIDAD
SOCIAL
GLOBAL
EFECTOS
GENERALES DEL
PROGRAMA,
INCLUYE
EFECTOS
SECUNDARIOS
CRITICA
ARTISTICA
ESPECIALISTAS
CONSUMIDORES
REVISION
CRITICA
MEJORIA DE
ESTANDARES
APROBACION
POR CRITICOS
ESPECIALIZADOS
ACREDITACION PROFESORES,
PUBLICO
PANELES ACEPTACION RANKING POR
PROFESIONALES
ADVERSARIO JURADOS SIMULACION
DE JUICIOS
FALLO DEL
PROGRAMA
ARGUMENTOS EN
PRO Y CONTRA
TRANSACCIONAL CLIENTES,
PROFESIONALES
ESTUDIO DE
CASOS,
ENTREVISTAS.
OBSERVACION
INTERPRETA-
CION,
DIVERSIDAD
PERCEPCIONES
DIFERENTES DE
UN PROGRAMA


El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

39

En los modelos reseados se encuentran la mayora de las evaluaciones aplicadas a
programas o proyectos. En la evaluacin libre de objetivos se engloban a los diseos
experimentales y de costo-beneficio.


VI.2. Caractersticas de los diseos evaluativos

La evaluacin debe ser ms que el uso de criterios parciales como los mencionados en la
Seccin anterior, mediante la eleccin del diseo evaluativo mas valido segn el tipo de
programa y considerando adicionalmente sus costos.

En caso de una evaluacin participativa debe considerar una eventual identificacin o
parcializacin del grupo de beneficiarios con el proyecto, que podra limitar su objetividad
sobre los diversos resultados del proyecto. Por ejemplo, se podra estimar que una evaluacin
negativa del proyecto puede conducir a la cancelacin del mismo, con las perdidas respectivas
para la poblacin.

Usualmente, los diseos evaluativos se basan en indicadores de bienes fsicos, entrega de
servicios, monetarizacin de beneficios o patrones conductuales. Se pretende evaluar el
cambio estableciendo uno o mas variables independientes como variable de intervencin y
actuando con efectos positivos en el grupo beneficiario.

VI. 3. Los datos e instrumentos para la evaluacin de un proyecto.

La opcin por un instrumento determinado depender, entre otros factores de: el grado de
confiabilidad requerida (estabilidad en la medicin), la validez deseada (riqueza terica de la
medicin), los fondos financieros y el tiempo disponible, la posibilidad de aplicacin (puede
implicar destreza profesional o instrumental), las complejidades de procesamiento, la
necesidad de monetarizacin de beneficios, etc.

Los datos e instrumentos anteriores recogen informacin ya sea de medios o resultados de
programas. Para cada diseo evaluativo se necesitan datos diferentes, as por ejemplo, para la
evaluacin de una campaa de vacunacin se necesitan datos secundarios de tipo cuantitativo,
en tanto para evaluar un proyecto de desarrollo de imagen institucional, se requiere
informacin primaria cualitativa. Al respecto se puede disear la siguiente matriz de la
relacin entre datos, tipos de instrumento y tipo de diseo

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

40
CUADRO 10

DATOS CUANTITATIVOS, INSTRUMENTOS Y DISEO DE EVALUACION.

DATOS CUANTITATIVOS
DATOS INSTRUMENTO TIPO DE DISEO
Primarios: Test
Escalas
Cuestionarios
Diseos experimentales
Diseos experimentales
Diseos cuasi experimentales

Secundarios: Censos
Encuestas de hogares
Estadsticas sectoriales
Modelos de
Regresin
Modelos De
Regresin
Series
Temporales
Series
Temporales
Flujos de caja Costo- efectividad Costo-beneficio

Los datos cuantitativos provienen de instrumentos de alta estandarizacin y son propios de la
familia de la evaluacin en base al diseo experimental.

Los datos cuantitativos secundarios registran las magnitudes fsicas o financieras de insumos
o recursos utilizados en los proyectos. En este caso, entregan informacin, por ejemplo,
sobre la cantidad de horas de atencin mdica, nmero de operarios en un proyecto de
absorcin de empleo, metros cuadrados construidos con fines habitacionales, etc. El uso de
estas estadsticas con fines evaluativos tienen el grave defecto de asociar beneficios o
impactos a medios que, siendo una condicin necesaria, no son definitorios para lograr
resultados positivos en los proyectos. En otros trminos, la abundancia o escasez de los
medios no necesariamente implica un impacto social en las prestaciones o resultados de la
intervencin.

El sistema administrativo de recoleccin de datos habitualmente recoge estadsticas de
medios (nmero de camas, postas, viviendas, salas de clases, profesores, etc.) lo que lleva a
que, por lo general, se evale sobre la base de medios, limitando el alcance de la evaluacin.
Un ejemplo de estas evaluaciones en el sector habitacional es la que se hace por el nmero
de viviendas, de saneamientos bsicos construidos, de lotes y servicios habilitados, de
conexiones de alcantarillado, etc.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

41

CUADRO 11

DATOS CUALITATIVOS, TIPOS DE INSTRUMENTOS Y DISEO DE
EVALUACION

DATOS INSTRUMENTO TIPO DE DISEO
PRIMARIOS: Entrevista Evaluacin Cualitativa
Observacin Participante Evaluacin Cualitativa
Dinmica Grupal Evaluacin Cualitativa
SECUNDARIOS: Anlisis de Contenido Evaluacin Cualitativa
Biografas Evaluacin Cualitativa
Documentos Evaluacin Cualitativa


A nivel de datos cualitativos primarios estn las dinmicas o tcnicas grupales que describen
los procesos o resultados de un proyecto social. Las tcnicas grupales no entregan un patrn
evaluativo estandarizado, permiten intercambios de ideas, que resultan de una sntesis
evaluativa que puede aportar al informe final de proyecto.

Tambin datos cualitativos son aportados por entrevistas a beneficiarios, o a personas
particularmente interesadas en el proyecto. Ellas son los lderes locales que podran ser
beneficiarios desde el punto de vista de su status, poder o beneficio material. Estas
entrevistas a informantes comunitarios pueden tener el sesgo del rol de intermediacin que
ellos cumplen entre el grupo tcnico y los beneficiarios.

Un sesgo similar puede producirse con las entrevistas grupales como tcnica evaluativa, ya
que en ellas pueden presenta inicialmente el problema de la identificacin del grupo de
beneficiarios con el proyecto, pues este grupo recibe del proyecto beneficios como bienes o
servicios.

Aun as, estas tcnicas son indicadores evaluativos en una metodologa participativa,
siempre y cuando estas evaluaciones colectivas definan a priori indicadores de resultados
consensuados y se preste atencin a la tendencia al pensamiento grupal o a "efectos de
vagn de cola" estimulados por los opinantes ms importantes o prestigiados, usualmente
profesionales o lderes influyentes en la poblacin objetivo.

Las mismas precauciones son aplicables a las entrevistas que involucran slo a los usuarios
o al grupo tcnico.


El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

42
Algunas variantes ms formales de la entrevista como indicador evaluativo pueden ser los
grupos nominales, como grupos Delphi u otras variantes grupales de evaluacin de
intervenciones sociales.

Por otra parte, los diseos deben considerar la complejidad de evaluar resultados a niveles
conductuales y procesuales. Una evaluacin debe registrar cambios conductuales como
hbitos de higiene, rehabilitacin de conductas de riesgo, cambios en patrones de consumo,
retencin de mensajes, etc.

En estos ejemplos es obvio que los resultados pueden estar afectados por otros factores
intervinientes. La atribucin de resultados debe basarse en el conocimiento previo de una
relacin entre medios y fines, ya que la eficacia o impacto de un proyecto en la poblacin
objetivo depende de la probabilidad de xito estimada de la intervencin. Muchas veces,
estas probabilidades de xito son relativamente desconocidas o puede haber perdida de
eficiencia en los efectos de esta cadena medios-fines. Por ejemplo, el incremento de la
inversin en tecnologa comunicacional no se traduce necesariamente en incremento en
retencin de mensajes o contenidos sociales.

La evaluacin necesita asociarse tambin a la maduracin de resultados del corto plazo y a
impactos del mediano y largo plazo. Para ello se puede recurrir a indicadores con la calidad
de predictores conductuales por ejemplo, en el rea de extensin rural, tales predictores de
la conducta de los beneficiarios sera el uso de semillas seleccionadas en la cosecha
inmediata. En este sentido, es importante la necesidad de identificar estos indicadores
predictores, para evitar el alto costo o necesidad de evaluaciones de seguimiento de los
beneficiarios.

La identificacin de estos predictores es particularmente difcil en programas de salud
mental, rehabilitacin conductual, educacin popular, capacitacin, microempresas y, en
general, en todos aquellos en que la investigacin bsica an no permite una identificacin
precisa de impactos del largo plazo.

VI.4. Evaluacin en los sectores sociales.

Complementariamente a los diseos evaluativos ya descritos, es necesario destacar que la
evaluacin se aplica a intervenciones que, en la generalidad de los casos, estn insertas en
programas sectoriales. Luego, es importante hacer referencia a las exigencias especficas de
la evaluacin en relacin a diferentes sectores sociales.

La evaluacin en el sector educacin es la que posee la mayor cantidad y calidad de los
diseos evaluativos (Briones, 1991). El sector tiene una serie de ventajas para un mejor
desarrollo relativo de diseos evaluativos:

- Una gran cantidad de beneficiarios con una base de datos demogrficos,
psicolgicos, sociales y econmicos que permite extraer muestras de las diferentes
variables que componen los programas sociales y utilizar estudios de impactos de carcter
multidimensional.


El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

43
- Como consecuencia de lo anterior, se dispone de datos de grandes programas
nacionales por nivel de enseanza, localizacin geogrfica, sexo, edad, etc.

- Una mayor capacidad manipulativa del grupo objetivo, que est sujeto a rutinas de
horario, ubicacin geogrfica y, en la mayora de los casos, puede adaptarse a las
exigencias de manejo de los diseos evaluativos ms rigurosos.

A su vez, el sector educacin dispone de abundantes estadsticas para evaluar,
simultnea o secuencialmente, indicadores de medios (horas docentes, cantidad de
matrculas, metros cuadrados en edificios escolares, etc.) con indicadores de resultados
(tasas de aprobacin, repitencias, desercin, etc.) e incluso con tasas de retorno econmico
de los diferentes niveles de enseanza. Recientemente se han estandarizado instrumentos
evaluativos de factores como relacin profesor-alumno, autoestima, afectividad y
relaciones interpersonales.

El sector salud tiene como meta principal evitar la muerte en grupos objetivos (mujer, nio,
adultos), disminuir su propensin a enfermarse y mantener su bienestar fsico y mental.

En la prctica, la intencin de muchos programas de salud es evitar la mortalidad en los
grupos de alto riesgo (el caso de las madres embarazadas y los nios pequeos), controlar o
prevenir embarazos, desnutricin o enfermedades infecciosas en menores (OPS, 1986). Esto
significa que el Estado atiende preferencialmente a estos sectores. Los criterios de evaluacin
se concentran en :

- Indicadores de medios o insumos que expresan la disponibilidad e intensidad de uso de
insumos o recursos humanos en las prestaciones de salud. Los indicadores de medios son
tiles para evaluaciones en el corto plazo.

- Indicadores de resultados por programas de salud: los indicadores de resultados apuntan
generalmente a la mejora de los indicadores maternos infantiles y de esperanza de vida.

Se vislumbra como desafo para el sector salud la definicin de indicadores de impacto para
futuros riesgos en salud, hacia las cuales los pases de Amrica Latina transitan con rapidez,
como la relacin salud-hbitat en el proceso de urbanizacin y metropolizacin, la
emergencia del SIDA, las ETS, los riesgos en salud laboral, la accidentalidad, etc.

El sector vivienda es el que plantea mayores dificultades de evaluacin. Las razones son:

- La dificultad de disponer de beneficiarios en el grupo objetivo y asignarlos a un grupo
experimental y de control, ya que muchas veces se trata de demandantes heterogneos,
atomizados espacialmente, etc.

- La larga duracin del bien otorgado que, de hecho, es la intervencin del programa (la
vivienda o similares). Ello impide aislar en el tiempo el impacto simultneo o secuencial de
la misma de otros factores asociados en las conductas beneficiadas por la obtencin de la
vivienda.


El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

44
- La precariedad terica y metodolgica de las investigaciones que ligan causalmente la
vivienda a impactos en higiene ambiental, interaccin familiar, salud mental, etc.

En la prctica, la evaluacin en el sector vivienda es una evaluacin de medios a los que se
imputa apriorsticamente resultados en distintas subdimensiones de la calidad de vida. Si se
considera la vivienda como un medio de satisfaccin de necesidades bsicas, el
procedimiento lgico sera determinar la influencia que ejerce la vivienda en la satisfaccin
de tales carencias.

El intento se ha concentrado en el impacto positivo de la vivienda en la higiene ambiental,
especialmente en la disminucin de las enfermedades infectocontagiosas. La aplicacin de
diseos experimentales y cuasi experimentales entrega resultados dudosos, por la dificultad
de aislar variables independientes al margen de la intervencin habitacional. As, en
asentamientos precarios urbanos se aplicaron diseos de tipo cuasi experimental entre
postulantes y no postulantes al programa de loteos y servicios, y la medicin del impacto en
la higiene ambiental fue interferida por la cercana espacial de los grupos experimental y de
control que coexistan en la misma poblacin.

Otra modalidad de medicin de impacto de la vivienda reside en la percepcin de su impacto
sobre los usuarios. Al respecto, los estudios de percepcin o satisfaccin habitacional indican
que lo importante no es tanto captar la satisfaccin o rechazo global de la vivienda sino
discriminar la percepcin de funciones especficas habitacionales (estar, dormir, comer,
higiene, circulacin) y la relacin y calidad del hbitat inmediato a la vivienda.

Ms compleja es la evaluacin del impacto de la vivienda en el sistema interactivo de la
familia, en la medida en que el diseo y la localizacin de la vivienda influyen
diferencialmente en los miembros de la familia, lo que se modifica a medida que transcurre
el ciclo vital.

Con relacin al tema de justicia o de defensa social, el sector se presta, por razones obvias,
para la aplicacin de diseos evaluativos, ya que maximiza las ventajas del diseo de
estrategias evaluativas propias del sector educacin por la mayor institucionalizacin del
grupo objetivo (por ejemplo, menores irregulares en hogares de proteccin y delincuentes
adultos en recintos penitenciarios). Debe reconocerse que la tendencia a sistemas abiertos de
rehabilitacin social implica el uso de evaluaciones de tipo cuasi experimental, no
experimental o iluminativas.

En el sector de capacitacin o en el de formacin de microempresas, la evaluacin de
impacto se traduce en la medicin del incremento del nivel de ingreso, movilidad
ocupacional, incremento de la productividad. Siendo estas mediciones bastante complejas,
muchas veces este tipo de evaluacin se substituye por el de retencin de conocimientos o de
satisfaccin subjetiva de los beneficiarios.

Finalmente, cabe sealar que es muy importante aplicar las estrategias evaluativas al nivel
adecuado de institucionalizacin de una intervencin. En la fase de proyectos experimentales
o pilotos, slo deben aplicarse aquellas estrategias evaluativas que permitan evaluar, ms que
ganancias relativas de la intervencin, altos niveles de impacto social. En la evaluacin de

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

45
programas, se aplican estrategias evaluativas ms rigurosas, orientadas a medir impactos
especficos, considerando que hay otros programas ya operando y sometidos a evaluaciones
anteriores o paralelas.

VI.5. Evaluacin ex ante.

La aplicacin de la evaluacin puede diferenciarse en diferentes momentos del desarrollo del
proyecto. Se denomina evaluacin ex ante a aquella que se efecta antes de la ejecucin de la
iniciativa. Generalmente consiste en una evaluacin de eficiencia, especficamente de costo-
impacto, que es bsicamente la comparacin y estimacin de los costos presentes y futuros de
las diferentes alternativas y sus posibles impactos

Sin embargo, en la evaluacin ex ante pueden haber tcnicas cualitativas como los grupos
Delphi. En este caso la evaluacin esta orientada a prever los impactos que se generaran por
la ejecucin de programas pblicos de impacto multisectorial o ambiental, como la
construccin de carreteras o cualquier obra de infraestructura. El procedimiento consiste en
entrevistar a un grupo de personas calificadas en relacin a los impactos posibles, asignando
un puntaje a cada impacto. Se utilizo inicialmente en pases desarrollados en la evaluacin de
carreteras y obras pblicas que afectan de manera significativa el ecosistema local y regional
(ILPES, 1993b).

VI.6. Evaluacin de procesos o monitoreo.

En los proyectos sociales se activan procesos interactivos cuya dinmica especfica no
siempre est prevista en la etapa de diseo. Monitorear los procesos interactivos no es tarea
sencilla, pero hay una creciente conciencia de las interacciones en la implementacin de un
proyecto social. El monitoreo debe centrarse en la actuacin de actores importantes en un
proyecto: los tomadores de decisiones, el grupo tcnico y los usuarios o beneficiarios. El
accionar de estos roles est condicionado por una correcta definicin de tareas y una
adecuada estructura organizacional del proyecto.

El monitoreo debe supervisar las diferentes alternativas de juego de roles entre el tomador de
decisiones, el grupo tcnico y los beneficiarios. Las interacciones entre roles se grafican en el
siguiente diagrama.
El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

46
Diagrama 8

INTERACCIONES DE ROLES EN PROYECTOS SOCIALES


























Los tomadores de decisiones pueden adoptar diversos tipos de liderazgo: por eleccin, por
tradicin, por imposicin. La comunicacin es tambin de distinto tipo: formal, expedita,
abierta, etc. Tambin debe preverse que en algunos proyectos se pueden producir fuertes
conflictos (ideolgicos, de estilos de trabajo) entre los tomadores de decisiones Estos
patrones interactivos influyen en la ejecucin del proyecto pero su monitoreo, por razones
obvias, no resulta sencillo por la necesidad de tener indicadores confiables de estos
comportamientos.

Los grupos tcnicos definen un subsistema de interacciones sociales dentro de un proyecto.
En tal subsistema son frecuentes los conflictos profesionales, valorativos o simplemente
personales. En esta lnea es interesante observar las diferencias notables entre los equipos de
trabajo de proyectos nacionales, locales, gubernamentales, de organizaciones no
gubernamentales o los ejecutados directamente por organizaciones de base.


GRUPO TCNICO
(Estilo burocrtico o tecnocrtico, estereotipos
profesionales, conflicto de roles)

TOMADOR DE DECISIONES
(Toma de decisiones segn lgica
administrativa, poltica o profesional)

BENEFICIARIOS
(Expectativas sobredimensionadas,
clientelismo, apoyo)

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

47
Los paradigmas o escuelas de pensamiento influyen en el grupo tcnico y sus destrezas
operacionales aplicadas a la estrategia de intervencin del proyecto. Por, ejemplo, la opcin
terico-metodolgica de un psiclogo institucional y la de uno clnico es significativamente
diferente de la de un comunitario o sistmico, y tal diferencia se reflejar en la intervencin
dentro del proyecto.

Entre el grupo tcnico y los beneficiarios se da el tpico conflicto entre la primaca de las
relaciones (primarias o secundarias) con el usuario. Se espera que ellas sean humanas y
afectuosas pero, simultneamente, la cantidad de demandantes y la formalizacin de la
intervencin implican una interaccin impersonal regida por estndares objetivos. En la
relacin primaria predomina el contacto cara a cara, casustico o teraputico, pero a veces
sesgado por afinidades de "clientela" o de compadrazgo.. En la relacin secundaria se
privilegia la masividad, la objetividad y la bsqueda de relaciones objetivas y neutras.

El monitoreo de procesos interactivos necesita de tcnicas cualitativas como grupos de
discvuis0n o entrevistas en profundidad, aunque se pueden formalizar escalas de
comportamiento de roles, similares a las presentadas en la Seccin referida a supervisin
tcnica.


VI.7. Necesidades y exigencias de la supervisin y monitoreo de proyectos.

Una dificultad para implementar el monitoreo reside en que los datos administrativos no estn
integrados a un sistema de monitoreo, en este caso la informacin permanece concentrada en
la oficina de estadstica o control administrativo, sin ser procesada por una unidad especifica
de evaluacin, por lo tanto el sistema de monitoreo no es funcional a la toma de decisiones.

Una segunda limitante proviene del hecho que inicialmente el montaje del sistema de
monitoreo es costoso y obliga a cambiar rutinas de control administrativo, afectando y
recargando costos de administracin y tensionando la estructura organizacional. Un tercer
problema se relaciona con la existencia de planes y sistemas administrativos obsoletos que se
traducen en falta de estandarizacin de la informacin, recoleccin discontinua, inexistencia
de manuales de procedimientos, precariedad de los recursos computacionales o a la baja o
inexistente calificacin del personal en manejo computacional.

Adicionalmente, la factibilidad de sistemas de monitoreo esta asociada a una voluntad poltica
de formular sistemas de generacin y control de programas sociales, voluntad no siempre
explcita, como se ha constatado en la creacin de sistemas similares en el rea de proyectos
de inversin. Para solucionar los problemas anteriores el monitoreo debe ajustarse a una serie
de requisitos para optimizar su utilidad como evaluacin de procesos. Los mas centrales son:

- Confiabilidad: la definicin de sistemas de monitoreo debera ser estable, de modo que
cualquier gestin administrativa obtenga una informacin similar.

- Oportunidad en el tiempo: los proyectos sociales tienen una secuencia de aplicacin que
exige que el monitoreo sea oportuno en relacin a la modalidad especifica de intervencin.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

48
Por ejemplo, un programa de Televisin educacional necesita sistemas rpidos de monitoreo
para la autocorreccin del mismo.
Caso contrario, un programa en el nivel educacional bsico tendra una secuencia de
monitoreo mas distanciada y los puntos de registro tendran una secuencia semestral o anual.

- Cobertura: es importante que registre todo el mbito de seguimiento o monitoreo
(financiero, administrativo, interacciones del grupo tcnico, relaciones con los beneficiarios)
Dada la multidimensionalidad del monitoreo, para registrar todos estos atributos es necesario
utilizar tcnicas tanto cuantitativas como cualitativas.

- Informacin disponible en todos los niveles pertinentes. Lo mas probable es que los
indicadores de monitoreo sean registrados en el nivel inmediato de acceso al usuario, y no
sean derivados a los niveles intermedios o decisorios. Por otra parte, el nivel inmediato
carece de informacin de retroalimentacin en el caso que el monitoreo haya implicado un
cambio en la gestin del programa.

- Una adecuada relacin costo/efectividad, en tanto el funcionamiento del sistema de
monitoreo no implique un uso excesivo de recursos econmicos y humanos.

Los problemas de monitoreo son mas comunes en proyectos comunitarios, que en los de
rentabilidad privada, ya que estos ltimos disponen de sistemas gerenciales de gestin, con
soportes informticos e indicadores de desempeo.


VI.8. Evaluacin del impacto o ex post.

Todo proyecto social busca modificar exitosamente la situacin problema que motiv la
intervencin. En la evaluacin ex post, se hace una distincin tpica entre resultado e
impacto. El primer trmino apunta a las modificaciones tangibles, medibles o registrables,
usualmente con un instrumento de medicin emprica; el segundo, o sea el impacto, agrega
los efectos secundarios o colaterales de la intervencin, englobando externalidades positivas
del proyecto y efectos de tipo diferido en el tiempo.

Aceptando la validez de esta distincin, diferentes factores (la presin del tiempo, el ciclo de
inversin pblica, el juego poltico o las restricciones metodolgicas) han validado, en los
hechos, evaluaciones que son de resultados ms que de impactos. En la prctica, la medicin
de resultados resulta equivalente a la de eficacia o impacto de un proyecto. Las evaluaciones
de impacto ambiental, en la medida en que registran externalidades, constituyen el concepto
ms cercano al de evaluacin de impacto.

El resultado de un proyecto tiene implcito la hiptesis de la satisfaccin de la carencia o
necesidad a la que estaba dirigido el proyecto. Sin embargo, se hace necesario verificar esta
hiptesis mediante una evaluacin ex post, de trmino, de resultados de un proyecto. Los
indicadores de evaluacin deberan derivarse del marco lgico y especialmente de los
objetivos especficos u operacionales del proyecto. Por lo tanto, el diseo de la evaluacin de
resultados esta en buena parte predeterminado en la misma formulacin del proyecto.


El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

49
En caso que en la formulacin no se explicite ningn diseo evaluativo, este deber
obtenerse mediante consenso o negociacin con los ejecutores del proyecto, definiendo
operacionalmente los indicadores de resultados. Este proceso podra resultar viciado por una
autoseleccin, por parte de los ejecutores, de indicadores favorables de impacto del proyecto,
al conocerse en forma prctica su desempeo.

Algunos proyectos constan de segundas etapas, en donde los beneficiarios del proyecto
original pasan a un estadio superior, o bien el proyecto es parte de una red integrada de
programas, que permite que los beneficiarios sean derivados a otros proyectos o programas a
lo largo de una secuencia temporal. Esta secuencia es propia de programas
institucionalizados asociados a grupos etarios, y ese es el caso de los diversos niveles en la
educacin formal. En estos proyectos, si hay resultados intermedios, ellos deberan ser
evaluados como ex post.

Tipos de evaluacin

Los diseos evaluativos tienen en comn ser adaptaciones de metodologas de investigacin
social. Sin embargo, algunos de ellos se centran en una evaluacin que enfatiza la deteccin
de impactos en la subjetividad de los participantes con metodologas activas en que se
describe un conjunto de cambios en el plano actitudinal, ideolgico u organizacional. Este
tipo de evaluacin se denomina evaluacin cualitativa, con bases conceptuales diferentes a
otro tipo de evaluacin que se centra en la eficacia o impacto del proyecto. En este diseo
interesa la modificacin cuantificable de conductas y responde al modelo del diseo
experimental.

Otro tipo de evaluacin se focaliza en la eficiencia, referida a la ptima utilizacin de los
insumos del proyecto. Habitualmente, la eficiencia de un proyecto se evala en la etapa de
diseo (como evaluacin ex ante) con modelos costo-beneficio y de costo-efectividad, los
cuales eventualmente tambin se pueden aplicar al termino de una intervencin.

Los tres tipos de evaluacin responden a grosso modo a campos de diferentes disciplinas. Los
exponentes de los diseos de eficacia y cualitativo provienen del rea de las ciencias de la
conducta, pedagogos, siclogos, socilogos, etc. en tanto que los exponentes de los diseos de
eficiencia son caractersticos del rea de administracin de recursos fsicos, como ingenieros,
economistas, matemticos y agrnomos

VI.9. Evaluacin de eficiencia

La evaluacin de eficiencia (generalmente evaluacin ex ante) consiste, especficamente en
una evaluacin de costo-impacto, que es bsicamente la comparacin y estimacin de los
costos presentes y futuros de las diferentes alternativas y sus posibles impactos.

VI.9.1. El modelo costo-beneficio

La evaluacin costo-beneficio se basa en la cuantificacin (ex ante o ex post) de los costos y
beneficios monetarios actualizados de una intervencin social o productiva.


El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

50
El anlisis de costos puede ser realizado tanto despus de la ejecucin de un programa como
durante la etapa de diseo. En este ltimo caso, los costos se estiman en funcin de
evaluaciones previas de programas similares. La estructura de costo sigue una estructura
como la que se presenta a continuacin

Cuadro 12

COSTOS DE INVERSIN Y COSTOS ANUALES DE OPERACIN
Crculo comunitario de adultos mayores. (Noviembre 1993)

A. Costos de inversin %
$
Terreno 9.192 14.1%
- Edificio 31.904 48.1%
- Equipamiento 3.536 5.4%
- Puesta en marcha 1.488 2.3%
Total costos de inversin 46.120 70.7%

B. Costos de operacin

Remuneraciones 3.153 4.8
Consumos bsicos 643 1.0
Mantencin y reparacin 357 0.6

Subtotal costos generales y de
Administracin
4.153 6.4

Alimentacin 6.299 9.6
Salud preventiva 1.091 1.7
Salud asistencial 249 0.4
- Guardera para frgiles 1.937 3.0
- Servicio Social 1.085 1.7
- Terapia ocupacional 2.826 4.3
- Asistencia convalecientes 1.516 2.3

Subtotal costos especficos
de los servicios
15.003 23.0

Total costos de operacin

Costo social anual equivalente 65.276

Adaptado de CIAPEP. Instituto Economa U.C. 1990.

Identificados los costos de inversin y operacin del proyecto, resulta necesario conocer su
equivalencia anual, para compararla con los beneficios anuales derivados del proyecto. Se
considera una tasa social de descuento de 12% y la vida til de cada componente de la
inversin.


El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

51
En los proyectos sociales, los costos son altos en la fase inicial de ejecucin del programa,
dada la inversin que se debe realizar en infraestructura y equipos. Posteriormente
disminuyen y se concentran en los costos asociados a las remuneraciones del equipo tcnico
y administrativo.

En cuanto a la comparacin de costos y resultados, cabe sealar que en un proyecto social
los beneficios se asocian a los objetivos logrados. Tales beneficios no se agotan con la mera
satisfaccin de las metas como, por ejemplo, la cobertura de usuarios de medios
anticonceptivos; se prolongan en el tiempo por la obtencin de retornos econmicos
producidos por el menor gasto, como se aprecia en el Cuadro siguiente

Cuadro 13

BENEFICIOS SOCIALES ANUALES DEL PROYECTO
(Circulo Comunitario de Adultos Mayores).

A. Beneficios inmediatos $
Alimentacin 6.299
Salud asistencial 249
Terapia ocupacional 2.825
Subtotal satisfaccin necesidades bsicas 9.373
Guardera frgiles 7.887
Asistencia a convalecientes 2.832
Ahorro consultas innecesarias 115
Subtotal liberacin de recursos 10.834
Produccin de talleres 682
Colocacin laboral 1.564
Subtotal beneficios inmediatos 2.246.
Beneficios diferidos
Ahorros por salud preventiva 1.091
Subtotal beneficios diferidos 1.091
Total beneficios 23.544
% del costo total: 93.7
Adaptado de CIAPEP. Instituto de Economa U.C.

Con respecto a los costos y beneficios futuros, cabe plantear que todo anlisis detallado de
costos y beneficios debe contemplar que las intervenciones sociales exitosas tienen
repercusiones positivas en el futuro y efectos colaterales en otras actividades humanas.

La monetarizacin de los beneficios se hace mediante el clculo del valor actualizado neto
(VAN) de los ingresos y costos de programas o proyectos. Si este VAN es superior a cero,
sera conveniente aprobar el proyecto.


El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

52
Otro criterio de evaluacin es la Tasa Interna de Retorno (TIR), que es aquella tasa que hace
que el VAN sea igual a cero; luego, mientras ms alta es esta tasa (usualmente superior a la
tasa de costo de oportunidad del capital o un 12% por convencin) ms rentable es el
programa o proyecto (Sann, 1995).

El VAN de programas o proyectos y los beneficios estimados puede estar afectado por
diferentes mbitos temporales de maduracin de los efectos. De all nace el error de tener
preferencias apresuradas por implementar programas que generen beneficios inmediatos.

En lo que se refiere a la imputacin de costos y beneficios, una gran cantidad de programas
sociales son pagados por personas que no obtienen beneficios del mismo. Por ejemplo, los
costos de la educacin primaria pblica son aportados mediante tributacin por toda la
poblacin, mientras que el beneficio en primera instancia podra ser recibido por los
escolares de menores ingresos. En la prctica, muchas organizaciones son subsidiadas por el
Estado y los receptores pueden ser sectores restringidos de la poblacin. Entonces, cabe
adoptar un criterio comn para definir a nivel societal un mismo criterio para costos y
beneficios, lo que se denomina precios sociales.

Inicialmente, se hicieron varios intentos de aplicar metodologas costo-beneficio a programas
sociales, pero la dificultad de cuantificar adecuadamente en trminos monetarios los
beneficios sociales produjo distorsiones importantes en el clculo de tales beneficios.

De este modo, se transit de metodologas costo-beneficio a metodologas costo-efectividad,
en las cuales los beneficios son imputados a priori como favorables, usualmente utilizando
un listado o descripcin de los beneficios, calificados por los profesionales involucrados en
el programa o deducidos de la experiencia en programas similares.


VI.9.2. El modelo costo-efectividad.

En la metodologa costo-efectividad se imputan los beneficios y se trata de minimizar los
costos de las distintas alternativas programticas. Sus requerimientos por el lado de la
estimacin de resultados o efectividad implican identificar los resultados y beneficios, el
nmero de indicadores, calidad y contenido de los indicadores, la eventual asignacin de
ponderadores a los resultados, la recurrencia a un de panel de expertos y resolver el
problema de la inferencia o escalabilidad de los resultados.

En cuanto a los problemas en el anlisis de costos, debe decirse que las unidades de costo
deben ser compatibles con las metas del programa. Por ejemplo, en el sector salud, una
alternativa de medicin de costos puede ser el costo por paciente-da; otra podra ser el costo
por paciente dado de alta. En el primer caso hay un estmulo indirecto a la
institucionalizacin, y en el segundo, a la alta o mejora integral del paciente. En este ltimo
caso puede haber un incremento del costo por paciente-da, pero disminuye el costo por
paciente dado de alta. En el caso de un programa de insercin laboral, los indicadores
factibles seran:



El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

53
Nmero de personas recibiendo capacitacin
Nmero que obtienen trabajo
Nmero de los que mantienen trabajo despus de un ao
Promedio de incremento de ingreso

De los ejemplos anteriores, se puede apreciar que la unidad de anlisis de costo puede estar
afectada por el tipo y comportamiento de la variable que se define como objetivo de
programa. Por ejemplo, cambiar el status de una persona de una situacin de cesanta a una
de empleo mnimo es relativamente fcil, pero hacerla ascender del empleo mnimo a un
estrato de ingreso superior es ms difcil, y ms lo ser en las etapas sucesivas de su
movilidad ocupacional ascendente.

En cuanto a los usos alternativos de la inversin, el costo de oportunidad refleja el hecho de
que el tiempo de una persona es parte del costo de todos los servicios humanos. Sin embargo,
el tiempo que una duea de casa espera en un consultorio, generalmente, no es considerado
un costo por el servicio de salud. Concretamente, una atencin de salud gratuita puede ser un
costo para el beneficiario(a) por la prdida de tiempo (dos, tres o ms horas) para obtenerla.
Si la persona necesitada de ayuda mdica no tiene empleo y dispone de tiempo libre
ilimitado, su costo de oportunidad sera igual a cero pero, en la prctica, habra privacin de
tiempo para sus actividades productivas u hogareas.

La evaluacin costo-efectividad implica reconocer que la efectividad va asociada a una
probabilidad de xito conocida en la intervencin; en caso contrario, la evaluacin pierde
todo sentido, y ello se ve claramente cuando se reduce el criterio de efectividad slo a
cobertura o a poblacin atendida, sin atender al impacto definitivo de la intervencin en la
poblacin beneficiaria. Un ejemplo caracterstico de una situacin de este tipo en
evaluacin costo-efectividad es la siguiente:

Programa de deteccin de cncer:

Costo por ao de vida ganada US$ 6.000
Costo por caso descubierto y tratado US$ 18.000
Costo por vida salvada US$ 22.500
Costo por cura US$ 30.000


Los programas de erradicacin de pobladores de zonas centrales metropolitanas se han
medido segn una metodologa costo-efectividad. Se ha comprobado en estas evaluaciones
la escasa eficiencia de estos programas, revirtindose los bajos costos iniciales al aadirse los
costos indirectos de equipamiento bsico.

De all la importancia de establecer los costos indirectos en los proyectos sociales, ya que
estos pueden anular o limitar las ventajas directas de estas intervenciones (CIAPEP, 1985).

Hay que considerar que no siempre el programa de menor costo es el mejor. Por ejemplo, el
control biomdico de embarazadas es oneroso, si se le compara con folletos de autocuidado

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

54
del embarazo, pero este ltimo tiene evidentemente una menor probabilidad de xito en salud
reproductiva.

Cabe destacar que slo recientemente los programadores sociales han tomado conciencia de
la importancia de los costos, directos e indirectos, en la formulacin y evaluacin de sus
programas.

VI.10. Evaluacin de eficacia.

VI .10.1. El diseo experimental

El diseo experimental tiene su raz en el manejo de los fenmenos en el campo de las
ciencias fsicas y biolgicas. La psicologa social y en especial la psicologa educacional, han
popularizado su aplicacin en el rea de las ciencias sociales. Consiste en que el
programador tiene el control sobre el medio en que se implementa el programa o proyecto,
manteniendo constantes los factores ambientales o extraos al proyecto que puedan afectar
su impacto, aparte de la propia intervencin. La composicin del grupo experimental (los
beneficiarios) es similar a la del grupo de control (beneficiarios potenciales). Esta similitud
se logra mediante la asignacin aleatoria de eventuales beneficiarios a ambos grupos, para
as controlar la influencia de factores externos. Grficamente, el formato tpico del diseo
experimental se puede ilustrar de la manera presentada en el cuadro 11.

Cuadro 14

DISEO EXPERIMENTAL CLSICO

MEDICIN 1 MEDICIN 2
GRUPO
EXPERIMENTAL
Intervencin (programa o
proyecto)
GRUPO
EXPERIMENTAL
GRUPO DE CONTROL Sin intervencin GRUPO DE
CONTROL


Las exigencias y problemas de este diseo son variadas y eventualmente limitan su
desarrollo en las ciencias sociales:

- Es complejo el control de aquellos factores externos que podran afectar el programa y que
no son imputables al mismo. Por otra parte, en los proyectos sociales es difcil el control de
las interacciones entre el grupo de control y el experimental.

- La seleccin de las variables causales que determinan la dependiente y el aislamiento de la
variable que se maneja requiere de un marco terico-metodolgico de alta validez.


El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

55
- El tamao de los grupos debera garantizar una significacin estadstica de las diferencias
entre el grupo experimental y el de control.

- Las mediciones pre y post-test debern hacerse con un instrumento estandarizado y que no
experimente variaciones en el tiempo. Esta misma exigencia de estandarizacin resta validez
a una comprensin global de la eficacia del programa. Se sacrifica validez en funcin de la
confiabilidad de la medicin. Por ello, el diseo se concentra en programas muy rutinizados,
con grupos de beneficiarios cautivos (crceles, salas de clases, etc.) ms que en programas
para adultos no institucionalizados o en intervenciones no convencionales.

- El uso del diseo experimental tiene sentido cuando se sospecha que el efecto es de
magnitud, lo que restringe este diseo slo a intervenciones especficas y susceptibles de ser
formalizadas en este tipo de diseo.

- El impacto del programa est distorsionado por el hecho de que los grupos siempre
cambian cuando son objeto de un programa, independientemente del tipo de intervencin.
Esto se soluciona implementando un programa placebo como grupo de control. Se pueden
establecer dos grupos de control, uno placebo y otro no, pero el diseo se hace complejo y,
naturalmente, aumentan los costos de aplicacin del diseo experimental.

- La duracin de la intervencin aumenta la interferencia de elementos externos, lo que
dificulta su aplicacin en intervenciones prolongadas. Para un diseo experimental, son
adecuadas las intervenciones no superiores a un ao. De esta forma, la duracin reduce
notoriamente la aplicacin de esta alternativa evaluativa a una amplia gama de
intervenciones sociales.

- Este diseo puede verse afectado cuando el grupo objetivo que ser aleatorizado proviene
de proyectos con demanda espontnea, ya que, dado el acceso voluntario de los beneficiarios
al programa, ambos grupos no se corresponden con toda la poblacin en dficit, lo que
excluye a los eventuales beneficiarios que se automarginan del programa.

- Se basa en la cooperacin de un gran aparataje administrativo, lo que lleva a interferencias
entre el evaluador y la estructura administrativa por las exigencias metodolgicas que el
primero impone al segundo y que, adems, generan costos de magnitud en su
implementacin.

Estas limitantes explican en buena medida el hecho de que, con el tiempo, el diseo
experimental vaya disminuyendo su influencia como alternativa evaluativa de proyectos
sociales.

VI. 10.2. El diseo cuasi experimental

El diseo cuasi experimental se diferencia del diseo experimental en que,
metodolgicamente, tiene menos exigencias, especialmente de seleccin de los grupos de
control y experimental. Estos diseos incorporan un grupo experimental y un grupo de
control que no proviene del mismo grupo objetivo; en este sentido es ms bien un grupo de
contrastacin o comparacin.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

56

Por ejemplo, se comparan grupos en programas o contextos relativamente similares:
programas de planificacin familiar en clnicas similares, cursos en colegios, rehabilitacin
en crceles, tipos de entidades productivas (minifundios, microempresas) jardines infantiles,
salas de hospital, barrios marginales y otros.

En el diseo cuasi experimental se supone a priori que el impacto es significativo, pues se
controlan menos elementos intervinientes; en estos diseos son indeterminables las variables
independientes que se dejan de controlar.

La aplicacin de los diseos cuasi experimentales es ms factible en el sector educacional.
Por sus caractersticas de mayor institucionalizacin, se han utilizado para evaluar programas
alternativos aplicados al mismo nivel o modalidad de enseanza.

Se han realizado evaluaciones cuasi experimentales en predios agrcolas, como cooperativas
o minifundios, aplicando intervenciones programticas en forma de cursos de capacitacin o
de innovacin tecnolgica. En estos casos la utilidad del diseo cuasi experimental se ve
limitada por factores asociados a la historia organizacional previa de ambos grupos (el
experimental y el de comparacin). Usualmente, el grupo asignado como experimental tiene
mayor experiencia organizacional previa, y este factor incrementa o contamina los resultados
de la evaluacin.

En el sector salud se han aplicado diseos cuasi experimentales en reas como estimulacin
precoz, higiene ambiental, salud mental, con resultados variables, dada la dificultad de ligar
la intervencin como indicador vlido y confiable de impacto, en tanto sigan actuando otras
variables exgenas no controlables durante la intervencin.

En los programas de vivienda se han aplicado diseos cuasi experimentales para evaluar la
construccin de casetas sanitarias y viviendas. Se evalan como impacto de la caseta:
mejora en la higiene familiar, uso del agua potable, incidencia en enfermedades
gastrointestinales. Los resultados de estos estudios son poco concluyentes, ya que hay
interferencia en la recoleccin de datos y, en general, por que hay escasa confiabilidad en las
mediciones (en los grupos experimental y de comparacin).

Segn evaluaciones del Banco Mundial (Bamberger, 1982), los diseos evaluativos de tipo
cuasi experimental en relacin a lotes y servicios evidencian los siguientes resultados:

a) Una mayor eficiencia en el grupo experimental, en tanto se lograra una mayor
reduccin de costos.
b) Dificultades en el grupo experimental, por exceso de supervisin en los crditos de
construccin, que impiden la substitucin de materiales.
c) Impacto potencial del programa para influenciar sobre las polticas habitacionales a
futuro.
d) Dificultades de operacin en el grupo experimental, por rigideces de la forma en
que opera la autoconstruccin. Dos de estas dificultades: no es factible subcontratar y hay
familias no cooperadoras que no pueden (o no desean) construir aportando mano de obra
voluntaria.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

57

Los diseos cuasi experimentales han resultado poco determinantes en el registro de
impactos en sectores productivos, que utiliza indicadores como empleo, ingreso o
comercializacin.

En el sector justicia (o de rehabilitacin social), las caractersticas del grupo objetivo facilitan
la aplicacin de diseos cuasi experimentales; este tipo de evaluacin se ha aplicado a
programas de estimulacin y tratamiento en ambiente libre, a intervenciones rehabilitadoras
en base a meditacin trascendental, etc. En general, este es el diseo evaluativo por
excelencia para programas pilotos de rehabilitacin conductual.


VI. 10.3. Modelos de regresin.

Estos modelos son una variacin de los diseos cuasi experimentales. Necesitan un alto
grado de manipulacin de las variables e implican la simulacin de control de variables para
incrementar la potencia explicativa de algunas variables independientes, pero presuponen
una serie de requisitos:

a) Necesitan una muy completa base de datos. Los programas reducidos de ndole
no gubernamental o proyectos tienen limitaciones en sus datos para la aplicacin de
modelos estadsticos.
b) Implican un slido desarrollo terico previo de la estrategia de intervencin, para
conceptualizar el modelo interrelacionado de variables independientes e intervinientes y su
nexo con la dependiente.
(c) Este manejo estadstico debe tener un correlato con el manejo real. En caso
contrario, el modelo de regresin es meramente un ejercicio formal sin posibilidades
prcticas de ser utilizado como retroalimentacin en programas sociales.


VI.11. Diseos semiformalizados.

VI. 11. 1. Serie temporal

La serie temporal es un tipo de diseo cuasi experimental que tiene como objetivo describir
las tendencias seculares de un programa para poder compararlas con el comportamiento
tradicional o prognosis de las variables dependientes objeto de la intervencin programtica.

En este diseo debe tenerse evidencia emprica previa del comportamiento histrico de la o
las variables dependientes, para su comparacin con la diseada por la accin programtica.

Veamos un ejemplo: el comportamiento histrico de una tasa de mortalidad est afectado por
una serie de factores, que deben ser tomados en cuenta para juzgar el impacto de programas
de prevencin o control de la mortalidad infantil. Paradojalmente, resultara ms fcil bajar
significativamente en base a programas maternoinfantiles la tasa de mortalidad en
Africa Central que en los pases de Europa del Norte, dados los diferentes estadios de su
transicin demogrfica.

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

58

Un procedimiento similar se puede aplicar en el sector vivienda, en el cual es factible
describir una curva de demanda de soluciones habitacionales, constituida por el crecimiento
vegetativo de familias, a lo que se puede agregar la obsolescencia habitacional y el dficit de
arrastre de la demanda histrica no satisfecha. Frente a esta prognosis de la variable
dependiente (o curva de demanda) se contrasta la oferta habitacional y su grado de xito para
cubrir o reducir parcialmente el dficit.

Menos sencillo resulta pronosticar el comportamiento de una curva asociada a la variable
dependiente (el problema objeto de programa) en sectores para los cuales se dispone de
menos informacin, o donde no es factible expresar la magnitud del problema en series
estadsticas; tal es el caso de la salud mental, las conductas irregulares, la identidad cultural,
etc.

Por lo tanto, la funcin de comportamiento de los problemas sociales y su relacin con
insumos (recursos humanos o financieros) o con la oferta de bienes y servicios de los
programas sociales est en la base de las series temporales, pero conceptualmente tal relacin
es una interrogante slo parcialmente resuelta por la investigacin aplicada en el rea.

Otro problema de las series temporales es que no siempre es posible el seguimiento de los
resultados de un programa cuasi experimental despus del post-test. Por esto, la metodologa
sugerida es el trabajo con predictores confiables de la conducta futura como, por ejemplo,
predictores de reincidencia en reclusos que se encuentran en el medio libre. Aun as, el
impacto definitivo de la rehabilitacin derivada de programas de intervencin slo es
verificable con la disminucin de las tasas de reincidencia.

En programas o proyectos de capacitacin y empleo, la medicin de las tasas de reinsercin
laboral es factible mediante estudios de seguimiento. Estos son, generalmente, de alto costo y
debe aadirse que la eventual reinsercin puede ser producto no tanto del programa de
capacitacin sino de factores situacionales posteriores a la intervencin. Es posible que la
reinsercin sea influenciada por la persistencia de exclusiones estructurales (estereotipos de
gnero, expectativas de pobre desempeo) que pueden afectar al joven desocupado o a la
mujer trabajadora.


VI.11. 2. Diseo no experimental antes-despus.

Este diseo implica una medicin (o pre-test) antes de la aplicacin de la intervencin. En el
caso de existir slo una medicin "despus" se puede reconstituir una celdilla "antes" a partir
de preguntas retrospectivas para reconstituir el mecanismo causal anterior. En la prctica,
muchos estudios evaluativos del impacto de programas sociales se pueden asimilar a la
lgica de un diseo antes-despus; por ejemplo, un estudio sobre el impacto de erradicacin
de pobladores en el que se detecta la percepcin que tiene los pobladores despus de la
intervencin (erradicacin) que se contrasta adicionalmente con la situacin y niveles de
satisfaccin y acceso a equipamiento comunitario previos al traslado.


El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

59
Este tipo de diseo es, posiblemente, el ms factible para aplicar en programas y proyectos
que incorporen estrategias de intervencin estandarizadas, especialmente en la entrega de
conocimientos; por ejemplo, programas y proyectos de educacin sexual o salud familiar.


VI.11.3. Diseo despus con grupo de comparacin.

La dificultad que plantea este diseo es su carencia de una medicin "antes", la que puede ser
suplida por la comparacin de la celdilla "despus", o sea, por el impacto del programa con
el de otro programa o intervencin paralela. Por ejemplo, la comparacin de un programa
alternativo de reconstruccin de viviendas despus un desastre natural, debera hacerse en
relacin a un programa estatal, cuidando que esta comparacin se refiera a una poblacin con
dficit relativamente similar.

Otros grupos de contrastacin pueden ser una comuna vecina, los estndares internacionales,
o algunos niveles determinados por informantes claves o expertos.

Una forma de mejorar la relevancia de los diseos "despus con grupo de comparacin" es el
uso de estudios transversales, donde las comparaciones son realizadas una vez terminada la
intervencin. Se contrastan muestras tanto de participantes como no participantes de un
programa, y en la muestra se registra informacin sobre el mayor nmero de variables
independientes posibles. Las variables intervinientes se pueden mantener constantes
mediante un control estadstico. Si el programa tiene bastante tiempo funcionando y es de
cobertura relativamente amplia, el ajuste estadstico resulta bastante adecuado.

Naturalmente, para establecer un control estadstico adecuado de las variables
independientes, el evaluador debe disponer de un bagaje terico interpretativo sobre el
problema objeto.

Una limitante del control estadstico reside en que no asla el efecto de autoseleccin que
podra subyacer en el grupo de beneficiarios. La aplicacin de esta modalidad de diseo
evaluativo se ha popularizado bastante, ya que ha revelado por los avances de la
informtica una buena relacin costo-efectividad y gran rapidez en el tiempo. Son
adaptables a programas institucionalizados, que disponen de datos regulares y estables en el
tiempo.

VI.11.4. Diseo despus.

El diseo "despus" no tiene (o no pretende tener) grupo de comparacin. Por extensin, se
pueden incluir en esta modalidad descripciones de resultados de programas, relatos o
memorias que, en la prctica, constituyen apreciaciones asimilables a registros "despus" en
el diseo experimental.

Este diseo no se puede contrastar con un diseo "antes". Un ejemplo de ello est en la
evaluacin de un programa de tratamiento del alcoholismo en que se rehabilita un porcentaje
de la poblacin atendida, pero desconociendo el porcentaje de incidencia del grupo en riesgo

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

60
en el perodo "antes". Al desconocer la lnea base de inicio del programa, el porcentaje de
logro puede ser tanto espectacular como magro.

Es posible disear una serie temporal para graficar la tendencia secular y de all evaluar los
resultados obtenidos slo con el "despus". Esta alternativa slo es factible despus del
transcurso de varios aos, y como producto de la implementacin de una serie de programas,
lo que permitira definir una curva de impacto en relacin a la curva histrica de demanda
(lnea base).

Adems, es factible recurrir a datos nacionales anteriores al programa o tomar como
referencia otras intervenciones de programas similares. Ello significa, de hecho, un diseo
con un grupo de comparacin.

Este diseo es til en reas en que no se conoce mucho la problemtica y sin informacin
confiable, lo que no hace posible fijar lneas base de comparacin del impacto. Es el caso de
muchos programas ejecutados por gobiernos locales, por organizaciones de base social o de
carcter no gubernamental.

Tambin seran asimilables a este diseo los programas de capacitacin que apuntan al
desarrollo organizacional o comunitario.

Mas all de sus limitaciones, el diseo "despus" presenta una promisoria lnea de desarrollo
en la medida en que se logren disear pautas de evaluacin de impactos validadas por jueces
independientes. Si los tems de estas pautas de evaluacin ex post resultan vlidos y
confiables, podran ser utilizados como una forma operacional de evaluacin que obvia las
limitaciones de discrecionalidad o subjetividad derivadas de los informes de actividades o
relatos de experiencias de proyectos.

La evaluacin de calidad segn usuarios

Una variante de la evaluacin despus se orienta a evaluar calidad de bienes y servicios
segn la percepcin de usuarios.. Actualmente se enfatiza la necesidad que los programas
sociales tengan servicios de calidad apropiada, tomando en consideracin no slo indicadores
de evaluacin de cobertura y costo, sino incorporar indicadores de facilidades de acceso,
expedicin y otros aspectos desde la perspectiva del cliente. Los actores en la determinacin
de indicadores de calidad de la atencin son beneficiarios/as.

Los indicadores caractersticos de evaluacin de calidad son: Oportunidad de atencin,
Continuidad de la prestacin, Precisin en la intervencin, Comodidad de locales, Trato
cordial. Disminuciones de tramites, en general Indicadores que reflejen satisfaccin del
usuario
10
y son especialmente pertinentes para detectar diferencias, sesgos o estereotipias de
gnero o por discriminacin social


10 Aunque en Amrica Latina solo se estn desarrollando recientemente, son de uso creciente en proyectos
del Banco Mundial (World Bank 1998)

El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

61
Los indicadores de calidad para tener sentido en la toma de decisiones necesitan de una
disponibilidad continua para registrar variaciones porcentuales en niveles de calidad segn
usuarios.

Considerando el nfasis en variables subjetivas en la evaluacin de calidad, se deberan
considerar dos condiciones: ser oportuna para la toma de decisiones del programa o proyecto
y tener costos razonables para su generacin y administracin. Esto ltimo por el necesario
uso de algunas tcnicas cualitativas.

VI. 12. Diseos cualitativos

La evaluacin cualitativa -tambin llamada "iluminativa"- enfatiza la interpretacin de
transformaciones subjetivas en los beneficiarios y los procesos interactivos subyacentes en
tales transformaciones. El nfasis est en el proceso de aprendizaje colectivo del grupo de
beneficiarios. (Briones, 1991).

Las evaluaciones iluminativas destacan variables grupales, en contraste a la opcin que
prima en los diseos experimentales, que no consideran factores comunitarios sino variables
individuales. Son especialmente aptas para programas no gubernamentales de pequea escala
y con un fuerte componente participativo.

La evaluacin iluminativa o cualitativa tiene variantes internas en funcin del grado de
complemento o reemplazo con que se sitan frente a la evaluacin tradicional. Todas ellas,
sin embargo, coinciden en ir ms all del diseo experimental y sus variantes o de incorporar
a los beneficiarios en la gestin del proyecto o programa. Enfatizan, mediante el uso de
tcnicas de investigacin cualitativa, en la deteccin de cambios en los diferentes planos de
la conducta humana (cognitivo, afectivo, psicomotor, organizacional, etc.). Sus sostenedores
critican el excesivo nfasis en la evaluacin clsica de resultados, que deja en la penumbra el
funcionamiento de procesos microsociales de cambio actitudinal y conductual (Richards,
1985).

La evaluacin cualitativa esta condicionada por el tipo de programa o proyecto a evaluar, el
cual puede situarse en algn de los modelos reseados en el Cuadro 9.

La forma ms flexible de evaluacin cualitativa es la llamada Libre de Objetivos, que
depende de una evaluacin comprehensiva, que aparte de objetivos directos se ampla a la
utilidad global (incluyendo efectos o externalidades) del programa o proyecto. La Critica
Artstica presume que la evaluacin es un proceso tan intuitivo y delicado como la
apreciacin artstica, luego mas la aplicacin de cnones cuantitativos solo cabe un juicio
especializado, opero necesariamente subjetivo, la evaluacin de base a Acreditacin se basa
en una apreciacin subjetiva pero sujeta a criterios preestablecidos, es tipo de evaluacin
muy comn para la acreditacin de instituciones u organizaciones para certificar sellos de
calidad ambiental, acadmica, o similares.




El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

62
El uso de expertos en la evaluacin de acreditacin

Dentro de la evaluacin de acreditacin es frecuente la recurrencia a jueces o expertos que se
apoyan en escalas multidimensionales que ponderen los diferentes componentes del diseo
del proyecto: este es el procedimiento utilizado para los proyectos cuyo financiamiento
proviene de fondos de inversin, proyectos municipales o descentralizados, o de la
cooperacin internacional. Especficamente, en la pauta de evaluacin de fondos de
inversin se priorizan dimensiones como la calidad de la presentacin, la justificacin de la
propuesta, la relacin producto-demanda, el presupuesto, la experiencia del ejecutor y la
participacin de los beneficiarios.

La limitante principal de esta modalidad de evaluacin es la validez que merecen las
dimensiones de evaluacin, la idoneidad de los jueces y la ponderacin relativa de las
subdimensiones que componen la pauta de diseo. A pesar de estas objeciones, esta
modalidad tiende a generalizarse como forma rpida y eficiente de priorizacin y seleccin
de proyectos sociales en pequea escala. Tambin se aplica en la evaluacin del impacto
ambiental en proyectos de inversin. (ILPES, 1993b).

Las pautas de evaluacin de los Fondos de Inversin, Emergencia o Solidaridad Social, por
el escaso presupuesto asignado a algunas lneas de proyectos, constrien al evaluador a
aplicar, de hecho, un criterio costo-efectividad, en la medida en que frente a la disyuntiva de
elegir entre varios proyectos de buena calidad, se tiende a optar por los de menor costo
unitario.

La Evaluacin Adversaria se basa en la consideracin que la evaluacin de proyecto es un
debate de opiniones contrapuestas, a favor o en contra de la iniciativa, luego se desarrolla un
mtodo forense para evaluar el proyecto. Por ultimo, la Evaluacin Transaccional es una
conciliacin de diversos actores y enfoques de evaluacin, por lo que se transa un esquema
negociado de evaluacin entre los diferentes actores involucrados en la gestin e impactos
del proyecto.

Algunas evaluaciones cualitativas se han aplicado a programas no convencionales de
educacin preescolar, educacin sexual, talleres de aprendizaje o refuerzo escolar en la
enseanza bsica, atencin primaria en salud y en general a programas de capacitacin y
educacin popular. En este campo, las temticas emergentes son, por ejemplo, el gnero, la
identidad cultural, la educacin ambiental, las ETS o el SIDA; por la escasa formalizacin de
las estrategias de intervencin, es probable que en sus inicios estos temas necesiten enfoques
cualitativos.

Las estrategias evaluativas enfatizan las transformaciones subjetivas de los usuarios de
proyectos y el proceso de aprendizaje y pedagoga grupal que se deriva de la misma
evaluacin. Para ello utiliza un variado espectro de tcnicas cualitativas que pueden ser
aplicadas en evaluaciones participativas (entrevistas grupales, dinmicas, juegos proyectivos,
etc.). Tales aproximaciones pueden ser aplicadas directamente en proyectos sociales locales.


El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

63
La utilidad de la evaluacin cualitativa se refuerza cuando es usada como complemento de
evaluaciones basadas en tcnicas costo-beneficio o de impacto, o centradas en cuestionarios
o resultados expresados en bienes o servicios provenientes de fuentes estadsticas.


El Agua S.A. Consultores Asociados J.M. de la Barra 508, of. 7. Santiago. Fono-fax 6327410 e -mail el_agua@entelchile.net

64
BIBLIOGRAFA

Bamberger, Michael (1982), Evaluation of sites and services projects. World Bank Staff
Working Papers N 549. IBRD, Washington D.C.

Briones, Guillermo (1991), Evaluacin de programas sociales. Editorial Trillas, Bogot.

CEPAL (1984), Proyectos de desarrollo de la mujer. Santiago.

CIAPEP (1985), Costos nacionales diferenciales de localizacin de viviendas sociales
bsicas. Instituto de Economa, Universidad Catlica. Santiago.

FNUAP (1988), Directrices del FNUAP relativas a la formulacin y la evaluacin
preliminar de proyectos. Santiago.

FOSIS (1992), Gua para la formulacin de proyectos, Santiago.

ILPES (1993a), Bases metodolgicas para la programacin y administracin eficiente de la
administracin pblica. LC/IP/L 81, Santiago.

ILPES (1993b), Manual metodolgico de identificacin, preparacin y evaluacin de
proyectos ambientales. LC/IP/L88, Santiago.

ILPES (1994), Mtodos de anlisis prospectivo: resea y su utilidad en proyectos de
inversin, LC/IP/L91, Santiago.

OPS (1986), Manual sobre el enfoque de riesgo en la atencin maternoinfantil. Serie
PALTEX N 7. Washington D.C.

Richards, Howard (1985), Evaluation of cultural action. MacMillan, Londres.

Sann, Hctor (1995), Gua metodolgica general para la preparacin y evaluacin de
proyectos de inversin social. ILPES. LC/IP/L.114, Santiago.

Wurgaft, Jos (1993), Fondos de inversin social en Amrica Latina. PREALC, Santiago.

You might also like