Propuesta de Un Sistema de Meta - Dopico Mateo, Ileana

Propuesta de un sistema de
metaevaluación para el aseguramiento

de la calidad de los procesos de
evaluación externa y acreditación de
los programas de maestría en Cuba
Ileana Dopico Mateo

Portadilla
República de Cuba - Universidad de la Habana
Propuesta de un sistema de metaevaluación para

el aseguramiento de la calidad de los procesos de
evaluación externa y acreditación de los
programas de maestría en Cuba
Tesis presentada en opción al grado científico de Doctor en Ciencias
de la Educación
Ileana Dopico Mateo

Portada
República de Cuba - Universidad de la Habana
Propuesta de un sistema de metaevaluación para

el aseguramiento de la calidad de los procesos de
evaluación externa y acreditación de los
programas de maestría en Cuba
Tesis presentada en opción al grado científico de Doctor en Ciencias
de la Educación
Ileana Dopico Mateo
Ciudad de La Habana, 2007

Página legal
378-Dop-P
Propuesta de un sistema de metaevaluación para el aseguramiento de la calidad de los
procesos de evaluación externa y acreditación de los programas de maestría en Cuba /
Ileana Dopico Mateo. -- Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN
978-959-16-0788-1. -- 258 pág. -- Universidad de La Habana. -- Tesis (Doctor en Ciencias
de la Educación).
1. Dopico Mateo, Ileana
2. Ciencias de la Educación
Edición: Eduardo Cordero Ramírez

Corrección: Dr. C. Raúl G. Torricella Morales
Diseño de cubierta: Elisa Torricella Ramirez
Editorial Universitaria del Ministerio de Educación Superior de la

República de Cuba, 2008
La Editorial Universitaria publica bajo licencia Creative Commons de tipo

Reconocimiento No Comercial Sin Obra Derivada, se permite su copia y distribución por
cualquier medio siempre que mantenga el reconocimiento de sus autores, no haga uso
comercial de las obras y no realice ninguna modificación de ellas. La licencia completa
puede consultarse en:
http://creativecommons.org/licenses/by-nc-nd/2.5/ar/legalcode
Editorial Universitaria
Calle 23 entre F y G, No. 564,
El Vedado, Ciudad de La Habana, CP 10400, Cuba.
e-mail: torri@reduniv.edu.cu
Sitio Web: http://revistas.mes.edu.cu
Dedicatoria
Dedicatoria
A mi hijo, siempre vivo en mis recuerdos y en mis presentes
A mi esposo, por siempre
A mis padres, ejemplos de honestidad y sacrificio
Agradecimientos
Agradecimientos
Agradezco a todos mis compañeros y amigos que se han preocupado por el desarrollo de
este trabajo investigativo, demostrando su confianza en mí y estimulándome, en todo
momento, a seguir adelante.
Agradezco a todos los colegas, principalmente del MES y del CEPES, que tan gentilmente
accedieron a brindarme su apoyo, conocimientos y sugerencias, así como a todas aquellas
personas víctimas de mis entrevistas.
Un especial agradecimiento a mis tutores el Dr. Jorge Núñez Jover, de la Universidad de La
Habana, cuyo juicio estricto y confiable ha sido para mí un gran reto en la conclusión de
este trabajo y al Dr. Ramón Pérez Pérez, de la Universidad de Oviedo, quien armado de
mucha paciencia, me ha dado todo su apoyo, comprensión y aliento durante tanto tiempo.
Mi agradecimiento eterno a quien, todos estos años, me ha inspirado e incitado a no
desmayar, mostrando su fe en mí y en mi trabajo; a quien ha estado a mi lado en los
momentos más difíciles, dándome siempre los consejos y orientaciones más sabias. A
Armando Plasencia Salgueiro, mi esposo.
Índice general
Índice
Propuesta de un sistema de metaevaluación para el aseguramiento de la calidad de los procesos
de evaluación externa y acreditación de los programas de maestría en Cuba..................................1
Portadilla.........................................................................................................................................2
Portada............................................................................................................................................3
Página legal....................................................................................................................................4
Dedicatoria......................................................................................................................................5
Agradecimientos..............................................................................................................................6
Índice general..................................................................................................................................7
Síntesis........................................................................................................................................9
Cuerpo del Texto........................................................................................................................10
1- INTRODUCCIÓN................................................................................................................11
1.1- Problema de Investigación...........................................................................................13
1.2- Preguntas científicas....................................................................................................13
1.3- Objeto de estudio.........................................................................................................13
1.4- Campo de acción..........................................................................................................13
1.5- Límite de la investigación.............................................................................................13
1.6- Objetivos específicos....................................................................................................13
1.7- Tareas de investigación................................................................................................14
1.8- Fundamentos................................................................................................................14
1.9- Métodos de investigación.............................................................................................17
1.10- Antecedentes..............................................................................................................18
1.11- Novedad de la tesis....................................................................................................18
1.12- Estructura de la tesis..................................................................................................19
2- LA EVALUACIÓN Y LA METAEVALUACIÓN PARA EL ASEGURAMIENTO DE LA
CALIDAD DE PROGRAMAS E INSTITUCIONES EDUCATIVAS.......................................20
2.1- Calidad, Evaluación y Acreditación en la educación superior......................................20
2.1.1- Elementos epistemológicos sobre la evaluación en el ámbito educativo...............21
2.2- Usos y ámbitos de actuación e influencia de la evaluación..........................................26
2.3- 1.3. El Sistema Integral de Evaluación (SIEVAL) y sus componentes.........................31
2.4- Puntos de partida para juzgar la calidad de la evaluación............................................34
2.5- La Metaevaluación como concepción para la evaluación de la evaluación..................37
2.5.1- El concepto de Metaevaluación..............................................................................37
2.5.2- Focos de atención de la Metaevaluación para evaluar la evaluación.....................41
2.5.3- La Metaevaluación en su práctica actual ..............................................................45
2.6- Referencias bibliográficas............................................................................................47
3- LA EVALUACIÓN Y LA ACREDITACIÓN: ESTRATEGIAS PARA EL ASEGURAMIENTO
DE LA CALIDAD DE LA EDUCACIÓN SUPERIOR EN SU PRÁCTICA INTERNACIONAL Y
NACIONAL ACTUAL...........................................................................................................51
3.1- Características y tendencias en la práctica evaluativa internacional............................51
3.2- La experiencia evaluativa en la educación superior cubana. Nuevas perspectivas.....57
3.2.1- El Sistema de Evaluación y Acreditación de Maestrías: una descripción necesaria
......................................................................................................................................60
3.2.2- Implementación de los procesos de evaluación externa y acreditación.................61
3.2.3- Singularidades de la práctica evaluativa en la educación superior cubana ...........64
3.3- Referencias Bibliograficas............................................................................................67
4- APROXIMACIONES METAEVALUATIVAS AL SEA-M......................................................69
4.1- Etapas y tareas de la investigación..............................................................................69
4.2- Resultados obtenidos de las Tareas investigativas 2, 3, 4 y 5.....................................72
4.2.1- Tareas 3 y 4: Revisión de procesos de evaluación externa y acreditación
culminados: elaboración de la ficha técnica..................................................................74
4.2.2- Tarea 5: Realización de las entrevistas..................................................................75
4.3- Metodología para identificar criterios metaevaluables..................................................85
5- DISEÑO DEL SISTEMA DE METAEVALUACIÓN PARA EL ASEGURAMIENTO DE LA
CALIDAD DE LA PRÁCTICA EVALUATIVA EN EL MARCO DEL SISTEMA CUBANO DE
EVALUACIÓN Y ACREDITACIÓN DE LAS MAESTRIAS (SEA-M)....................................90
5.1- Marco teórico-conceptual.............................................................................................91
5.1.1- Sobre el concepto de metaevaluación y su tipología en el marco del SisMeta......91
5.1.2- Sobre los ámbitos de influencia y actuación de la metaevaluación........................98
5.1.3- La metaevaluación como sistema: sus elementos...............................................100
5.1.4- La guía de metaevaluación: su descripción.........................................................101
5.1.5- Modelación informática del sistema de metaevaluación......................................103
5.2- Marco metodológico...................................................................................................107
5.3- Marco organizativo-institucional.................................................................................108
5.4- Marco legal-normativo................................................................................................109
6- CONCLUSIONES.............................................................................................................112
7- RECOMENDACIONES.....................................................................................................116
8- BIBLIOGRAFÍA.................................................................................................................117
9- SITIOS WEB VISITADOS.................................................................................................133
10- ANEXOS.........................................................................................................................134
Síntesis
La presentes tesis en opción al grado de doctor en Ciencias de la Educación trata de
demostrar que con la creación e implementación de un Sistema de Metaevaluación
(SisMeta) se facilitará el aseguramiento de la calidad y el perfeccionamiento de los
procesos de evaluación externa y de acreditación de los programas de maestrías y del
propio Sistema de Evaluación y Acreditación (SEA-M) al propiciar la detección de sus
debilidades (no conformidades) y fortalezas. Este perfeccionamiento estará basado en el
conocimiento que se deriva de la obtención y procesamiento de información sobre la
práctica evaluativa mediante la ejecución de procesos metaevaluativos, lo que coadyuvará
también a la realización de investigaciones y estudios comparativos, de tendencias y de
impacto en el campo de la evaluación y acreditación.
Con la aplicación de esta metodología metaevaluativa para el monitoreo sistemático de la
evaluación externa y la acreditación se protegerán también los objetos evaluados y a todas
aquellas personas e instancias que intervienen en dichos procesos al ser ejecutados por un
Órgano Metaevaluador, el cual se desempeñará como una entidad independiente de las
instancias responsables de la evaluación y acreditación de las maestrías y jugará un rol
mediador entre las partes involucradas.
El SisMeta contribuirá al estudio constante de la práctica evaluativa no sólo en el marco del
SEA-M, su concepción es aplicable también a los otros sistemas de evaluación y
acreditación del Sistema Universitario de Programas de Acreditación (SUPRA). En otros
países la metaevaluación es empleada con diferentes objetivos y como tal se concibe
indistintamente. En Cuba, esta propuesta es pionera en el campo de la educación.
Cuerpo del Texto
Todas las universidades de Cuba en una:

11 Propuesta de un sistema de metaevaluación para el aseguramiento (...)
1- Introducción
El proceso de desarrollo y consolidación de la evaluación educativa ha estado condicionado
por necesidades o demandas sociales y por exigencias científicas y político- económicas
impuestas a la educación. La preocupación por la calidad de la educación no es rasgo
exclusivo del siglo XX, pero la promoción de estudios e investigaciones más completas
sobre la misma sí pueden ser ubicados a principios del mismo en Estados Unidos. Al
implementarse la “gestión de la calidad” en la educación a semejanza con el ámbito
empresarial se persigue el objetivo de convertir el sistema de educación en un sistema
“dinámico e innovador que a la vez se fuera innovando a sí mismo”[i], obligándose a la
escuela “a adecuarse a las exigencias del aparato productivo”[ii] para que respondiera más
eficientemente a las exigencias sociales y gubernamentales ante la posibilidad de un apoyo
financiero cada vez mayor. Con la evolución del concepto de calidad en la educación y su
afán en medirla surge entonces la intención de certificarla o acreditarla, lo cual responde a
motivaciones no sólo sociales, sino también económicas y políticas.
La década de los 90’ del siglo pasado se ha caracterizado por un auge de la evaluación en
muchas regiones del planeta que al fundamentarlo se plantea que la evaluación no es sino
“una forma distinta y nueva de hacer política o de explicarla por medio de los logros
alcanzados o fallidos enfatizándose en la eficacia”[iii]. Desde sus orígenes la actividad
evaluativa se ha extendido por el mundo ganando más defensores y, no obstante la variedad
de las tendencias evaluativas, se han mantenido sus objetivos principales, sustentados en la
expansión y diversificación de los sistemas educativos, la movilidad de estudiantes y
profesores, la comprobación de la efectividad de la educación que se brinda, la justificación
de las inversiones que se hacen en ella, el cumplimiento de las reglas que impone la
competitividad entre instituciones y programas y la satisfacción del mercado laboral,
inmersos en los procesos de globalización e internacionalización que matiza al mundo
académico de hoy. En este marco, donde la educación se desarrolla actualmente, la
certificación o acreditación de su calidad es la garantía en su transitar por los vaivenes de la
internacionalización y en el posicionamiento de un lugar relevante dentro de la llamada
sociedad del conocimiento por lo que hablar de evaluación y acreditación de la calidad de
la educación es referirse a puntos de partida, expectativas y logros de la educación, en
general y de la universidad, en particular.
Sin embargo, hay que hacer un alerta en la carrera maratónica por evaluar y acreditar la
calidad de instituciones y programas educativos que puede envilecer esta práctica,
convirtiéndola en una máquina de medición y entrega de certificaciones para irse por
derroteros que no implicarían, precisamente, la mejora y el perfeccionamiento en la
educación, olvidándose, una vez obtenido el estandarte correspondiente de calidad, voltear
la cabeza y plantearse qué es lo que hay que cambiar y transformar. En el desarrollo de la
actividad evaluativa se identifican, además, otros aspectos neurálgicos: determinar quién
Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

Propuesta de un sistema de metaevaluación para el aseguramiento (...) 12
evalúa y cómo se evalúa y, sobre todo, para qué se evalúa, ya que evaluar “es mucho más
que un problema técnico y tiene claras implicaciones en la distribución de los recursos y el
ejercicio del poder” [iv]. No sólo es importante cuidar de la calidad de lo que se evalúa,
sino también de la calidad de cómo se evalúa: los métodos escogidos, el diseño del sistema
de evaluación, qué condiciones cumple el instrumento (o instrumentos) utilizado y si las
personas escogidas para llevar a cabo esta actividad son las idóneas o no para
cumplimentarla. Para saber si el sistema de evaluación cumple con las cualidades
indispensables, él mismo debe ser sometido a un análisis que evidencie su calidad,
sustentada en su validez y fiabilidad. Aparece, entonces, la Metaevaluación como
metodología para el aseguramiento de la calidad de los procesos de evaluación externa y
acreditación y el posterior perfeccionamiento del sistema de evaluación y acreditación
implementado.
En Cuba, a partir de la oficialización del Sistema de Evaluación y Acreditación de las
Maestrías (SEA-M), en 1999, se puede hablar de una nueva etapa en el control de la
calidad en la educación superior cubana, porque hasta la fecha no existía un sistema que
integrara los procesos de evaluación (autoevaluación, evaluación externa) y acreditación en
el ámbito educativo, en general, y especialmente para los estudios de posgrado. Se
desarrolla, por tanto, una proyección, concepción, metodología, y una cultura evaluativa de
nuevo tipo que deberá reflejar y adaptarse a las nuevas tendencias internacionales en
materia de acreditación, pero sin alejarse de la realidad cubana, enriquecida en los últimos
tiempos, con el desarrollo de la Universalización: concepción que integra, a las ya
existentes, novedosas modalidades de estudio en el nivel superior entendiendo a la calidad
como la garantía de “mayores niveles de equidad y de justicia social en la obtención de una
elevada cultura integral de los ciudadanos”[v]. Se integran en este concepto de calidad tres
factores fundamentales: la Excelencia Académica de sus programas, desde la sede central
hasta las sedes municipales; la Pertinencia Integral del quehacer universitario para alcanzar
una Universidad eficiente y eficaz que responda a las necesidades educativas de la sociedad
cubana actual; y el Pleno Acceso, Permanencia y Egreso, condición indispensable para
alcanzar el paradigma de la “Educación para todos durante toda la vida”.
En la actualidad, cuando la educación superior cubana está inmersa en procesos de
evaluación y acreditación de sus programas de posgrado, carreras e instituciones, se hace
imprescindible, por tanto, identificar las deficiencias y las fortalezas de los procesos de
evaluación externa y acreditación, prevenir y corregir errores, consolidar y extender la
cultura evaluativa a todos los niveles y establecer un mecanismo que permita el
perfeccionamiento del Sistema de Evaluación y Acreditación instaurado. Aunque se haya
puesto de manifiesto un salto de calidad en este campo, queda mucho por hacer, sobre todo,
teniendo en cuenta las nuevas y diversas perspectivas con que cuenta la universidad para
ampliar su acceso a la mayor cantidad de personas posible, lo que requerirá nuevas formas

o alternativas para evaluarse y acreditarse o hacer adaptables las ya existentes. Esto

conduce a formular el siguiente
1.1- Problema de Investigación

¿Qué características debe cumplir un Sistema de Metaevaluación para que propicie el
aseguramiento continuo de la calidad de los procesos de evaluación externa y acreditación
de los programas de maestría y contribuir al perfeccionamiento del SEA-M?
1.2- Preguntas científicas

1 ¿Qué concepción se asume en la creación del Sistema de Metaevaluación (SisMeta)?
2 ¿Qué elementos componen al Sistema de Metaevaluación?
3 ¿Cómo se implementarán los procesos de metaevaluación en el marco del SisMeta?
4 ¿Cómo validar la factibilidad del SisMeta?
5 ¿Cómo contribuirán los resultados obtenidos de la implementación del SisMeta en el
aseguramiento continuo de la calidad de los procesos de evaluación externa y
acreditación y en el perfeccionamiento del SEA-M?
1.3- Objeto de estudio

Evaluación externa y acreditación de los programas de maestría
1.4- Campo de acción

Metaevaluación de los procesos de evaluación externa y acreditación
1.5- Límite de la investigación

El aseguramiento continuo de la calidad de los procesos de evaluación externa y
acreditación de los programas de maestría.
Objetivo: Fundamentar y crear un Sistema de Metaevaluación que propicie el
aseguramiento continuo de la calidad de los procesos de evaluación externa y acreditación
de los programas de maestría y contribuir al perfeccionamiento del SEA-M.
1.6- Objetivos específicos

1 Desarrollar la concepción del Sistema de Metaevaluación (SisMeta) e identificar sus
características: componentes, relaciones y cualidades.
2 Diseñar una metodología metaevaluativa que incluya:

– Diseño de una Guía de Metaevaluación

– Diseño de documentos para la recogida de la información procesada y obtenida
durante el proceso de metaevaluación.
3 Proponer los principios de “Buenas Prácticas” para la implementación del SisMeta.
4 Realizar la modelación informática del SisMeta para demostrar la factibilidad y validez
de la metodología metaevaluativa propuesta.
1.7- Tareas de investigación

Para lograr los objetivos propuestos se definieron las siguientes Tareas:
1 Establecer el estado del arte sobre la práctica evaluativa y metaevaluativa en el ámbito
internacional y nacional para llegar a la concepción particular del SisMeta.
2 Estudiar los documentos normativos del SEA-M para identificar su base conceptual,
delimitar las funciones de cada instancia involucrada en los procesos de evaluación
externa y acreditación y determinar los aspectos de obligado cumplimiento en la
actuación de evaluadores y evaluados, a tener en cuenta en la metodología
metaevaluativa, en la propuesta de principios de “Buenas Prácticas” y en los parámetros
metaevaluables.
3 Realizar el estudio de los documentos inherentes a procesos de evaluación externa y
acreditación de programas de maestrías culminados para determinar sus debilidades y
fortalezas que serán identificadas dentro de los parámetros metaevaluables y comprobar,
en el contexto real, la información útil para un proceso metaevaluativo.
4 Elaborar el documento Ficha Técnica, donde se reflejará la información sobre los
procesos de evaluación externa y acreditación obtenida por los metaevaluadores.
5 Realizar entrevistas a especialistas y personal relacionado o involucrado en los procesos
de evaluación externa y acreditación de las maestrías para conocer la realidad de estos
procesos, sondear el estado de opinión sobre la necesidad de la metaevaluación y validar
y perfeccionar la concepción del SisMeta.
6 Modelar los procesos y componentes inherentes al SisMeta mediante la herramienta All
Fusion Process Modeler para su validación y perfeccionamiento.
1.8- Fundamentos
La presente tesis tiene los siguientes fundamentos:
• La evaluación, herramienta que favorece la gestión del cambio hacia la eficacia, proceso
a largo y mediano plazo que exige revisión - mejora - evaluación – mejora, no escapa,
ella misma, a ese ciclo. Entiéndase por mejora, el cambio cualitativo, concreto, puntual,

deseable y aplicable para que cualquier actividad pueda ser mejorada y es, de hecho,
mejorable, lo que implica identificar y asumir sus propias limitaciones, aceptar la
responsabilidad de sus intervenciones e incorporar una sana inclinación hacia la
superación.
• Un sistema de evaluación debe ser considerado un sistema integral cuyos procesos,
elementos y agentes se muestran en una dinámica de interrelaciones mediante flujos de
información y al que se le denominará Sistema Integral de Evaluación (SIEVAL),
integrado, como un todo, por los procesos de evaluación interna, evaluación externa y de
acreditación y además, prevé en su diseño un componente metaevaluativo, donde la
autoevaluación es el punto de partida para la materialización de los otros procesos y la
metaevaluación es un nivel cualitativamente superior de ratificación de la validez de los
procesos precedentes y de todo el sistema.
• Cada uno de los procesos del SIEVAL, a su vez, son procesos independientes al tener
sus propios elementos, interrelaciones, agentes, su metodología y lógica, asumiendo una
complejidad propia. Cada proceso es autoreferente y a su vez referente del otro en tanto
que la evaluación interna precede y es requisito para la evaluación externa y la
acreditación, pero no necesariamente conlleva a estas; la evaluación externa es requisito
indispensable para la acreditación, al aportar la información imprescindible sobre el
objeto a acreditar, pero no conduce obligatoriamente a la certificación; la acreditación es
un proceso que tiene como requisito precedente la realización de la evaluación externa e
implica y está dirigida a la certificación del objeto evaluado.
• El proceso de metaevaluación es parte y responde a un Sistema de Metaevaluación
(SisMeta) que contempla una metodología y un instrumento metaevaluativo. El SisMeta
está integrado por componentes propios y ejecutado por sus agentes, es independiente al
sistema de evaluación y acreditación y puede fungir como un tercero. Su foco de
atención son los procesos de evaluación externa y acreditación, en este caso de
programas de maestrías.
• En su praxis, la evaluación externa lucha contra tres grandes adversarios: su complejidad,
la subjetividad y el tiempo. Evaluar es un proceso complejo donde intervienen muchas
personas y se manipula un gran volumen de información siempre en ascenso. Evaluar un
programa o una institución pormenorizadamente, a la perfección y exento de
insuficiencias en un plazo de tiempo establecido, resulta una tarea muy difícil. Evaluar
sin la presencia de la subjetividad, trasmitida a la selección y valoración de la
información, a los juicios y a la observancia de los procederes por las personas
implicadas, es algo quimérico.
• Teniendo en cuenta que el uso de los resultados y de la información propiciada por la
evaluación externa y la acreditación, su relación con la posterior toma de decisiones en
los diferentes ámbitos (político, social, institucional y científico) y con la mejora de los

procesos educativos, estos procesos tienen un mayor impacto y trascendencia en un radio

de acción mayor. En tanto que la Metaevaluación velará por el “buen uso” de dicha
información, base sobre la que se sustenta la responsabilidad de la evaluación en su
capacidad de respuesta por la calidad como una función determinantemente social. De
una metodología evaluativa débil, de un sistema de evaluación deficiente en su
concepción y en su implementación podría derivarse una información no válida y un
indebido uso de la misma, lo que implicaría impactos negativos de la evaluación. Aquí
entra a jugar su papel la Metaevaluación como termómetro de la veracidad, viabilidad,
objetividad y fiabilidad de la información almacenada y procesada en la práctica
evaluativa al velar por el respeto a lo diseñado y reglamentado con el único fin de
alcanzar lo deseado: la calidad de los procesos de evaluación externa y acreditación, en
este caso, de los programas de maestrías y el perfeccionamiento del sistema de
evaluación que los ampara.
• El concepto de Metaevaluación se maneja desde 1968 y su introductor, el profesor
norteamericano Scriven, expresa que “los evaluadores tienen la obligación profesional de
que las evaluaciones propuestas o finalizadas estén sujetas a una evaluación competente,
la metaevaluación; de que la evaluación, para decirlo en sus mismos términos, "empiece
en casa". Su base racional es que “la evaluación es un tema particularmente auto-
referente, puesto que se aplica a todos los esfuerzos humanos serios y, en consecuencia, a
la propia evaluación”[vi]. Pero la Metaevaluación va más allá. En un primer
acercamiento práctico se puede aseverar que ésta valorará la calidad con que se
desarrolló el proceso de evaluación externa y de acreditación y la suficiencia del sistema
de evaluación en cuestión, ratificando a su vez las fortalezas y debilidades de los
programas que han sido evaluados, ya sean las detectadas por la evaluación externa como
aquellas otras identificadas por los metaevaluadores y que los evaluadores no fueron
capaces de precisar durante su actuación. Desde un plano superior, con la
Metaevaluación, se ratificarán o no los principios en que se inspira la política evaluativa
difundida, cuyo lugar cimero lo deben ocupar, la pertinencia, la justeza y el carácter
participativo de la evaluación.
• La finalidad principal de la Metaevaluación es el perfeccionamiento del sistema de
evaluación vigente, de sus procesos y procedimientos y del propio objeto evaluado,
tomando en consideración que la Metaevaluación y la Evaluación generan un círculo
autoreferente sobre la calidad, tanto del objeto evaluado, como del metaevaluado
posibilitando su desarrollo prospectivo. No obstante, la Metaevaluación no deja de ser un
recurso o una alternativa práctica ante posibles discrepancias surgidas durante y después
de realizada la evaluación externa o para identificar las posibles violaciones u omisiones
durante el proceso de evaluación externa y acreditación, con ella se pretende proteger a
los objetos evaluados y a todas aquellas personas que intervienen en los procesos
evaluativos: evaluados y evaluadores.

• La meta de todos estos procesos debe ser la mejora continua del objeto evaluado y del
objeto metaevaluado.
• La modelación informática del SisMeta permite representar, como si fuera en la realidad,
la complejidad de los procesos de evaluación externa, acreditación y metaevaluación en
un modelo de retroalimentación de la información útil, cuyo flujo se basa en la relación
Input-Output-Input que permite comparar lo obtenido en el modelo con la entrada
recibida. Este modelo posibilita detectar las actividades necesarias y la información útil,
desechando lo redundante; simular el cumplimiento ideal-real de los procederes
reglamentados; y almacenar en una Base de Datos la información productiva y el
conocimiento alcanzado para el posterior perfeccionamiento del sistema de evaluación y
acreditación.
1.9- Métodos de investigación

Para el cumplimiento de las tareas durante las etapas investigativas se han utilizado
métodos y técnicas de investigación basadas en el método lógico-histórico, inductivo-
deductivo, el analítico-sintético, el método sistémico, la modelación, métodos cualitativos,
tratamiento estadístico, la entrevista, la revisión documental y bibliográfica y la utilización
de mapas conceptuales. Se seleccionaron aleatoriamente procesos de evaluación y
acreditación realizados en el ámbito nacional para estudiar los documentos y realizar
entrevistas a las personas involucradas en los mismos, así como a responsables y ejecutores
de la política evaluativa en la educación superior y a una especialista de la ONARC.
En el diseño y resultado de esta investigación influyeron extraordinariamente la posibilidad
de colaborar directamente con las instancias del Ministerio de Educación Superior,
responsables de los procesos de evaluación externa y acreditación; participar en reuniones
del CTE y de la JAN (como observadora) y en un seminario de preparación de expertos;
tomar parte directamente en la determinación de la evaluabilidad de programas y en la
revisión de documentos normativos: Reglamento del SEAM y documentos de
procedimientos de la Evaluación Externa y la Acreditación. Además, la autora ha tenido la
oportunidad de emitir sus criterios y dar algunos de los resultados parciales de su
investigación a la Dirección de Evaluación del MES e intercambiar con los especialistas del
CTE y de la Dirección de Posgrado del MES, lo que también posibilitó conocer, en la
práctica, cómo se desarrollan los procesos de evaluación externa y acreditación de los
programas de maestrías en Cuba y constatar que muchas de las recomendaciones dadas se
han tenido en cuenta sin esperar las conclusiones de esta tesis y otras están en vías de
implementarse.
En el transcurso de esta investigación se evidenció que en la implementación de los
procesos de evaluación externa y acreditación en el marco del SEA-M, a pesar de todo el
esfuerzo desplegado y de lo que se ha ganado en calidad, concurren debilidades

relacionadas con la claridad en los procederes y el cumplimiento de lo normado; con la

metodología y las técnicas aplicadas; con la comunicación y la retroalimentación entre
todos los involucrados; con la organización de los procesos por todas las partes; con
limitaciones o ambigüedades en lo reglamentado; con la cultura evaluativa que aún no ha
alcanzado su pleno desarrollo en el ámbito educativo cubano, entre otras, descritas en el
Capítulo III. Debilidades cuya identificación, más que una crítica, debe servir de incentivo
para seguir trabajando en aras del perfeccionamiento de la práctica evaluativa en la
educación superior cubana, la cual al asumir una nueva concepción y proyección resulta
muy joven aún en comparación con la práctica evaluativa internacional.
1.10- Antecedentes
El presente trabajo investigativo tiene como antecedentes la tesis presentada para la
obtención del título de master (2000), con el tema: La Guía de Evaluación del Sistema de
Evaluación y Acreditación de Maestrías (SEAM). Algunas consideraciones, que representó
en sí un primer acercamiento metaevaluativo al SEAM[vii] y entre sus recomendaciones se
planteó la necesidad de “mantener un sistemático monitoreo al SEAM, según se vaya
aplicando por todo el país, para su constante perfeccionamiento y someterlo a una
metaevaluación” por lo que la tesis que se somete a consideración es la continuidad
temática de la anterior. En segundo lugar, esta línea investigativa formó parte del proyecto
de la Dirección de Posgrado de la UH, aprobado por el MES, Gestión del Posgrado en la
Universidad: el desarrollo de la evaluación y la metaevaluación (febrero del 2003).
Además, las ponencias presentadas en los 3ro y 4to Congreso Internacional de Educación
Superior: Universidad 2002 y 2004: Evaluar la evaluación en la búsqueda de la
calidad[viii] y La evaluación y la metaevaluación: dos procesos y una estrategia para la
gestión de la calidad[ix], respectivamente, así como, los artículos publicados:
Metaevaluación: ¿Por qué y para qué?[x] y La evaluación de programas como
sistema[xi].
1.11- Novedad de la tesis

Como aspectos novedosos del trabajo se pudiera señalar el enfoque de sistema de los
procesos de evaluación externa, acreditación y metaevaluación; la aplicación de
herramientas de conceptualización y modelación informática como son los mapas
conceptuales y el All Fusion Process Modeler (BPwin) respectivamente; y por último, la
propia investigación al no contarse en el país, que se conozca hasta el momento, con otro
estudio de esta índole sobre metaevaluación en el ámbito educacional. Como aportes se
pudieran mencionar los siguientes: la metodología metaevaluativa propuesta de la cual
pueden derivarse instrumentos o una metodología similar aplicable a los otros subsistemas
del SUPRA; la concepción del Sistema de Metaevaluación desde el punto de la Gestión de

Información a través de su modelación; una recopilación bibliográfica actualizada sobre

evaluación y especialmente sobre metaevaluación; y la confección de un Glosario.
1.12- Estructura de la tesis

La memoria escrita de la tesis está estructurada en cuatro capítulos, conclusiones,
bibliografía consultada, bibliografía referenciada en cada capítulo, glosario y anexos. Los
capítulos son:
Capítulo I. La Evaluación y la Metaevaluación para el aseguramiento de la calidad de
programas e instituciones educativas: desarrolla los conceptos de calidad, evaluación y
acreditación; describe elementos epistemológicos claves sobre evaluación y
metaevaluación, y las tendencias internacionales en su implementación. El contenido del
capítulo es el resultado de la Tarea investigativa 1
Capítulo II. La Evaluación y la Acreditación: estrategias para el aseguramiento de la
calidad de la educación superior en su práctica internacional y nacional actual: describe las
tendencias generales en la práctica evaluativa en el mundo de hoy y en Cuba como
resultado del cumplimiento de la Tarea investigativa 1.
Capítulo III. Aproximaciones metaevaluativas al SEA-M: describe las etapas investigativas
y los resultados de las Tareas investigativas 2, 3, 4 y 5: diseño de la Guía de
Metaevaluación, información obtenida de las entrevistas y del estudio de toda la
documentación.
Capítulo IV. Diseño del Sistema de Metaevaluación para el aseguramiento de la calidad de
la práctica evaluativa en el marco del Sistema cubano de Evaluación y Acreditación de las
Maestrías (SEA-M): presenta el diseño del SisMeta: marco teórico-conceptual,
metodológico, organizativo-institucional y el legal-normativo; ámbitos, tipología, focos de
atención y etapas de la metaevaluación; la modelación informática de los procesos
mediante la herramienta All Fusion Process Modeler (BPwin); y presenta la Guía de
Metaevaluación, la metodología y los principios de “ buenas prácticas”.
La Bibliografía consultada alcanza un total de 225 documentos cuya recopilación fue
posible a las estancias realizadas en la Universidad de Oviedo y a la búsqueda en Internet.
En ella están representados autores norteamericanos, europeos y latinoamericanos entre los
cuales hay nombres que resultan de obligada referencia. La bibliografía sobre la evaluación
en educación resultó más prolífera que sobre la metaevaluación propiamente dicha.

2- La evaluación y la metaevaluación para el aseguramiento

de la calidad de programas e instituciones educativas
En este capítulo se abordarán elementos epistemológicos sobre la evaluación y la
metaevaluación considerados elementos claves para llegar a la concepción de un Sistema de
Metaevaluación. Se propondrán las pautas, que en opinión de la autora, permitirán
establecer la calidad de la evaluación y moderar, reducir y/o eliminar sus desventajas o
“peligros”.
2.1- Calidad, Evaluación y Acreditación en la educación superior

La concepción y práctica de la evaluación en educación están estrechamente relacionadas
con el desarrollo del concepto de “calidad”, respaldado por múltiples tendencias y
entendido, principalmente, a través de sus dimensiones extrínseca e intrínseca y su íntimo
vínculo con el desarrollo económico -social de la sociedad cuando se responde a las
demandas de esta de acreditar la calidad de un servicio o una actividad, sea productiva,
comercial, social o cultural de la que se sirve dicha sociedad o determinados sectores de la
misma.
Dentro del ámbito educativo los diferentes actores pueden defender uno u otro concepto de
calidad enmarcándola en función de los fines que le atribuyen a la educación superior y
según sus intereses. A pesar de las múltiples posiciones sobre el tema de la calidad
universitaria, existe el consenso en delimitarla en dos grandes perspectivas: la intrínseca
(absoluta) y la extrínseca (relativa). La primera hace referencia al acatamiento o respeto a
las exigencias epistemológicas de una ciencia, de una disciplina. La segunda se refiere a la
pertinencia: la correlación con las necesidades del entorno y se relaciona con los servicios
proporcionados a la sociedad, es decir, apunta al concepto “responsabilidad externa” que no
es más que el requerimiento de demostrar a uno o más públicos externos que se ha actuado
responsablemente.[i] La educación superior puede hacerse responsable ante diversos
sectores de interés externos: los gobiernos que la financian, los estudiantes que se inscriben
en sus programas académicos, los empleadores que ofrecen ocupación a sus egresados, y
los destinatarios de los proyectos de investigación o determinados cursos de capacitación.
La forma más completa de institucionalización del concepto de responsabilidad externa
reside en el mecanismo de acreditación, proceso en el que un organismo externo juzga el
nivel de calidad de uno o más programas académicos o de instituciones enteras con base en
normas previamente formuladas, claramente definidas y a través de un proceso evaluativo
que combina el autodiagnóstico con el juicio de grupos de pares.
En el Documento de Política para el cambio y el desarrollo en la educación superior, de la
UNESCO[ii], se afirma que las respuestas de la educación superior en un mundo que se
transforma deben guiarse por tres criterios: pertinencia, calidad e internacionalización que

determinan su jerarquía y su funcionamiento local, nacional e internacional, para lo cual la

pertinencia de la educación superior se considera primordialmente en función de su
cometido y su puesto en la sociedad con respecto a la enseñanza, la investigación y los
servicios conexos; de sus nexos con el mundo del trabajo en sentido amplio, con el Estado
y la financiación pública; y de sus interacciones con otros niveles y formas de educación.
Se apunta además que uno de los requisitos para una gestión y un funcionamiento
satisfactorios de la educación superior es el mantenimiento de buenas relaciones con el
Estado y la sociedad en su conjunto, basadas en los principios de libertad académica y
autonomía institucional y donde el estado puede y debe asumir una función catalítica y de
regulación, pero debe predominar el autogobierno de la educación superior. Por otra parte,
se ubica a la evaluación de la calidad como herramienta fundamental para encontrar
soluciones que aumenten la calidad de la educación superior, pero no enfocada solamente a
los aspectos financieros, ni relacionada exclusivamente con el funcionamiento global de las
instituciones de educación superior que se presta mejor a una medición cuantitativa en
forma de indicadores de calidad. Por último, se entiende la internacionalización de la
educación superior en respuesta al carácter universal del aprendizaje y la investigación,
fortalecida por los actuales procesos de integración económica y política y por la creciente
necesidad de entendimiento intercultural, basándose, ante todo, en la asociación y la
búsqueda colectiva de calidad y pertinencia en la educación superior.
Aparece entonces la preocupación por la gestión de la calidad en el ámbito de la educación,
entendida esta “como un conjunto de acciones dirigidas a garantizar la excelencia
académica de la oferta, más que como un simple proceso de “rendición de cuentas”[iii].
Como estrategia surgen los sistemas de garantía o aseguramiento de la calidad, que
rebasan a los tradicionales sistemas de “control y medición de la calidad” al incorporar el
concepto de mejora y estar dirigidos a la recolección y entrega de la información que
demanda la sociedad y el Estado para la determinación del grado de satisfacción con que se
desenvuelven las instituciones y programas educativos. Se entiende garantía de la calidad
[iv] (indistintamente aseguramiento de la calidad) como la atención sistemática,
estructurada y continua a la calidad en términos de mejora y a su mantenimiento.
2.1.1- Elementos epistemológicos sobre la evaluación en el ámbito

educativo
Se precisa que el término evaluación surge, “a partir del proceso de industrialización que se
produjo en Estados Unidos de Norteamérica a principios de este siglo (referido al XX), que
no sólo incidió y modificó la organización social y familiar de este país, sino que obligó a
la escuela adecuarse a las exigencias del aparato productivo” y que ya “desde 1916 en su
obra Administración general e industrial, Henry Fayol estableció los principios básicos de
toda la administración: planear, realizar y evaluar”[v]. Muchos autores dividen el desarrollo
de la concepción de la evaluación educativa en etapas, generaciones o momentos,

indistintamente (Stufflebeam y Shinkfield[vi], Guba y Lincoln [vii] y Jesús Garantos

Alós[viii], ver Anexos I, Pág.1-7). Por ejemplo, Garantos refiere que algunos tratadistas le
conceden un siglo de historia puesto que remiten sus orígenes a la preocupación e interés
por la medida de la conducta humana en el siglo XIX, otros consideran que no puede
hablarse de evaluación en educación hasta los años cincuenta, ya que las prácticas
anteriores sólo pueden ser identificadas con un proceder que caracteriza la medición y no la
evaluación.
Por tanto, se pone de manifiesto un nuevo fenómeno que se puede formular como la
extensión de un interés creciente por la evaluación de los sistemas educativos que produjo
un efecto directo en el rápido desarrollo de esta práctica, entendida como disciplina
científica y como práctica profesional, lo cual se refleja en las palabras de House[ix] “... la
evaluación ha pasado de ser una actividad marginal desarrollada a tiempo parcial por
académicos a convertirse en una pequeña industria profesionalizada, con sus propias
revistas, premios, reuniones, organizaciones y estándares”.
Según Pérez Gómez[x] , la evolución del concepto de evaluación puede concretarse en
cuatro aspectos: conceptual, dando cabida en la evaluación a resultados no previstos o
acontecimientos imprevisibles; de enfoque, posibilitando la recogida de datos sobre
productos y procesos; metodológico, pasando de la rígida e inflexible estrategia formal para
incluir procedimientos informales, llegando al pluralismo metodológico; y ético-político, ya
que la evaluación proporciona información a todos los implicados y recoge opiniones e
interpretaciones de los mismos (de la evaluación burocrática a la evaluación democrática).
Al analizar diversas definiciones se pudiera resumir que la evaluación, en el sentido más
amplio, es un proceso integral, permanente, continuo, acumulativo, válido, confiable,
objetivo, óptimo, cooperativo, participativo y basado en la información útil. A su vez, la
evaluación puede ser un proceso endógeno, exógeno o mixto. Como objetivos inherentes a
la evaluación se le atribuyen los siguientes: determinar el valor, el grado de éxito (grado de
congruencia entre necesidades, realizaciones y objetivos) y emitir juicios; describir,
analizar, delimitar, obtener y suministrar información del objeto que se evalúa y su
contexto; fundamentar y propiciar la mejora; y orientar al evaluado. Se pudieran citar
infinidades de conceptos sobre evaluación, pero se tomarán tres definiciones, que al aportar
elementos metodológicos esenciales de la evaluación, se complementan entre sí y sirven de
punto de partida para el presente trabajo investigativo.
Uno de los conceptos más difundidos de evaluación es el entenderla como un “juicio de
valor” sobre algo, sin embargo, Solarte[xi] llega a una concepción más científica al defender
que la evaluación, en su definición más amplia, es un tipo de investigación aplicada que
intenta determinar el valor de un esfuerzo, de una innovación, una intervención, algún
servicio o enfoque determinado y como rasgos distintivos de la evaluación precisa su
notoria interdisciplinariedad, ya que la teoría evaluativa ha sido desarrollada con el

concurso de diversas ciencias y disciplinas como parte integral de los procesos y

organizaciones que son su objeto de estudio; y su multiplicidad de campos de acción al ser
aplicable en cualquier organización objeto de estudio por parte de las diferentes áreas del
conocimiento. Sin embargo, lo más importante es que, aunque la evaluación se haya nutrido
de diversas fuentes para la construcción de sus modelos y enfoques, existe un denominador
común: el ser humano como sujeto de acciones con propósitos definidos, las cuales se
considera que deben ser evaluadas con algún fin.
Carol Weiss[xii] aporta una visión formativa del problema al definir la evaluación como “el
sistemático análisis de la operación y/o de los efectos de una política o programa,
comparándolo con un grupo de estándares implícitos o explícitos, como medio para
contribuir a mejorar el programa o la política”. Mientras que Michael Patton[xiii] introduce
elementos de la gestión de la información al afirmar que la práctica evaluativa incluye la
“recolección sistemática de información sobre las actividades, características y efectos de
programas, personal y productos para el uso de determinadas personas para reducir
incertidumbre, ganar efectividad y tomar decisiones con respecto a lo que estos programas,
personas o productos están logrando y afectando”, aunque su definición no resulta plena al
no especificar qué información necesita la evaluación y al no introducir todo el
procesamiento a que esta debe someterse: “delimitación, obtención y suministro de
información útil” como lo hacen Stufflebeam (1971) y Nilo Garzón (1978).
De las anteriores definiciones se desprende que, para transformar lo que se evalúa, evaluar
debe ser mucho más que la aplicación de un instrumento evaluativo que mida aspectos
aislados de un objeto o en su conjunto, según parámetros pre-establecidos. A consideración
de la autora, la evaluación asume al ser humano como centro de la acción, tanto el sujeto
que la recibe como el que la ejecuta; un escenario, el contexto natural donde se
desenvuelve el objeto a evaluar y la propia evaluación; y un telón de fondo, las diversas
tendencias sobre evaluación (filosóficas, psicológicas, metodológicas, pedagógicas) y los
aportes de las otras ciencias y disciplinas en su teoría y práctica en el ámbito educativo que
apuntan, aunque sea por diferentes caminos, hacia un mismo objetivo: cómo mejorar la
educación para que el individuo se sirva mejor de ella y aplique mejor los conocimientos
obtenidos en bienestar de la sociedad y en el suyo propio [Ver posibles objetos de la
evaluación en Anexos I, Fig.3, pág.18]. No obstante, en las definiciones sobre evaluación
arriba mencionadas queda fuera un elemento trascendental para la fundamentación del
presente trabajo: los conocimientos emanados del procesamiento de información útil, de la
interdisciplinariedad y de la investigación evaluativa sobre el objeto de estudio.
Conocimientos que al ser retroalimentados propician el posterior perfeccionamiento de lo
evaluado.
En la literatura se determinan, en un primer nivel, enfoques o paradigmas sobre evaluación
(con qué objetivo se realiza); en un segundo nivel se clasifican modelos de evaluación
(pasos a seguir) y en un último nivel, refieren la metodología de la evaluación (diseños,

métodos e instrumentos) que no serán abordados aquí por límite de extensión. [Ver Anexos
I, Tabla 3 y 4 pág. 9, 10]. Dentro de la evaluación en educación se definen dos campos que
se complementan y, se pudiera decir, que uno abarca al otro: la evaluación institucional y
la evaluación de programas. Es necesario aclarar que “en la evaluación de programas y
centros se plantea la necesidad de recurrir a indicadores diferentes que midan lo que en
cada caso es la esencia de esa cultura”.[xiv] Sin embargo, no es posible evaluar una
institución sin evaluar sus programas y no es pertinente evaluar un programa si no se tiene
en cuenta la institución donde se desarrolla este, ya que una evaluación cumple realmente
con su cometido cuando tiene en cuenta el contexto donde se desarrolla el objeto evaluado.
La evaluación de programas es una actividad que, sistemáticamente realizada, resulta
relativamente joven y se suele considerar un estudio de Ralph Tyler de 1942 como el origen
de la evaluación de programas. Para llegar al concepto de evaluación de programas hay
que partir del propio concepto de programa, seleccionándose la definición dada por Pérez
Juste[xv]: “programa es el documento, intencional y técnicamente elaborado, consistente en
un plan de actuación al servicio de metas pedagógicamente valiosas donde se compaginan
aspectos científicos / técnicos con otros psicopedagógicos e, incluso, sociales”. En él han de
integrarse armónicamente los contenidos de diversa naturaleza; el enfoque de su estudio y
sus objetivos; los medios y recursos, facilitadores del aprendizaje (la motivación, la
metodología y recursos didácticos, la explicación y otras formas de dirección del
aprendizaje, las actividades, los materiales y hasta la propia evaluación). El programa, en
cuanto plan diseñado con antelación, centrado en tareas complejas que deben ser ejecutadas
por las personas en situaciones diversas, está sometido a las dificultades propias del caso.
La posibilidad de su eficacia, y su continua mejora, pasan por la incorporación de procesos
de evaluación, capaces de aportar la información rigurosa necesaria para su logro. [Ver en
Anexos I, Modelo de Pérez Juste Fig.2 pág.15 Texto pág.16]
Pérez Juste concluye que la evaluación de programas es “el proceso sistemático, diseñado
intencional y técnicamente, de recogida de información rigurosa (valiosa, válida y fiable),
orientado a valorar la calidad y los logros de un programa, como base para la posterior
toma de decisiones de mejora tanto del programa como del personal implicado y, de modo
indirecto, del cuerpo social en que se encuentra inmerso”. En esta concepción se identifican
tres componentes básicos de la evaluación: la elección y recogida de información de
calidad sobre el programa a evaluar, criterios y referencias pre-especificadas y la toma de
decisiones precisas para la mejora, los cuales, junto con los aportes de Solarte, Weiss y
Patton, referidos anteriormente, sirven de base para que la autora de este trabajo llegue al
concepto de evaluación de un programa de maestría como el proceso integral y sistemático
orientado a la determinación del estado, el funcionamiento y la proyección del programa
en correspondencia con lo predeterminado, normado y deseado que se basa en el flujo,
procesamiento y retroalimentación de la información útil a los efectos de obtener nuevos
conocimientos sobre el programa para evitar y corregir desviaciones, garantizar la

acreditación de su calidad y su mejora, donde la información, en consonancia con su

propia naturaleza, debe tener un carácter procesal, continuo, integrado en el proceso mismo
de ejecución del programa; ha de ser rigurosa para garantizar decisiones adecuadas en
función de la mejora; ha de servir de base de decisiones preventivas antes que correctivas,
inmediatas antes que diferidas; y potenciadoras, optimizadoras, en lugar de las de simple
mantenimiento.
Para llevar a cabo la evaluación de un programa es necesario identificar los componentes
evaluables del programa para luego conformar un sistema de criterios, variables e
indicadores que permitan la planificación, el monitoreo y la evaluación del programa. Las
variables “son conceptos determinados que expresan características cuantitativas y
cualitativas y resumen dos rasgos fundamentales: los que pueden ser observados y permiten
alguna confrontación con la realidad empírica y los que tienen la propiedad de poder variar
o asumir valores, es decir, de ser mensurables”. [xvi] El criterio “es la norma para juzgar o
atribuir valor a una realidad”.[xvii] En cambio, el uso de indicadores permite recoger la
información que se necesita para emitir un juicio “al ser una estadística simple o compuesta
que refleja algún rasgo importante de un sistema dentro de un determinado contexto de
interpretación. Un indicador educacional pretende caracterizar el éxito o la efectividad de
un sistema, institución o programa educacional sirviendo como una medida aproximada de
algún componente o de la relación entre componentes”.[xviii] Por otro lado, se dice que los
indicadores “sirven para medir el desempeño de un individuo, de una institución, de un
nivel del sistema educativo o del sistema en sí que se juzgan importantes para la
planificación y la asignación de recursos. La adecuación de indicadores específicos se juzga
en términos de la fidelidad a la realidad que ellos representan, hasta qué punto son
relevantes y comprensibles para los usuarios de los datos, y en qué medida se pueden
recolectar los datos necesarios para estos indicadores de manera rentable”.[xix] Según
Windham, Levin y Bathory[xx], un indicador debe reunir ciertas características: ser
relevante en su utilidad para la toma de decisiones, factible de estimación, fácil de derivar,
altamente discriminativo, verificable, estar libre de sesgo estadístico o personal, tener
aceptación institucional, ser justificable en cuanto a la relación entre su utilidad y la
inversión para su estimación, ser fácil de interpretar y utilizable con otros indicadores.
La tipificación de la evaluación es otro aspecto importante para este trabajo. Se ha tomado
la tipología propuesta por Ma. Antonia Casanova[1], quien la clasifica de la siguiente
forma: por su finalidad: formativa o sumativa; por su extensión: global o parcial; por los
agentes evaluadores: interna (autoevaluación, heteroevaluación, coevaluación) o externa;
por su momento de aplicación: inicial, procesual, final. [Ver definiciones en Glosario
anexo]. Como práctica generalizada, al proceso de acreditación (o certificación) de un
programa o una institución educacional le precede una evaluación externa y ésta,
preferentemente, debe tener como soporte una evaluación interna (generalmente la
autoevaluación), entendiéndose la acreditación o certificación como “el proceso de

evaluación y seguimiento que lleva a cabo un órgano externo, de acuerdo a normas

establecidas y reconocidas, con el propósito de tener información fidedigna y objetiva sobre
la calidad de instituciones y programas universitarios incorporados al proceso, sea que
estén en su fase de reconocimiento inicial o en pleno desarrollo de su proyecto
institucional” [xxi].
2.2- Usos y ámbitos de actuación e influencia de la evaluación.

La evaluación de programas presenta dos claras características: por un lado, es un recurso
para la mejora de las acciones que, debidamente organizadas, se implantan en un
determinado contexto social (público o privado); y por otro lado, supone una metodología
científica aplicada para determinar, obtener y procesar información útil que transformada
aporte nuevos conocimientos sobre los cuales se basarán los juicios de valor concernientes a
determinado “objeto”. Lo ideológico y político incide más fuertemente en los primeros
momentos del ciclo de intervención, en los que se analizan los problemas sociales, se fijan
objetivos y se determinan medios para resolver los problemas; la ciencia actúa, en mayor
medida, a la hora de diseñar, especificar, planificar e implantar los programas, así como a la
hora de valorar (a través de sus efectos y resultados) tales acciones.
Para la autora del presente trabajo, el desarrollo de la evaluación de programas pasa por el
ámbito social, político, institucional y científico, asumiéndose la definición de ámbito
“como el campo de actividades, influencias e intereses comunes” [xxii].En estos ámbitos se
manifiestan los resultados de la evaluación y el uso de la información derivada de ellos: el
ámbito social refiere las exigencias de la sociedad, en general, y de los destinatarios y
usuarios potenciales, en particular, en relación con la calidad, pertinencia y la equidad del
programa que se comprueban con la evaluación (calidad intrínseca y extrínseca); el ámbito
político contempla el cumplimiento por parte del programa con lo que está normado dentro
de la política educativa, demostrándose la calidad extrínseca del programa; el ámbito
institucional se relaciona con el apoyo requerido de la institución para que sea posible la
implementación del programa: gestión, recursos financieros, materiales y humanos,
evidenciándose la calidad intrínseca del programa; y por último, el ámbito científico,
vinculado con las características del diseño curricular del programa que se evalúa en
correspondencia con los objetivos que se persiguen, las necesidades a satisfacer y su
contenido científico dentro de una disciplina, especialidad o área del conocimiento a la que
pertenece el programa. Aspectos todos que son tomados en cuenta a la hora de evaluar un
programa.
Al responder ante la sociedad por la calidad de la educación, la capacidad de respuesta de la
evaluación está dada en el buen o mal uso que se hace de la información derivada de ella.
Información que se refleja, en general, en la rendición de cuentas a que se ve obligado
hacer el sector educativo ante el Estado y la sociedad por el gasto que requiere para el
desarrollo de sus servicios, como si fuera un sector empresarial más. En conformidad con

Tiana[xxiii] se puede decir que la rendición de cuentas es “algo mucho más amplio y
complejo que el simple examen de los procesos y los productos educativos, pues cuestiona,
en última instancia, quién debe determinar sobre qué debe rendirse cuentas, de qué modo,
quién debe hacerlo y ante quién” y que “la evaluación no es sino una forma distinta y nueva
de hacer política y, más concretamente, de explicar las políticas por medio de los logros
alcanzados o, eventualmente, fallidos”. Existe el consenso entre los autores consultados de
que la información que arroja la evaluación tiene usos internos y externos. Los usos
internos están relacionados con las políticas educativas, la toma de decisiones, y con la
administración y gestión de los sistemas educativos, procesos y resultados, mientras que los
usos externos están relacionados principalmente con la rendición de cuentas y la demanda
social de información.
Entre los usos internos de la evaluación Lilia Toranzos[xxiv] incluye aspectos específicos
tales como: ser un medio de obtención de información significativa para los procesos de
toma de decisiones y la reconsideración de las mismas a la luz de sus efectos sobre el
sistema educativo; devenir en instrumento crucial para el gobierno en la conducción de los
sistemas educativos, el seguimiento y la puesta en práctica de reformas educativas y para la
correcta formulación de políticas educativas; al ser la evaluación un instrumento de
investigación social cuyo principal objetivo es el diagnóstico de situaciones y el suministro
de información sobre el comportamiento y la buena marcha del sistema educativo y sus
resultados; permite, además, anticipar las necesidades futuras que es una de las grandes
preocupaciones de los políticos y los administradores de la educación. Como usos externos
se determinan los siguientes: la utilización de la evaluación por los directamente
relacionados con la puesta en práctica de políticas educativas y con el gobierno y
administración de sistemas educativos; el disponer de datos contrastables, fiables y válidos
sobre los procesos y resultados educativos, puede convertirse en un mecanismo de gran
fuerza y legitimidad para informar a la opinión pública y para transformar actitudes y
prejuicios que debieran desaparecer o quedar en entredicho ante la presentación de datos
objetivos; la evaluación concurre con otras fuentes educativas como la familia, los medios
de comunicación social o las organizaciones sociales y reafirma el valor estratégico de la
educación en el desarrollo del propio país. Esto justifica el que la evaluación sea
conveniente para “tareas de diagnóstico, base para la toma de decisiones, investigación y
prospectiva (las proyecciones y los estudios prospectivos sólo tendrán visos de seriedad si
se apoyan en un sistema coherente y fiable de información, en términos de resultados
cuantitativos y cualitativos, sobre el sistema educativo)” [xxv].
Cuando se habla de utilidad de la evaluación se hace referencia a su utilidad instrumental,
conceptual (o iluminativa) y la persuasiva. La utilidad instrumental de la evaluación está
relacionada con “la información rigurosa, válida y fiable y los elementos de juicio que ella
brinda a quienes deben tomar decisiones acerca del mantenimiento, supresión o
modificación del programa o institución y adoptar medidas para su mejora”[xxvi]. Pero esta

concepción es insuficiente “al contarse, en primer lugar, con información directa e

indirecta, procedente de diversas fuentes y con mayor o menor pertinencia y fiabilidad en
cada caso, en segundo lugar, se han de tener en cuenta ciertos acondicionamientos de
carácter normativo, institucional o personal, que determinan el margen existente de
maniobra; en tercer lugar, se ha de tomar el contexto de relaciones interpersonales,
anticipando las reacciones que puedan producirse; y por último, se han de establecer
negociaciones multilaterales con el fin de lograr que todos los actores implicados se sientan
copartícipes de la decisión adoptada” [xxvii]. Surge la utilización conceptual (o iluminativa)
que permite “fomentar el funcionamiento realmente democrático de la sociedad, aportando
elementos y criterios a partir de los cuales sea posible una discusión abierta e informada
acerca de los asuntos sometidos a evaluación, contribuye a modificar los marcos cognitivos
de los ciudadanos y a facilitar la comprensión individual y colectiva de los fenómenos
analizados y aporta elementos para la toma de decisiones, aunque deban integrarse estos en
un conjunto más amplio de datos y criterios y obliga a considerar los efectos diferidos e
indirectos de la evaluación, en plazos de tiempo más largos que los habituales”. [xxviii].
Así pues, si la evaluación tendió en sus primeras etapas evolutivas a buscar su justificación
social en la utilidad instrumental que prometía, en la actualidad, encuentra su principal
legitimación en una combinación de sus dos funciones principales, la instrumental y la
iluminativa. Ambas concepciones no suelen considerarse ya como alternativas, sino más
bien como complementarias. Junto a estas dos concepciones básicas algunos autores añaden
una tercera cuando hablan de la utilización persuasiva de la evaluación. Su ámbito
específico sería el de la política, donde la evaluación desempeñaría una función
eminentemente argumentativa al servicio del discurso político, sea éste de gobierno o de
oposición. Este uso persuasivo es el que más fácilmente se desliza hacia diversos abusos,
como algunos de los que acertadamente expone Miguel Ángel Santos[xxix] : convertir la
evaluación en un elogio a quien la patrocina o la realiza; en un instrumento de dominación,
control y opresión; o hacer públicas sólo aquellas partes del informe que tienen un carácter
halagador.
En opinión de la autora, la utilidad de una evaluación es en buena medida la que de ella
extraigan sus audiencias o destinatarios. La conciencia de que una evaluación puede
producir efectos que sobrepasan su utilización directa en términos de toma de decisiones ha
llevado a algunos autores a plantearse y estudiar la cuestión del “impacto real que esta
actividad es capaz de producir”[xxx]. Entendiéndose por impacto la influencia perceptible
que la evaluación ejerce sobre las actividades o actitudes de individuos o grupos, lo que
amplía considerablemente el concepto más estrecho de utilidad. Una de las principales
implicaciones de tal ampliación es que permite distinguir entre los efectos esperados,
deseados y voluntarios de la actividad evaluadora de los inesperados, no deseados e
involuntarios. No sería razonable considerar útil una evaluación solamente si alcanza sus

propósitos declarados, dejando de lado otras consecuencias que haya podido producir, por
mínimas que estas sean.
Se puede concluir que entre los posibles conflictos derivados de la implantación de
sistemas de evaluación se identifican los siguientes: autonomía vs evaluación; calidad vs
recursos; nivel de educación vs sistema de educación superior; diversidad vs calidad;
evaluación vs desconfianza al gremio de profesores; evaluados vs evaluadores; evaluación
vs posible mejora; evaluación vs indicadores de fácil acceso y evaluación de experto vs
subjetividad. Estos serán superados en la medida en que se sea capaz de asumir posiciones
correctas para prevenirlos desde el mismo momento del diseño de cualquier sistema de
evaluación.
El proceso de evolución y consolidación de la evaluación educativa ha estado determinado
por necesidades y demandas sociales en los diferentes estadios de su desarrollo en
dependencia de las exigencias científicas y político-económicas que se la han impuesto a la
educación en cada sociedad. De esas mismas exigencias pueden provenir los usos y abusos
de la evaluación, trayendo por consecuencia que algunos perciban “peligros” en su
implementación o hagan una mala interpretación de la misma; y otros, la tilden de
“monstruo” por lo que hay que situar en una balanza las ventajas y desventajas (o peligros)
de la evaluación, considerando que todo depende de quién, cómo y porqué la use o utilice.
En un posible inventario de ventajas y desventajas de la implementación de sistemas de
evaluación, independientemente del contexto en que esta se desarrolle, podrían incluirse las
siguientes:
Ventajas de la evaluación: apoya los procesos de gestión y de toma de decisión; genera
información que proporciona conocimiento sobre el objeto que se evalúa en conjunto, y de
sus componentes; posibilita crear un clima participativo, coherente y solidario que influye
positivamente en las actitudes de todos los intervinientes en los procesos docentes y
administrativos de centros y programas educativos; ayuda a desarrollar la cultura hacia
procesos de mejora y de innovación en la educación; contribuye a la capacidad de
negociación y de movilización de voluntades; es un instrumento de aprendizaje para la
ciudadanía al proporcionar el conocimiento y la información necesaria para exigir a los
gobiernos la preocupación y apoyo a la educación en el diseño de políticas pertinentes para
ello; como proceso deliberativo, permite analizar la acción específica del Estado, el
contexto en el que se desarrolla, su relación en el sistema institucional y político vigente; y
su mayor campo de acción es y será el Estado como generador de cambios.
Desventajas de la evaluación: puede influir negativamente en los procesos de gestión y de
toma de decisiones; puede ser un instrumento punitivo; de sus resultados suelen depender
fondos y recursos necesarios para continuar los programas, derivándose en jerarquizaciones
que pudieran llegar a ser discriminantes al establecerse una comparación injusta y
premiarse a quienes más recursos ostentan y no al que menos posibilidades de desarrollo

tiene; la evaluación está plegada de una carga subjetiva que, en caso de no controlarse
debidamente, puede dar al traste con los objetivos reales que se persiguen; puede utilizarse
como instrumento de políticas educativas erróneas en caso de una propagación de la
diversidad en la educación o en la controversia educación pública/ educación privada;
susceptible de saturarse de procesos largos, complejos y muy burocráticos
desactualizándose la información recogida y estimulándose el rechazo en el ámbito
académico; sus resultados pueden ser engavetados o no difundidos debidamente sin tenerse
en cuenta en la toma de decisiones; tendencia a resultados cuantitativos en la búsqueda de
confiabilidad y por tanto, a la pérdida de la esencia de lo cualitativo; sobrevaloración de las
debilidades del objeto evaluado en la toma de decisiones sin reflexionar en su verdadero
impacto en la comunidad; en el diseño o implementación del sistema evaluativo puede
disminuirse o anularse la importancia del contexto en que él o el objeto evaluado se
desarrollan, por lo que pudieran contemplarse indicadores de calidad no adaptados a la
realidad; suele ser rechazada por los evaluados al verla como un acto de desconfianza que
se tiene al desempeño del personal docente o administrativo involucrado en el programa o
en el centro, aunque ese temor podría interpretarse como reflejo o expresión de la
existencia de problemas o insuficiencias que no se quieren sacar a la luz por el temor a las
posibles consecuencias que se deriven de la identificación de los mismos a través de la
evaluación.
Al analizar sus ventajas, puede observarse un mayor alcance del impacto favorable de la
evaluación en la gestión de la calidad de la educación. En tanto, que sus desventajas, a
pesar de tener un impacto no menos importante, no dejan de ser superables con la
aplicación de medidas oportunas y serán solubles en dependencia de la capacidad que se
tenga para moderar los posibles efectos negativos de su implementación, disminuyendo los
estragos y generando mayores beneficios. Entre las pautas a considerar para moderar los
efectos no deseados de la evaluación y, a su vez, ampliar el alcance de su impacto efectivo
en la educación la autora de la presente tesis sugiere las siguientes: asumir la concepción
sistémica integral y procesal de la evaluación para lo cual propone adoptar el concepto de
Sistema Integral de Evaluación (SIEVAL), (introducido en su tesis de maestría); establecer
las características que debe cumplir un sistema de evaluación y sus componentes para
definir su calidad; determinar los aspectos (etapas, procederes, etc) que la evaluación, como
proceso, debe cumplimentar; identificar elementos de la evaluación factibles de ser
evaluados para valorar su calidad ; y acoger la metaevaluación como estrategia y
herramienta en la reducción de desventajas y abusos de la evaluación al reconocer sus
debilidades y fortalezas y propugnar el fortalecimiento de su practica. Sobre estas cuatro
pautas para contener los efectos desfavorables de la evaluación se referirán los epígrafes
que siguen.

2.3- 1.3. El Sistema Integral de Evaluación (SIEVAL) y sus

componentes
Al diseñar un sistema de evaluación este debe partir de la naturaleza multidimensional no
sólo del concepto de calidad que se aplique, sino también del objeto de la evaluación en sí.
Esto se traduce en un estudio exhaustivo e integral del objeto a evaluar, tratando de
discernir la importancia y la excelencia de cada uno de sus elementos o partes por separado
y posteriormente, en su conjunto. De aquí la necesidad de profundizar en la organización y
estructura de un sistema de evaluación entendido como sistema integral en cuya
composición se perfilan procesos, elementos y agentes en una sistemática interacción e
interrelación mediante flujos de información en el cumplimiento de sus funciones. En este
sistema se parte de un modelo de evaluación (lo ideal); se implementa el proceso de
evaluación (lo real) organizado en etapas ineludibles para su ejecución, regido por una
metodología propia que responde a normas dictadas para su validez; y objetividad y prevé
un componente metaevaluativo que lo convierte más tarde en objeto de la metaevaluación.
A este sistema se le denominará Sistema Integral de Evaluación, SIEVAL.
Por tanto, como procesos inherentes a un Sistema Integral de Evaluación se contemplarán
la evaluación interna, la evaluación externa, la acreditación y un componente
metaevaluativo. Procesos que conforman un todo y, a su vez, gozan de independencia,
donde la evaluación interna es el punto de partida de los otros procesos. Cada uno de estos
procesos se muestran en una dinámica propia, dada por elementos o componentes y agentes
que se interrelacionan indistintamente y tienen su propia metodología y lógica. Son
procesos autoreferentes, y al mismo tiempo, referentes uno del otro en tanto que la
evaluación interna (especialmente la autoevaluación) precede a la evaluación externa y a la
acreditación, pero no necesariamente conlleva a estas; la evaluación externa es requisito
indispensable para la acreditación, ya que aporta la información indispensable sobre el
objeto en cuestión, sin embargo, no obligatoriamente conduce a la certificación; la
acreditación es un proceso que tiene como requisitos obligatorios a la evaluación interna y
a la evaluación externa e implica y está dirigida a la certificación del objeto evaluado. Estos
procesos, a su vez, tributan la información que interesa y procesa la metaevaluación.
Mirado externamente y de forma simplificada, se pudiera pensar que el proceso de
evaluación externa no es más que la visita de un grupo de evaluadores externos a los locales
donde se desarrolla el programa por varios días y durante la cual se entrevistan a personas
que pueden brindar información sobre el objeto a evaluar, se revisan documentos y al
concluir se redacta un informe sobre lo encontrado (debilidades y fortalezas del programa)
con las correspondientes recomendaciones para eliminar las debilidades, información que
es la base para el proceso de acreditación. Sin embargo, para llevar a cabo todas esas
actividades debe seguirse un orden lógico, una organización coherente y una preparación
eficaz que se dan en etapas bien definidas por las que transcurre el proceso de evaluación

externa y en las cuales intervienen determinados componentes del sistema [Ver Anexos I,
Tabla 5, pág. 11].
Para la autora, el proceso de evaluación externa, proceso más complejo del SIEVAL con
una significativa repercusión y trascendencia en la certificación de la calidad, es el conjunto
de actividades y acciones recogidas en un modelo de evaluación y desplegadas en un
contexto real por sus actores en compleja dinámica para propiciar el logro de los objetivos
de la evaluación a cuya realización óptima se llegará siempre y cuando estén creadas todas
las condiciones necesarias (antes, durante y después de la evaluación) que favorezcan el
flujo, procesamiento y obtención de información útil para la retroalimentación entre los
componentes del proceso. Los componentes del proceso no pueden existir aisladamente,
sus roles son determinantes y su presencia es obligatoria para que el proceso se materialice,
aunque dentro del sistema sus componentes puedan, a su vez, intercambiarse en la
ejecución de diferentes funciones, determinadas por el tipo de evaluación que se realice y
las etapas del proceso en que se encuentren. [Ver Anexos I, Fig.5 pág. 20].
En el contexto cubano, partiendo de la metodología seguida por el SEA-M para realizar el
proceso de evaluación externa a los programas de maestrías, la autora pudo identificar las
siguientes etapas (están implícitas pero no definidas en documentos del SEA-M):
familiarización y determinación de la evaluabilidad del programa (involucra los resultados
de la autoevaluación); organización de la evaluación y selección de los evaluadores;
determinación de los actores del proceso de evaluación in situ; definición del plan de
evaluación y organización de los evaluadores en grupos de trabajo; recogida de datos e
información; valoración e interpretación de la información recogida; redacción del informe
final; determinación de las audiencias con derecho a conocer las conclusiones de la
evaluación; presentación y difusión de los resultados; y toma de decisiones. Se propone
incorporar las etapas de seguimiento del plan de mejora y la metaevaluación, las cuales no
estaban supuestas en el SEAM durante el desarrollo de este trabajo. [Ver Anexos I,
pág.12-13].
Como componentes del SIEVAL se identifican el objeto de la evaluación (programa o el
centro a evaluar); actores que intervienen en la evaluación: los evaluados (demandantes y
destinatarios de la evaluación), los agentes de la evaluación (evaluadores externos o
internos) y las audiencias (personas autorizadas institucionalmente y legalmente para
conocer la información sobre los resultados de la evaluación); el instrumento evaluativo
(guía que contempla aquellas áreas susceptibles de ser evaluadas); los documentos para la
evaluación (documentos normativos para la realización de los procesos de evaluación y
documentos inherentes al programa); y los resultados de la evaluación, que se recogen en
el informe final donde se expresan fortalezas, debilidades, conclusiones y recomendaciones
de los evaluadores. Los componentes en conjunto (sistema) se desenvuelven en un contexto
o ambiente más amplio (ámbito académico, social), pero a su vez cada uno de ellos, por

separado, responde a un contexto o ambiente delimitado por su radio de acción (a la

institución, al programa, etc.). [Ver en Anexos I, Fig. 4, pág.19].
Uno de los componentes del SIEVAL, el instrumento evaluador, es la guía diseñada con los
criterios a medir (variables e indicadores) durante la evaluación. Para su diseño se
determinan, primeramente, las áreas de preocupación relacionadas con los aspectos
susceptibles de ser evaluados, en este caso, de un programa que, a su vez, deben
corresponderse con los elementos reales contenidos dentro del mismo y que son necesarios
para que este se materialice. La guía debe estar acompañada de documentos diseñados
apropiadamente para la recogida de la información.
Si se parte del concepto de modelo como el “marco ideal en el que aspiran a encuadrarse las
realizaciones prácticas, guía que marca un desiderátum (lo deseado) a perseguir, la utopía
hacia la cual caminar, pero que nunca se alcanza en su plenitud”,[xxxi] o como “la
representación (simbólica) de un objeto de la realidad que retiene sus cualidades
esenciales”[xxxii], el instrumento evaluador se convierte no sólo en un modelo a seguir
durante el proceso de evaluación, sino también en un modelo a tener presente para la
concepción y desarrollo del programa al representar internamente las cualidades descritas
en el Patrón de Calidad como “lo que debe ser”, y en qué medida deben ser cumplidas por
él para ser evaluado como un programa de calidad, pero también al representar las
cualidades esenciales que reúne el programa en la realidad (lo que es ). Al mismo tiempo, la
Guía se convierte en el mediador entre los evaluadores y los propios evaluados para el
conocimiento del objeto (programa) que se evalúa, facilitando la retroalimentación entre
ellos.
Para que un programa, en este caso de maestría, sea puesto en marcha debe responder en su
diseño a interrogantes tales como: ¿para qué?, ¿por qué?, ¿qué?, ¿para quién?, ¿quiénes?,
¿cómo?, ¿dónde?, ¿con qué?; el instrumento evaluador, por su parte, tiene que contemplar
los elementos del programa asociados a esas interrogantes, los niveles de satisfacción en
que el programa debe responderlas y debe ser capaz de sentar las pautas para que la
información recogida sea precisa y coherente con esas interrogantes. Por ejemplo, en
correspondencia con el orden de las interrogantes, pueden contemplarse los siguientes
aspectos: necesidades sociales e intereses personales de los usuarios /destinatarios
potenciales a que responde el programa; perfil del egresado; objetivos del programa;
curriculum (contenido); selección de los estudiantes según requisitos establecidos;
profesores, tutores y personal administrativo necesarios para el desarrollo del programa; a
través del proceso de enseñanza –aprendizaje; infraestructura donde se desarrolla el
programa; recursos materiales y financieros con que cuenta el programa.
En consecuencia, la Guía de Evaluación es el termómetro que mide hasta qué punto el
programa cumple con los requisitos preestablecidos en el Patrón de Calidad y es, a su vez,
el eje central de la evaluación: en ella, alrededor de ella y a través de ella se da la

interrelación de todos los elementos que intervienen en el proceso de evaluación, lo cual

está inferido pero no explícito en ella. La guía, dentro del proceso de evaluación, responde
a las preguntas ¿qué se evalúa? y ¿en qué medida?, pero no se puede pretender que
responda al ¿cómo hacerlo?. No obstante, cuando se perfila la interrelación de otros
componentes del sistema de evaluación (evaluadores, evaluados, objeto de evaluación e
informe final) con el instrumento evaluador durante su utilización, se puede corroborar que
la Guía de Evaluación es la representación de las características y elementos del objeto a
evaluar (programa real); es el modelo (lo ideal) con variables e indicadores mensurables en
representación de los aspectos a valorar en el programa por los evaluadores, sirviendo de
guía en la recogida de la información; es el modelo para la acción a tomar en cuenta por los
evaluados en el diseño, implementación y ejecución del programa; proporciona las pautas a
seguir en la identificación de las debilidades y fortalezas del programa, así como de las
recomendaciones a la hora de redactar el informe final por los evaluadores. [Ver Anexos I,
Figura 1, pág.14]. Los otros elementos del SIEVAL se describen en Anexos I pág.21.
2.4- Puntos de partida para juzgar la calidad de la evaluación

No existe el sistema de evaluación perfecto, pues la propia dinámica de los programas y de
la vida académica hace que sus condicionantes, contexto e instrumento evaluativo estén
sujetos a constantes adecuaciones en dependencia de los nuevos imperativos en que se
originan y desarrollan los programas. Es por eso que se debe valorar la calidad no sólo del
objeto que se evalúa, sino también del propio sistema de evaluación vigente y de la
implementación de sus procesos.
Para juzgar la calidad de la evaluación se han sugeridos diversos enfoques y criterios entre
los cuales se pueden mencionar las proposiciones de Guba y Lincoln[xxxiii] [ver en
Anexos I, Tabla 2, pág. 8; Tabla 10, pág.31] y Daniel L. Stufflebeam[xxxiv] . De estas
recomendaciones se infiere que si se parte de que la calidad del objeto que se evalúa se
traduce en la satisfacción, por el programa o institución, de determinados estándares
preestablecidos para que sea acreditada su calidad, la calidad del sistema de evaluación
está dada también en el cumplimiento de determinados requisitos: ser integral, útil, factible,
objetivo, fiable y preciso para que el proceso de evaluación que se lleve a cabo sea
homogéneo y válido; en el acatamiento de los preceptos teóricos de la evaluación en su
diseño; en la definición clara de sus objetivos; en la contemplación de un modelo de
evaluación a seguir para la consecución de dichos objetivos; en la identificación de sus
componentes, condiciones y funciones, así como la interrelación entre ellos; en proponer
explícitamente la metodología a seguir en la implementación del proceso de evaluación, sus
etapas; en contener un instrumento evaluativo contextualizado, integral y exhaustivo; y en
el uso racional y efectivo de la información que proporciona sobre lo que evalúa.
Por su parte, la calidad de la evaluación concebida como proceso se identifica con las
siguientes características: utilidad, que resulte informativa, oportuna y capaz de influir en

las acciones posteriores; factibilidad, que estén dadas todas las condiciones para que la
evaluación se realice en un ambiente natural de manera que sólo se utilicen los recursos y el
tiempo imprescindible para lograr sus propósitos; legitimidad, referida a las repercusiones
que la evaluación suele o puede tener sobre las personas afectadas por ella, aconsejándose
proteger debidamente los derechos de todos los participantes en los procesos evaluativos y
pasando por la ética y la justeza demostrada por todos los participantes; precisión, que con
la evaluación se obtenga la información prevista y adecuada, la que realmente se pretendía
obtener; seguridad, relacionada con la validez y validación de la evaluación. La palabra
validez como sinónimo de autenticidad, utilidad, eficacia, vigencia y valor; y validación,
significando admisión, aprobación, ratificación, homologación, autorización, certificación,
garantía y seguridad.
Mientras que la calidad del instrumento evaluador (Guía de Evaluación), como eje
alrededor del cual se desarrolla la investigación evaluativa, se refleja en aspectos tales
como el acatamiento, en su diseño, de preceptos epistemológicos referidos al conjunto de
variables e indicadores de calidad contenidos que respetan la perspectiva intrínseca de la
calidad evaluando los resultados y los procesos mediante los cuales se llega a ellos; la
observancia de la responsabilidad externa de la evaluación al contener elementos
evaluables justos y objetivos, cuidando así la perspectiva extrínseca de la calidad; su
multidimensionalidad al contener todos los criterios que sean necesarios medir (los tres
momentos de vida de los programas: su diseño e inicios, su desarrollo y sus resultados); el
equilibrio de sus indicadores cualitativos y cuantitativos; la claridad y precisión de la
redacción de los criterios a medir para que no afloren ambigüedades; la exhaustividad de
los elementos incluidos; y los medios con que se acompaña para la recogida de la
información.
En consecuencia, el instrumento de evaluación debe ser útil, en tanto se logren los objetivos
para lo que fue diseñado como método e instrumento de trabajo; objetivo, porque se adapta
a las condiciones reales en que se desarrolla el objeto evaluado y coadyuva a valoraciones y
conclusiones exentas, lo más posible, de subjetivismos y parcialidades; válido, fiable y
legítimo, en tanto la información recogida permite una valoración real de lo evaluado, no
adulterada por personalismos o desarraigos éticos o profesionales de los agentes del
proceso, así como que posibilita el cumplimiento de lo normado para un proceso de
evaluación, despertando la confianza de los evaluados y los destinatarios de la evaluación;
integral, en cuanto a su proyección hacia todos los elementos del objeto a evaluar como un
todo coherente; exhaustivo, relacionado con una aplicación que agote todos los detalles en
el momento de recogida, interpretación y valoración de la información útil; exclusivo, al
distinguir y limitarse al objeto que se evalúa, reflejando todos los aspectos potencialmente
evaluables y de obligatorio cumplimiento por el objeto para ser lo que es y llegar a ser lo
que se desea ser.

Más allá de la capacidad del instrumento para medir o evaluar lo que se pretende o desea
medir, Camperos[xxxv] le adjudica a la validez, entre otras, las siguientes características: la
validez como suma inductiva de las evidencias existentes (empíricas) de lo observado y
medido con las consecuencias potenciales de su interpretación y los usos de los resultados
obtenidos, es decir de cómo se utilizó ese instrumento, a qué preguntas responde, de las
condiciones de la recopilación de datos, de las características de las personas que
proporcionan los datos y, particularmente, de la interpretación de los resultados; lo
importante no es validar los instrumentos (validez como propiedad), sino las inferencias
derivadas (validación de sus interpretaciones) y otros indicadores que le sean inherentes lo
cual hace de la validación un proceso continuo y unitario, que casi nunca es completo o
totalmente acabado; la validez siempre se refiere al grado en el cual la evidencia empírica y
el soporte teórico es adecuado, conveniente y apropiado para interpretar las acciones
basadas en los resultados de la medición; la validez descansa en la capacidad creadora y la
personalidad del investigador o evaluador, quien aplica los procedimientos e instrumentos y
conduce el análisis e interpretación de los resultados obtenidos con dichos procedimientos e
instrumentos. Lo fundamental en la validez es demostrar que los hallazgos encontrados
responden con fidelidad o reflejan y se aproximan con propiedad al constructo estudiado o
al significado del concepto en estudio.
Se concibe la validación como un proceso continuo y gradual de acopio de datos, que
fundamenten el uso e interpretación que se hará de un instrumento de medición o
procedimiento dado. La validez de la medición se refiere a la solidez de las inferencias que
se hagan a partir de los resultados del proceso de acopio de datos, pero está contaminada
por las influencias del contexto en que se enmarcan esos resultados, la teoría subyacente y
la postura del investigador o evaluador. [xxxvi] Muy ligado al concepto de validez del
instrumento (cuando mide lo que pretende medir) están los conceptos de fiabilidad y
objetividad. Se afirma que “la fiabilidad es el techo de la validez”[xxxvii] y que desde el
punto de vista práctico suele considerarse como “la consistencia entre las puntuaciones que
otorgan a una misma variable diferentes evaluadores, o la persistencia de las puntuaciones
cuando se aplica el mismo instrumento de evaluación en diferentes momentos” [xxxviii]. Es
decir, “la exactitud de los datos, en el sentido de su estabilidad, repetición o
precisión.”[xxxix] Mientras que la objetividad es cuando se facilita que la puntuación se
produzca al margen del juicio personal del evaluador.
Según Ma. Antonia Casanova[xl], la subjetividad es algo que impregna a toda actividad
humana, y es indiferente que se manifieste a través de números y estadísticas o a través de
informes descriptivos. Si la evaluación supone la emisión de un juicio de valor, ese valor
asignado dependerá siempre del marco teórico de referencia que tenga quien evalúa en cada
momento, de su ideología, de sus creencias y de sus conocimientos previos. Pero en ningún
caso hay que confundir la subjetividad crítica y racional con el subjetivismo, siendo este
último el que deberá tratar de evitarse. El subjetivismo supone una interpretación parcial y

tendenciosa de los datos y, desde ese punto de partida, ninguna valoración será fiable, pues
siempre arrojará aquellos resultados que el evaluador desee obtener, lo cual se manifiesta,
bien a través de una recogida de datos mediatizada por un objetivo falseado e impuesto
cuya consecución y beneficios se quieren justificar, bien mediante la elaboración de un
informe sesgado sobre esos mismos datos.
En conformidad con lo anterior se llega a la convicción de que para juzgar y demostrar la
calidad de la evaluación es necesario someterla a una evaluación, la Metaevaluación que
puede aportar evidencias de su validez y de la utilidad de la información obtenida, así como
proporcionar sugerencias para mejorar la práctica evaluativa.
2.5- La Metaevaluación como concepción para la evaluación de

la evaluación
2.5.1- El concepto de Metaevaluación
En la literatura consultada se constata que una de las preocupaciones de los investigadores
en evaluación es la necesidad de evaluar la evaluación en la búsqueda de su calidad,
entendiendo esta como la demostración de su validez, fiabilidad, objetividad y su
credibilidad.
En el Criterio 18 de su The Key Evaluation Checklist [Ver Anexos I Tabla 6 pág. 22 y
Tabla 7 pág. 25], Scriven propone que la evaluación debe ser evaluada preferiblemente
antes de su realización y de la difusión final del informe. La evaluación externa es deseable,
pero primero el evaluador principal debe aplicar la lista de indicadores a la propia
evaluación. Los resultados de la metaevaluación deben ser utilizados formativamente, pero
también pueden ser incorporados al informe o transmitidos (resumidamente) al cliente y a
otras audiencias adecuadas. Más tarde, al definir la Metaevaluación en su Evaluation
Thesaurus, Scriven[xli] expresa que es la evaluación de las evaluaciones e indirectamente es
la evaluación de los evaluadores; representa una obligación tanto ética como científica
cuando el bienestar de otros está implicado; y puede y debe ser realizada, en primer lugar,
por un evaluador en su propio trabajo, y aunque la credibilidad del mismo sea de baja
calidad, los resultados serán increíbles beneficios para la validez.
Daniel Stufflebeam,[xlii] compartiendo este punto de vista, plantea que una buena
evaluación requiere que sus propios logros sean evaluados, ya que muchas cosas pueden ser
y frecuentemente son hechas mal en el trabajo evaluativo. Entre los posibles problemas a
verificar en la evaluación están: la parcialidad, el error técnico, dificultades administrativas
o el mal uso de la misma. Tales comprobaciones son necesarias tanto para el
perfeccionamiento o en beneficio de las actividades evaluativas que se están llevando a
cabo, como para evaluar la valía de los logros de la evaluación culminada. En
consecuencia, Sttufflebeam define como objetivo de la Metaevaluación el “asegurar la

calidad de los servicios evaluativos, evitar o enfrentarse a las prácticas ilegales o a los
servicios que no son de interés público, señalar el camino para el perfeccionamiento de la
profesión y promover una mayor comprensión de la empresa evaluativa”.[xliii] Además,
plantea que otros autores han discutido el concepto bajo la etiqueta de auditoría educativa.
La Metaevaluación al ser una obligación de todos los profesionales de la evaluación para
asegurar la calidad de su propia actividad induce a preguntarse ¿quién evalúa a los
evaluadores?. Por analogía con el término “evaluación”, la Metaevaluación ha sido y es
comúnmente considerada como aquella investigación sistemática cuyo objetivo es emitir un
juicio acerca de la calidad o los méritos de una evaluación. La evaluación se convierte, de
esta forma, en el objeto de estudio del metaevaluador
En correspondencia con todo lo anterior, Stufflebeam[xliv] define la Metaevaluación, más
específicamente, como un proceso para describir y enjuiciar la actividad evaluativa y en
contraposición al conjunto de ideas concernientes a qué constituye una buena evaluación.
Por eso plantea que al entenderse la metaevaluación como una forma de evaluación, su
conceptualización debe ser coherente con la conceptualización de la evaluación y expone
así ocho premisas sobre la evaluación:
1 Es la valoración del mérito, de ese modo, la metaevaluación significa la valoración o
estimación del mérito del empeño evaluativo.
2 Sirve a la toma de decisión y a la rendición de cuenta, por tanto, la metaevaluación
deberá proporcionar información proactiva de soporte (o respaldo) a las decisiones que
se toman en la conducción del trabajo evaluativo y deberá proporcionar información
retroactiva para ayudar a los evaluadores responsables de su trabajo evaluativo anterior.
Es decir, la metaevaluación debe ser formativa y sumativa.
3 Debe valorar la finalidad, diseños, implementación y resultados, así mismo la
metaevaluación debe evaluar la importancia de los objetivos de la evaluación, la
idoneidad de su diseño, la adecuación de la implementación al diseño de la evaluación y
la cualidad e importancia de los resultados de la evaluación.
4 Debe proporcionar una información descriptiva, crítica y además, recomendaciones
apropiadas. Igualmente, la metaevaluación debe describir y juzgar el trabajo evaluativo,
recomendando cómo puede ser perfeccionado y cómo los hallazgos pueden ser usados
apropiadamente.
5 Debe servir a todas las personas, tanto aquellas que están involucradas en ella como
aquellas que han sido afectadas por el programa. Consecuentemente la metaevaluación
debe servir a los evaluadores y a todas las personas interesadas en el trabajo de los
evaluadores. 6.Debe ser conducida por personas internas (evaluación formativa) y
externas al programa (evaluación sumativa). Por tanto, se debe conducir una

metaevaluación formativa y obtener juicios externos del valor global de las actividades
evaluativas realizadas.
6 La evaluación involucra el proceso de esbozar los asuntos a los que se deben dirigir, el
proceso de obtención de la información necesaria y su uso para la toma de decisión y la
rendición de cuentas. Los metaevaluadores deben implementar tres pasos: determinar los
asuntos específicos a que debe dirigirse la metaevaluación; acopiar, organizar y analizar
la información necesaria y finalmente emplear la información obtenida en la toma de
decisión apropiada y en la rendición de cuenta.
7 La evaluación debe ser técnicamente adecuada, útil, efectiva, no tendenciosa,
comprensible y justa[xlv]. La metaevaluación debe satisfacer los mismos criterios.
En opinión de Bonifacio Jiménez[xlvi], la Metaevaluación tiene que ver con varias
cuestiones teleológicas: el rigor de la evaluación en todo el proceso como su finalidad; la
mejora, al preguntarse por el resultado de la evaluación, por la capacidad de transformación
de la práctica evaluada y por el enlace entre la evaluación y la mejora al final y durante el
desarrollo del proceso; con la transferibilidad, cuando la Metaevaluación se pregunta por
las garantías de aplicación de las conclusiones a otras experiencias y contextos; la ética en
que se desarrolla la evaluación, la finalidad que se le atribuye, las aplicaciones que se
desprenden, los posibles abusos que la perviertan, etc.; y con el aprendizaje, al permitir
aprender de los errores y de los aciertos. Reflexionar sobre la evaluación ayuda a
comprender el fenómeno y permite elaborar pautas de intervención en situaciones nuevas.
Resulta de interés para el presente trabajo el aspecto referido a la transferibilidad el cual
plantea que cada contexto tiene su carácter concreto e irrepetible y de su estudio no se
extrae la comprobación de hipótesis de carácter general. La experiencia es irrepetible en sí
misma y es difícilmente aplicable en su integridad, ya que otro programa se moverá en
otras coordenadas y en otro ambiente distinto. La transferibilidad es un proceso que permite
aplicar los hallazgos conseguidos a otra situación diferente/similar. Cuando hay que
enfrentarse a otra situación, en parte distinta (ya que no es la misma) y en parte semejante
(ya que tiene elementos comunes), surgen interrogantes tales como: ¿hasta qué punto son
válidos en esta nueva situación los resultados obtenidos en la primera?, ¿son aplicables a
este contexto aquellas conclusiones?, ¿se encuentran aquí los mismos procesos?.
Por su parte, Fernández Ballesteros [xlvii] da otra perspectiva de la metaevaluación al
plantear que esta debería referirse a tres operaciones diferentes:
1 Valoración de otra valoración que esté en curso o que haya finalizado, tomándose la
sugerencia de Scriven de que el evaluador realice una auto-evaluación de su propia
valoración, preferiblemente del informe final, antes de entregárselo a quienes lo
encargaron, lo que puede contribuir al buen uso del informe final. Otra estrategia
consiste en favorecer los comentarios críticos de los académicos.

2 Un procedimiento para resumir y sintetizar los resultados de varias valoraciones del

mismo programa o de un conjunto de programas similares. Cuando los estudios previos
se contemplan aisladamente, las lecciones aprendidas parece que son insignificantes,
inconclusas e, incluso, contradictorias. Si los hallazgos de los esfuerzos evaluativos se
sintetizan meticulosamente como resumen de resultados, puede usarse para las
explicaciones más generales de lo que funciona y de lo que no funciona para quienes han
de tomar decisiones (hasta a nivel nacional). Desde este punto de vista, la
metaevaluación – o el análisis de síntesis – es un medio para mejorar la utilización de la
valoración.
3 La metaevaluación entendida como auditoría de la función valorativa de una
organización o de una unidad, es decir, como parte de una filosofía más general de la
evaluación que sugiere que los niveles superiores de la administración, en vez de llevar a
cabo evaluaciones, deberían dedicarse a la auditoría de la función evaluativa
desarrollada por sus subordinados. Los departamentos de más bajo nivel estarían
entrenados para llevar a cabo auto-evaluaciones de su propia ejecución.
Al consultar a otros autores se constata que la Metaevaluación, en el ámbito de los
programas educativos, podría entenderse como “la investigación que trata de valorar la
calidad de la propia metodología de evaluación empleada y, por tanto, el valor de las
consecuencias de la aplicación de tal metodología”.[xlviii] O que la Metaevaluación es “la
evaluación de la evaluación con la que se trata de averiguar hasta qué punto la evaluación
utilizada ha ampliado sus objetivos y hasta qué punto se ha cumplido la misión que se le
había encomendado y hasta qué punto los instrumentos utilizados son adecuados para
obtener la información deseada”.[xlix] Mientras que para Alvira[l], la Metaevaluación, al
igual que la evaluación es, en esencia, una “actividad pluridisciplinar” lo que quiere decir
que ninguna disciplina científica puede arrogarse la pretensión de convertirse en la "ciencia
evaluadora" por excelencia.
Según los objetivos que la muevan, la Metaevaluación ha sido clasificada como
metaevaluación formativa, si ayuda al evaluador a planificar y realizar una evaluación
solvente, o metaevaluación sumativa, si proporciona al cliente (organismo o centro)
pruebas independientes acerca de la competencia técnica del evaluador primario y de la
solvencia de sus informes. Cuando no sea encargada por el cliente, la Metaevaluación
deberá ser considerada por el evaluador primario como un servicio de evaluación dirigido
hacia el cliente y una forma de perfeccionar la evaluación primaria. El reporte sumativo de
una metaevaluación, como en cualquier evaluación, debe (donde sea posible) llegar a los
evaluados.
Para este trabajo, la autora asumirá, en todo momento, la Metaevaluación, como un nivel
cualitativamente superior que posibilita evidenciar el grado de satisfacción de un sistema de
evaluación y de los procesos inherentes a él (inmersos en un ciclo perenne y renovable,

referente y autoreferente) y que contribuye al perfeccionamiento de dicho sistema de

evaluación.
2.5.2- Focos de atención de la Metaevaluación para evaluar la

evaluación
Para justificar la necesidad de la Metaevaluación, primeramente, es necesario determinar
los aspectos con los que debe cumplir la evaluación para hablar de su calidad (expuestos en
el epígrafe anterior); luego, detectar los problemas que van surgiendo a medida que se
implementan los procesos evaluativos; y más tarde, estipular los criterios a partir de los
cuales actuará la Metaevaluación. En cuanto a los aspectos problemáticos de la evaluación
se pudieran tomar como punto de partida las seis áreas de problemas en el trabajo
evaluativo determinadas por Stufflebeam[li]: conceptual, socio-políticos, contractual-legal,
técnico, administrativo y ético-moral. Relacionado con los problemas conceptuales se
plantea que los evaluadores deben responder a ocho interrogantes generales: ¿qué es la
evaluación?; ¿qué se quiere con ella?; ¿a qué asuntos está dirigida?; ¿qué información
demanda? ; ¿a quién debe servir?; ¿quién debe realizar la evaluación?; ¿cómo conducirla?;
¿a través de qué estándares? Los problemas socio-políticos están reflejados en que las
evaluaciones se llevan a cabo en un medio social y político real por lo que el evaluador
debe enfrentarse a problemas relacionados con los diferentes grupos y organizaciones
involucrados como son: la interacción con las personas de cuya cooperación depende el
éxito de la evaluación; la comunicación interna; la credibilidad interna y externa (de
personas pertenecientes o no al sistema evaluado) cuando se tiene confianza en la
objetividad de los evaluadores; la garantía y la certidumbre de los datos; el protocolo de la
metodología a seguir y lo concerniente al interés del público.
Ante estos problemas Stufflebeam afirma que el metaevaluador tiene que asumir
actividades tales como examinar la evaluación para la confirmación de que aquellas
personas, cuyo apoyo es necesario, están provistas de las oportunidades de acceder a la
información real, chequear la existencia de situaciones en las cuales los adversarios de la
evaluación podrían proporcionar información para causar su fracaso; servir a los
evaluadores a través de la verificación del plan de evaluación en su adecuación para la
comunicación interna; extender al sistema la confianza personal de que el evaluador ha sido
objetivo, imparcial y justo en su recolección y reporte de datos. Si existieran problemas de
credibilidad interna, la suficiencia técnica y la utilidad de la evaluación estarán
amenazadas, el metaevaluador podrá presentarle el asunto al evaluador y ser interrogado; si
las personas dentro del sistema están conformes y creen en el evaluador, las personas
externas pueden pensar que el evaluador ha sido elegido por un socio ( co-opted), porque
los externos comúnmente esperan que el evaluador haga una valoración independiente,
objetiva, ardua y acertada del mérito y piensan que los internos al programa se resistirán y
desconfiarán en el evaluador.

En cuanto a los problemas en el área legal / contractual, se indica que las evaluaciones
necesitan estar protegidas por convenios, contratos, o acuerdos entre las partes, tanto para
garantizar la colaboración eficiente como para proteger sus derechos. Entre los problemas
técnicos se incluye: la identificación de los objetivos y las variables de la evaluación para lo
que el metaevaluador debe revisar el diseño de evaluación; encontrar las condiciones de
pertinencia, el propósito y la importancia de la evaluación; verificar la flexibilidad del
diseño para adicionar nuevas variables durante el estudio evaluativo; el marco de trabajo
investigativo que debe guiar al evaluador, donde se especifica las condiciones bajo las
cuales deben acopiarse y reportarse los datos, así como, la interpretación de los hallazgos y
las alternativas de trabajo investigativo (diseño experimental, encuestas, estudio de casos y
visitas in situ, etc). Las evaluaciones tienen que ser informativas por lo que el reporte sobre
la misma y su difusión oportuna ocupa un lugar muy importante, por tanto, los
metaevaluadores deberán determinar si han sido utilizadas las técnicas de comunicación
apropiadas para interpretar y trasmitir los hallazgos a las audiencias predeterminadas.
Los problemas administrativos se relacionan con el mecanismo organizativo, la locación, la
política y metodología evaluativas, el personal de apoyo, las facilidades en el plantel, el
cronograma para la recogida de datos y la rendición de la información resultante de la
evaluación, adiestramiento de todo el personal involucrado, y el presupuesto para la
evaluación. Por su parte, las consideraciones morales, éticas y de utilidad se corresponden
entre otros, con algunos de los propósitos sociales valiosos como la posición filosófica en la
evaluación, la valoración de los evaluadores relacionada con interrogantes sobre la
posibilidad de conflictos entre los valores y normas técnicas y el sistema de valores del
cliente. Por último, se plantea la posibilidad de problemas relacionados con la objetividad
en la labor del evaluador, la perspectiva de la utilidad y el costo/ eficacia del plan
evaluativo.
En cuanto a la predeterminación de los posibles parámetros a evaluar en la metaevaluación
se puede encontrar una gran diversidad de criterios desde el punto de vista teórico y es por
eso que para Ester García Sánchez[lii], el principal problema con el que se enfrenta una
metaevaluación es el de los criterios conforme a los cuales se evalúen las evaluaciones, ya
que aún son escasas las propuestas teóricas formuladas de manera específica para la
metaevaluación a tal punto que algunas de las metaevaluaciones que se han llevado a cabo
hasta la fecha no son sino aplicaciones de modelos teóricos elaborados para la realización
de evaluaciones.
Algunas reflexiones han girado en torno a cuestiones de carácter metodológico (una
evaluación será tanto más válida cuanto mayor sea la utilización de técnicas cuantitativas
como paradigma de la calidad de la evaluación); otras, en cambio, se han ocupado
principalmente de la ética de la evaluación como los representantes de la corriente
cualitativista que defienden que la evaluación debe ser justa y debe promover la
participación de todos los sectores afectados por la política pública (House, Stake o

Scriven[liii], entre otros que promueven el respeto a la pluralidad de opiniones existentes, a

la confidencialidad de los informantes, etc.); y otras, se han centrado en las normas que
deben regir la práctica profesional. Como señala Patton,[liv] el debate entre cuantitativistas y
cualitativistas ha servido precisamente para constatar la dificultad de hallar unos criterios o
estándares universalmente válidos que guíen al metaevaluador en su análisis crítico de la
evaluación. No obstante, considera que cualquier evaluación puede ser juzgada según unos
criterios de referencia de carácter general, tales como su conveniencia, su utilidad, el grado
en que sea factible, su credibilidad y su relevancia.
En un primer momento, Scriven propone que la Metaevaluación podría realizarse
utilizándose los mismos criterios por él propuestos en su The Key Evaluation Checklist[lv]
[ver Anexos I, Tablas 6, pág. 22] que incluye 18 criterios (se introduce la metaevaluación
como el No.18) y elaborada, en principio, como referencia para la realización de
evaluaciones, pero que no debe ser considerada como una lista de desiderata, sino más bien
como un catálogo de ítems que deben ser analizados. De estos criterios Scriven selecciona
trece criterios para la realización de la metaevaluación: descripción, antecedentes y
contexto, recursos, consumidor, valor, procesos, resultados, generalización, costos,
comparaciones, significación, recomendaciones, reporte, donde puede adjuntarse
recomendaciones sobre el uso o el destino de la evaluación. Más tarde, Scriven elabora la
"Meta-Evaluation Checklist" (MEC) donde incluye una serie de ítems que apuntan a la
conveniencia de que el estudio evaluativo sea comprehensivo y comprensible, creíble,
ético; que en él se expliciten los estándares de valor utilizados, así como su justificación;
que sea factible de ser llevado a la práctica; suficiente pero no excesivamente preciso (la
evaluación ha de ser rigurosa desde un punto de vista técnico, pero un exceso de rigor
puede hacer también que se olviden cuestiones como la relevancia de la información
proporcionada); sensible desde el punto de vista político y sicológico; que atienda y
responda a las necesidades de las audiencias de forma apropiada (con múltiples reportes
que no tienen que ser por escrito); que sea oportuno, seguro, válido y "rentable" en
términos de coste-eficacia.
Después de varios intentos por diferentes organizaciones, se le designó al Joint
Commissión on Standards for Education Evaluation (Comité Mixto de Normas para la
Evaluación Educativa, 1975) [lvi] la tarea de llegar a un consenso sobre las normas a seguir
en los proceso evaluativos, “guiándose bajo el supuesto de que la evaluación confiable
podía promover la comprensión y el mejoramiento de la educación, mientras que la
evaluación errónea la deterioraba”[lvii]. Se establecieron treinta normas para la evaluación
(valor o calidad) que se articulan en cuatro áreas: utilidad, factibilidad (viabilidad),
legitimidad (apropiada) y adecuación (precisión) publicadas en 1981 [ver Anexos I, Tabla
8, pág.29]. Las Normas para la evaluación de programas, proyectos y materiales
educativos,[lviii] consideradas como “principios o guías de actuación y no como reglas de
aplicación mecánica”, dirigen o utilizan los resultados de las evaluaciones, son aplicables a

cualquier campo de la evaluación al incluir precauciones y advertencias que se refieren a

errores cometidos en las evaluaciones, identifican las prácticas generalmente consideradas
inaceptables y proponen procedimientos efectivos y éticos establecidos.
Según los creadores, utilizando las JC Estándares [lix] como criterios para los juicios, los
contenidos de las Normas forman una base sustancial para la Metaevaluación si son
empleadas sensatamente por los evaluadores junto con los clientes, tanto antes como
después de un estudio evaluativo, el resultado será una evaluación sólida y convincente, lo
que asegurará un informe final de la evaluación útil, viable, exacto y válido. Estas normas
han estado sujetas a revisiones y actualizaciones sistemáticamente y han sido adaptadas por
algunos países, organizaciones y asociaciones evaluativas o acreditativas a sus propias
condiciones como en el caso de Suiza [ver Anexos I, Texto, pág.34 y Tabla 11, pág.36 ] y
la Sociedad de Evaluación canadiense que adoptó los JC Estándares en 1994.
Otros tres estándares de suficiencia técnica, utilidad y costo/ efectividad han sido
explicados por Guba y Stufflebeam (1970) y por el Phi Delta Kappa Study Committee a
través de once criterios específicos. Para medir la suficiencia técnica se plantean criterios
de validación interna, validación externa, fiabilidad y la objetividad; y para medir la
utilidad se plantean criterios de pertinencia, trascendencia, alcance, credibilidad,
oportunidad y la accesibilidad, costo / efectividad. [lx]
Por su parte, la American Evaluation Association (AEA) presentó, en 1995, los “Principios
guías para los evaluadores” con la intención de desarrollar un conjunto de principios
generales y no de estándares específicos. Después de ser revisados por el Joint Committee
fueron adoptados formalmente 23 principios organizados en cinco categorías: consulta
sistemática, competencia, integridad y honestidad, respeto al público, responsabilidad por
el bienestar general y del público [Ver Anexos I, Texto pág.33]. En algunos casos los
estándares del Joint Committee y los principios de la AEA son similares y en otros,
prácticamente tocan las mismas cuestiones.
Al defender el componente metaevaluativo como parte de todo proceso de evaluación en el
ámbito universitario, de manera que haya oportunidad de redimensionarlo cuando sea
necesario, sistematizar y aprender del mismo, Alfaro V. Gilberto y Sánchez Virginia[lxi]
plantean que para valorar la calidad de un proceso de evaluación (pertinencia, eficiencia,
eficacia, equidad y trascendencia) en la metaevaluación deben ser contemplados aspectos
como el contexto, la gestión institucional, los recursos humanos, el apoyo logístico, la
infraestructura tecnológica y el impacto de la evaluación [ver Anexos I, Tabla 10, pág.31].
En el contexto de la metaevaluación, la eficacia es entendida como la capacidad del
proceso evaluativo para alcanzar las metas propuestas, aportar lo que se espera que aporte,
mientras que la eficiencia está dada por la capacidad de utilizar al máximo los recursos con
que se cuenta (fuentes de información, infraestructura y recursos humanos) durante el
proceso de evaluación de acuerdo con los objetivos establecidos. Por su parte, la equidad es

referida como la oportunidad que ofrece el proceso de evaluación a todos los participantes,
a pesar de las diferencias, para participar y aportar en la toma de decisiones y la
trascendencia, como la significancia del proceso de evaluación en términos de vigencia y
amplitud, para la comprensión y reconceptualización de la acción que se evalúa, así como
de los planes de mejoramiento.
Una vez expuestos los posibles criterios que se tomarán en consideración para la
Metaevaluación hay que responder al cuándo y al cómo se implementará el proceso de
metaevaluación. Por ejemplo, en el documento Some Evaluation Questions[lxii] las
recomendaciones varían desde hacer la metaevaluación para cada evaluación o hacerla
periódicamente. La prescripción general es que la metaevaluación puede ser realizada
utilizando la misma lógica general (y a veces los mismos métodos) que para la evaluación
primaria, desde las primeras interrogantes ¿qué tiene que hacer la evaluación para que sea
una buena evaluación?, ¿a través de qué estándares?. Midiendo el desempeño de la
evaluación con atención a estos aspectos y sintetizando los resultados para alcanzar un
juicio sobre sus los méritos, la metaevaluación puede ser aplicada a cada etapa de la
evaluación, hasta la revisión durante la evaluación del reporte completo, sometiéndolo a
consultas y críticas de forma independiente.
2.5.3- La Metaevaluación en su práctica actual

Al reseñar la práctica evaluativa internacional se constata que, a pesar de los ingentes
esfuerzos por encauzar las diferentes tendencias evaluativas por el camino de la
homogeneidad en su forma de hacer, es más viable el reconocimiento mutuo del quehacer
evaluativo dentro de la gran diversidad de sistemas de aseguramiento de la calidad
educativa existentes, sobre la base del respeto mutuo, la transparencia, profesionalidad y la
ética, que empeñarse en la tarea titánica de buscar fórmulas comunes o igualar
procedimientos de un sistema a otro, o de un país a otro.
Si la evaluación y la acreditación, como procesos y práctica, responden, ante todo, a las
necesidades del contexto que las origina o implementa, es casi imposible tratar de igualar o
condicionar indicadores de calidad, procedimientos y regulaciones, obviando esos
contextos, o simplemente, importando sistemas de evaluación de forma irreflexiva,
compulsando un acoplamiento a nuevas condiciones socio-económicas inflexiblemente. Se
pueden homologar títulos y certificaciones, se pueden reconocer principios generales como
plataforma a cumplir por esa homologación, se pueden generar acuerdos sobre las “buenas
prácticas”; pero no es aconsejable copiar un sistema fielmente de un país a otro, o de una
región a otra, sin que haya inconvenientes de índoles materiales o subjetivas. Surge,
entonces, la interrogante sobre quién y el cómo se podrá dar fe del cumplimiento de esas
“buenas prácticas” y del respeto a esos principios dentro de la gran diversidad que
caracteriza el ámbito educativo y la práctica evaluativa internacional.

Un procedimiento adecuado para validar esa forma heterogénea de hacer la evaluación en

el campo educativo y como garantía de la calidad de procederes pudiera ser la
Metaevaluación. Como práctica se ha establecido, pero no es muy generalizada, y ha sido
interpretada indistintamente, en dependencia de criterios, contextos y sistemas evaluativos.
En la bibliografía consultada se constataron las diferentes direcciones en las que se
introduce, según algunas experiencias, la práctica metaevaluativa en el mundo de la
evaluación entendida como: la evaluación de la evaluación, tributando a un estudio de la
forma de hacer en varios procesos de acreditación (meta-análisis), experiencia de Taiwán,
en 1997; la evaluación simultánea a un proceso de evaluación (durante el proceso),
Universidad de Veiga, en Brasil; el estudio de modelos evaluativos institucionales, en
Cataluña, España y en EE.UU.; las “auditorías” con un informe público para determinar si
los procedimientos evaluativos son adecuados, en Gran Bretaña; el control de la existencia
de mecanismos de aseguramiento de la calidad en las instituciones o del cuidado y atención
con que se implementan los mismos, así como la validación de sus procesos y resultados,
en Holanda; la Metaevaluación, concebida como evaluación supranacional o
supraevaluación o utilizada en estudios de impacto de la evaluación con componentes
cuantitativos y cualitativos, en Dinamarca; entendida como meta-análisis (síntesis de
evaluaciones) con enfoque cuantitativo y cualitativo; o como un mecanismo de
certificación de las organizaciones acreditadoras existentes, en EE.UU., Alemania y
México [ver detalles en Anexos II, pág.56]. Se aprecia que no hay un consenso de cómo
entender el concepto de Metaevaluación, sino diferentes formas de utilizarla, según
intereses, fines, destinatarios y contextos en que se desarrolla la evaluación.
En Cuba, que se conozca, en el ámbito educativo hasta el momento no existe ninguna
instancia u organismo que se dedique o haya realizado alguna práctica metaevaluativa o
algún estudio de las evaluaciones que se pueda relacionar con la Metaevaluación.
Resumen: Como resultado del recorrido teórico-conceptual realizado, se pueden extraer las
siguientes reflexiones:
1 Para refrenar los efectos no deseados de la evaluación y ampliar su impacto positivo en
la educación, es necesario expandir la concepción sistémica y procesal de la evaluación
como un Sistema Integral de Evaluación que permite definir sus componentes y las
características que reflejan su calidad.
2 La evaluación no escapa, ella misma, a ser juzgada. La Metaevaluación puede ser la
metodología facilitadora del aseguramiento de la calidad de los procesos de evaluación
externa y acreditación y del posterior perfeccionamiento del sistema de evaluación que
rige.
3 En la creación de un sistema de parámetros para metaevaluar los procesos de evaluación
externa y acreditación es imprescindible tener en cuenta todos sus componentes, el
contexto y el clima en que estos se desarrollan.

4 Se constata en la literatura que para juzgar a la evaluación se han establecido parámetros

y normas de uso internacional, aplicados y/o adaptados en varios países. No obstante ser
premisas o puntos de vista, muchos de estos parámetros no proceden o no se ajustan a la
contextualidad en que se desarrollan los programas educativos y los procesos de
evaluación y acreditación en Cuba, que responden a una política educativa regida por la
equidad y pertinencia desplegadas por igual para todos en beneficio de una educación
para toda la vida.
5 Se evidencia la necesidad de crear un Sistema de Metaevaluación que responda al
contexto y a la experiencia de la evaluación y acreditación en el ámbito educativo
cubano con un instrumento metaevaluativo que contemple parámetros que se ajusten a
ese contexto y a los objetivos que se persiguen con la evaluación y la acreditación en la
sociedad cubana.
2.6- Referencias bibliográficas

[i] En Plan Nacional de Evaluación de la calidad de las universidades españolas, Guía de
Evaluación, 1998, pág. 10.)
[ii] En La transformación universitaria en vísperas del tercer milenio .Memorias del Simposio
AUGM/UDUALCRESAL-UNESCO.S erie 6: Políticas y Estrategias. Caracas, 1996.
[iii] Núñez Jover, Jorge ( ): Evaluación académica, postgrado y sociedad. En Gestión de la Calidad
del posgrado en Iberoamérica. Experiencias Nacionales. Seminarios y reuniones técnicas
internacionales. Programa de Calidad de la Formación Avanzada. Asociación Universitaria
Iberoamericana de Posgrado (AUIP).
[iv] Vroeijenstijn, A.I. (1995): Improvement and Accountability navigating between Scylla and
Charybdis. Guide for External Quality Assessment in Higher Education 1995.Higher Education
Policy Series 30. Jessica Kingsley publishers. London and Bristol, Pennsylvania. Asesor de la
Asociación de Universidades de los Países bajos.
Referencia bibliográfica del Capítulo.
[v] Casanova, María Antonia, 1992).
[vi] Idem
[vii] Guba y Lincoln (1985): Citado en Egon Guba e Yvonna Lincoln: la evaluación naturalista en el
libro Evaluación de programas educativos .Investigación evaluativa .modelos de evaluación de
programas . Catalina Martínez mediano. Cuadernos de la UNED, Madrid, 1996 Ed. Torán S.A
[viii] Garantos Alós; Jesús (1989): Modelos de Evaluación de programas educativos .En La
Evaluación de Programas Educativos. María Paz Abarca Ponce. Ed.Escuela Española, S.A,
España. Pag.46
[ix] House, 1993. Citado por Tiana, 1996).
[x]Pérez Gómez (1983b:431): Referencia de Fernández Ballesteros, Rocío, 1996: En Evaluación de
programa. Una guía práctica en ámbitos sociales, educativos y de salud. Capítulo I; La evaluación:
su conceptualización.
[xi] Solarte Pazos, Leonardo (2002) La evaluación de programas sociales en el Estado Liberal. VII
Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública,
Lisboa, Portugal , 8-11 Oct. 2002.
[xii] Weiss, Carol. Evaluation. USA: Ed Prentice may, 1998. p. 4. En Ídem
[xiii] Patton, Michael Quinn. Practical Evaluation. Sage Publications 1982. p 15. En Solarte Solarte

Pazos, Leonardo (2002) La evaluación de programas sociales en el Estado Liberal. VII Congreso
Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa,
Portugal , 8-11 Oct. 2002
[xiv] Ruiz Ruiz, José M., 1996, pág. 46.
[xv] Pérez Juste, Ramón (1995), pág. 115
[xvi] Poggioli, Lisette, (1996).
[xvii] Ruiz Ruiz, José Ma. , 1996, pág. 47
[xviii] Windham, 1992. Citado en Poggioli, Lisette, 1996, pág. 57)
[xix] Chapman y Mahlck, 1993 . Citado en Poggioli, Lisette, 1996, pág.57
[xx] Windham, Levin y Bathory , 1990. Citado en Poggioli, Lisette, 1996, pág. 58
[xxi] Hernán Ayarza E., Director adjunto del centro Interunivesritario de Desarrollo CINDA, (1995) :
La evaluación y el mejoramiento de la calidad de la docencia. IGLU.Gestión d ela Calidad y el
cambio. Canadá
[xxii] Tomado del Diccionario de la Ciencia de la Educación, 1983
[xxiii] Tiana Ferrer, Alejandro (1996): Tratamiento y usos dela información en evaluación.
Documentos –5 Programa Evaluación de la Calidad de la Educación. Consultado en Internet el
14/3/02
[xxiv] Toranzos, Lilia: El problema de la calidad en el primer plano de la agenda educativa.
Programas Evaluación de la Calidad de la Educación Documento –2. Consultado en Internet el
14/3/02.
[xxv] Toranzos, Lilia: El problema de la calidad en el primer plano de la agenda educativa.
Programas Evaluación de la Calidad de la Educación Documento –2. Consultado en Internet el
14/3/02.
[xxvi] Tiana: Tiana Ferrer, Alejandro. (1996) : Tratamiento y usos de la información en evaluación.
Documentos-5. Programa Evaluación de la calidad de la educación. Consultado en Internet. El
14/3/02
[xxvii] Tiana Ferrer, Alejandro. (1996) : Tratamiento y usos de la información en evaluación.
Documentos-5. Programa Evaluación de la calidad de la educación. Consultado en Internet. El
14/3/02
[xxviii] Idem
[xxix] Santos, Miguel Angel ( 1993): En Idem
[xxx] Alkin, Daillak y White, (1979): En Tiana, 1996. Tratamiento y usos de la información en
evaluación. Documentos-5. Programa Evaluación de la calidad de la educación. Consultado en
Internet. El 14/3/02
[xxxi] Gento
[xxxii] Entrevista al Dr. Corral Ruso, 2000
[xxxiii] Guba y Lincoln (1985) : En Escudero , Tomás (2003): Desde los tests hasta la investigación
evaluativa actual. Un siglo, el XX, de intenso desarrollo de la evaluación en educación. Revista
Electrónica de investigación y Evaluación Educativa, V 9, N 1. http://www.uv.es/RELIEVE/v9n1/
RELIEVEv9n1_1.htm. Consultado julio 2003
[xxxiv] Daniel L. Stufflebeam, presidente del «Joint Committee on Standars for Educational
Evaluation» y actual director del «Evaluation Center» de la Western Michigan University (sede del
Joint Committee) y del CREATE (Center for Research on Educational Accountability and Teacher
Evaluation),
[xxxv] Camperos, Mercedes 1997, pág. 10
[xxxvi] Messick, 1989. Citado en Camperos, Mercedes, 1997, pág. 18
[xxxvii] Gento, S. ( 1989). Citado en Ídem.
[xxxviii] Schapiro, M y Sardy, H. (1985): Citado en Ídem.

[xxxix] Fox, D.J. (1981). Citados en Ídem.

[xl] Casanova, Ma. Antonia (1992): La evaluación, garantía de calidad para el Centro Educativo.
[xli] Scriven, Michael: Evaluation Thesaurus.Fourth Edition.p228
[xlii] Stufflebeam, Daniel (1974): Meta-evaluation. Paper # 3Occasional Paper Series. Documento
PDF creado 2000. Consultado en 9/4/2002. Web/OPS # 3.PDF
[xliii] Stufflebeam, Daniel (1974): Meta-evaluation . Paper # 3Occasional Paper Series. Documento
PDF creado 2000 . Consultado en 9/4/2002. Web/OPS # 3.PDF
[xliv] Stufflebeam, Daniel (1974): Meta-evaluation. Paper # 3 Occasional Paper Series. Documento
[xlv]Stufflebeam, Daniel; Shinkfield , Anthony J. ( ) : Stufflebeam : La evaluación del
perfeccionamiento . En Evaluación sistémica. Guía teórica y práctica.
[xlvi] Pendiente
[xlvii] Fernández Ballesteros, Rocío
[xlviii] Gento Palacios y Castillo Arredondo, 1995.
[xlix] Ruiz Ruiz , 1996.
[l] Alvira ( 1991).
[li] Stuflebeam,Daniel :Meta-evalauation.Paper #3.En Ocasional Papers
Series.Doc.pdf.Web/OPS#03.PDEF.Consultado el 8/4/02
[lii] García Sánchez, Ester: Diccionario Crítico de Ciencias Sociales. Metaevaluación. Universidad
Carlos III, Madrid.
[liii] House, Stake o Scriven . Citados en García Sánchez, Ester: Diccionario Crítico de Ciencias
Sociales. Metaevaluación. Universidad Carlos III, Madrid
[liv] Patton (1986). En García Sánchez, Ester: Diccionario Crítico de Ciencias Sociales.
Metaevaluación. Universidad Carlos III, Madrid
[lv] The Key Evaluation Checklist (KEC): Conjunto de criterios elaborados por Scriven para la
realización de las evaluaciones y que en una primera versión contaba con 18 criterios donde el
No.18 era precisamente la Metaevaluación (evaluación de la evaluación) y que ha sido revisada
para quedarse en 15 criterios según versión del 2002.Consultar en Evaluation Thesaurus (4th ed)
de Michael Scriven , 1991
[lvi] Estándares para la Evaluación de Programas que han sido desarrollados y revisados en dos
versiones (Joint Committee, 1981, 1994) por doce organizaciones bajo los auspicios de la
American Educational Research Association, American Psychological Association, National Council
on Measuremente in Education y la American Evaluation Association coordinados en la última
versión por el Dr. Sanders y por el “The Evaluation Center” de la Universidad de Michigan. Antes
de su publicación, los Estándares han sido revisados por una serie de personas en los EE.UU así
como en otros países.
[lvii] Joint Committee on Standards for Educational Evaluation (1988) Normas de Evaluación para
programas, proyectos y material educativo. Versión en español de la primera edición Editorial
Trillas, S.A. México
[lviii] American Psychological Association (1974): Standards for Educational and Psychological
Test. APA, Washington , DC. En Joint Committee on Standards for Educational Evlaution (1988)
Normas de Evaluación para programas, proyectos y material educativo. Versión en español de la
primera edición Editorial Trillas, S.A. México.
[lix] Standards for Evaluations of Education Program, Projects, and Materials (Joint Committee,
1981)
[lx] Stufflebeam, Daniel (1974): Meta-evaluation. Paper # 3 Occasional Paper Series. Documento
[lxi] Alfaro V. Gilberto; Sánchez Virginia ( Universidad Nacional Heredia, Costa Rica): Criterios y

aspectos para conducir procesos de meta evaluación. Un análisis de casos

[lxii] ERIC/AE Digest. The Educational Resources Information Center: Some Evaluation Questions

3- La evaluación y la acreditación: estrategias para el

aseguramiento de la calidad de la educación superior en su
práctica internacional y nacional actual
El condicionamiento social de la evaluación está dado, en primer lugar, por los objetivos o
fines con los cuales se introducen los sistemas de evaluación sea para la mejora y/o para la
certificación de la calidad; en segundo lugar, se reafirma en la utilización de la información
brindada por estos sistemas que está dirigida tanto al contexto donde está inmerso el objeto
de evaluación (centro, sistema de educación), como a la sociedad; por último, se refleja en
el impacto de la evaluación en sus resultados deseados o no deseados y en el efecto de la
implementación de los sistemas de evaluación como estrategia para el aseguramiento de la
calidad de la educación.
El desarrollo alcanzado por la evaluación educativa durante los últimos 60 años como
técnica, primero y tecnología y ciencia, después, ha estado justificado y condicionado por el
ámbito social de cada país que la practica, respondiendo así a diferentes motivaciones y
objetivos de las políticas educativas implementadas en los diferentes estadios de la
sociedad. Sería irreflexivo pensar que la evaluación educativa podría aislarse de la
influencia social al ser una ciencia que responde a una de las actividades más sensibles e
importantes de la que disfruta la sociedad, la educación. Dar una panorámica actual de lo
que acontece en el mundo en el campo de la evaluación de la educación superior y resumir
sus principales rasgos no resulta tarea fácil, pero sí necesaria.
3.1- Características y tendencias en la práctica evaluativa

internacional
Según el Resumen ejecutivo de la UNESCO de 1996 [i] , entre las características de la
educación superior para finales del siglo XX se destacan: tres tendencias principales en los
sistemas de educación superior y las instituciones en el mundo: la expansión cuantitativa, la
diversificación de las estructuras institucionales, los programas y las formas de estudio; las
restricciones financieras; inquietante distancia entre países desarrollados y países en
desarrollo en cuanto a las condiciones de la educación superior; se observan procesos
simultáneos y a veces contradictorios de democratización, mundialización, regionalización,
polarización, marginación y fragmentación que inciden en el desarrollo de la educación
superior y exigen de ésta respuestas adecuadas. Estas características de la educación
superior no difieren de las características de inicios del siglo XXI.
Sobre los sistemas de evaluación Bauer [ii] asegura que las diferencias en las culturas
políticas pueden ser agrupadas en dos tipos fundamentales: la evaluación se apoya en
conceptos políticos como la igualdad en el tratamiento de las instituciones, cuyo

financiamiento se basa en necesidades y busca garantizar igualdad de oportunidades a los

alumnos, equivalencia de programas y cursos, buscando garantizar que ninguna institución
o programa caiga por debajo de criterios mínimos de calidad establecidos; o cuando la
cultura política se apoya en el deseo de estimular la diversidad, la competencia, la
selectividad en el financiamiento y una política de "elección de ganadores".
Un interesante análisis acerca de la forma en que los distintos países han abordado la
evaluación y la acreditación es el que se desprende de una investigación del Instituto
Internacional de Planificación educacional de la UNESCO de 1995[iii], en el cual se
muestran las tendencias evaluativas internacionales clasificadas en cuatro categorías
principales: países que se distinguen por el desarrollo de estrategias de autorregulación y
accountability, donde los sistemas de educación superior están sometidos a “procesos
informados y periódicos orientados a ajustar el desempeño del sistema, las instituciones, los
programas o procedimientos a las expectativas – estándares, normas– definidas por el
regulador a la luz de una evaluación formativa o sumativa” [iv] y las instituciones son
esencialmente autónomas, pero operan en un marco que les exige dar cuenta pública de su
gestión; países cuyos gobiernos han iniciado un proceso de descentralización, en algunos
casos con la cooperación de las instituciones de educación superior; países en que sus
gobiernos han anunciado cambios de política orientados hacia el desarrollo de estrategias
de evaluación, planificación estratégica o mayor autonomía institucional, pero se
encuentran con condicionantes culturales o de otro tipo que dificultan su implementación;
países con un alto grado de control y planificación centralizados, donde se aprecia también
una cierta tendencia hacia una mayor autorregulación y se están iniciando procesos de
descentralización en ámbitos específicos.
La principal reflexión que se puede extraer del mencionado estudio es que existe una
tendencia clara hacia la autorregulación y el impulso de medidas de accountability por
parte del Estado, expresadas en el desarrollo de mecanismos de aseguramiento de la calidad
y acreditación pública. Esta tendencia se aprecia también en países con una larga tradición
de autonomía institucional, donde las instituciones de educación superior se ven sometidas
a regulaciones de carácter público y a sistemas centralizados y altamente controlados por el
Estado.
Aguilar Hernández[v], al caracterizar la práctica evaluativa internacional actual, expresa que
la evaluación universitaria que se realizaba antes difiere de la actual en que:
1 Antes, su metodología centraba su interés en la excelencia académica de los individuos
(docentes y estudiantes) y se evaluaban los objetivos para el mejoramiento de la
educación superior, la democratización de las universidades, el compromiso de las
instituciones con respecto a los procesos de cambio suscitados en el entorno social, el
prestigio de sus egresados y la excelencia de sus académicos. Hoy día se evalúa
integralmente los aspectos académicos junto a la eficiencia administrativa para

determinar el nivel de calidad de los llamados “servicios universitarios”; se evalúa para

promover la transformación del modelo de universidad, medir la calidad de la
enseñanza, la investigación y, especialmente, con el objetivo de promover cambios
sustanciales en el modelo de gestión y de administración, todo ello encaminado a
enfrentar los grandes retos del mercado de la educación superior.
2 En muchos países, la práctica actual de la evaluación está concebida a partir de las
orientaciones señaladas por organizaciones internacionales como el Banco Mundial, el
cual ofrece fondos a las universidades para “... el establecimiento de sistemas de
acreditación y evaluación del desempeño” [vi], explícitamente para aquellas instituciones
dispuestas a insertarse en un sistema de competencia, pues el acceso a los fondos se hará
por concurso, dependiendo de los resultados de las medidas aplicadas para elevar la
calidad de la enseñanza y la investigación.
3 Como pilares metodológicos fundamentales propuestos se identifica el uso de
indicadores objetivos determinados por la propia institución, la elaboración de un
informe de autoevaluación con la participación de todos quienes forman parte de ella y
la elaboración de un informe de contraste, realizado por una comisión de pares externos.
Procedimiento que debe llevar a la llamada planificación estratégica, cuya “esencia
metodológica es la toma de decisiones con base en los resultados de la evaluación para
afrontar los futuros cambios.”[vii].
4 En las universidades, generalmente, se aplican tres modalidades de evaluación: la
autoevaluación; la evaluación interna, realizada por personal de la misma institución,
pero no de la misma unidad académica, con el objeto de comparar el desempeño de ésta
con criterios internos de la propia universidad y la evaluación externa para determinar la
relevancia, la competitividad y la proyección social de la institución realizada por
personal externo.
5 En los procesos de evaluación institucional no es posible separar los aspectos técnicos de
los políticos pues se deben definir cuestiones de naturaleza política, entre las que están:
la integración de la comisión responsable de todo el proceso, los parámetros utilizados y
los responsables de definirlos, las personas que procesan la información, las personas
que forma el grupo de los pares externos, entre otros.
6 En los últimos años se ha introducido en las universidades públicas la llamada calidad
total.
Aunque se hace difícil establecer con exactitud el origen de la evaluación con un país
específico o una fecha determinada, sí se pueden identificar países con un mayor o menor
desarrollo de su cultura evaluativa o de una temprana o tardía práctica evaluativa. En una
posible lista caben nombres como el de los Estados Unidos de América, cuya práctica
evaluativa ha servido de paradigma en otras latitudes; Canadá; países de Europa como
Inglaterra, Francia, Holanda; o algunos de América Latina como Brasil, México, Argentina,

Chile. Se puede afirmar, por ejemplo, que no es hasta finales de los 80’ y principios de los
90’ que se evidencia en América Latina el uso de modelos de evaluación “con la intención
de ser eficientes” [viii], es decir, optimizar el uso de sus escasos recursos por lo que “resurge
en la región la problemática del Estado Evaluador dentro del contexto del neo-liberalismo
institucional que reclama justificar el uso eficiente de los recursos estatales”[ix].
Al hacer una caracterización del estado actual de la actividad evaluativa y de acreditación
en América Latina, Fernández Lamarra[x] plantea que las iniciativas y los organismos de
evaluación y acreditación se han desarrollado de manera muy abierta a la influencia de la
experiencia internacional (regional y extra-regional) en un marco de discusión,
colaboración y construcción regional centroamericano; la fragilidad y escasa cohesión e
integración de los subsistemas de educación superior en la mayoría de los países de la
región ha limitado la definición e impulso de políticas nacionales claras en materia de
evaluación y acreditación de la educación superior (escaso apoyo de los gobiernos
(Ministerios), escasez de recursos financieros disponibles para emprender acciones de
mayor alcance y proyección); se ha avanzado en la “cultura de la evaluación”, registrándose
un mayor desarrollo en lo referido a la evaluación diagnóstica para el mejoramiento de la
calidad y de la pertinencia institucional, y no con fines de acreditación; se implementan
procesos tendentes a la acreditación de carreras de grado a partir de criterios y estándares
preestablecidos con extensa trayectoria en Brasil y en Argentina y para programas de
carácter regional también en Centroamérica a través de SICAR para el reconocimiento
regional; los procesos tendentes a la aprobación de nuevas instituciones universitarias
privadas o para la revisión de su funcionamiento, han posibilitado limitar la proliferación
excesiva de nuevas instituciones y tender a una mayor homogeneidad en cuanto a los
niveles de calidad; por último, la tendencia a la articulación de los procesos nacionales y
regionales de acreditación de carreras o titulaciones en Europa y en América Latina, que
posibilita aprovechar el nuevo espacio común de Educación Superior Unión Europea,
América Latina y el Caribe.
Fernández y Zavala[xi] al referirse también a la evaluación y acreditación en América
Latina hace las siguientes reflexiones: la experiencia latinoamericana de los últimos
cincuenta años, buscando un modelo de desarrollo adecuado, ha demostrado que mucho
más útil para nuestra realidad es tener en cuenta las diferencias culturales, de sistema
político y de desarrollo económico que obviarlas copiando recetas o aceptando lo que está
de moda porque es sinónimo de lo moderno sin reflexionar sobre su validez y/o utilidad. Es
erróneo desligar las decisiones sobre modelos de evaluación en América Latina de
consideraciones básicas como qué es lo que se pretende lograr con las evaluaciones, bajo
qué circunstancias se han aplicado y dentro de qué paradigma administrativo. [Ver Anexos
II Tabla 19 Iniciativas regionales, pág.54].
En Europa, como resultado del proceso Sorbona-Bolonia (1998, 1999) y de las Cumbres de
la Comunidad Europea, la educación superior se ha encaminado hacia cuatro direcciones:

• La creación del Espacio Europeo de la Educación Superior (plazo hasta el 2010),

organizado conforme a principios de calidad, movilidad, diversidad y competitividad y a
su vez orientado hacia la consecución de dos objetivos estratégicos fundamentales: el
incremento del empleo en la Unión Europea y la conversión del Sistema Europeo de
Formación Superior en un polo de atracción para estudiantes y profesores de otras partes
del mundo, posibilitando que los estudios tengan mayor transparencia y comparabilidad
con beneficios para toda la sociedad y reportará a los estudiantes la organización de las
enseñanzas en función de su aprendizaje. [Ver más información en Anexos II, pág. 37;
Tabla 12, pág. 40].
• Se fomenta el aprendizaje a lo largo de la vida (Comunicado de Praga, 2001) como
elemento esencial para alcanzar una mayor competitividad europea; mejorar la cohesión
social, la igualdad de oportunidades y la calidad de vida; aumentar el rol activo de las
universidades, de las instituciones de educación superior y de los estudiantes en el
desarrollo del proceso de convergencia y la promoción del atractivo del Espacio Europeo
de Educación Superior mediante el desarrollo de sistemas de garantía de la calidad y de
mecanismos de certificación y de acreditación.[Ver información en Anexos II, pág. 41;
Tabla 13, pág.42].
• Se insta a la excelencia de las universidades europeas para optimizar los procesos que
sustenta la sociedad del conocimiento (Bruselas, 2003)[xii] y lograr el objetivo de
convertirse en “la economía más competitiva y dinámica del mundo basada en el
conocimiento, capaz de sustentar el crecimiento económico y crear un mayor número de
puestos de trabajo de mejor calidad y una mayor cohesión social”.
• Convertir a los sistemas europeos educativos en sistemas de “referencia de calidad
mundial”. [xiii].
Los procedimientos europeos de garantía de la calidad varían en lo que respecta a “enfoque,
definición de las palabras claves y agentes de garantía de la calidad”.[xiv] En relación con
el enfoque, la mayoría de los procedimientos nacionales se centran en las evaluaciones de
los programas, otros se centran en la institución como un todo; unos abogan por una
aproximación a la evaluación y otros discuten por los estándares. Están los que creen que la
acreditación y sus conclusiones constituyen el único procedimiento legítimo, mientras que
otros consideran que la evaluación es la mejor manera de garantizar la mejora. Por otro
lado, la falta de consenso en la definición de las palabras claves se ve en el empleo de los
mismos términos para referirse a diferentes actividades como son: evaluación institucional,
identificada con auditoría institucional o análisis de la gestión institucional; indicadores o
estándares de rendimiento, se pueden referir a las entradas (número de estudiantes,
personal no académico, equipos, etc.) o salidas (número de graduados, seguimiento de las
carreras, número de publicaciones, etc.). Mientras que otros abogan por un análisis de
procesos tales como la organización de la enseñaza, la investigación, las relaciones

internacionales, etc. Por el tipo de agentes involucrados en los procesos se reconocen

agencias nacionales, cuya “titularidad” es gubernamental o semigubernamental; redes e
instituciones de educación superior reconocidas por los gobiernos; agentes europeos
transnacionales como el Sistema Europeo para la mejora de la calidad (EQUIS).
Por tanto, como objetivos a alcanzar se proponen garantizar que las universidades europeas
dispongan de recursos suficientes y duraderos y los utilicen eficazmente, reforzar su
excelencia, tanto en materia de investigación como de enseñanza, concretamente, mediante
la creación de redes y lograr una mayor apertura de las universidades hacia el exterior e
incrementar su atractivo a escala internacional. Según Froment,[xv] la forma más deseable
de conseguir la convergencia es pensar en la evaluación de la calidad en términos de tres
niveles vinculados, pero autónomos: a nivel institucional donde cada institución debe ser
responsable de promocionar una cultura de la calidad interna; a nivel nacional en que los
procesos de evaluación de la calidad deben respetar la autonomía institucional y a nivel
europeo, en el que se necesita un código de buenas prácticas idónea para que las agencias
de evaluación de la calidad fomenten la confianza como primer vehículo de la
transparencia.
Una muestra de lo expresado es que las propias universidades, conscientes de la necesidad
de trabajar en la mejora de la docencia, han creado gabinetes especializados en elaborar sus
propios sistemas de evaluación de la calidad; han adoptado y adaptado modelos y métodos
provinentes de otros sectores como el Modelo Europeo de Excelencia, EFQM; los
gobiernos han elaborado programas que fomentan y garantizan la calidad de la docencia,
por ejemplo, el Plan Nacional de Evaluación de la Calidad de las Universidades Españolas
elaborado por el Ministerio de Educación y Cultura; se han creado autoridades
administrativas independientes de la Universidad y de los poderes públicos para evaluar la
calidad universitaria a través de indicadores objetivos, con lo cual pueden considerarse libre
de intereses políticos. [Ver Anexos II: Modelo EFQM, pág.43; otras iniciativas en Tabla
14, pág.46 y ANECA de España pág.48 Fig.6, pág.49].
Simultáneamente, en la dimensión internacional, se tiende al intercambio de las
experiencias evaluativas entre los diferentes países. Este intercambio o cooperación se
produce, en muchas ocasiones, en el seno de agencias transnacionales formadas por las
diferentes agencias nacionales, con el fin de establecer sistemas de coordinación que
permitan llegar a unos requisitos mínimos de calidad comunes y apoyar los procesos de
acreditación como es el caso de las redes internacionales de acreditación: la Red Europea
para el Aseguramiento de la Calidad- ENQA (European Network for Quality Assurance in
Higher Education) creada en 1999, o asociaciones internacionales vinculadas al mundo
universitario que se preocupan por la calidad de la docencia como la European Dimension
of Institutional Quality Management o la International Network for Quality Assurance
Agencies in Higher Education (INQAAHE), entre otras iniciativas.

3.2- La experiencia evaluativa en la educación superior cubana.

Nuevas perspectivas
El Sistema de Educación Superior cubano se caracteriza por tener 65 Instituciones de
Educación Superior (IES) con un claustro de 32 126 profesores, un total de 510 mil
estudiantes de los cuales 365 mil son estudiantes en 41 carreras de las 3 150 Sedes
Municipales con que cuenta el programa de Universalización en el país (datos diciembre
del 2006). En muchas de estas instituciones se ofrecen actividades de posgrado y de
superación profesional: 403 programas de maestrías con más de 3000 cursistas y 159
programas de doctorados. Este panorama cuantitativo es el resultado de la política
educacional seguida por el gobierno revolucionario cubano, que identifica la calidad de la
educación superior con el amplio acceso de la población a los estudios de nivel superior;
con su pertinencia, al estar orientada hacia la formación integral de los futuros
profesionales (un resultado es que se cuenta con 6 600 doctores) y al desarrollo integral de
la sociedad cubana; y con altas metas para alcanzar la excelencia académica.
En cuanto a la experiencia evaluativa en el ámbito educativo se refiere que “en la
Educación Superior cubana no existía antes de 1976, un sistema de supervisión constituido
de forma estable”[xvi]. En ese año, con la creación de la red de centros de este nivel, se
comienza a trabajar en la organización de un sistema de control que permitiese valorar la
eficacia del trabajo general de esas instituciones por lo que se estudiaron las experiencias
acumuladas hasta el momento en Cuba y en otros países. En 1978 se elabora el primer
Reglamento de Inspecciones, cuyo objetivo era constituirse en instrumento para evaluar los
centros de educación superior del país. El reglamento sufrió modificaciones en diferentes
momentos en 1982, 1990 y en 1998 (Resolución No. 166/1997) que recogieron las nuevas
transformaciones del contexto educativo cubano. En la última versión se explica que el
Ministerio de Educación Superior (MES) realiza la inspección, como una forma de
evaluación y control a los centros de educación superior, con el objetivo de comprobar la
calidad del trabajo en correspondencia con la misión o función social que le ha sido
encargada y comprobar el cumplimiento de las disposiciones vigentes (Reglamento de
Inspecciones, 1998. Artículo 1. Capítulo I).
Sin embargo, a partir de la década de los 90’, Cuba no escapa al panorama internacional y
tiene que buscar formas novedosas en materia de evaluación educativa para su inserción en
él, sin anular su experiencia particular que ha sido reconocida como muy positiva. La
oportunidad favorable se da, específicamente, en la educación de posgrado que se
caracteriza, a partir de esos momentos, por un grado superior en la conciliación del
posgrado con la pertinencia en la búsqueda de la calidad y por un acelerado desarrollo
motivado por diferentes factores: la creciente demanda en términos de educación de
posgrado relacionada con el desarrollo del país en los últimos años, exigiéndose la
constante actualización de los conocimientos de los profesionales cubanos para completar,

en la etapa posgraduada, la preparación de los graduados de perfil ancho; creciente número

de programas de posgrado donde la investigación juega el papel protagónico y está
orientada directamente a las demandas socioeconómicas y culturales del país; surge la
modalidad de la maestría y el diplomado como nuevas modalidades del posgrado,
fortaleciéndose su interrelación y articulación con el doctorado; se incrementa la formación
de doctores para el fortalecimiento y la excelencia del claustro universitario; mayor
coherencia entre el pregrado y el posgrado; mayor integralidad del Sistema de Educación
de Posgrado a nivel nacional; un número mayor de actores colectivos involucrados en la
gestión del posgrado y en el aseguramiento de su calidad: los Comités Académico a nivel
de programa, los Consejos Científicos, las Comisiones de Posgrado Académicos y la
Comisión Asesora para la Educación de Posgrado a nivel nacional; la concepción del
posgrado como un medio de captación de recursos financieros para el autofinanciamiento
de las universidades y de los propios programas de posgrado a consecuencia de la crisis
económica en el Período Especial; ruptura de vínculos con países, donde los profesionales
cubanos realizaban actividades posgraduadas por lo que fue necesario encauzar estrategias
para que esas actividades se desarrollaran en el país; el acelerado proceso de reinserción
internacional de los Centros de Educación Superior (CES) fortaleciéndose la colaboración
internacional y el intercambio académico a nivel de posgrado (un número creciente de
programas de posgrado tiene presencia en otros países) lo que favorece el aumento del nivel
científico y profesional de profesores e investigadores cubanos.
En 1996, al oficializarse la figura de la maestría en Cuba como nueva modalidad del
posgrado, surge entonces el imperativo de encontrar nuevas formas de control de su
calidad. Hasta ese momento sólo se valoraba la calidad para la aprobación de los
programas, pero no se contaba con una metodología que evaluara su desarrollo y los
resultados obtenidos y encauzara el posterior perfeccionamiento del programa. Surgen las
siguientes interrogantes: ¿tienen todos los programas de maestría la calidad requerida que
garantice su inclusión y permanencia en la oferta de estudios para la formación
posgraduada de los profesionales?; ¿cómo validar la calidad de los programas para alcanzar
el reconocimiento a nivel nacional e internacional?; ¿cómo detectar las deficiencias y las
virtudes de los programas a tener en cuenta en su perfeccionamiento? Se llega al
convencimiento de que un sistema de evaluación y la acreditación, según las metodologías
aplicadas internacionalmente e incorporando la identidad y el contexto nacional, podía ser
un instrumento eficaz que permitiría dar respuesta a esas interrogantes y posibilitaría el
aseguramiento de la calidad de los programas, exigencia que estaba justificada por las
siguientes razones:
1 La maestría, modalidad de la Formación de Posgrado Académico articulada más
directamente con el doctorado, sienta las bases de las futuras investigaciones, al recibir
el estudiante un entrenamiento en el desarrollo de habilidades y hábitos investigativos.

2 Bajo la compulsión de nuevas demandas relacionadas con el desarrollo económico del

país, la aparición de nuevos puestos de trabajo, la creación de nuevas competencias
profesionales para ocuparlos y la elevación del nivel científico del sistema de educación,
en general y de la educación de posgrado, en particular, los programas de maestrías
satisfacen la demanda de estudios avanzados de los egresados universitarios que
vinculan su tarea investigativa a la solución de problemas de sus áreas de trabajo y
adquieren conocimientos actualizados para un mejor desempeño profesional.
3 La preferencia por las maestrías, reflejada en la cantidad de estudiantes matriculados y
en la variedad de los centros de procedencia de dichos estudiantes.
4 El gran número de IES de la red MES que ejecutan programas de maestrías en diferentes
ramas y tienen en proyecto abrir otras. Ya en los años 90’, existían en el país 305
programas de maestrías (sólo en la Universidad de La Habana existían 78 programas
aprobados equivalente al 25.5% del total nacional).
5 Al alcanzar la acreditación de su excelencia, los programas tendrían una mayor
posibilidad de inserción a nivel internacional, convirtiéndose en fuente de intercambio
con profesionales y científicos extranjeros. Fuente que se revierte en canal idóneo de
divulgación de los éxitos del Sistema de Educación Superior cubano, en general y de la
educación de posgrado, en particular; así como del nivel científico de los profesores y
profesionales cubanos. Los programas de maestrías se comienzan a impartir en México,
Bolivia, Perú y en otros países latinoamericanos.
6 Con programas de posgrado de excelencia se puede lograr una fuente de captación de
recursos financieros necesarios para el país.
En 1996, se introduce la Guía de Autoevaluación de la Asociación Universitaria
Iberoamericana de Posgrado (AUIP) y se llevan a cabo, de forma experimental, procesos de
autoevaluación a 25 programas de maestrías de la Universidad de La Habana. Esta
experiencia, que más tarde se introdujo a nivel nacional, posibilitó el entrenamiento del
personal en una nueva forma de evaluación y el origen de una cultura evaluativa de nuevo
tipo dentro del ámbito académico, abriéndose un espacio de reflexión en cuanto a la
preocupación por la calidad, la concepción de la evaluación, sus objetivos y su utilización.
Como resultado de este proceso de autoevaluación se evidenció la necesidad de trascender
a un nivel superior y más riguroso de control de la calidad que sirviera de contención a la
avalancha de programas de maestrías, la evaluación externa. Pero había que encontrar una
forma de evaluación externa adecuada a las condiciones existentes en el país en ese
momento por lo que se decide crear un instrumento de evaluación propio, que respondiera a
la realidad de la educación superior cubana y al contexto en el que se desarrollaban los
programas.
Con el objetivo de que la educación de posgrado respondiera a los intereses de la nación
con calidad y pertinencia, a nivel nacional e internacional, el Ministerio de Educación

Superior de Cuba determinó, en 1997, diseñar un Sistema de Evaluación y Acreditación de

Maestrías que reflejara, por una parte, las características, experiencias y desarrollo
alcanzados en la educación de posgrado cubana y por otra, que recogiera los principios más
generales que en esta esfera se aprecian en la práctica internacional, evitándose adoptar
modelos de evaluación foráneos de forma mecánica para dar paso a un proceso consciente,
crítico y creador que permitiera aprovechar adecuadamente las experiencias evaluativas
positivas de otros países y de lo tradicionalmente establecido en el ámbito cubano en este
campo.[Ver Anexos II, Tabla 16, 17 y 18 pág. 51-52-53]. Sobre los resultados y algunas
consideraciones de la implementación experimental en la Universidad de La Habana del
primer diseño del Sistema de Evaluación y Acreditación de Maestrías (SEA-M) ver
información en la tesis de maestría de la autora.
3.2.1- El Sistema de Evaluación y Acreditación de Maestrías: una

descripción necesaria
Después de 2 años de trabajo, experimentación y reflexión se oficializa el SEA-M en 1999
para su implementación en todo el país. Actualmente en funcionamiento, el SEA-M cuenta
con un Reglamento, un Patrón de Calidad y una Guía de Evaluación con las variables e
indicadores a cumplimentar por los programas. La concepción de la Guía de Evaluación
supone la aplicación de un sistema de encuestas y entrevistas a los actores principales
(estudiantes, profesores, autoridades, empleadores, expertos, etc.) e incluye seis variables:
Pertinencia e impacto social (15puntos), Tradición de la institución y colaboración
interinstitucional (15 puntos), Cuerpo de profesores y tutores (30 puntos), Respaldo
material y administrativo del programa (10 puntos), Estudiantes (10 puntos) y Currículo (15
puntos). Para una mejor adaptación al contexto que se evalúa y alcanzar una mayor
pertinencia, la Guía de Evaluación ha sufrido cambios en la puntuación de algunos de sus
indicadores y en las categorías de acreditación a otorgar.
En los inicios sólo se conferían las categorías de Programa Acreditado y de Excelencia, lo
que implicaba mayores exigencias a los programas de maestrías. Más tarde la categoría de
Programa Autorizado ha sido considerada como un nivel primario de acreditación y se
incorpora la categoría de Ratificado, lo que amplía el diapasón de posibilidades de los
programas al distribuirse mejor los requisitos a cumplir en cada categoría, haciéndose la
Guía de Evaluación más flexible a las condiciones reales de implementación de los
programas. Actualmente, existen cuatro categorías de acreditación. La categoría de
Programa Autorizado, otorgada por la Comisión Asesora para la Educación de Posgrado
(COPEP), refrendada por resolución del MES, tendrá vigencia por un período de cinco
años, plazo en el que deberá abrir al menos dos ediciones y durante el cual el comité
académico deberá solicitar un proceso de evaluación externa y de acreditación o solicitar la
renovación de su certificación como Programa Autorizado. El proceso para optar por las
categorías de Programa Ratificado, Certificado y de Excelencia exige al menos dos

ediciones del programa concluidas con sus correspondientes autoevaluaciones y una

edición en ejecución; hacer una solicitud oficial de evaluación externa por el Rector o el
Director de la institución a la Junta de Acreditación Nacional (JAN); haber obtenido
resultados satisfactorios en la evaluación externa desplegada por una comisión de expertos;
contar con un dictamen favorable del Comité Técnico Evaluador; y la decisión positiva de
la JAN. Para programa Ratificado es necesario obtener al menos el 60 % (= 66 puntos) de
los 110 puntos de la Guía de Evaluación, para programa Certificado al menos el 70 % (=77
puntos) y para Excelencia al menos el 85% (=93.5 puntos). Con independencia de la
puntuación total obtenida, el programa deberá aprobar determinados indicadores de
obligatorio cumplimiento para todos los casos. Hasta enero del 2007, mediante el SEA-M,
se han acreditado un total de 129 programas, de los cuales 21 obtuvieron la categoría de
programa ratificado, 59 de certificado y 27 de excelencia [ver Anexos I, Tablas 20 y 21,
pág. 55].
3.2.2- Implementación de los procesos de evaluación externa y

acreditación
En el 2000 se crea la Junta Nacional de Acreditación (JAN), órgano asesor de la
dirección del MES presidida por el Ministro de Educación Superior, que constituye una
unidad especializada e independiente del resto de las direcciones funcionales del MES para
brindar a los procesos de evaluación y acreditación un carácter externo, sistémico e
integrado. Consta en el Reglamento que su misión es contribuir al mejoramiento de la
calidad de la educación superior cubana mediante el desarrollo y aplicación de un sistema
de evaluación y acreditación de programas e instituciones y sus objetivos son promover,
organizar, ejecutar y controlar la política de acreditación para la educación superior del
país, así como coordinar los diferentes procesos de evaluación institucional en los centros
adscritos al MES. La JAN tiene entre sus funciones aprobar las diferentes variables,
indicadores y criterios de calidad e instrumentos que han de aplicarse; proponer para su
consideración al Consejo de Dirección del MES, los diferentes Sistemas de Evaluación y
Acreditación, Patrones de Calidad y Guías de Evaluación; así como los correspondientes
Reglamentos para su puesta en vigor; aprobar las distintas categorías de acreditación como
resultado de los procesos de evaluación realizados; y aprobar la bolsa de expertos para los
diferentes CTE y Comisiones Evaluadoras.Las decisiones de la JAN son válidas cuando
estén presentes al menos las dos terceras partes de sus miembros y se cuente con el voto
favorable de la mayoría simple de los presentes.
La JAN está compuesta por un número no mayor de treinta y cinco expertos, provenientes
de las IES de la red MES y de los Organismos de la Administración Central del Estado
(OACE) con IES adscritas al MES, los cuales deben cumplir con determinados requisitos,
ser aprobados por Resolución del Ministro de Educación Superior para un período de
cuatro años, se renovarán cada vez, al menos, en un 25% de sus miembros y no podrán

participar como expertos en las Comisiones de Evaluaciones Nacionales, pero sí en calidad

de observadores en dichos procesos. La JAN representa a Cuba en materia de calidad,
evaluación y acreditación ante las agencias, instituciones y organizaciones de calidad,
evaluación y acreditación de los diferentes países o regiones, o de carácter internacional.
La JAN designa entre sus miembros una Secretaría Ejecutiva compuesta por un Secretario
y hasta seis miembros, cuya secretaria es la Directora de Inspecciones y Auditoría del MES
(Dirección de Evaluación a partir de finales del 2006). La Secretaría Ejecutiva tiene entre
sus funciones: convocar, programar, organizar y conducir el desarrollo de los diferentes
procesos de evaluación y acreditación, determinando los plazos de ejecución de los
mismos; orientar metodológicamente el desarrollo de las distintas etapas de los procesos de
evaluación (autoevaluación y evaluación externa), seleccionando y entrenando a los
expertos que llevarán a cabo las evaluaciones; recibir, procesar, custodiar y preservar toda
la documentación correspondiente a los procesos de evaluación y acreditación que se
desarrollen, elaborar los dictámenes correspondientes y proponer a la JAN, el otorgamiento
de las distintas categorías de acreditación y la valoración de las diferentes evaluaciones
institucionales. La JAN, a través de su Secretaría, rinde cuentas anualmente ante el Consejo
de Dirección del Ministerio de Educación Superior presentando los resultados de su gestión
y su valoración sobre los procesos de evaluación y acreditación en cada curso académico y
se reunirá de forma ordinaria dos veces al año.
Además, la JAN cuenta con Comités Técnicos Evaluadores (CTE), órganos auxiliares
encargados del asesoramiento metodológico a los procesos de acreditación, integrados por
un número máximo de 10 profesores o investigadores de reconocido prestigio académico y
dispone de una Bolsa de Expertos integrada por profesionales de alto prestigio de las IES,
de los OACE y de las organizaciones profesionales que deben tener el grado de doctor o
equivalente y categoría docente principal de Profesor Titular o Profesor Auxiliar,
renovables en un 25% con una periodicidad bienal. Para conformar las Comisiones
Evaluadoras los expertos son seleccionados por el Comité Técnico y aprobados por la
Secretaría Ejecutiva con el visto bueno de la JAN. En el caso del SEA-M, el CTE tiene
entre sus funciones hacer la revisión preliminar de los documentos del programa a evaluar y
de las autoevaluaciones realizadas; prepara y asesora metodológicamente a los expertos,
previo a la evaluación externa y durante la misma; valora el informe final de los
evaluadores y elabora un Proyecto de Dictamen para someterlo a la JAN. Otros órganos
importantes que intervienen en el caso específico de la evaluación y acreditación de
programas de maestrías están: los Comité Académicos de Programas de Maestría que
diseña y ejecuta el programa, gestiona la calidad del proceso al realizar autoevaluaciones
sistemáticas y prepara toda la documentación correspondiente para iniciar los procesos; y la
Comisión Asesora para la Educación de Posgrado (COPEP del MES) que otorga la
categoría de Programa Autorizado y da seguimiento a la gestión de la calidad de los
programas en ejecución [ver en Anexos III Fig.7, pág.80].

A partir de la experiencia del SEA-M se comienza a reflexionar sobre la necesidad de

extenderla al sistema universitario en general por lo que surge el SUPRA (Sistema
Universitario de Programas de Acreditación) cuyo objetivo principal es “contribuir a la
mejora de la calidad de la educación superior en Cuba mediante la certificación al nivel
nacional e internacional de programas e instituciones que cumplan requisitos de calidad
establecidos”[xvii]. En el SUPRA se insertan varios subsistemas: el SEA-M, para programas
de maestrías; el Sistema de Evaluación y Acreditación de Carreras Universitaria (SEA-CU)
cuyo Reglamento se puso en vigor en 2002; el Sistema de Evaluación y Acreditación de
Especialidades de Posgrado (SEA-E); y el Sistema de Evaluación y Acreditación de
Doctorados (SEA-D). [Ver Anexos II Tabla 15, pág.50].
La evaluación institucional contempla la evaluación y acreditación del Departamento
docente (Cátedra), la Facultad, Centros de Investigación o de Estudio y la Institución de
Educación Superior, así como las Sedes Universitarias Municipales comprendidas en el
programa de Universalización. Las etapas del proceso son: la autoevaluación, realizada de
forma sistemática con la participación de los actores principales de las distintas instancias
de una IES, liderada por expertos de la propia IES y culmina con la elaboración de un plan
de mejora que es evaluado y controlado por la propia IES; la evaluación externa, realizada
por evaluadores externos, cuyas bases lo constituye el informe de autoevaluación, el plan
de mejora y su cumplimiento y toda la información disponible facilitada por la Secretaria
de la JAN. Los instrumentos fundamentales para la realización de la evaluación externa
son: controles a las actividades docentes (teóricas y prácticas), exámenes integradores de
contenido por años a los estudiantes, entrevistas y encuestas a colectivos de profesores,
estudiantes, empleadores, expertos y directivos y visitas a las diferentes instalaciones. Los
expertos externos elaboran un informe final, que se discute y difunde.
El procedimiento fundamental de la evaluación institucional es el siguiente: la evaluación
externa es solicitada por las universidades para lo cual debe enviarse a la Secretaria de la
JAN las autoevaluaciones correspondientes de los Departamentos docentes, Facultades y
del propio IES; la Secretaría de la JAN selecciona las Facultades a evaluar y se evalúan
todos los Departamentos docentes de esta. La evaluación externa de una IES se podrá
realizar siempre que ésta haya aprobado una auditoría económica, como máximo en el
plazo de un año anterior a la solicitud. La evaluación y acreditación de los programas de
maestría, por su parte, sigue el siguiente procedimiento: entrega de la solicitud del Rector a
la JAN por conducto de su Secretaría certificando las condiciones creadas para realizar el
proceso de evaluación externa; entrega de toda la documentación establecida por el Comité
Académico que es revisada por el CTE y si procede la evaluación externa, se designa a uno
de los miembros del CTE para que brinde asesoría durante el proceso. Se selecciona a los
expertos de la Comisión Evaluadora quienes, durante un seminario, recibirán la
documentación reglamentada y las orientaciones generales. En un segundo momento, se
realiza la visita in situ por la Comisión Evaluadora para verificar la validez de toda la

información recibida sobre el programa y establecer un criterio sobre las condiciones

acreditables del programa. Los evaluadores elaboran un informe final con las debilidades,
fortalezas, recomendaciones y resultados del proceso que es presentado en plenaria a los
responsables del programa y a directivos de la institución. En esta presentación no se les
informa a los evaluados la puntuación otorgada según las variables de la Guía, ni el posible
nivel de acreditación propuesto. Los evaluadores entregan al CTE el informe final, sobre la
base del cual se elabora un proyecto de dictamen con una propuesta de certificación para la
JAN, que en reunión plenaria revisa toda la información y emite un juicio de valor sobre el
programa, ratificando la propuesta del nivel de certificación o determinando otra y la envía
al Ministro de Educación Superior para su otorgamiento.
3.2.3- Singularidades de la práctica evaluativa en la educación

superior cubana
1 En un intento por comprender o sentar las bases del modelo de evaluación de programas
contenido en el SEA-M, se puede decir que:
– el modelo que se aplica se identifica con una postura naturalista-cualitativa al proponer
una evaluación del programa en su contexto natural, utilizar recursos de observación y
tomar en cuenta la perspectiva de los participantes en el programa para hacer una
descripción del mismo de forma general y se identifica también con la postura
cuantitativa al tener en cuenta la relación causal entre las variables y al obtener datos
de naturaleza cuantitativa. Por tanto, existe una correspondencia con el paradigma
mixto de evaluación al tratar de proyectarse hacia la objetividad del programa
extrayendo resultados numérico-estadísticos y, al mismo tiempo, realizar la
evaluación, teniendo previsto el contacto con los implicados en el programa con el
objetivo de adquirir información precisa, inmediata y personal sobre el programa; sin
embargo, podría decirse que la balanza se inclina hacia el aspecto cuantitativo sin estar
exento de la cuota de subjetividad característica de toda actividad humana.
– puede enmarcarse dentro del modelo de corte humanístico al perseguir el
mejoramiento de los procesos educativos, tener una visión procesual y la evaluación es
contemplada como una actividad continua encaminada hacia unas metas. El evaluador
es promotor y colaborador, aunque de forma limitada, de los implicados en el
programa, estableciéndose un clima de intercomunicación.
– se identifica igualmente con el modelo holístico al valorar globalmente los
componentes del programa y tener en cuenta la opinión de todos los implicados en la
concepción, desarrollo y valoración de la evaluación, así como al utilizar técnicas de
observación, entrevistas y revisión documental. Tiene presente los tres momentos de
vida del programa: en sus inicios, desarrollo y resultados; sin embargo, hace mayor
énfasis en los resultados.

– la evaluación que se realiza, en correspondencia con los agentes evaluadores, puede ser
interna y/o externa. La Guía de Evaluación resulta, en la práctica, un instrumento
evaluador multipropósito al utilizarse tanto para la autoevaluación, como para la
evaluación externa. La evaluación externa se corresponde, por su finalidad, con la
evaluación sumativa dirigida a los resultados: resultados del programa en una edición
concluida (sus procesos finalizados en un momento concreto), buscando la
certificación de la calidad de dicho programa, pero el SEA-M también coadyuva al
posterior perfeccionamiento del programa, por lo que puede enmarcarse en la
evaluación formativa. Desde el punto de vista de su extensión se realiza una
evaluación global al proyectarse hacia todos los componentes del programa evaluado
de forma integral y por el momento de aplicación, la evaluación del SEAM puede
determinarse como una evaluación final, pues se realiza al terminar un período
determinado del programa cuantificando y analizando los resultados obtenidos durante
ese tiempo.
2 En cuanto a la finalidad, objetivos y usos de la evaluación en general:
– con ella se persigue obtener información válida y fiable para determinar las causas de
los logros o de los aspectos negativos del programa (o institución) para luego proponer
las recomendaciones o sugerencias de modificaciones imprescindibles con vistas a su
mejora.
– no se utiliza como instrumento de dominación, control o punición, ni para establecer
jerarquizaciones discriminantes de programas e instituciones o hacer depender la
entrega de presupuestos, según los resultados obtenidos, lo cual es completamente
improcedente en Cuba.
3 En cuanto a la metodología utilizada y los procedimientos en la práctica evaluativa:
– se cuenta con un patrón de calidad (conjunto de estándares), que en el caso de las
maestrías, “persigue identificar un modelo ideal al cual deben aproximarse los
programas en Cuba, el que define el deber ser del posgrado cubano, entendiendo por
calidad la conjunción de la excelencia académica y la pertinencia social en su
acepción más amplia”(Artículo 18. Reglamento del SEA-M)
– se realiza por estándares preestablecidos en una Guía a la que se someten todos los
programas e instituciones del país por igual.
– a la evaluación externa le precede, como requisito indispensable, una autoevaluación y
a la acreditación le precede una evaluación externa.
– se basa en el principio del carácter voluntario de la solicitud de los interesados de un
proceso de evaluación externa a partir del cumplimiento de determinados requisitos
iniciales establecidos en el reglamento, aunque hay limitaciones temporales para

mantener la categoría obtenida (por ejemplo, ver Artículo 6 y 13 del Reglamento del
SEA-M).
– la evaluación externa es realizada por evaluadores no profesionales, seleccionados de
entre un grupo de prestigiosos profesionales de las distintas ramas del saber que
proceden de las diferentes universidades del país u otros organismos y cumplen con
determinados requisitos de idoneidad sin obtener ningún tipo de pago.
– se ha tenido en cuenta la opinión de los implicados e interesados en la concepción,
desarrollo y valoración de los sistemas de evaluación y sus instrumentos, llegándose a
un consenso para su implementación.
4 Los subsistemas del SUPRA han sido diseñados con un alcance nacional respondiendo a
las condiciones homogéneas propiciadas por el Sistema Nacional de Educación
Superior. En el caso particular del SEA-M, se han tenido en cuenta las características y
condiciones homogéneas dispuestas en el Reglamento de la Educación de Posgrado para
programas de maestrías, lo que ha posibilitado alcanzar una homogeneidad en los
estándares, en los procedimientos y en los objetivos que se persiguen con la evaluación
en el contexto cubano.
5 En Cuba la calidad en la educación superior se garantiza mediante un sistema de control,
evaluación y acreditación, constituido por tres subsistemas: Subsistema de Control
Estatal, que implica inspecciones estatales, auditorías, visitas de trabajo, evaluación del
cumplimiento de la planeación estratégica y de los objetivos en cada curso académico;
Subsistema de Evaluación Institucional, que contempla la autoevaluación y evaluación
externa de las Instituciones de Educación Superior (IES) y de sus distintas unidades
organizativas (Departamento Docente, Facultad, Centro de Estudio, Centros de
Investigación e Institución de Educación Superior, Sedes Universitarias Municipales); y
un Subsistema de Acreditación extendido a las carreras, especialidades, maestrías y
doctorados.
Resumen: A la actividad evaluativa y acreditadora se dedican organizaciones y entidades
nacionales e internacionales, gubernamentales y no gubernamentales, con o sin fines de
lucros y se implementan sistemas de evaluación y acreditación nacionales, regionales y
transnacionales para garantizar la calidad en la educación. Han surgido organizaciones
nacionales e internacionales que controlan, coordinan acreditan o certifican la actividad de
otras agencias o entidades acreditadoras. Existen organismos internacionales relacionados
con la educación y el ámbito económico como la UNESCO, el Banco Mundial, la
Organización para la Cooperación y Desarrollo Económicos (OCDE), que han trazado
políticas e iniciativas, estimulando a la evaluación y la acreditación como instrumento
potenciador de la calidad y la excelencia de las universidades, institución generadora de
conocimientos y recursos humanos capacitados para dar respuesta a los nuevos retos del
desarrollo científico-técnico, económico y productivo.

Se evalúan y acreditan las instituciones de forma integral y los programas, ya sea ex - ante
o ex - post para la autorización, la ratificación o cierre de los mismos. Desde el punto de
vista metodológico la evaluación y la acreditación están asociadas a procesos de evaluación
interna (especialmente de autoevaluación) y de evaluación externa, realizada por pares
externos; a estándares de calidad a nivel nacional e internacional (indicadores cualitativos y
cuantitativos); y se establecen categorías o niveles de acreditación que expresan diferentes
umbrales de calidad en la educación. Existe una diversidad en la forma de hacer la
evaluación sustentada en la pluralidad teórica sobre la evaluación que ha ido
transformándose según la experiencia acumulada por cada país y en la complejidad en los
distintos sistemas de educación nacionales.
En Cuba, la implantación del SUPRA ha sido posible por la existencia de una voluntad
política que se traduce en el propósito manifiesto del mejoramiento de la calidad de
programas e instituciones, su perfeccionamiento y el otorgamiento de la certificación del
nivel de calidad por ellos demostrado a partir del cumplimiento de estándares previamente
establecidos, así como en el fomento de una cultura de la calidad entre los actores y el
aseguramiento de la formación de recursos humanos de alto nivel en programas e
instituciones educativas de excelencia que impulsen el desarrollo científico y tecnológico
nacional. Estas condiciones y objetivos imponen y propician la implementación de un
Sistema de Metaevaluación para velar por la calidad de la evaluación, la cual no está exenta
de dificultades en el contexto cubano. Igualmente, sería recomendable abrir el debate sobre
los resultados de los procesos de evaluación y acreditación y el impacto de los mismos
como una forma, no de rendición de cuentas, sino como reflejo de la confianza y la
responsabilidad depositada en las instancias evaluadoras y acreditadoras del MES, que en
su quehacer llevan a la práctica la política evaluativa que el Estado cubano respalda y la
sociedad exige.
3.3- Referencias Bibliograficas

[i] Documento de Política para el cambio y el desarrollo en la educación superior. Resumen
ejecutivo de la UNESCO de 1996 En La transformación universitaria en vísperas del tercer
milenio .Memorias del Simposio AUGM/UDUALCRESAL-UNESCO.S erie 6: Políticas y Estrategias.
Caracas, 1996
[ii] Bauer, M (1993): “El caso sueco”, La Evaluación Académica. Enfoques y experiencias, Vessuri,
H (ed.), CRE-UNESCO, Vol. I, París, pp 63-71. Citado por Arocena, R; Sutz, J (2001): “La
transformación de la universidad latinoamericana mira desde una perspectiva CTS”, Ciencia,
tecnología, sociedad y cultura en el cambio de siglo, Biblioteca Nueva, OEI, Madrid, pp 173-191.
En Núñez Jover, Jorge: Evaluación académica, postgrado y sociedad. Director de Educación de
Postgrado Universidad de La Habana Cuba. Libro Gestión de la calidad del posgrado en
Iberoamérica, editado por la AUIP.
[iii] Bikas C. Sanyal, Innovations in University Management, UNESCO, 1995. Citados en Lemaitre
del Campo María José: Acreditación de la educación superior: tendencias recientes y desafíos para
el futuro. Documento pdf bajado de Google el 17/8/03
[iv] Kells, H.R., Self Regulation in Higher Education, Jessica Kingsley, London, 1992. En Idem.

[v] Aguilar Hernández, Marielos: La evaluación institucional de las universidades. Tendencias y

desafíos. VI Congreso Universitario UCR, htm. Bajado de Google el 13/8/03
[vi] Banco Mundial, 1995: La enseñanza superior. Las lecciones derivadas de la experiencia. En
Aguilar Hernández, Marielos: La evaluación institucional de las universidades. Tendencias y
desafíos. VI Congreso Universitario UCR, htm. Bajado de Google el 13/8/03
[vii] Grao, 1998: 93. En Aguilar Hernández, Marielos: La evaluación institucional de las
universidades. Tendencias y desafíos. VI Congreso Universitario UCR, htm. Bajado de Google el
13/8/03
[viii] Fernández y Zavala, Luis: Evaluación y estado en América Latina .Tendencias y vicisitudes del
estado evaluador estadounidense y sus repercusiones para la reinvención de la evaluación en
América Latina . El Dr. Luis Fernández y Zavala es profesor adjunto de Ciencias Sociales y de
Administración Pública, University of New Mexico. Es consultor en proyectos de desarrollo social y
coautor del estudio Evaluación de un sistema nacional de capacitación para docentes (OEA-
PROMULCAD, Lima-Perú).
Sitio web: http:// www.iacd.oas.org/Interamerhtml/Riverhtml/riv_zav_zav.htm#
[ix] Ídem.
[x] Fernández Lamarra, Norberto (2003) : Los procesos de evaluación y acreditación universitaria
en América Latina. En evaluación de la calidad y la acreditación. Espacio Común de Educación
Superior Unión Europea, América Latina y caribe (UEALC). ANECA, España. Alarcón Alba,
Francisco; Guillermo Luna, Julio (2003): La evaluación y acreditación de la Educación Superior en
Centroamérica. En La Evaluación y la Acreditación de la Educación Superior en América Latina y el
Caribe, pag.57. UNESCO. IESALC, La Habana, Cuba.
[xi] Fernández y Zavala, Luis: Evaluación y estado en América Latina .Tendencias y vicisitudes del
estado evaluador estadounidense y sus repercusiones para la reinvención de la evaluación en
América Latina . University of New México. Sitio web: http://
www.iacd.oas.org/Interamerhtml/Riverhtml/riv_zav_zav.htm#
[xii] Comunicación de la Comunidad Europea “El papel de las universidades en la Europa del
conocimiento”. 5 / 2 / 2003.
[xiii] Consejo Europeo de Barcelona - Conclusiones de la Presidencia. En Ministerio de Educación,
Cultura y Deporte de España: Documento-Marco. La integración del sistema universitario español
en el espacio europeo de enseñanza superior. Febrero 2003.Documento pdf. bajado de Google el
22/ 9/03
[xiv] Froment, Eric (2003): Un espacio europeo para la evaluación de la calidad. En Evaluación de
la calidad y acreditación. Espacio común de Educación Superior Unión Europea, América Latina y
Caribe (UEALC).Editado por ANECA, España.
[xv] Froment Eric (2003): Un espacio europeo para la evaluación de la calidad. En Evaluación de la
Calidad y Acreditación .Espacio Común de Educación Superior Unión Europea, América Latina y
Caribe (UEALC).
[xvi] Soler Fiérrez, Eduardo (1996): Inspección y supervisión. Revista Educación, No.87
pág.15.Cuba
[xvii] Sistema Universitario de Programas de Acreditaciòn.
Reglamento de la Junta de Acreditacion Nacional Resolución No. 134 /2004

4- Aproximaciones metaevaluativas al SEA-M

Después de establecer el estado del arte sobre la temática abordada había que diseñar otras
tareas de investigación, cuyos resultados debían responder, entre otras, a las siguientes
interrogantes:¿Qué parámetros incluir en la Guía de Metaevaluación y qué valores
atribuirles?¿Qué procedimientos seguir en un proceso de metaevaluación y quién los
ejecutaría?¿Cuál información resultaría útil para la metaevaluación?, ¿cómo obtenerla y
procesarla? ¿Cómo llegar a una metodología metaevaluativa?, ¿ cómo validarla? Para hallar
las respuestas la autora, durante la investigación, implementó el algoritmo que concebía
válido para establecer las posibles acciones y etapas de un proceso de metaevaluación,
determinar las fuentes y la información presumiblemente útil que necesitaba una comisión
metaevaluadora en su actuación. Se fue conformando así una metodología metaevaluativa
por lo que las cuatro etapas de investigación han sido identificadas como aproximaciones
metaevaluativas al SEA-M. En este capítulo se describirán las Tareas 2, 3, 4 y 5y sus
resultados a partir de los cuales se llega ala versión final de la metodología metaevaluativa
que se somete a consideración.
4.1- Etapas y tareas de la investigación.

[Ver en Anexos III, Tabla 22, pág.63]
Para lograr los objetivos propuestos se diseñaron seis tareas investigativas. La
información necesaria para su cumplimiento se recepcionó y procesó en tres grandes
momentos:
1 Revisión bibliográfica y búsqueda en Internet para establecer el estado del arte del tema,
constituyendo la Tarea 1,cuyo resultados conforman los Capítulos I y II.
2 Análisis de los documentos normativos del SEA-M para identificar su base conceptual,
delimitar las funciones de las instancias involucradas en la evaluación externa y la
acreditación y determinar los aspectos de obligado cumplimiento por evaluadores y
evaluados a tener en cuenta en la metodología metaevaluativa, en losprincipios de
“Buenas Prácticas” y enlos parámetros metaevaluables, contenido de la Tarea 2; la
revisión de los expedientes de un total de31 procesos de evaluación externa y
acreditación, Tarea 3, cuya información se reflejó en un documento diseñado para ese
propósito, la Ficha Técnica de cada proceso, objetivo de laTarea 4. Más tarde la
informaciónse procesó en tablas Excel, incluyéndose la información relacionada con el
contenido y la forma de los informes de la Comisión Evaluadora, del dictamen del CTE
y de los expedientes de los procesos culminados [Veren Anexos III, Documento modelo
Ficha Técnica, pág.103; Tablas Excel, Tabla 50, pág.120].

3 Se realizaron63 entrevistas a actores directos e indirectos de los procesos (evaluados y

evaluadores), a los propios informantes de los pares académicos, a expertos del MES, y
a una especialista de la ONARC, que aportó información de cómo se llevan a cabo los
procesos de certificación en otros ámbitos. Esta Tarea 5 se puede catalogar también
como una consulta de expertos para validar la concepción del sistema de metaevaluación
al incluirse en los formularios preguntas relacionadas no sólo con los procesos de
evaluación externa y acreditación, sino también con la metaevaluación. Toda esta
información contribuyó a la culminación de la Tarea 6 que era conformar el modelo
informático del Sistema de Metaevaluación y los procesos inherentes aél mediante la
herramienta All Fusion Process Modeler, que permite demostrar la factibilidad del
sistema de metaevaluación, resultado que se describirá en el Capítulo IV.
En la Primera etapa investigativa (1997-1999) se hace un primer
acercamientometaevaluativo prácticoal SEA-M y a su Guía de Evaluación para lo cualse
analizaron 10 procesos evaluativosrealizados experimentalmente porel SEA-Men la
Universidad de La Habana que posibilitó la determinación de sus debilidades, se hicieron
recomendaciones y sugerencias. En esta etapa se impuso definir y modelar todos los
factores que intervienen en el proceso de evaluación externa y la acreditación de lo que se
derivó el diseño del Sistema Integral de Evaluación (Capítulo I) y se realizaron
entrevistassemiestructuradascon predominio devariables cualitativas con el objetivo de
establecer un estado de opinión sobre aspectos específicos de la evaluación que
corroboraran y sirvieran de referentes para encausar una investigación más profunda. Los
resultados de esta etapa investigativa están contenidos en la tesis para la obtención del
Master en Ciencias de la Educación: La Guía de Evaluación del Sistema de Evaluación y
Acreditación de Maestrías (SEA-M). Algunas consideraciones, defendida en el 2000, donde
ya se avizora la necesidad de introducir la metaevaluación como práctica en el contexto
cubano para cuidar de la calidad de la evaluación y la acreditación.
Al vislumbrarse lo cambiante que podría ser el contexto donde se desarrollabanlos
programas de maestríasa causa de la propia dinámica de los mismos, seconstató la
necesidad de enfocar la evaluación hacia nuevas direcciones que obligaban al SEA-M a ser,
en un futuro, lo suficientemente flexible para adaptarse a nuevas condiciones, incorporar
nuevos aspectos evaluables o excluir otros que surgirían o desapareceríana medida
quecambiaran las características contextuales o se enriqueciera con nuevas experiencias.
Esto se evidencióen que, a consecuencia de la situación económica del país en ese
momento, se originaron cambios en el ámbito académico: avalancha de programas de
maestrías que para frenarla fue preciso determinar su novedad y calidad cuidando de la no
reproducción de temáticas o de características propias del pregrado; fue necesario valorar
una mejor organizacióndel proceso de defensa de lastesis dada la cantidad de estudiantes
que cursaban en las maestrías y las condiciones materiales de cada lugar; por último, surgió
la necesidad de impartirlos programas de maestría fuera del país, aprobándose programas

compartidos con universidades extranjeras y ejecutables en Cuba o en el otro país.

[Verinformación ampliada de la Etapa Ien Anexos III, Tablas 23,24, 25,25-A,26, 27
Gráfico 1, 2,3 yReflexiones finales, pág.64 - 70].
En la Segunda etapa investigativa (2000-2002) se realizó la revisión de los expedientes de
ocho procesos de evaluación externa y acreditación culminados entre 1999-2001; se
estudiaron los documentos normativos sobre el SEA-M existentes hasta el momento:
Documento Procedimiento (versión Dic.2001); solicitud de la acreditación; verificación de
la evaluabilidad del programa por el CTE; constitución y aprobación de la Comisión
Evaluadora; organización y desarrollo del seminario de preparación de expertos; sobre la
verificación in situ por la Comisión Evaluadora de las condiciones acreditables del
programa; documento para el análisis de los resultados de la evaluación externa y la
elaboración del dictamen del CTE; Solicitud de acreditación por el SEAM: requisitos,
procedimientos y documentación (Doc. UHM-20-Elaborado Marzo 2001); Planillas
SEAM-1; SEAM-2; SEAM-3; Sobre las etapas organizativas para la evaluación
externa;Capítulo III del Reglamento del SEAM- 1999; y los documentos e instrumentos
para las entrevistas y encuestas. Los resultados de esta etapa fueron contemplados como
conclusiones de la tarea investigativa Aproximación a un estudio exploratorio
metaevaluativo aplicado a la evaluación externa y acreditación de maestrías en la UH en
el marco del proyecto auspiciado por el MES: “Gestión del Posgrado en la Universidad: el
desarrollo de la evaluación y la metaevaluación”, junto a compañeros de la Dirección de
Posgrado de la UH, concluido en febrero 2003, [Ver más información de esta etapa en
Anexos III,Tabla 28, 29, 30, 30-A, 31,pág. 71-76].
En la Tercera y Cuarta etapa investigativas (2003-2004)se revisaron los expedientes de
trece procesos de evaluación externa y acreditación culminados con el fin de comprobar el
cumplimiento de lo normado y determinar sus debilidades. Se estudiaron todos los
documentos normativos (Reglamento del SEA-M versión2003; Planillas SEAM existentes
y las nuevas 4E y 5E; documentos para la realización de entrevistas, sobre cómo hacer el
informe y cronograma de trabajo para el proceso de acreditación) con el objetivo de
corroborar el basamento teórico del SEA-M; identificar imprecisiones en el Reglamento o
aspectos ausentes en el mismo; ratificar las funciones de las instancias del MES
participantes en los procesos de evaluación y acreditación; determinar las etapas
conducentes a la evaluación externa y los posibles cambios implementados en los procesos
[ver Anexos III, Tabla 32-33 pág.77-78]. Por último, se identificaron fortalezas y
debilidades del SEA-M en su aplicación que permitieronratificar la necesidad de su
perfeccionamiento.
En estas etapas se realizaronentrevistas estructuradas [ver formularios en Anexos III,
pág.113] a miembros de los Comité Académico de los programas evaluados, evaluadores,
directivos del centro auspiciador del programa y del MES, especialistas del CTE y
miembros de la JAN; yse diseñaron formularios para encuestas a profesores, estudiantes y

egresados del programa. En la aplicación de las encuestas se presentaron muchas

dificultades debido a la diversa ubicación geográfica de las personasy al
interésytiempoquele podían prestar en responderlas. Aunque se pudiera considerar
estocomo una limitación de la investigación, se llegó a la conclusión de que la información
más útil era la aportada por las personas que habían estado involucradas más
directamenteen los procesos de evaluación y acreditación por lo que se determinó
prescindir de las encuestas. En Anexos III, se puede consultar la información cualitativa y
estadística recogida en cada etapa investigativa.
4.2- Resultados obtenidos de las Tareas investigativas 2, 3, 4 y

5
Taea 2: Estudio de documentos del SEA-M [Detalles en Anexos III, Tabla 29, pág. 72]
1 .El basamento teórico implícito en los documentos del SEA-M favorece, mediante la
evaluación externa, la certificación de los programas. No se delimita el alcance de cada
proceso: evaluación externa y acreditación. No se favorece la difusión de los resultados.
2 Se estableció la relación funcional de las instancias (JAN, COPEP, CTE, CE y la DPG)
involucradas en los procesos de evaluación externa y acreditación.[Ver Anexos III,
Tabla 30 pág.73 yOrganigrama, pág.80]
3 Identificación del procedimiento seguido en los procesos de evaluación externa y
acreditación y de las etapas conducentes a ellos y por las que ellos transitan
internamente. [Ver Anexos III. Tabla 30-A, pág.74]
4 En el Reglamento del SEA-M se detectaron ambigüedades, imprecisiones y ausencias :
• No se explicitarla concepción o fundamentación teórica del SEAM.
• Se da Programa Autorizado como una categoría de acreditación a la par de condición
para que el programa sea evaluado o acreditado. Esto trae consigo cierta ambigüedad.
• La delimitación de las funciones del CTE, CE, la JAN, laida y la DPG es imprecisa.
• No se pormenoriza el procedimiento de selección de los miembros del CTE y de la CE y
la permanencia en sus funciones.
• No se describen las las funciones experto del CTE durante la realizacióndel proceso.
• No se describen las funciones y el grado de independencia de la actividad de los
evaluadores, minimizándose la trascendencia de su trabajo.
• No se establece cómo, quién yny basado en qué condiciones se determina la
evaluabilidad de un programa. En la práctica la determinación de la evaluabilidad del
programa se realiza, en primera instancia,por el CTE y más tarde, por la CE, lo que

contradice lo establecido: “si el programa no es evaluable en una primera instancia

(CTE) no puede continuarse con el proceso”. No tiene sentido conformar la CE para
determinar nuevamente que el programa no es evaluable. Actualmente, en caso de estar
la documentación incompleta o dudosa se devuelve al centro para que la complete,pero
en el Reglamento no se establece qué hacer en estos casos (si el proceso debe o no
continuar o si se les dará un plazo de tiempo para completar la información).
• No se describe el procedimiento para la complementación de información en caso de
requerirse y las posibles justificaciones (¿de quién es la potestad de decidir?).
• No se identifican todos los documentos de obligada entrega por los evaluados para la
determinación de la evaluabilidad del programa.
• No se establece un plazo para la realización del proceso de evaluación externa; no hay
referencia al clima que debe reinar durante los procesos de evaluación.
• No se adjudica la responsabilidad de la CEante la calidad del proceso y del Informe final.
• No se establecen regulaciones más precisas para la redacción del Informe Final de los
evaluadores y del Dictamen del CTE. En el Reglamento no se hace una valoración sobre
la importancia y elrol de ambos documentos quedando solo como documentos oficiales
para seguir el curso de la acreditación. (Ver Artículo 71 del Reglamento del SEA-M)
• No se instituyen las atribuciones del CTE con respecto al resultado brindado por los
evaluadores en su informe en caso de posibles diferencias entre la CE y el CTE.
• No refiere sobre la difusión amplia de los resultados de los procesos.
• En el Art.20 no se menciona ala JAN y a la DIA (hoy Dirección de Evaluación) como
órganos que también llevan el control de la calidad.
• En el Artículo 70 se establece que: “…Adicionalmente se entregará a la Secretaría
Ejecutiva de la JAN la puntuación de cada indicador y variable de acuerdo a la Guía de
Evaluación, indicando las causas en los casos en que no se otorgue la totalidad de los
puntos a un indicador”. Surgen las interrogantes: ¿dónde está la responsabilidad e
independencia del evaluador por su informe y su calificación?; si la guía contiene un
puntaje con el que trabajan los evaluadores, ¿por qué no se puede dar a conocer el total
otorgado por los pares a los evaluados?, ¿es justo no dar a los evaluados una copia del
informe completo como constancia del trabajo de los pares y se le limite así el acceso a la
información? ¿Con la elaboración del informe culmina el traba jode los pares? Sobre
estos aspectos deben aparecer las aclaraciones pertinentes en el Reglamento.
• En los Artículos 73 y 74 de la primera edición del Reglamento del SEA-M (enero 2005)y
enlos Artículos 30 y 31 del Reglamento para el (SEA -CU) aparece, aspecto que se
considera como positivo y cualitativamente superior, la factibilidad de reclamación

(apelación) en caso de desacuerdo con los resultados de la evaluación externa expresada.

Sin embargo, estos artículos refieren de forma general que la JAN establecerá los
procedimientos necesarios para “ratificar o rectificar la decisión y el fallo que tenga
lugar como consecuencia de esta acción será irrevocable”, pero no se establece cómo se
procederápara estos casos.
5 La organización y custodia de los expedientes en el MES se ve afectada por falta de
recursos materiales y de infraestructura.
6 Necesidad de instrumentos más eficaces para la recogida y procesamiento de la
información por los evaluadores, así como la correcta elección de las unidades de
observación.
7 La forma establecida de comunicación y difusión de los resultados o conclusiones de la
evaluación externa no propicia la retroalimentación evaluado-evaluador y no favorece el
desarrollo general de una cultura evaluativa participativa.
8 No se propugna, manifiestamente, un compromiso de las instancias involucradas en los
procesos de evaluación externa y acreditación con el seguimiento del plan de mejora de
los programas evaluados. La interrogante sobre qué pasa con el programa después de ser
evaluado o acreditado, queda sin una respuesta explícita.
9 No pormenorización del procedimiento para el otorgamiento de la categoría de
acreditación que sigue la JAN. Sólo se explica que se parte de los resultados de la
evaluación externa reflejados en el Dictamen del CTE. (Artículo 71 del Reglamento)
10 No se incluyen en los documentos normativos qué se debe hacer cuando la certificación
de la JAN no coincide con la propuesta del CTE (¿cómo se realiza el proceso de
aclaración de dudas o de complementación en la JAN?), ni las posibles alternativas del
programa cuando la JAN no otorga ninguna de las categorías establecidas (¿qué pasa
con ese programa?).
11 La no referencia en los documentos normativos al clima que debe reinar durante los
procesos de evaluación externa.
12. En el documento“Cronograma de trabajo para el proceso de acreditación”se pone una
nota que dice: Recordar que se analiza con el Comité Académico las fortalezasy
debilidades del programa sin dar calificación ni dejar informe de conclusiones, lo cual se
contradice con el Art.70 del Reglamento del SEA-M.
4.2.1- Tareas 3 y 4: Revisión de procesos de evaluación externa y

acreditación culminados: elaboración de la ficha técnica
En el plano documental se analizaron 31 procesos de evaluación externa y acreditación
culminados con el objetivo de determinar el grado decumplimientode lo normado por los

35 evaluadores participantes y por las instancias responsables einstituciones auspiciadoras

de los programas. La información de cada proceso analizadofue recogida en el documento
Ficha Técnica (Tarea 4) elaborado para ese propósito yprocesada en tablas Excel [Ver
estadísticasen Anexos III,Tablas 39, 40, 41 pág. 88-91, Gráfico 4 pág.93 y Tabla 50,
pág.120].
Como resultado de la Tarea3 se detectaron deficiencias en los siguientes aspectos [ver
detalles en Anexos III, pág. 92-94; Tabla 42, pág.97-100; Tabla 43, pág.101, Gráfico 5,
pág.102]: ausencia de documentos del proceso de evaluación externa como tal y de
documentos obligatorios dentro del expediente del proceso; en el Informe Final de la CE
yen el Dictamen del CTE se detectó la no exhaustividad de su contenido, incumplimiento
de aspectos formales y ambigüedades e imprecisiones en la forma de reflejar las
debilidades de los programas y las recomendaciones; errores o no coincidencia en el
otorgamiento de la puntuación; problemas en la determinación de la evaluabilidad del
programa; contradicciones o imprecisiones en los resultados de los procesos; ausencia del
experto del CTE en el proceso o alternancia de dos o más expertos en un mismo proceso;
no referencia a la decisión tomada por el CTE al recibir dos informes finales de la CE en un
mismo proceso; deficiencias en el trabajo de los evaluadores. Otro resultado es que se pudo
constató que en unas variables de la Guía se presentaron más debilidades que en otras por
lo que se recomienda seguir analizando esta tendencia que brinda una información
importante para la mejora de los programas [ver Anexos III, Tabla 43, pág.101].
4.2.2- Tarea 5: Realización de las entrevistas

Con el propósito de validar la concepción y factibilidad del Sistema de Metaevaluación, el
diseño de las entrevistascomprendió un sistema de categorías, dimensiones y variables
identificadas con aspectos y momentos más relevantes de los procesos de evaluación
externa y acreditación y sobre la metaevaluación [ver en Anexos III, Figura 8 pág.87;
Contenido de las entrevistas Tablas 35, 36, 37 y 38 pág.81-86; Formularios pág.113].Las
cinco categorías determinadas fueron: laconceptualización, para un sondeo sobre lo que se
entiende por proceso de evaluación externa,acreditación y metaevaluación y su necesidad;
la realidad del proceso de evaluación externa, relacionada con la formación de
evaluadores, la metodología, la organización, la actuación de los evaluadores, los resultados
obtenidos y la observancia de la legalidad en los procesos; la realidad del proceso de
acreditación, vinculada a la formación de los miembros de la JAN, la metodología y
organización , la actuación de los miembros de la JAN, resultados obtenidos y la
observancia de la legalidad en el proceso; a significación de los procesos, trascendencia e
impacto de la evaluación externa y de la acreditación; y el perfeccionamiento de los
procesos, relacionado con la calidad delsistema (SEAM), innovación y mejora de los
procesos de evaluación externa y de acreditación.A continuación se trascriben los

resultados positivos y negativos (con el símbolo ►) más importantes de las entrevistas

según estas categorías.
4.2.2.1- Información sobre aspectos de la Realidad del proceso de evaluación

externa
• Formación delosevaluadores: de 35 evaluadores participantes, el 80 % tenía
conocimientos teóricos sobre evaluación; el 45.7% contaba con una rica experiencia
evaluativa; el 85.7% demostró tener poder de comunicación; el 65.7% tenía dominio de
las técnicas de recogida y procesamiento de la información; el 82.8% se identificó
comoespecialistas de la rama del conocimientoa que pertenecía el programa; y en
general, los evaluadores eran personas con una alta ética, muy preparadas y con un trato
muy adecuado.
►Las entrevistas arrojaron que el seminario de preparación resulta muy intensivo en una
mañana para los evaluadores noveles y que sólo cuando se está ejecutando la evaluación es
que se comprueba y se demuestra la preparación o no del evaluador al ser la realidadmás
rica que el propio sistema de evaluacióny ser la evaluación una actividad muy delicada al
evaluarse, en muchos casos, a compañeros conocidos.
• Metodología en el proceso: se refiere que en la generalidad de los procesos de
evaluaciónse aplicaronentrevistas y encuestas; la muestrafue seleccionada
aleatoriamente, en algunos casos según la orientación de los evaluados y la
jerarquización, en todos los casos, correspondió a lo establecido: miembros del Comité
Académico, directivos de la institución auspiciadora del programa, profesores,
estudiantes, egresados y empleadores. Se revisaron documentosinherentes al
programa,expedientes de los estudiantes y actas de exámenes. El 100% de los
evaluadores entrevistados participó en la elaboración del informe final del proceso.
►Los evaluadores entrevistados son de la opiniónde que los formularios aplicados en las
entrevistassondetallados y facilitan la recogida de la información al estar orientados a los
indicadores que se trabajan, aunqueresultan muy largos y deben ser mejorados. Parael 70%
de ellos, estaban claras las normas para su redacción,aunque se manifiesta que resulta
difícil hacer una síntesisde cada variable para el informe.
• Organización del proceso
– Proceso de selección de los evaluadores: el 50% de los evaluadores entrevistados
fueseleccionado a través de una petición oficiala sus respectivos centros yel otro
50%,por teléfono personalmente;hasido serio,buscándose a las personas idóneas para
esa actividad.
►La selección de los evaluadores es desconocida por miembros de la JAN entrevistados,
aunque se reconoce que es un aspecto medular. Para otros entrevistados, el proceso de

selección de los evaluadoresha sido un tanto empírica y muy difícil debido a quelas
personas seleccionadas son sacadas de su medio familiar y laboral, lo cual se torna
complicadopor las responsabilidades que desempeñan, sobre todo,alhacer coincidir las
fechas de inicio de los procesos y la movilidad de los mismos; actuar como evaluadoresno
les reportamotivación desde el punto de vista material o intelectual y al no estar en su plan
de trabajo no se le da prioridad a esta actividad. Se recomienda que los evaluadores y
miembros del CTE debieran estar sujetos a una licitación o que haya una bolsa ampliada
yheterogénea, donde se trate de no repetir, en un mismo año, al mismo evaluador y evitar la
rutinización del proceso y comprobándosela ausencia de relaciones entre evaluadores
yevaluados.
– Entrega de la documentación: al 70% de los evaluadores entrevistados se les entregó
la documentación del programa en tiempo y forma.
– Determinación de la evaluabilidad del programa: en ella participó el 70% de los
evaluadores entrevistados.
– Independenciay autonomía de los evaluadores durante el proceso: el90% de
losevaluadores entrevistadosla tuvo. En general,no hubo interferencias de los
evaluados enel trabajo de los evaluadoresa pesar de la interactividad de los procesos.
– Peso de las consideraciones de los evaluadoresen las conclusiones del proceso de
acreditación: el 50% de losevaluadores entrevistadosafirma que síson tenidas en
cuenta, un20%opina que sólo a nivel de la CEy un20% desconoce las conclusiones del
proceso. Otros entrevistados (no evaluadores)plantearon que se han respetado
loscriterios de los evaluadores, ya que sobre la base de la informacióndada por ellos es
queel CTE y la JAN pueden hacer sus propias conclusiones.
►Se reconoce que el peso del trabajo de los evaluadores todavía es poco y puede
vérseles,por algunas instancias intermedias,como invasores de su territorio.
– Necesidad del experto del CTE durante el proceso como observador: el 100% de los
entrevistados opina que sí es necesariohasta que no se tenga plena garantíade que los
evaluadores sean expertos o profesionales de la evaluación, porque el proceso de su
preparación es muy rápido. El experto actúa como asesoral tener más experiencia
ydominio de los reglamentos posibilitando lahomogeneidad en el proceso;garantizando
que no haya sesgos, hiperbolización e ideas preconcebidas de los evaluadores;
manteniendo la comunicación entre las partes; u orientando en general. Sin embargo,
hay quienplantea que se supone que los evaluadores tengan los códigos éticos
necesarios por lo que no sería necesaria la figura del experto del CTE en el proceso.
– Imparcialidad del experto del CTE: la generalidad de los entrevistados opina que el
comportamientodel experto durante el proceso es imparcial al no estar comprometido
con el programa, aún al ser de la misma especialidad y despojarse de la institución a la

que pertenece. El experto sirve de equilibrio como facilitador en el proceso de

consensuar el informe final de la CE (sin tener ni voz ni voto) alllevar la visión
metodológica de la acreditación sin inmiscuirse en las valoraciones técnicas propias de
los evaluadores; y de hecho es un integrante del equipo por lo que se tiene que
formarun juicio, pero hasta qué punto no influyeen los evaluadoreses difícil de definir.
– La influencia del experto del CTE en las conclusiones del proceso: los entrevistados
refierenque sí la tiene. La JAN tiene que confiar mucho en el trabajo del CTE y en los
evaluadores, ya que no hay fundamento para dudar de lo que dice el experto (miembro
fijo del CTE).Este participaen la elaboración del dictamen que se eleva a la JAN,
momento oportuno para dar su criterio de cómo se llevó el proceso en cuanto al clima,
o en los casos en que hayan conflictos entre las partes, o aportando elementos que
aclaren o enriquezcan el informe final de la CE. Además, puede ser llamado por la
JANpara hacer alguna aclaración que ayudea la toma de decisión.
– Clima en que se han desenvuelto los procesos: se dice que,en general, el modo de
hacer hasido profesional, ético, constructivo, solidario, cordial, amistoso, favorable; ha
primado el respeto mutuo, la comunicación y la colaboración.
►Se han presentado excepciones como en el caso de que, previo al proceso, reinó la
incertidumbre originada por la no orientación correcta de las instancias pertinentes al CA
sobre la información a presentar, por lo que los evaluadores no tenían toda la información
precisa para su actuación;o cuando el proceso de evaluación externa no es considerado por
el aparato directivo de la institución como algo propio y sólo comoresponsabilidad del
Comité Académico del programa; o cuando los evaluados se opusierona la presencia de uno
de los evaluadores por temor a que no fuera objetivo en el proceso dada las discrepancias
profesionales anteriores al proceso, creándoseuna situación muy delicada.
– Organización del trabajode los evaluadores: en general,los evaluadorescumplieron
con todas las entrevistas y visitas al centro; mantuvieron la puntualidad y asistencia en
correspondencia con su planificación; fueron muy exhaustivos, disciplinados y
dedicados; y trabajaron todo el tiempo en función del proceso.
►Incoherencia entre evaluadores, el CTE y la JAN en alguno de los procesos; que el
experto del CTE no estaba bien orientado; la no entrega a los evaluadores de la
documentación del programa por la instancia correspondiente con suficiente
tiempo;algunos evaluadores no tenían claridad de cómo medir algunos parámetros; no se
trasmitieron los resultados claramente y las debilidades y fortalezas señaladas fueron muy
escuetas;la gestión de la instancia responsable para la movilidad de los evaluadoresno fue
efectiva, ya que el centro evaluado se tuvo que hacer cargo del pago de los pasajes.
– Cumplimientodel plan de trabajo de los evaluadores: ► se plantea queen algunos
casos se cambió lafecha de inicio del proceso por no tenerse completa la plantilla de la

CEo por otras razones; se sufrieron modificaciones en la realización de las entrevistasa

empleadores yen la cantidad de evaluadores sin explicarse las causas.
– Respaldo de los propios auspiciadores del programa al proceso: el 33% de los 12
entrevistados al respecto la catalogó de excelente; el 41.6%,de suficiente;el 16.6% de
poco suficiente;y el8.3%,de insuficiente.
– Organización de la documentación durante el proceso: en general, fue muy buena.
►Todavía se encuentran documentos en expedientes sin firmas, o viejos y no
presillados.
Presentación de las conclusiones y resultados de la evaluación externa: según los
evaluadores entrevistados, en el 100 % delos 11 procesos en los que tomaron parte
estuvieron presente miembros del CA,directivos de la institución auspiciadora del programa
y profesores;en el 36.3%, estudiantes y egresados;y en el 18%, empleadores.
►No se hace una selección homogénea de las audiencias que debieran estar presentes en el
acto de conclusiones. Esto demuestra que no hay una normativa al respecto, observándose
un bajo nivel de participación con respecto al espectro de asistentes al acto de conclusiones.
El acto se ha organizado indistintamente, ya sea durante un almuerzo, en forma de taller
científico o en reunión plenaria, donde en la mayoría de los casos,los evaluadores leyeron el
informe sin darla puntuación otorgada, ni la categoría de acreditación propuesta por ellos,
en cumplimiento de lo establecido por el MES, pero no entregaron una copia del informe al
centro que sí está indicado.
– En general, se determina un alto nivel de participación de los involucrados en el
programa y la institución antes y durante el proceso de evaluación externa.
• Actuación de los evaluadores: de los directivos de los centros entrevistados el 81.8%la
catalogó de objetiva debido a la profundidad y seriedad de los análisis realizados por los
evaluadores, quienes han sido muy receptivos y capaces de captar la realidad (incluso en
sus contradicciones); 18%,la catalogó de poco objetiva, ya que los evaluadores no fueron
claros en cuanto a lo que se estaba evaluando y en cuanto al dictamen recibido.
►Se considera a la evaluación muy enmarcada en los documentos normativos y, en
algunos momentos, se priorizan criterios personales deevaluadores al ser una actividad que
depende, más que todo, del evaluador.
– Retroalimentación entre las partes: de 10 evaluadores entrevistados, 9 consideran que
la retroalimentación fue muy buena, constante, sistemática, esencial, correcta;los
procesos se realizan bajo el principio de transparencia, honestidad y empeño para el
mejoramiento y el enriquecimiento tanto del evaluado, como del evaluador, así como
que se pretende el reconocimiento del evaluador por partedel evaluado.

► En un proceso la experiencia fue funesta con respecto al CTE y a la JAN.

• Resultados de los procesos: delosdirectivos entrevistados, el 50%considera que los
resultados del proceso fueronobjetivos;el 33 % ,poco objetivos; yel 17%,parcializados.
– En general, los informes finalesde las Comisiones Evaluadoras contienen fortalezas,
debilidades y recomendaciones junto con el puntaje total y por variables
► Dediezevaluadores entrevistados, el 90%no participó en el análisis de los resultados de
la evaluación externa con el CTE por no ser llamados para ello. En general, a los
evaluadores no se les informa el resultado concluyente dado porla JAN, aquelque se entera
es porque llama al MESpara informarse.
► Existendiscrepanciascon los resultados dados por los evaluadoresrelacionadas, entre
otras,con debilidades señaladas porla ausencia de fecha en modelos que deben estar en los
expedientes de los estudiantes y que vienen del MES sin este requisito;o si se dao nouna
información específica (descripción de resultados científicosde profesores y estudiantes,
grado científico de los miembros de los tribunales de defensa); con la interpretación que le
da el CTE a determinada información; con el señalamiento de insuficiente acceso a Internet
y la infraestructuratecnológica(cuando se debe a circunstanciasobjetivas ajenas al centro o
por la prioridad que tiene el pregrado);con el por cientode doctores, ya que no se
corresponde con la realidad; y con el diseño curricular del programa, entre otras .
– Homogeneidad en las conclusiones del proceso de evaluación externa entre todas las
instancias correspondientes: de los evaluadores entrevistados, un 90%afirmó que sí la
hubo en el seno de la CE; un 30 % constató la coincidenciade la proposición entre la
CE y elCTE;un 20%dijo que sí la hubo entre el CE y la JAN y un 10%que no la hubo;
un20%dijo que parcialmente la hubo entre todas las instancias.
►El 50% de los evaluadores entrevistados no conocía el resultado de la acreditación. El
70%de los evaluadores entrevistadosdesconocía la coincidencia de proposición entreCE
yJAN.
– Cumplimiento de los objetivospropuestos para la evaluación: de los directivos
entrevistados, el 54% considera que sí se cumplieron; el 36%, parcialmente; y el
11%,que no se cumplieron.
► Se considera que la CE no es independiente en su accionarporque no puede entregar al
evaluadoun informe y no se respeta lo que dijeron los evaluadores por las otras instancias.
4.2.2.2- Información sobre aspectos de la Realidad del proceso de acreditación

• Organización del proceso:
– Selección los miembros de la JAN: los miembros de la JAN entrevistados plantean que
se tuvo en cuenta más bienla experiencia de cada persona en la rama de su

especialidad, se les llamó y pidió su currículo vitae y fueron investidos por el Ministro
del MES. Se considera que debiera tenerse en cuenta, además, el ser expertos en
evaluación a nivel nacional.
– Sesiones de trabajo de la JAN: los documentos de los procesos de evaluaciónexterna
son repartidos entrelosgrupos de trabajo ya organizados y al final,se presenta cada caso
en plenaria, realizándose unavotación generalpara ratificaro no el nivel de certificación
propuesto por el equipo de trabajo. Se concibió el voto unánime como procedimiento
de trabajo en el momento de decidir la certificacióna otorgar.
► En las sesiones de la JANel nivel de credibilidad decrecee implica la burocratización de
la actividad desde el primer momento en que se les entrega a sus
miembrosdocumentoselaborados por otras personas (evaluadores y/o CTE) por lo quela
actividad sevuelve un“creer en”. La posibilidad de que se tome en cuentala opinión de
alguien es muy limitada porque ya todo viene preparado.
Se considera pertinente perfeccionar el trabajo en la JANpor ser una actividad muy
complicada, donde sus participantes son personas conmuchas responsabilidades.
► No siempre están presentes los compañeros de la Secretaríade la JANo no están a
tiempo completo por tener otras actividades. Los miembros de la CE que realizaron la
evaluación externa no participan en las sesiones de trabajo de la JAN
• Resultados de los procesos de acreditación:
– Aceptación por los evaluados: No se han hecho reclamaciones por falta de ética de los
evaluadores en su proceder.
► En dos procesos no se estuvo de acuerdo con los resultados de la JAN por no
corresponderse los mismos ni con el trabajo realizado, ni con el informe dado porlos
evaluadores; los resultados no reflejan la situación real del programa ni la posiciónde los
involucrados en el mismo, ni de los propios evaluadores; y no son trasmitidos a los
interesados en un tiempo prudencial para que en caso de apelación se tenga la posibilidad
de hacerla.Los motivos de las apelaciones presentadas están relacionados con la no
aceptación de determinados señalamientos identificados comodebilidades (actividades
docentesimpartidas en diferentes locales oprácticas de laboratorios hechasen otros
centrosgenerado por la falta de condiciones pero por relaciones personales y no por tenerse
convenios); por no estar ahora certificado el programa o por no obtenerse la categoría de
programaexcelente. La respuesta de la apelación ha sido demorada en varios meses.
4.2.2.3- Información sobre la Significación de la evaluación externa y la

acreditación
• Trascendencia de la evaluación externa: directivos de los centrosplantean queel
proceso de evaluación externales permitió relacionarse con las regulaciones vigentes para

sus procedimientos; conocer mejor las variables de la Guía de Evaluación; verificarque

los cambios realizados al programafueron validados; yreevaluar aspectos de la
organización interna del programa.
►En algún caso,el desamparo institucional a todos los niveles yel desconocimiento de los
resultados y la incertidumbre por la forma de medir, por ejemplo, elpor ciento dedoctores.
– Factibilidad de difundir los resultados de los procesos en el ámbito nacional e
internacional: contribuiría a una mayor demanda por los programas, posibilitando la
selección dela mejor opción de estudio al usuario potencial;estimularíaal programa que
no esté incluido a entrar en el sistema de evaluación; contribuiría a la mejora de los
programas,pues hay convenios internacionales que sólo apoyan a los programas con
determinado nivel de acreditación, convirtiéndose estos en paradigmas para los otros;
significaría un cuño de calidad; contribuiría a la cultura evaluativa; coadyuvaría a la
toma de concienciade lo que hay que perfeccionar y a la transparencia de los procesos,
aunque es necesario determinar cuál es la informaciónapropiada para ser difundida
(resultados en conjunto, sin decir el programa; debilidades y fortalezas de la forma más
sencilla y entendible o solamente las experienciaspositivas). Hay quien opina que la
difusión de los resultados debería hacersedentro delámbito académico.
• Impacto de la evaluación:
– Repercusión positiva de la evaluación externa: los entrevistados consideran quepara el
plan de mejora del programael proceso de evaluación permite un perfeccionamiento
en el completamiento de la documentación,sirve de alerta para la determinación de lo
que no se tiene,la comprensión de lo que se puedemejorar yde lo que les falta para ser
excelentes.La evaluación externa permite la interiorización del personal del centro
acerca de los contenidos del proceso y de su importancia yprever aquellos cambios
necesarios para posibilitar el aumento del por ciento de doctoresy de las defensas de
tesis en tiempo; la evaluación es un medio para hacer una valoración del estado del
programa cruzandolainformación y un análisis del estado de los estudiantes;permite
buscar otras formas de organización y detrascendencia del programadel ámbito
universitario al provincial, aumentando la autoestima del claustro y la matrícula.
Esunreconocimiento, por los evaluadores,del valor científico del programa por encima
de todo.
►Repercusión negativa de la evaluación externa:algunos entrevistados
consideranquepuede verse en el pésimo puntaje de lasvariables de la guía; en el divorcio
absoluto entre el resultado de la evaluación y la realidad objetiva; en un proceso
desmotivante; en la demora de las respuestas o los resultados del proceso; en la generación
de estrés durante el proceso, dada por la intensidad del trabajo preparatorio; enlos cambios
de calendarios de actividades ya planificadas para poder atender las actividades propias

delproceso; y en ocasiones,el divorciodel evaluadorcon el contexto del programa. No debe

permitirse que el proceso se deshumanice.
4.2.2.4- Información sobre aspectos para el Perfeccionamiento de los procesos

de evaluación externa
– Calidad de los instrumentos del sistema de evaluación: los entrevistados plantean que
son fiables. La Guía de Evaluación centra la valoración en los conocimientos y las
habilidades.
► Preponderancia de la entrevista por encima de la encuesta al mediar en ella el factor
humano y una toma de información más fiable.
► La Guía del SEAM no está contextualizada en toda su dimensión, según la diversidad de
las instituciones (tratamiento del acceso de Internet, en general y en el MINFAR, en
particular) ylas condicionesobjetivas del país (por cientode doctores y egresados en
tiempo). No tiene en cuenta lo personológico (en lavariableESTUDIANTE) relacionado
conel impacto del programa en la personalidadydesarrollo del estudiante;está muy
enmarcada en el programa y la tendencia es contemplar lo tradicional. La Guía resulta
rígida, hay fortalezas de los programas quequedan fuera de los marcos de los
indicadores;debe ser sujeto a análisis el peso de los indicadores. Sobre la base de la
experiencia acumulada se sugiere el perfeccionamiento de la Guía de Evaluación.
– Se ratifica un salto de calidad en el SEAM evidenciado en la cantidad de maestrías
acreditadas y en el número de programas que han cerrado al no resistir el proceso de
evaluación por sertambién un proceso de depuración; en su respaldo a los programas
de doctorados, al tenerse en cuenta el por cientode doctores como uno de los
parámetros más importantes a medir; y en la calificación, profesionalidad e
imparcialidad, en general, de los miembrosy directivos de la JAN yde los evaluadores.
– Aspectos a mejorar en los procesos de evaluación externa y acreditación: los
entrevistadosrefieren, entre otros aspectos, quela evaluación externa que se lleva a
cabo actualmente tiene un enfoque muy cuantitativo (mucho conductismo detrás de los
procesos), se hacenecesario aumentar el elemento cualitativo; lograr un intercambio
entre el CTE y los evaluadores para eliminar cualquier contradicciónantes de presentar
el programa a la JAN; revisar el proceso de selección de los evaluadores (hacer la
convocatoria con más tiempo, ver el currículo vitae del evaluador yademás que sea un
especialistade una rama determinada o pudiera haber una bolsa más especializada inter
y multidisciplinaria, teniendo en cuenta, también, sus características personológicas);
hacer el seminario preparatorio de los evaluadores con tiemponecesariopara conocer
las experiencias personales y dificultades anteriores que aporten nuevos procederesy
alternativas, tal vez, discutirse sobre el código ético; enviar con antelación la
documentación a los evaluadores; normarlos procedimientos paraque todos los

procesos se hagan con igual rigor; mejorar los mecanismos de recogida de la

informacióny asegurar suveracidad ; y garantizar la presenciadel experto del CTE en
los procesos.
– Sobre la Guía de Evaluación se sugiere: reanalizar la variable CUERPO DE
PROFESORES Y TUTORES que trae serias dificultades en el proceso de evaluación
por serel claustro un factor no estático; revisar elpeso del puntajede algunos aspectos
de la guía; hacer referencia al componente humano en la evaluación; incluir un nuevo
nivelde certificación y la mejora de los tres que existen (en la fecha en que se
realizaron las entrevistas existían 3 categorías: programa autorizado, acreditado y
excelente).
– Otros aspectos a mejorar son: fomentar una cultura de la autoevaluación, implementar
una asesoría para su realizacióny hacerle un seguimiento; no considerar la evaluación
externa sólo como el momento en que el programa pide ser acreditado o como un
proceso mecánico, incluso, enel manejo de la Guía; dar más flexibilidad para que el
evaluador pueda ser más objetivo;orientara los evaluados de las posibles acciones de
los evaluadoresen su visita, independientemente, que estas sean efectuadas o no. Se
debe enviar un reconocimiento al centro de procedencia de los evaluadores por su
actuación.
4.2.2.5- Recomendaciones dadas para el Perfeccionamiento de laacreditación.

– Entregar a los miembros de la JAN todos los documentos generados por el proceso de
evaluación externa y los inherentes al programa. En las sesiones de trabajo de la JAN
el proceso se ha formalizado demasiado limitándose a analizar el dictamen del CTE y
creer en lo que en él se informa sin tenerse elementos para discrepar por lo que se ha
convertido en una mera refrendación. Posibilitar, en caso de ser necesario, la
interacciónde la JANcon la Comisión Evaluadora, oanalizar en la JAN sólo aquellos
casos donde existan discrepancias entre el CTE y la CE para aclarar si fue un proceso
fiable o no.
– Limitar el volumen de información de los procesos que se envíaalos miembros de la
JAN por correo electrónico, su lectura se torna engorrosa. Se sugieren dos alternativas:
enviar solamente la información relacionada con el programa y el proceso que será
analizado por cada miembro de la JAN; análisis de los programas por ramas, según la
especialidad de los miembros de la JAN, entonces,las reuniones de la JAN,que
ahorason más frecuentes (antes eran cada 6 meses), se organizarían por especialidad.
– Garantizar mejores condiciones de trabajo de la JANpara que sus miembros no estén
preocupados por el alojamiento, el transporte o la garantía del almuerzo en tiempo. Los
períodos de permanencia de los miembros de la JANdeben ser no más de 3 años.

– La difusión de los resultadosde la acreditación es muy limitada aún.

– De 19 entrevistados,el 84% admitió la necesidad de establecer un código ético a
cumplir portodos los participantes en los procesos, que permitiría salvaguardar la
fuerza del sistema de evaluación y cuidar de que lainformación no factiblede ser
difundida sea dada a conocer inconsciente o conscientemente y reafirmó la necesidad
de normas legalespara la defensa de derechos y obligaciones de las personas que
intervienen en los procesos evitándose las reclamaciones. Firmar un contrato antes del
proceso por las partesy, una vezculminado, ratificarlo al conocer el nivel de
certificación otorgado. Perfeccionar la parte legalen caso de reclamaciones y normar
los procesos para llegar a la homogenización de los mismos.
4.3- Metodología para identificar criterios metaevaluables

Uno de los objetivos propuestos fue el definir criterios que permitieran valorar los procesos
de evaluación externa y acreditación para conformar con ellos una Guía de Metaevaluación.
Teniendo como premisa de que la metaevaluación constituye también la complementación
de la introspección y la observaciónde la evaluación queposibilita, al mismo tiempo, la
descomposición de la evaluación como sistema y proceso yla integración de sus
componentes en un todo, la gestación del instrumentometaevaluativo se produjo en tres
momentos:
Momento I: Representación gráfica del Sistema Integral de Evaluación: componentes [Ver
Anexos I, Fig.4 y 5, pág.19-20],etapas del proceso de evaluación externa y acreditación y
los posibles documentos que los acompañan.
Momento II: Correlación de las deficiencias factibles (elementos de juicios para la
metaevaluación) en el proceso de evaluación o en el sistema en general, con cuatro
cuestiones generales: la política evaluativa, la metodologíaempleada, la información
recogida y la ética. [Ver enAnexos III, Tabla 44, pág.105].
Momento III: A partir dela concepción de la evaluación como sistema integral y como
proceso se siguieron tres pasos:
Paso 1: Al hacer un paralelismo con los ámbitos por los que transita la evaluación (como
sistema) se identificaron los ámbitos de la metaevaluación: el social, el político, el
institucional y el científico (se describen en el Capítulo IV). Por cada ámbito se
determinaron aspectos de la evaluación medibles por la metaevaluación:pertinencia,
impacto, suficiencia, eficiencia, eficacia, efectividad, transparencia, legitimidad,
transferibilidad, trascendencia, equidad, fundamento teórico del sistema, validez de la
metodología del sistema y del instrumento evaluativo. [Ver Ámbitos en Anexos IV, Tablas
52 y 53, pág.134-135]

Paso 2: Por analogía con los momentos de desarrollo del programa (momento inicial,
relacionado con la suficiencia y pertinencia del diseño del programa;desarrollo que se
corresponde con la equidad, la organización y los recursos del programa en su puesta en
práctica; momento final, sus resultados), se identificaron aspectos metaevaluables en
correlación con los momentos del proceso evaluativo: la eficacia, la eficiencia,
efectividad, trascendencia e impacto de la evaluación externa. [Ver en Anexos III, Tabla
46, pág.107]
Paso 3: Identificación de aspectos imprescindibles en el cumplimiento de cada etapa del
proceso de evaluación que, de no acatarse, se convierten en debilidades o deficiencias del
proceso y en aspectos metaevaluables. [Ver en Anexos III, Tabla 45, pág. 106].
De lo anterior se derivó una primera versión de la Guía de Metaevaluación con ocho
variables, que se nombraron en correspondencia con la terminología internacional y la
conceptualización de criterios tradicionalmente utilizados para medir la calidad de la
evaluación: Pertinencia, Suficiencia, Equidad, Organización y Recursos (gestión, recursos
y marco del proceso), Eficacia, Efectividad, Eficiencia, Impacto y Trascendencia de la
evaluación [ver en Anexos III Momentos del diseño integrados Tabla 47 pág.108yVariante
1 de la Guía , Tabla 49, pág.110-112].
Posteriormente, se hizo el análisis de los aspectos del proceso de evaluación externa y
acreditación (en su realidad) que verdaderamente tributabana cada una de las variables
identificadas [ver Anexos III, Tabla 48, pág.109]. Esto permitió definirque había elementos
metaevaluables que, en la primera versión de la guía, quedaban fuera: la observancia de la
legalidad (cumplimiento de normas establecidas antes, durante y después del proceso); todo
lo referente a la acreditación como proceso que también cumplimenta normas y se basa en
la información aportada por la evaluación externa; la transparencia de los procesos y su
validación a través del cumplimiento de lo previamente establecido. En cambio, la
transferibilidad no se retoma por ser un elemento que, aunque estárelacionado con el
proceso de evaluación externa (condiciones, resultados y actuaciones), tributa más a la
implementación del sistemade evaluación como experiencia generalizada en el ámbito
nacional que a un proceso evaluativo, en particular.
Con el fin de validar la pertinencia de las variables y los criterios del primer diseño de la
Guía, en las entrevistas de la tercera y cuarta etapa investigativas se introdujeron
interrogantes relacionadas con la categoría Conceptualización que permitió recoger el
estado de opinión sobre las características que deben cumplir los procesos de evaluación
externa, la necesidad de realizar procesos de metaevaluación y sobre cuáles parámetros o
aspectos debían tenerse en cuenta para su realización. Sobre la necesidad de la
metaevaluación,el 83%de los 18 entrevistados al respecto respondió que sí era necesario
con argumentos que no difieren delos sustentados por la autora al diseñar su investigación,
entre los que se pueden citar los siguientes: la evaluación es una actividad en la que

intervienen factores humanos y debido a la carga subjetiva que ellos portan hay riesgos de
cometer errores; por tanto, se deben afinar los instrumentos, sacar experiencias positivas
para las próximas evaluaciones. La Metaevaluación se convertiría en un instrumento de
perfeccionamiento permanente del sistema de evaluación al controlarla calidad de los
procesos de evaluación externa, aunque haya o no reclamación; corroboraría los resultados
y la validez de los procesos al comprobar si hay alguna violación, lo que posibilita un
mayor conocimiento y reflexión sobre lo que se hace,ya que cada proceso de evaluación
tiene sus características. Si se tiene en cuenta a la sociedad que está más allá de los IES (la
región donde está enclavado el programa y toda la comunidad científica), el SEAM tiene un
efecto social significativo, por lo que está obligado a mejorar a partir de los resultados de
las evaluaciones realizadas. La propia complejidad del sistema exige un perfeccionamiento
constante en correspondencia con el desarrollo científico-técnico. Todo proceso es
susceptible de ser mejorado, perfeccionado y cambiado y la metaevaluación de la
evaluación sería la evaluación de un proceso de gestión al permitir perfeccionar
perspectivamente los instrumentos y las metodologías usadas, el automonitoreo y la
automejora del sistema de evaluación vigente, haciéndolo más pertinente.
Como parámetros para medir la evaluación, los entrevistados identificaron: claridad en
los procedimientos del proceso, dada en el conocimiento previo de qué se va a medir para
contemplar todas las posibles situaciones imprevistas; los proceder es utilizados y las
condiciones en las que se realizó el proceso; la correspondencia del resultado de la
evaluación con la realidad del programa; la justeza, objetividad, seriedad, calidad,
imparcialidad y rigor de la evaluación; carácter educativo e inspirador del proceso;
capacidad de las variables y parámetros, determinada en la claridad de su definición al
recoger los elementos determinantes y en la efectividad de su respuesta a la realidad que se
evalúa; aspectos tangibles del proceso que puedan ser medidos y que están presentes en las
evaluaciones; idoneidad de los evaluadores: selección correcta, conocimiento profundo de
los indicadores y su preparación con respecto al objeto evaluado; definición de los
objetivos de la evaluación; análisis y cumplimiento de las normas establecidas para evaluar
(si son claras, si se prestan o no a diferentes interpretaciones, si las puntuaciones asignadas
están bien ponderadas); integralidad,como sistema que persigue un fin y en la satisfacción
en el plano espiritual (expectativas y necesidades de los estudiantes al adquirir
conocimientos); impacto de los egresados; fiabilidad de los instrumentos utilizados; el
agotar las fuentes primarias de información posibles; grado de compromiso de los actores
del proceso; impacto del proceso de evaluación sobre el programa (percepción de la
evaluación de los evaluados, qué ganaron y para qué les sirvió);grado de aceptación de los
evaluados con los resultados; y difusión del sistema de evaluación como tal para que se
conozca y mejorarlo, aún antes de su aplicación. Se corrobora así la coincidencia de
muchos de los aspectos a incluir en el instrumento metaevaluativo sugeridos por la autora
con la información recogida de las entrevistas.

Como último paso se agruparon todos los parámetros o criterios e indicadores de las
variantes anteriores de la guía haciéndolos coincidir con tres de las categorías utilizadas en
las entrevistas: Realidad del proceso de evaluación externa, Realidad del proceso de
acreditación y Significación de los procesos, esta última tomando el nombre de
Repercusión de los resultados de los procesos de evaluación externa y acreditación; se
desecharon la Conceptualización y el Perfeccionamiento de los procesos[Ver Anexos III,
Tabla 48 pág.109 y Fig.8 pág. 87]. En consecuencia,las tres categorías identificadas como
focos de atención de la metaevaluación cumplían con los requisitos para convertirse en las
dimensiones de la variante final de la Guía de Metaevaluación [Ver en Anexos IV,
pág.162]. Esto se justifica al perseguir el objetivo de reflejar, en el instrumento
metaevaluativo,el proceso de evaluación externa y de acreditación en su
dinámica,enmarcados en la realidad en la que están inmersos, así como resaltarla
trascendencia de estos procesos en el desarrollo y el futuro de la práctica evaluativa y del
sistema de evaluación, en general, mientras que en los diseños anteriores se reflejaba la
evaluación como resultado y no como proceso. La descripción de la Guía se hace en el
Capítulo IV.
Resumen: Se logró el diseño de la Guía de Metaevaluación, de la metodología
metaevaluativa, del documento Ficha Técnica; se verificó en la práctica que la concepción
sistémica de la Metaevaluación no era errada y se derivaronlas siguientes reflexiones y
recomendaciones:
1 El innegable salto de calidad evidenciado desde la génesis del SEA-M que se pone de
manifiesto en la preparación de documentos normativos; en la aparición de la figura del
experto – observador del CTE en el proceso de evaluación externa; en la tendencia a la
homogeneidad de la información a recepcionar y en los procedimientos; y en la
existencia de una mayor cultura evaluativa, lo cual permite hablar de dos etapas
cualitativamente diferentes en la aplicación del SEA-M.
2 Persistencia de debilidades en los procesos de evaluación externa y acreditación, así
como la identificación de aspectos del SEA-M, que deben ser sujetos a un reanálisis y a
un perfeccionamiento, en general.
3 Para que el SEA-M garantice la calidad de los programas y su mejora a través de
procesos pertinentes, equitativos, participativos y pueda satisfacer las necesidades
crecientes de los destinatarios de los programas y no sólo la certificación pública, se
recomienda como estrategia evaluativa velar por la relación sistémica Evaluación
Interna- Evaluación Externa-Acreditación-Metaevaluación, donde el proceso de
evaluación externa constituye un todo coherente en que todos sus elementos conforman
una secuencia lógica, imprescindible para alcanzar los objetivos propuestos para la
evaluación.

4 Estipular normas, crear condiciones y delimitar la responsabilidad para la correcta

recepción y custodia de los documentos del programa y de los documentos derivados de
los procesos de evaluación externa y acreditación. En caso de alguna trasgresión podría
afectar la correcta determinación de la evaluabilidad del programa, momento crucial en
la efectividad del proceso evaluativo y garantía de la correcta acreditación.
5 En reunión previa con todas las partes declarar que todas las condiciones están dadas
para comenzar el proceso de evaluación externa y esclarecer cualquier duda.
6 Replantearse la forma de dar a conocer las conclusiones de la evaluación para crear un
espacio que propicie la retroalimentación de las partes en un debate más abierto, más
participativo y representativo, recogiéndose por escrito las opiniones sobre los
resultados.
7 Adecuar los instrumentos para la recogida de la información con el objetivo de
simplificarlos, enfatizando en los aspectos más importantes de la guía del SEA-M.
8 Elaborar un manual para la recopilación de datos e información por los evaluadores, lo
que coadyuvará a una mayor organización rapidez del procesamiento de la información.
Es to servirá de respaldo a las decisiones que se tomen y como evidencia del trabajo
realizado.
9 Elaborar normas más precisas para la confección del Informe Final de los evaluadores.
Llegar a un consenso sobre lo que se entiende por debilidad del programa: aspecto con el
que no cumple el programa según la Guía para obtener excelencia o si es aquel aspecto
que no se tiene del todo.
10 Crear normativas que respalden legalmente la actuación de las partes para lo cual se
precisa detallar en el Reglamento sus funciones y responsabilidades. Necesidad de un
código ético de obligatorio cumplimiento en los procesos
11 Posibilitar la difusión más abierta de los resultados del proceso que estimularía una
mayor cultura evaluativa.
12 Mantener un sistemático monitoreo a los procesos de evaluación externa y acreditación,
al SEA-M y a su Guía de Evaluación para su constante perfeccionamiento,
sometiéndolos a una metaevaluación que ratifique su validación y su buena salud
mediante un órgano metaevaluativo encargado de la realización de los procesos de
metaevaluación.

5- Diseño del sistema de metaevaluación para el

aseguramiento de la calidad de la práctica evaluativa en el
marco del sistema cubano de evaluación y acreditación de las
maestrias (SEA-M)
Actualmente, se percibe una coyuntura favorable para la implementación de un Sistema de
Metaevaluación (SisMeta) que se manifiesta, principalmente, en la voluntad política
expresa para el perfeccionamiento del SEA-M sobre la base de la experiencia adquirida en
su extensión nacional, desde 1999; en la madurez alcanzada en la práctica evaluativa con la
instauración de todo el andamiaje indispensable para su desarrollo; y en el establecimiento
del SUPRA, a partir de la experiencia del SEA-M.
Se evalúa para conocer la situación de partida del programa, detectar sus dificultades y lo
positivo de su funcionamiento, así como reconocer sus resultados, pero ¿qué pasaría si la
evaluación se desvirtuara? En su propuesta de un Sistema de Metaevaluación (SisMeta), la
autora parte de los siguientes presupuestos: la evaluación no es suficiente en sí misma por
lo que el SisMeta tiene como finalidad el aseguramiento de la calidad de los procesos de
evaluación externa y acreditación para propiciar su perfeccionamiento y el del sistema de
evaluación , en este caso el SEA-M, por tanto, su centro de atención será todo lo
concerniente a la regulación e implementación de los procesos de evaluación externa y
acreditación de los programas de maestría, en particular y del SEA-M, en general; el
SisMeta, como sistema integral, contiene los procesos de evaluación externa y acreditación
(objetos de la metaevaluación) y el proceso de metaevaluación, este último se nutre de la
información procesada y derivada de los dos primeros y a su vez los retroalimenta; y en
último lugar, el SisMeta tiene sus propios componentes, agentes y una metodología e
instrumento inherente a él que lo hacen independiente al SEA-M, fungiendo como un
tercero entre los agentes responsables de los procesos de evaluación externa y acreditación
y quienes los solicita
El Sistema de Metaevaluación (SisMeta) se desarrolla en cuatro marcos: marco teórico-
conceptual, marco metodológico, marco legal-normativo y marco organizativo-
institucional:
• Marco teórico – conceptual: desarrolla el concepto de Metaevaluación, su contenido, su
objeto y los momentos propicios para su realización; determina los ámbitos en los que se
refleja, ejerce influencia y se enriquece la Metaevaluación como actividad; presenta el
modelo teórico del SisMeta, desplegando una introspectiva para identificar sus
componentes, sus características y sus interrelaciones; describe el instrumento
metaevaluativo diseñado; por último, introduce la modelación informática del proceso de
metaevaluación y del SisMeta.

• Marco metodológico: expone la metodología general para la implementación del

proceso de metaevaluación y del uso de la Guía de Metaevaluación; propone los métodos
para la práctica metaevaluativa; identifica las etapas por las que debe transitar como
procedimiento; refiere las condiciones que debe cumplir el metaevaluador; y presenta los
documentos correspondientes para la recogida de la información y la elaboración del
informe final de la metaevaluación.
• Marco organizativo o institucional: describe el órgano responsable de la
implementación de los procesos de metaevaluación: composición y recursos con los que
debe contar; identifica las instancias implicadas en el proceso de metaevaluación y
refiere el apoyo logístico que deben brindar para su desarrollo; justifica lo imprescindible
de la planeación de la evaluación como una actividad sistemática dentro de la gestión de
la calidad de los procesos y programas educativos y de las IES, donde debe contemplarse
la Metaevaluación como una alternativa para la validación de procesos de evaluación
externa y acreditación, una vía de su perfeccionamiento y para dar respuesta a demandas
de estudios de tendencias o comparativos y de impacto sobre la práctica evaluativa.
• Marco legal-normativo: propone las regulaciones, el código de ética y los principios de
“buenas prácticas” que deberán cumplir todos los agentes y órganos o instancias
responsables de la dirección y ejecución de la metaevaluación.
5.1- Marco teórico-conceptual

5.1.1- Sobre el concepto de metaevaluación y su tipología en el
marco del SisMeta
El modelo metaevaluativo que se presenta es un modelo cualitativo, enfocado,
principalmente, a la actuación humana dentro de los procesos de evaluación externa y de
acreditación como su elemento medular, lo cual se justifica en que las personas
involucradas son las responsables, ejecutoras o receptoras de las disímiles actividades
desarrolladas en estos procesos, desempeñando e interactuando en un rol u otro dentro del
sistema: facilitador, receptor, ejecutor o destinatario. Sustentada en un modelo cualitativo,
la Metaevaluación pretende corroborar el cumplimiento de las normas (hechas por el
hombre) y en su praxis, al determinar la calidad de los procesos de evaluación externa y de
acreditación, se fundamenta, no en una calificación (numérica), sino en la detección, basada
en evidencias, de debilidades o áreas de conflictos que pudieron haber influido o afectado
directa o indirectamente en el juicio de valor sobre el objeto evaluado, sea por carencias,
omisiones y/o violaciones de los procedimientos establecidos, de los aspectos éticos y/o de
la observancia de los principios de buenas prácticas, entre otros.
Por consiguiente, se ratifica que la finalidad de la Metaevaluación es primordialmente
formativa al perseguir el perfeccionamiento de los procesos de evaluación externa y

acreditación de las maestrías y del SEA-M sobre la base de los conocimientos derivados del
procesamiento de la información obtenida en dichos procesos: evidencias de las no
conformidades (debilidades) o la ratificación de sus fortalezas, para posteriormente hacer
recomendaciones y propiciar su mejora. La Metaevaluación al ser aplicada a cualquier
sistema de evaluación y acreditación en su integralidad contribuye a la determinación de
políticas y estrategias evaluativas más acertadas, ya que la evaluación externa, la
acreditación y la metaevaluación deben tener como meta la mejora continua de los objetos
susceptibles de ser evaluados, en particular, y la mejora continua de la Educación, en
general. La certificación no debe ser considerada como un fin, y menos aún, como el
instrumento ideal que garantiza la calidad, suplantando en este rol a la evaluación
formativa.
El perfeccionamiento del SEA-M estará basado en las generalizaciones de las no
conformidades (debilidades) reiteradas y evidenciadas como resultado de estudios
comparativos y/o de casos de un número determinado de procesos de evaluación externa y
acreditación metaevaluados, lo cual implicaría la validación de la Guía de Evaluación y del
sistema, en general. Esta validación podría fundamentarse en la determinación de aquellos
aspectos evaluables que no son generalizables a todos los programas; en los aspectos de la
Guía de Evaluación que no cumplen con el principio de contextualización inherente a la
evaluación o en aquellos en que el peso de la ponderación en la Guía no es adecuado, o en
el análisis de tendencia de sus variables. No se desecharían las no conformidades atribuidas
a cada proceso, que dependen de su diseño, de las circunstancias objetivas o el contexto en
que este se realice, de las características, intereses personales o profesionales de los agentes
que intervienen en la evaluación, por lo que estas debilidades típicas serán consideradas
como no conformidades factibles en cualquier otro caso y en cualquier otro momento. La
Metaevaluación tributará también al perfeccionamiento del SEA-M al proporcionar
información y conocimientos que facilitarán valorar el impacto de la evaluación y de la
acreditación al revelar y describir la actuación y reacción (positiva y/o negativa) de los
evaluados ante el proceso a que fueron sometidos y ante sus resultados; al comprobar la
satisfacción o no de sus expectativas; y al valorar el nivel de aceptación e implementación
de las recomendaciones de mejoras resultantes de los procesos.
La Metaevaluación, como actividad pluridisciplinar, al valorar la calidad con que se
desarrolló el proceso de evaluación externa y de acreditación estará valorando la suficiencia
del sistema implementado y la suficiencia del programa sujeto a la evaluación primaria. Se
entiende aquí como “calidad”, la calidad extrínseca e intrínseca del programa y de la propia
evaluación, sin obviar que en la Metaevaluación los estándares de calidad establecidos
también estarán sujetos, inevitablemente, a la percepción de calidad de la evaluación que
tenga el experto metaevaluador al igual que en la evaluación la tiene el experto evaluador
sobre la calidad de un programa. En consecuencia, se pueden determinar dos niveles de
actuación de la Metaevaluación: en un primer nivel, actuará directamente sobre los

procesos de evaluación externa y acreditación culminados y los programas que han sido
sujetos a ellos para ratificar sus fortalezas y evidenciar sus debilidades y determinar
aquellas otras que no fueron evidenciadas por la evaluación primaria; en un segundo nivel,
influirá en el Sistema de Evaluación y Acreditación para comprobar si en su en basamento
se ratifican, o no, los principios inspiradores de la política evaluativa difundida: la
pertinencia, la justeza, la transparencia y el carácter participativo de la evaluación, entre
otros.[Ver en Anexos IV Fig.19 pág. 140].
De esta forma la Metaevaluación permitirá aprehender las claves de la política evaluativa
gubernamental; planificar y realizar una evaluación solvente; remitirse a la toma de
decisión basada en la información obtenida y validada en los procesos evaluativos;
promover una mejor comprensión de la empresa evaluativa y coadyuvar a la profundización
de la cultura evaluativa en el ámbito educativo; asegurar la calidad de los servicios
evaluativos por medio de una metodología que posibilite evidenciar la actuación ética de
las personas involucradas y la valoración de las posibles consecuencias negativas derivadas
de su aplicación con el objetivo de evitar prácticas ilegales; establecer en qué medida la
evaluación realizada ha ampliado sus objetivos y ha cumplido con su misión; proporcionar
evidencias de la competencia técnica del evaluador y averiguar hasta qué punto los
instrumentos utilizados son adecuados para obtener la información deseada; analizar y
valorar el aporte de los resultados de los procesos de evaluación externa y acreditación para
encausar su perfeccionamiento a través de estudios comparativos, de tendencias y de
impacto.
La Metaevaluación no deja de ser también un recurso o una alternativa práctica ante
posibles discrepancias o conflictos surgidos durante y después de realizada la evaluación
externa y la acreditación. En estos casos, un proceso de metaevaluación podrá realizarse en
cumplimiento de la solicitud de una o de las partes (evaluados y evaluadores) o por otras
instancias involucradas en el proceso de evaluación externa, cuando la parte evaluada
entienda que el proceso no ha sido justo y transparente al existir dudas sobre los
procedimientos o la calificación otorgada por los evaluadores; cuando hayan quejas de una
o de las partes por el clima no favorable en el que se desarrolló el proceso o por los
métodos y técnicas utilizadas por los evaluadores, así como por la falta de ética o
profesionalidad por ellos demostrada; cuando se entienda que hay menoscabo de la
integridad de los evaluadores por rumores o acusaciones infundadas hechas por la parte
evaluada; o cuando la instancia acreditadora juzgue que la información suministrada resulta
insuficiente o viciada por la subjetividad de los evaluadores u otros agentes implicados en
la evaluación externa. Con la Metaevaluación no sólo se protegerá el buen uso de la
información acopiada en la evaluación externa en la toma de decisiones, sino también se
protegerá a los objetos evaluados y a todas aquellas personas que intervienen en los
procesos evaluativos al cuidar de sus derechos y velar por sus obligaciones en la
observancia de las buenas prácticas en dichos procesos.

A la pregunta sobre qué se metaevalúa, se puede responder concretamente: el Sistema de

Evaluación y Acreditación como un todo y/o los procesos de evaluación externa y/o
acreditación, en particular. Estos objetos metaevaluables no son independientes uno del
otro, al metaevaluar al sistema es obligatorio adentrarse en los procesos; mientras que al
metaevaluar los procesos o a una parte de ellos, se está metaevaluando, por inducción, al
sistema. Dentro del contenido de la metaevaluación se pueden identificar los siguientes
aspectos: [Ver también en Anexos IV, Fig.16 Mapa conceptual, pág. 137].
METAEVALUAR
¿Por qué? Motivos: Conocer la tendencia en la práctica evaluativa y perfeccionarla.
Depende del Dar respuesta a: la no complacencia con los resultados obtenidos (no
solicitante validez, no fiabilidad) en la evaluación externa y acreditación; a las no
conformidades en la actuación de los evaluadores y su competencia como
expertos; al no cumplimiento de lo establecido; y al impacto no deseado
de la evaluación externa y la acreditación.
¿Para qué? Asegurar la calidad de los procesos de evaluación externa y acreditación
Tipo de y determinar la relevancia del Sistema de Evaluación y Acreditación para
metaevaluación ayudar al órgano correspondiente a planificar y realizar una evaluación
según el eficaz, válida y fiable; velar por el cumplimiento de lo establecido para
objetivo los procedimientos en la evaluación.valorar la calidad de la información
recogida y de los resultados; proporcionar evidencias de la actuación y
competencia de evaluadores; valorar el impacto de la evaluación
(utilidad, uso);
¿Qué? Procesos de evaluación externa y acreditación integralmente o una parte
de ellos: métodos, metodología, técnicas y parámetros contemplados;
impacto (efectos, consecuencias y cambios generados); contexto y clima
de los procesos; cumplimiento de lo normado para su realización: antes,
durante y después; respeto la ética y la profesionalidad; toma de decisión
durante y después de los procesos: pertinencia de la categoría de
acreditación recibida; calidad del Informe Final de los evaluadores;
difusión de los resultados: cómo y a quién.
Sistema de Evaluación y Acreditación vigente. Política evaluativa
¿A quién? Instancias responsables y ejecutoras de los procesos de evaluación
externa y acreditación, evaluadores y evaluados en el cumplimiento de
sus obligaciones y el disfrute de sus derechos
¿Para quién? Audiencias y destinatarios de la evaluación: profesores, estudiantes,
egresados, empleadores, directivos, etc.; usuarios potenciales del
programa evaluado; usuarios potenciales de la evaluación. Ámbito
académico en general. Instancias evaluadoras y acreditadoras u otras
responsables.

METAEVALUAR
¿Quién la Expertos seleccionados: metaevaluadores, quienes responden a un órgano
ejecuta? responsable y especializado en esta actividad: Órgano Metaevaluador
¿Cómo? Por una metodología preestablecida a seguir en todos los casos
¿Dónde? Lugar donde se desarrolló la evaluación primaria
¿Cuándo? En dependencia de los objetivos: antes, durante y después de la
evaluación.
¿Con qué? Disponibilidad de recursos financieros, materiales y humanos previstos
para la metaevaluación, previamente concertados con los demandantes y
los responsables del proceso de evaluación.
La Metaevaluación y la Evaluación generan un círculo autoreferente sobre la calidad, tanto
del objeto evaluado como del metaevaluado, lo que posibilita un desarrollo hacia la
perfección. Todo proceso de evaluación que se lleve a cabo en el ámbito universitario, al
ser parte de las acciones propias de su quehacer, debe tener implícito un componente
metaevaluativo, de manera que haya oportunidad de redimensionar, a tiempo, el proceso de
evaluación, o para la sistematización del mismo en aras de obtener nuevos conocimientos
que tributen aportes al perfeccionamiento de la práctica evaluativa.
Morfológicamente, la palabra “metaevaluación” en su composición contiene el prefijo
metá- (de origen griego) que significa “cambio, mutación, más allá, que engloba, después,
posterior”, por lo que el término perfectamente se acomoda a la definición y a la
representación que se pretende establecer del concepto de Metaevaluación cuando se le
reconoce como un proceso que engloba a otros procesos, que se realiza, por preferencia,
posteriormente a estos y que va más allá al posibilitar cambios y mejoras en los mismos con
vista a una nueva proyección. A partir de esto, la autora del presente trabajo entiende la
Metaevaluación como el proceso que investiga, basado en evidencias, las debilidades y
fortalezas que marcan a los procesos de evaluación y/o acreditación con el objetivo de
observar y ratificar el cumplimiento, por parte de los sujetos, de los aspectos éticos,
metodológicos, normativos y técnicos que rigen en estos procesos. Los resultados se
tomarán en cuenta con el fin de propiciar el aseguramiento de la calidad y la proyección
del ulterior perfeccionamiento, tanto del Sistema de Evaluación y Acreditación vigente
como de los propios programas evaluados y acreditados, así como para el reconocimiento
de la práctica y la política evaluativa. [Ver Anexos IV, Fig.16 y 18 Mapas conceptuales
pág.137 y 139]
De esta definición se concluye que la Metaevaluación es necesaria, pero no es un proceso
de obligatoria aplicación a cada uno de los procesos de evaluación externa y/o acreditación
culminados y se ejecutará en respuesta a la debida solicitud y justificación de su necesidad,
o cuando se quieran hacer estudios investigativos a solicitud de alguna instancia. Por su
parte, las “debilidades” son concebidas como aquellas no conformidades con lo

reglamentado para los procesos de evaluación externa y acreditación y su determinación se

basará en las evidencias encontradas por los metaevaluadores que impliquen la no
correspondencia a lo normado o su no cumplimiento. La Metaevaluación contempla
aspectos éticos, metodológicos, normativos y técnicos delimitados de la siguiente forma:
• Aspectos éticos: relacionados con el factor humano, personas responsables por el
desarrollo del proceso evaluativo y de acreditación. Se constatan en la profesionalidad de
los evaluados, evaluadores y miembros de las entidades pertinentes al asumir la puesta en
práctica de los procesos; en la capacidad técnica y características personológicas de todos
los implicados; en la correspondencia del volumen y la autenticidad de la información
brindada con la solicitada; y en la inexistencia de ilegalidades o violaciones en los
procesos.
• Aspectos metodológicos: cumplimiento de la metodología establecida por los
involucrados en concordancia con sus funciones dentro de los procesos. Por ejemplo, el
respeto a las etapas de la evaluación, el nivel organizativo, la correcta identificación de
las audiencias, el empleo de los métodos establecidos para la recogida y procesamiento
de la información y el acatamiento a los parámetros a medir en la Guía de Evaluación..
• Aspectos normativos: observancia de lo normado durante el proceso de evaluación
externa y de acreditación (desde su solicitud hasta sus conclusiones), lo que implica,
entre otras cosas, la utilización de la guía diseñada para la evaluación y no otra; un
proceso de selección de los evaluadores transparente; cumplir con lo estipulado para las
entrevistas y la elaboración del Informe Final; basarse en los resultados de la evaluación
externa para otorgar la categoría de acreditación correspondiente y dar las conclusiones
según lo establecido.
• Aspectos técnicos: eficiente utilización de las técnicas para la recogida y procesamiento
de la información; la idoneidad de los evaluadores, miembros de la Junta de Acreditación
y de todos los responsables e implicados en la evaluación y acreditación para realizar esta
actividad; y el apoyo logístico pertinente para el buen desenvolvimiento de los procesos.
Se llega entonces a la siguiente tipología de la Metaevaluación:
1 Por sus objetivos: Se propone una metaevaluación formativa que pretende el
aseguramiento de la calidad, la mejora y el perfeccionamiento del Sistema de Evaluación
y Acreditación vigente, de sus procesos y de los programas evaluados, con el objetivo de
validar las intervenciones realizadas, los resultados y los procederes.
2 Por su momento de aplicación: No obstante el momento en que se realice, la
Metaevaluación siempre ayudará al estudio prospectivo de cualquier sistema de
evaluación y de sus procesos. La Metaevaluación puede ocurrir antes, durante y después
de los procesos, según los objetivos que se persigan: [ver Anexos IV, Fig.20 pág.141]

– Metaevaluación predictiva (anticipada): se realiza antes de los procesos de evaluación

en el plano teórico o escenario ideal (el deber ser) antes de poner en práctica el sistema
de evaluación, valorándose su diseño y su proyección para una posible redimensión. Se
utiliza para predecir cuán suficiente resultará el Sistema de Evaluación y Acreditación
diseñado, cómo funcionará; para identificar los agentes que intervienen y cuáles son
las posibles dificultades a que se enfrentarán sus ejecutores; verificar la metodología
diseñada para la selección de evaluadores, el cronograma de actividades a desarrollar;
comprobar cómo determinar la evaluabilidad del programa, entre otros aspectos. En
este caso existen dos alternativas de implementación: que los ejecutores sean
metaevaluadores externos pertenecientes a una entidad metaevaluadora o a otras
entidades evaluadoras, ajenas al sistema en cuestión o que los ejecutores sean
metaevaluadores internos y como tales pudieran desempeñarse los propios diseñadores
o responsables del sistema de evaluación, convocando, tal vez, a otras personas en
calidad de asesores, relacionadas con su puesta en práctica o con el ámbito académico
en que se desarrollará el sistema de evaluación.
– Metaevaluación paralela: durante o al mismo tiempo que los procesos de evaluación y
de acreditación, en el escenario real (lo que es, lo que está pasando), para constatar
que se estén realizando según lo establecido y planificado o no. Con metaevaluadores
externos.
– Metaevaluación prescriptible: una vez concluidos los procesos de evaluación y/o
acreditación (escenario real- lo que fue), para verificar la validez de los resultados,
prescribir las no conformidades del proceso y determinar las posibles medidas a tomar.
Sus ejecutores son metaevaluadores externos.
3 Por su extensión: será global al abarcar los procesos de evaluación y/o acreditación en
su integralidad; parcial, siempre y cuando esté determinado en qué parte del proceso se
han manifestado las no conformidades. Una u otra dependerá de las necesidades y las
evidencias que se deriven de la toma de decisiones resultante de cada proceso evaluativo
o acreditativo.
4 Por su metodología: puede ser externa, llevada a cabo por agentes externos al proceso
de evaluación externa y/o acreditación culminado, designados especialmente para esta
acción de validación. Los metaevaluadores serán personas que no tengan ningún vínculo
ni con el objeto evaluado, ni con las instancias responsables de la evaluación y la
acreditación por lo que responderán a un organismo independiente que fungirá como un
tercero. No se descarta la Metaevaluación interna, propiciada por el propio personal
involucrado en los procesos de evaluación externa y acreditación, sobre todo, en la etapa
de su diseño.
Más que un resultado final, la Metaevaluación aportará información significativa que puede
trascender a otros estudios investigativos como son: inventario y análisis sobre las

debilidades y fortalezas de cada proceso evaluativo y de acreditación que posibilitarían la

generalización de aquellas que resultan comunes y las que son más o menos frecuentes;
estudio de tendencias de las variables de la Guía de Evaluación; estudios de impacto de la
evaluación externa y de acreditación en el desarrollo de los programas, en su contexto y en
el ámbito educativo y social, en general; y por último, estudios de impacto de los
programas evaluados y/o acreditados en la satisfacción de las demandas sociales a que ellos
responden.
Según la definición propuesta por la autora, la Metaevaluación no se limitará a comprobar
por una tabla de parámetros los resultados de la evaluación. Ella, como estrategia y como
metodología, contará con un marco normativo-legislativo, ético y metodológico que no sólo
permitirá el buen desarrollo de la actividad metaevaluativa, sino que también la protegerá
de las posibles trasgresiones y desviaciones derivadas de la actuación humana. Esto exige
que a nivel nacional se completen y perfeccionen estos marcos para la propia evaluación y
acreditación creándose, por ejemplo, un código ético que rija la actuación de los
evaluadores como profesionales de dicha actividad; se establezcan mecanismos legislativos
que protejan a las partes involucradas en los procesos evaluativos, entre los cuales se
recomienda firmar un contrato o convenio o carta de intención por las partes y otras
personas pertinentes, así como, un documento donde los evaluadores se responsabilicen
(con su firma) por las evidencias aportadas y las no conformidades u observaciones
encontradas en los procesos de evaluación.
5.1.2- Sobre los ámbitos de influencia y actuación de la

metaevaluación
Como ámbitos de influencia y actuación de la Metaevaluación se identifican el social, el
político, el institucional y el científico. [Ver Anexos IV, Fig.13 pág.131, Tablas 52 y 53,
pág.134-135]. Desde el ámbito social, la Metaevaluación contempla la respuesta que da el
Sistema de Evaluación y Acreditación implementado a las exigencias de la sociedad, en
general, y a los usuarios potenciales y destinatarios de la evaluación y del programa, en
particular. Exigencias que se traducen en la ratificación de la calidad de los procesos de
evaluación externa y acreditación, en primera instancia, y de la calidad del objeto evaluado,
en segunda instancia, lo cual se refleja en el nivel de satisfacción del programa educativo a
las necesidades del entorno y en el impacto, la validez, pertinencia y la utilidad, desde el
punto de vista ético- metodológico, tanto de la evaluación externa y la acreditación
realizadas como del programa en cuestión. Por tanto, en este ámbito se tiene en cuenta,
principalmente, la calidad extrínseca del programa y de la propia evaluación realizada.
Al ámbito político se relacionan las exigencias del Estado al Sistema de Evaluación y
Acreditación vigente a través de su propia política educativa y su política evaluativa. Esto
se refleja en la declaración de objetivos y metas que se persiguen con la evaluación externa
y acreditación en la comprobación y ratificación de los niveles de calidad, previamente

estandarizados, alcanzados por los programas y la factibilidad de su mejora. En

consecuencia, se alude a la suficiencia, eficiencia, eficacia, efectividad, transparencia,
legitimidad, transferibilidad y trascendencia del Sistema de Evaluación y Acreditación.
Estos criterios están relacionados con la observancia, durante los procesos de evaluación
externa y acreditación, de lo normado por la política evaluativa en el ámbito educacional y
se refieren al cumplimiento de los objetivos trazados, a la correcta difusión de los
resultados y a la inteligente toma de decisiones en dependencia de dichos objetivos. Con
estos criterios se estaría evaluando, al mismo tiempo, la propia política evaluativa
instaurada oficialmente, la cual se convertiría, igualmente, en objeto de atención de la
Metaevaluación. La relevancia de la perspectiva política en cualquier análisis
metaevaluativo que pretenda comprender la evaluación en toda su complejidad es
incuestionable. La Metaevaluación no sólo permite aprehender las claves de la política
evaluativa gubernamental, sino que remite a una cuestión trascendental: el control que
puedan ejercer los poderes públicos sobre los resultados de estas investigaciones y la
repercusión e impacto de las mismas en la sociedad.
Sin embargo, al concebirse la evaluación con una fuerte intencionalidad hacia la
acreditación de la calidad de los programas puede desvirtuarse su premisa fundamental:
lograr la mejora y el perfeccionamiento del programa, lo que también se aspira alcanzar con
la Metaevaluación al considerársele un nivel cualitativamente superior de valoración de la
calidad del programa evaluado. Es decir, con la Metaevaluación se pretende determinar
hasta qué grado pudo haber sido desvirtuada la evaluación por el afán de ser certificada la
calidad del programa, obviándose el objetivo principal de la evaluación como factor
promotor directo del perfeccionamiento del proceso de enseñanza-aprendizaje que, en
primera instancia, es lo que recibe el estudiante como destinatario del programa, quien llega
a ese proceso educativo con necesidades y expectativas que sólo serán verdaderamente
cubiertas o no una vez que se lleve a la práctica el programa. Cuando se habla de
necesidades y demandas a satisfacer por el programa, se hace referencia, lógicamente, a los
conocimientos, las habilidades a desarrollar, los objetivos a alcanzar y a la puesta en
práctica de un diseño curricular que fue creado sobre la base de criterios de un grupo de
especialistas. Aunque el diseño del programa esté basado en un estudio previo sobre los
aspectos anteriormente mencionados, no deja de representar un conjunto de criterios de un
número limitado de individuos, que basándose en su experiencia personal como
profesionales o especialistas, le transfieren al diseño una inevitable carga subjetiva de la
cual dependerá la calidad intrínseca del programa.
El concepto de calidad se enmarca en una relación íntima con la mejora en la que ambos
conceptos llegan a solaparse, aunque nunca excluirse. Sin embargo, desde un punto de vista
más práctico y más cercano, es defendible la idea de la autora del presente trabajo al
concebir la calidad como la mejora misma que se practica de forma continua y contribuye
a la innovación o eliminación de aquellos elementos de un programa que sean perfectibles y

de hecho susceptibles al cambio, para dar paso a la incorporación de nuevos elementos o de

elementos transformados necesarios para el futuro del programa que podrán ser
identificados durante los procesos de evaluación al tenerse en cuenta las demandas y
sugerencias de todos los sujetos, sean actores del programa o sujetos externos a él.
El ámbito institucional, por su parte, es ostensible en la comprobación del apoyo brindado
por las instituciones e instancias de diferentes niveles para que sea posible la consumación
de los procesos de evaluación externa. Apoyo manifiesto en la gestión y en los recursos
financieros, materiales y humanos brindados para la ejecución del proceso y para llevar a
efectos, posteriormente, las recomendaciones sugeridas por la evaluación externa. Se
refiere también al cumplimiento por la instancia responsable de la evaluación y la
acreditación de lo que está normado para la solicitud, implementación y realización de los
procesos de evaluación externa con vista a la acreditación y para la selección y actuación de
los evaluadores. Por tanto, este ámbito de influencia de la Metaevaluación se expresa a
través de la eficacia, eficiencia, equidad y trascendencia de los procesos de evaluación
externa y acreditación, traducidas en su repercusión tanto en las instituciones y/o instancias
y organismos correspondientes, como en el seno de la sociedad en toda su integridad.
El ámbito científico está estrechamente ligado a la calidad intrínseca referida al
acatamiento o respeto a las exigencias epistemológicas de una ciencia o una disciplina,
aplicable en este caso a la evaluación, desde el plano teórico-metodológico. Desde este
punto de vista, la Metaevaluación se adentrará en la concepción y diseño del Sistema de
Evaluación y Acreditación y de su instrumento evaluativo, ratificando su validez y su
confiabilidad a través de su fundamento teórico –metodológico, pilar de su puesta en
práctica.
5.1.3- La metaevaluación como sistema: sus elementos

La Metaevaluación, como proceso culminativo del ciclo referente y autoreferente en que se
mueven la evaluación y la acreditación, debe ser incluido en el diseño de un Sistema
Integral de Evaluación (SIEVAL), pero se defiende la tesis de la Metaevaluación, vista
también como un sistema, sustentado en un modelo cualitativo y formativo de acción que
abarca componentes propios, los cuales realizan determinadas funciones, se encuentran
interrelacionados entre sí y responden a sus propias normas durante la ejecución del
proceso metaevaluativo [ver Anexos IV, Fig. 10 pág.128 y Fig.21, pág.142]. Como
responsable de la actividad metaevaluativa se propone crear un Órgano Metaevaluador
(OM) independiente de las instituciones responsables y ejecutoras de los procesos de
evaluación y acreditación.
Entre los componentes del SisMeta se reconocen los siguientes: [Ver Anexos IV, Fig.21,
pág.142]

• Objeto a metaevaluar: puede ser el Sistema de Evaluación y Acreditación en su

conjunto; los procesos de evaluación externa y/o acreditación en su integralidad o en
alguna de sus partes, donde se halla detectado alguna posible no conformidad .[Ver
Anexos IV, Fig.19, pág.140]
• Instrumento metaevaluativo: guía con los aspectos a valorar por la metaevaluación.
• Metaevaluadores: agentes profesionales que realizarán la actividad.
• Demandantes del proceso de metaevaluación: evaluados (directivos del programa o del
centro) por la no satisfacción con los resultados de la evaluación, con los procedimientos,
la actuación y capacidad de los evaluadores; los evaluadores, al surgir conflictos
relacionados con aspectos personales o profesionales, dañándose su prestigio; instancias
relacionadas con la evaluación y acreditación, en caso de no estar claro los elementos
concluyentes del proceso de evaluación o que se pretendan hacer estudios investigativos
sobre la práctica evaluativa.
• Destinatarios del proceso de metaevaluación: demandantes de la metaevaluación y/u
otras audiencias identificadas conjuntamente por el Órgano Metaevaluador, las instancias
responsables de la evaluación externa y de la acreditación, los directivos del programa y
del centro en cuestión.
• Metaevaluados: en dependencia del objeto que se metaevalúe y de los demandantes de la
metaevaluación, pueden ser los evaluadores y/o evaluados del proceso de la evaluación
primaria, así como las instancias responsables de la evaluación externa y la acreditación.
• Resultados de la metaevaluación: informe final que contendrá los resultados: descripción
del objeto de la metaevaluación, las no conformidades detectadas y la descripción de las
actividades realizadas durante el proceso de metaevaluación.
• Regulaciones, normativas y principios de “buenas prácticas”: el SisMeta cuenta con
regulaciones que normalizan los procesos de metaevaluación, el uso de la guía y el
amparo legal a las partes.
5.1.4- La guía de metaevaluación: su descripción

Con la creación de una Guía de Metaevaluación se persigue tener un sistema de criterios
valorativos y orientadores de las “buenas prácticas” de los evaluadores, evaluados y de
todas las personas involucradas en los procesos de evaluación externa y acreditación. Los
criterios seleccionados permiten reflejar, como un todo, estos procesos en la realidad en la
que están inmersos; posibilitan resaltar su trascendencia e impacto en los programas
evaluados, en el futuro de la evaluación como práctica generalizada y en la implementación
de un constante perfeccionamiento del sistema. El diseño final de la Guía de
Metaevaluación contempla tres dimensiones, once variables, treinta y tres criterios y cien

indicadores. [Ver Anexos IV, Guía de Metaevaluación, pág.162-171]. Las tres dimensiones
son:
1 Realidad del proceso de evaluación externa, con cinco variables: formación de los
evaluadores externos, metodología utilizada en el proceso de evaluación externa,
organización del proceso de evaluación externa y recursos para su desarrollo,
resultados del proceso de evaluación externa y observancia de la legalidad durante el
proceso. Estas variables contemplan un total de 23 criterios y 77 indicadores.
2 Realidad del proceso de acreditación, con cuatro variables: formación de los
miembros de la Junta Nacional de Acreditación, metodología del proceso, observancia
de la legalidad y resultados del proceso. Estas incluyen seis criterios y 16 indicadores.
3 Repercusión de los resultados de los procesos de evaluación externa y acreditación,
con dos variables: trascendencia e impacto de dichos procesos, que incluyen cuatro
criterios y siete indicadores.
La finalidad de un proceso de metaevaluación no es propiamente dar una calificación
numérica o cualitativa de cómo se llevó a cabo la evaluación externa y la acreditación, sino
determinar aquellos momentos o aspectos del proceso donde se hayan cometido violaciones
o errores (no conformidades) en detrimento del propio proceso, para lo cual es
imprescindible una valoración meramente cualitativa. A pesar de que la Metaevaluación no
debe derivar en un proceso estrictamente cuantitativo que desvirtuaría sus objetivos
primarios y complicaría las acciones al originarse dudas, ambigüedades e insatisfacciones
innecesarias, se estima inevitable establecer, dentro de la Guía de Metaevaluación, un
puntaje como la representación numérica y simbólica de la suficiencia de las acciones
cumplimentadas dentro de los procesos de evaluación externa y de acreditación. Se asume,
entonces, la nomenclatura numérica comprendida entre los umbrales de 0 a 5, donde 5 es el
umbral máximo (positivo) y el cero, el mínimo (menos positivo) [Ver Anexos IV,
Metodología metaevaluativa, pág.147-161]. El no otorgamiento de un rango o valor no es
más que la correspondencia con el no cumplimiento de lo reglamentado por la evaluación
primaria, es decir, con la existencia de no conformidades detectadas en los procesos de
evaluación externa y de acreditación. La guía tendrá un máximo de 55 puntos (5 por cada
una de las once variables) que llevada a la escala anterior equivale a cinco y el puntaje
general equivaldrá al por ciento del cumplimiento de lo normado. [Ver Anexos IV pág.169
documentos para la puntuación].
El otorgamiento de la puntuación se basará en las evidencias que aporten los datos que se
recepcionen y la información cualitativa que se procese a partir de las fuentes establecidas
para ello (entrevistas, estudio de la documentación del proceso de evaluación externa y del
programa), o de otras acciones indagatorias convenientes con lo que se registrará el grado
de no conformidades encontradas en los procesos de evaluación externa y de acreditación.
Esto permitirá orientar al equipo metaevaluador en sus pesquisas y posibilitará el eficaz

procesamiento de los datos y de la información en la base de datos que se conforme y en la

correcta modelación del Sistema de Metaevaluación, el cual se entenderá, desde el punto de
vista de la gestión de la información, como un sistema que contempla la entrada,
procesamiento, salida y retroalimentación de la información proveniente de los procesos de
evaluación externa y acreditación, información útil para la toma de decisiones y el
aseguramiento de la calidad y perfeccionamiento del SisMeta vigente.[Ver Anexos IV,
Fig.23 Modelo de Gestión de información del SisMeta, pág.144].
5.1.5- Modelación informática del sistema de metaevaluación

De la interpretación que las personas le den, en la práctica, a lo que está normado para los
procesos de evaluación externa y acreditación, dependerá la discriminación de la
información, la toma de decisiones y los resultados concluyentes que de no ser lo más
objetivos posibles podrían originar insuficiencias. Para su actuación, estas personas poseen
y manejan un gran volumen de información caracterizada por su diversidad con la
posibilidad de incrementarlo durante su intervención por lo que pueden desorientarse en él,
desvirtuando los objetivos propuestos. Todo esto hace que a los procesos de evaluación
externa y acreditación se le imprima una fuerte carga personal que conspira contra su
conducción objetiva. Como consecuencia, para obtener una mayor objetividad en la gestión
de la información de los procesos independientes y del sistema integral, se precisa modelar
el Sistema de Metaevaluación.
Cuando un proceso es modelado con ayuda de una representación gráfica (en este caso
diagrama de proceso), pueden apreciarse las interrelaciones existentes entre distintas
actividades, analizar cada una de ellas, definir sus puntos de contacto con otros procesos,
así como identificar los subprocesos y al mismo tiempo, pueden identificarse los problemas
existentes, dando la oportunidad de iniciar acciones de mejora. Es por eso, que la
modelación informática es el método seleccionado para validar la factibilidad del SisMeta,
ya que al diagramar se establece una representación visual de los procesos y de los
subprocesos, lo que permite obtener una información preliminar sobre la amplitud de los
mismos, sus tiempos y los de sus actividades.
Para ser procesos confiables, la evaluación externa y la acreditación se basan en la
recopilación y procesamiento de datos e información útil (cualitativa o cuantitativa), sobre
los cuales se fundamentan las conclusiones a las que arriban los evaluadores. La
información se obtiene de muchas fuentes: entrevistas, encuestas, documentos,
observaciones, registros, etc. Lo mismo sucede en el proceso de metaevaluación, donde el
metaevaluador también deberá seleccionar fuentes de información e instrumentos para la
recogida y procesamiento de datos e información. Si las actividades de procesado de
información cubren la generación, almacenamiento, transmisión, manipulación y
visualización de información, que puede incluir datos numéricos, de texto, de sonido o de
vídeo, esto implica un volumen de información que se almacena y otro volumen de

información derivado de la información procesada, cuya confiabilidad sólo se puede

constatar con la adecuada utilización de herramientas relativas al campo de la gestión de la
información: actividad imprescindible para una efectiva gestión de la calidad.
Partiendo de la definición de Sistema de Información como “un conjunto de
procedimientos y equipos que interactúan entre sí para facilitar la recopilación,
elaboración, procesamiento y distribución de la información que circula en la
organización de manera que permita una gestión eficiente, la toma de decisiones y la
productividad de la información” (Hernández Cejas, 2005), procede la utilización de
herramientas informáticas en los procesos de evaluación externa, acreditación y
metaevaluación para el buen uso, en la toma de decisiones, de la información recogida,
procesada y derivada de dichos procesos y posibilitar así la consulta de la misma en la
implementación de futuros estudios investigativos que coadyuvarían al aseguramiento de la
calidad, perfeccionamiento y proyección de la práctica evaluativa, así como de los
programas e instituciones sometidos a ella. No se trata de un registro puramente estadístico
de estos procesos en una base de datos aislada, sino de modelar procesos referentes que
interactúan y tributan información a la Metaevaluación [ver Anexos IV, Tabla 24 pág.172 y
Modelo informático pág.174-183].
En el SisMeta se aplicará, por tanto, el enfoque de gestión de la información: recolección y
procesamiento de datos; derivación de información, la cual induce a nuevos conocimientos
sobre los procesos inherentes al sistema; y la aplicación práctica de esos conocimientos,
una vez generalizados los mismos [ver Anexos IV, Fig.14, pág.132]. Esto sólo se logra con
la modelación de los procesos, de sus actividades esenciales y de los flujos de información
que van de uno a otro de sus elementos, lo que hace que el sistema funcione. Se propicia así
un ciclo de procedimientos de regulación y autorregulación que, a su vez, son referentes y
autoreferentes dentro del SisMeta, donde el objetivo principal es seleccionar y obtener la
información útil (la que realmente se precisa), identificar sus emisores y receptores, así
como escoger los medios y métodos más eficientes para obtenerla. Esto permite un
constante monitoreo de la eficacia de la implementación del Sistema de Evaluación y
Acreditación que constata su calidad y a su vez, posibilita su perfeccionamiento,
acuñándole así un carácter formativo a la Metaevaluación: cuidar, verificar y validar los
procedimientos que promueven el aseguramiento de la calidad de los programas.
Para la modelación del SisMeta y de sus procesos, se ha seleccionado la herramienta de
modelado de uso internacional All Fusion Process Modeler (BPwin 4.1.4), que sirve para
analizar, documentar y mejorar los procesos de organizaciones complejas concebidas como
sistema, definiendo cómo los procesos interactúan unos con otros mediante flujos de
información, lo que permite identificar actividades poco eficientes o redundantes. Esta
herramienta permite realizar el modelado de los procesos validando su funcionamiento y, a
partir de él, obtener una base de datos con la flexibilidad de que si hay cambios en la base
de datos, estos se reflejan inmediatamente en el modelo del proceso. Por tanto, se pueden

citar, entre las bondades de esta herramienta, el brindar una representación gráfica de un
sistema; una plataforma objetiva para tomar decisiones; mecanismos para medir la
efectividad del cambio; potentes editores para definición de los procesos, flujos y
actividades basadas en costes; proporciona una vista del modelo en forma de árbol;
diagrama de contexto para todo el ámbito; puntos de vista y clarificación de propósitos; las
propiedades definidas por el usuario; la captura de información sobre la organización,
entorno y factores críticos de éxito; diagramas de descomposición por actividades y la
consistencia reforzada a través del modelo.
El BPwin incluye tres metodologías de modelación. La metodología IDEF-0 (Procesos
Empresariales- Business Process - IDEF-0), técnica para analizar el sistema completamente
como un set de actividades o funciones interrelacionadas, donde las actividades
(representadas por verbos en infinitivo) son analizadas independientemente de los objetos
que la conforman. La metodología DFD (Flujos de Datos -Data Flow Diagram-DFD)
modela el sistema como una red de actividades que procesan datos hacia y desde el
almacén, dentro y fuera de los límites del sistema representado y se usa en la
complementación de la gestión de la información del sistema. La metodología IDEF-3
(Flujos de Trabajo -Process Flow IDEF-3) tiene como objetivo proveer un método
estructurado que describe una situación como una secuencia de eventos ordenada y describe
cualquier objeto participante como las reglas de asociación. Estas metodologías son,
actualmente, aplicadas en el mundo empresarial y de los negocios, pero perfectamente
trasladable a la modelación de otros procesos como los procesos educativos.
La modelación mediante el BPwin de los procesos de evaluación externa, acreditación y
metaevaluación propicia la evidencia de la utilidad, en caso de aprobarse la metodología
propuesta, de esta herramienta (complementada con una Base de Datos) en la eficiente
gestión de la información del SisMeta, garantizando su validez y la retroalimentación de la
información entre todos sus elementos. Para emprender el modelado con el BPwin se
partió, primeramente, de la elaboración de mapas conceptuales sobre el contenido de la
evaluación externa y de la metaevaluación como concepción, así como del proceso de
metaevaluación, propiamente dicho para lo cual se utilizó la herramienta CmapTools 3.10
[Ver Anexos IV, Fig.15, 16, 18, pág.136, 137,139 ].
En el marco del All Fusion Process Modeler se asume el concepto de proceso como el
conjunto de actividades interrelacionadas entre sí que, a partir de una o varias entradas de
información, dan lugar a una o varias salidas también de información con un valor añadido
para el usuario. Por su parte, se define como modelo, la representación de una realidad
compleja, por lo que al modelar un proceso se sintetizan las relaciones dinámicas que en él
se dan, se prueban sus premisas y se predicen sus efectos, dando la oportunidad de
organizar y documentar la información sobre el sistema. Por tanto, al asumir el modelo
informático del SisMeta se persiguen los siguientes propósitos: [Ver Anexos IV, Tabla 24
Reporte de propiedades del modelo, pág.172]

1 Demostrar la factibilidad del SisMeta y captarlo en su conjunto, mostrando las etapas

obligatorias a cumplimentar en el proceso de metaevaluación (orden lógico y
secuencial), lo que contribuye a la mejor organización del trabajo de metaevaluadores y
directivos.
2 Mostrar la intervención, interdependencia e interrelación de los agentes; las fuentes de
información; las actividades y los flujos de información sobre y desde los procesos de
evaluación externa y acreditación, como savia de la que se nutre el proceso de
metaevaluación.
3 Permite detectar y eliminar errores, determinar y verificar cuál es la información útil: la
que realmente se tomó y la que se desechó.
4 La información procesada, transformada y obtenida en cada proceso de metaevaluación
puede ser almacenada en una base de datos, que estará a disponibilidad de especialistas y
directivos autorizados.
5 A partir de la base de datos de cada proceso pueden crearse otras bases de datos de no
conformidades y fortalezas comunes a los procesos de evaluación externa y acreditación
y de las que no son frecuentes que tributarían información a estudios investigativos.
6 Cada proceso metaevaluativo que se realice será modelado y a su vez se modelarán los
procesos de evaluación externa y de acreditación, según se van analizando. Esto permite
detectar tanto el cumplimiento, como las violaciones u omisiones cometidas en la
secuencia lógica de los procedimientos, en el flujo de información y de la
documentación que serán reflejadas en el modelo, mostrando la vía más eficiente del
procesamiento de los mismos.
El alcance del modelo informático está dado en mostrar todos los procesos y componentes
del SisMeta mediante diagramas. Se modelará el proceso de metaevaluación como la
actividad principal o actividad contexto y se modelarán los procesos de evaluación externa
y acreditación de los programas de maestría, como las fuentes primarias de información
para la metaevaluación [Ver Anexos IV, Diagramas IDEFO, DFD IDEF3 de los procesos,
pág. 174-183]. En el BPwin, se da la descripción de cada proceso a través de la
combinación de cuatro magnitudes básicas que se representan gráficamente y se denominan
con las siglas ICOM: información de entrada (Input), información de salida (Output),
Controles y Mecanismos [ver Anexos IV, Fig.22, pág.143]. Para el proceso de
Metaevaluación se identificaron las siguientes:
1 Input: se identifica a la información consumida y transformada por los procesos de
evaluación externa y de acreditación, es decir, la información de entrada de estos
procesos; sus controles (límites o restricciones), dados en las reglas, regulaciones,
políticas, procedimientos o estándares establecidos que influyen en la actividad sin ser
transformados o consumidos por la actividad, pero regulan cómo, cuándo y si la

actividad es ejecutada correctamente y qué outputs son producidos; sus mecanismos, son
los recursos con los que se ejecuta la actividad: personas, máquinas o equipamiento que
se utilizan para ejecutar la actividad; y por último, la información de salida de los
procesos de evaluación y acreditación, información y datos procesados por ellos que han
sido transformados en sus resultados.
2 Output del proceso de metaevaluación: es aquella información obtenida por el propio
proceso metaevaluativo una vez que se haya procesado toda la información de entrada
(Input) llegada a él, cuyos referentes están contenidos en la Guía de Metaevaluación.
3 Controles: políticas, regulaciones y procedimientos establecidos para llevar a cabo la
actividad metaevaluativa, entre los que se encuentran: Metodología metaevaluativa:
procedimientos [Anexos IV, pág.147], Guía de Metaevaluación [Anexos IV, pág. 162] y
Principios de Buenas Prácticas para el desarrollo de la actividad metaevaluativa
[Anexos IV, pág. 145].
4 Mecanismos del proceso metaevaluativo: personal asociado al Órgano Metaevaluador,
el equipamiento, infraestructura y los insumos imprescindibles para realizar la actividad.
5.2- Marco metodológico

Desde el punto de vista metodológico, con la Metaevaluación se pretende valorar el
cumplimiento de lo que está predeterminado en las regulaciones que rigen a la evaluación
externa y a la acreditación como procesos coherentes e integrales. Por ejemplo, que el
diseño de la evaluación cumpla con los preceptos teóricos; la previa determinación de los
que intervienen en la evaluación; definición precisa de sus objetivos; cumplimiento de las
etapas de la evaluación; instrumento de evaluación utilizado (contextualizado, integral y
exhaustivo); cualidades del informe final de la evaluación (claro, preciso, exhaustivo,
coherente) y el acto de difusión del mismo. Para cumplimentar este objetivo metodológico
de la metaevaluación se han identificado trece etapas en el proceso de metaevaluación:
Determinación de la metaevaluabilidad del proceso de evaluación externa y acreditación
concluido, Comunicación del Órgano Metaevaluador a las partes y firma del convenio,
Selección de la Comisión Metaevaluadora, Definición del cronograma de trabajo, Estudio
de los documentos del proceso de evaluación externa y acreditación, Trabajo de campo,
Redacción del informe final por los metaevaluadores, Discusión y ratificación del Informe
Final del proceso de metaevaluación en el seno del Órgano Metaevaluador, Reunión
técnica con el órgano evaluador y acreditador, Conclusiones del proceso en reunión
conjunta de todas las partes, Ejecución de decisiones, Difusión de los resultados de la
toma de decisiones y Seguimiento. [Ver descripción en Anexos IV, Metodología
metaevaluativa, pág.150]
Para llevar a cabo la actividad metaevaluativa, se propone un pre-diseño de regulaciones
metodológicas que contemplan cinco grandes tópicos y estos, a su vez, contienen aspectos

más específicos del proceso de metaevaluación y del SisMeta: Sobre el Órgano

Metaevaluador; Sobre los miembros del Órgano Metaevaluador; Sobre el proceso y sus
procedimientos: Solicitud de la metaevaluación; Comunicación del OM a los órganos
evaluadores y acreditadores (CTE, JAN), Firma del convenio, Entrega de la
documentación; Creación de la Comisión Metaevaluadora (CM), El proceso metaevaluativo
y el trabajo de los metaevaluadores: aspectos generales y las etapas del proceso); Sobre el
uso de la Guía de Metaevaluación (descripción de la guía, puntaje en la guía y sobre las
categorías a otorgar); Sobre la ética en la actividad metaevaluativa. [Ver Anexos IV,
Metodología metaevaluativa pág 147].
5.3- Marco organizativo-institucional

Como responsable de la actividad metaevaluativa se propone crear un Órgano
Metaevaluador (OM) independiente de las instituciones responsables y ejecutoras de los
procesos de evaluación externa y acreditación [ver Anexos IV, Metodología
metaevaluativa, pág. 147]. Los miembros del OM serán seleccionados, mediante
convocatoria, por su disposición, currículum y aptitudes para desempeñar esta actividad por
lo cual deberán ser especialistas con destacado prestigio en las diferentes ramas del saber y
poseer amplios conocimientos y experiencia en evaluación y acreditación de programas.
Estas personas están obligadas a cumplir con los principios de ética profesional establecida
por el reglamento, la confidencialidad, honestidad y justeza en su desempeño; demostrar
facilidades comunicativas que permitan crear un clima favorable al buen desarrollo de la
actividad; y ser capaces de trasmitir confiabilidad a las partes involucradas en el proceso.
Los especialistas serán profesionales de la actividad a tiempo.
El director o presidente del OM será el máximo responsable de la actividad y en reunión
plenaria dará a conocer a todos los especialistas, las demandas de procesos metaevaluativos
recibidas, explicando los aspectos generales de cada caso y sólo después se pasará a la
selección de los especialistas que conformarán la Comisión Metaevaluadora para cada
proceso, integrada por tres miembros. Esto permitirá al director o presidente, como
coordinador principal, tener el conocimiento de todos los procesos que se lleven a cabo. La
información procesada y derivada en cada proceso es estrictamente confidencial por lo que
sin la autorización del director no se podrá consultar la base de datos por personal ajeno al
OM.
Es fácil deducir que las instancias factibles de verse en un proceso de metaevaluación y
que, por consecuencia, tendrán que colaborar con el OM son: los centros o instituciones
auspiciadores del programa evaluado; los evaluadores que realizaron el proceso primario; el
CTE, responsable de la ejecución de la evaluación externa; y la JAN como responsable de
la acreditación otorgada.

5.4- Marco legal-normativo

Con el objetivo de guiar y proteger el prestigio profesional de los miembros del Órgano
Metaevaluador y de proporcionar las bases sobre las que se debe sustentar el clima de
trabajo e intercambio entre ellos y su retroalimentación con otras instancias, demostrando
que su trabajo está basado en criterios alejados de intereses personales, grupo o institución
y en aras de encontrar las vías más idóneas hacia la transparencia y confiabilidad en la
actuación del OM, se identifican los siguientes principios de buenas prácticas para la
actividad metaevaluativa: [Ver Anexos IV, pág.145]
1 Imparcialidad: la actividad metaevaluativa se fundamenta en la probidad e
independencia de sus responsables y ejecutores. Las conclusiones de los procesos serán
el resultado de decisiones colegiadas en el seno de la Comisión Metaevaluadora y
aprobadas por el Órgano Metaevaluador en pleno ejercicio de todos sus miembros.
2 Congruencia y confiabilidad: los miembros del OM deberán demostrar que en el
cumplimiento de sus tareas existe congruencia con lo señalado en la misión del órgano
al que pertenecen y en los documentos que guían su quehacer; que cuentan con la
capacidad organizativa y técnica; y que tienen la experiencia y la ética imprescindible
para el desempeño de sus funciones.
3 Responsabilidad y seriedad: el OM deberá respetar la autonomía de las partes
involucradas en los procesos de metaevaluación y la voluntariedad expresa en su
solicitud del proceso .El OM puede asesorar en los procesos de evaluación y
acreditación en caso de ser solicitado.
4 Transparencia y rendición de cuentas: una vez concluido el proceso de
metaevaluación, el OM está en la obligación de informar a las partes sobre los resultados
del proceso y los procedimientos cumplimentados para llegar a ellos. Se difundirá la
información correspondiente mediante métodos y medios establecidos y sólo a solicitud
de las partes.
5 Confidencialidad: la información recibida y procesada por el OM se considera
confidencial hasta tanto no se hagan público los informes pertinentes del proceso, en el
momento y ante las personas determinadas por las partes.
6 Finalidad no lucrativa: en su actuación, el OM debe respetar el fundamento de ser ésta
una organización creada para la cooperación profesional en el campo de la calidad y sin
ningún fin lucrativo. La prestación de sus servicios se regirá por las regulaciones
estatales y ministeriales establecidas en la Educación Superior para estos casos.
7 Ética: en su actuación, los miembros del OM deben cumplir con lo establecido en el
código de ética elaborado al respecto.

Por su parte, el OM deberá demostrar que está organizado, estructurado y conducido de

manera oportuna, eficiente y con calidad para su buen desempeño; que cuenta con los
recursos humanos y materiales para desarrollar su actividad; que se identifica con una
misión explícita y objetivos claramente definidos para su trabajo; que tiene establecido un
sistema de aseguramiento de la calidad para sus propias actividades; que mantiene un
trabajo de colaboración y respeto con los organismos y/o instancias responsables de la
actividad evaluativa y acreditadora; y que cumple con un código de ética que rige la
actuación de sus miembros, así como su relación con los órganos evaluadores y
acreditadores, las diferentes instituciones auspiciadoras de los programas u otras instancias,
con el objetivo de garantizar su observancia durante los procesos de metaevaluación.
Además, el OM deberá tener definidos los procedimientos generales y específicos por
escrito, en donde se describa cada una de las etapas a cumplimentar de manera clara y
precisa en el proceso de metaevaluación.
Para la realización de la metaevaluación, se firmará un contrato/convenio entre las partes
que propicie un marco legal al proceso y en el cual se contemplarán aspectos tales como:
cronograma de trabajo y fechas de cumplimento de las diferentes etapas del proceso;
deberes y derechos de las partes para el buen desarrollo de las actividades, relacionados con
la información y documentación a presentar, apoyo logístico y cooperación para crear un
clima favorable; cumplimiento de los principios éticos (confidencialidad, transparencia,
imparcialidad, responsabilidad, seriedad, ética u otro) por los involucrados en el proceso;
responsabilidad de las partes ante los resultados a que se lleguen ( unos por emitirlos y
otros por aceptarlos); y difusión de los resultados: medios a utilizar, destinatarios, fecha,
etc.
El OM deberá asegurar que su equipo de especialistas sea el adecuado; que su integración
no responde a intereses de particulares; que están capacitados para llevar a cabo las tareas
de la metaevaluación y que actúan de manera independiente y responsable cumpliendo con
el código ético establecido. En cambio, los metaevaluados cumplirán con lo establecido en
el contrato/convenio marco para la metaevaluación; cooperarán para que el proceso se lleve
a cabo de manera oportuna y eficaz; respetarán el plazo fijado por el OM para la entrega de
toda la información solicitada por él; y respetarán los procedimientos establecidos para
realizar la actividad, discutidos previamente con ellos.
Además, se propone la elaboración de un código ético que ayude, entre otros aspectos, a
crear un clima de confianza mutua e interprete las posibles violaciones que no deben ser
cometidas por los metaevaluadores y las instancias implicadas en los procesos, así como las
medidas correspondientes que serán tomadas en cada caso. Por ejemplo, violaciones que
podrían estar relacionadas con la validez de los datos y la información recolectados, con el
procesamiento y transmisión de la información de los procesos que se analizan; con los
resultados de la metaevaluación que no deben ser dados a conocer a otros grupos distintos a

los evaluadores y evaluados sin la previa aceptación de todas las partes, ni por los canales
que no sean los establecidos en el reglamento.
Resumen: En correspondencia con el objetivo principal de esta tesis, la concepción del
Sistema de Metaevaluación (SisMeta) se basa en dos argumentos claves:
1 Para valorar la calidad de la evaluación externa y la acreditación se propone un conjunto
de parámetros que tratan de responder a las condiciones en que se desarrollan estos
procesos (objeto de la metaevaluación) y las condiciones de los programas educativos
(objetos de la evaluación) en el contexto educativo cubano. En la Guía del SisMeta se
introducen los aspectos que reflejan la realidad de los procesos inherentes a él y no
aspectos que pudieran responder a intereses de representantes de determinados sectores
de la sociedad o del ámbito académico como supuestos clientes o consumidores de la
evaluación o aspectos relacionados con determinadas áreas que influyen en el desarrollo
de esos procesos como pudieran ser la económica o financiera (costos de la evaluación)
o la política en cuanto al interés de favorecer a unos más que a otros. Aspectos que en el
medio cubano se resuelven o se analizan de diferente forma o por diferentes mecanismos
en comparación con otros contextos en los cuales, para valorar la calidad de la
evaluación, se han adoptados y adaptados parámetros propuestos por agencias
internacionales o utilizan aspectos que recrean su propia realidad y necesidades.
2 El SisMeta es un sistema integral que se consolida a través de cuatros marcos
referenciales: el teórico-conceptual, el metodológico, el organizativo o institucional y el
marco legal-normativo. Se basa en la selección, almacenamiento, procesamiento y
generación de información válida que posibilita un flujo y reflujo de información
generada por los procesos y actividades contemplados en él y que constituye la esencia
del aseguramiento de la calidad de los procesos de evaluación externa y de acreditación
y su posterior perfeccionamiento. Por tanto, además del trabajo de campo realizado, el
modelo informático del SisMeta ha proporcionado un medio de verificar la factibilidad
de crear un sistema que sea capaz de responder al problema que se trata de solucionar
con este trabajo de tesis: propiciar el aseguramiento continuo de la calidad de los
procesos de evaluación externa y acreditación de los programas de maestrías y el
perfeccionamiento del SEA-M.

6- Conclusiones
En Cuba, la implementación del Sistema de Evaluación y Acreditación de las Maestrías,
producto autóctono, nutrido de lo mejor de las prácticas evaluativas internacionales
estudiadas y de la experiencia evaluativa acumulada en el ámbito educativo nacional, debe
ser considerada en sí misma una innovación y, a su vez, promotora de innovaciones y
mejoras, no sólo en los programas evaluados por él, sino también en su repercusión para la
creación de otros instrumentos y metodologías evaluativas en el ámbito de la Educación
Superior cubana. Con el SEA-M se introduce un nuevo enfoque de la evaluación al
trascender, cualitativamente, las experiencias de supervisión y control de la calidad
preponderantes en la Educación Superior cubana hasta el momento de su oficialización. A
pesar del salto de calidad que se ha alcanzado en su puesta en práctica, es evidente que el
SEA-M no escapa a la imperfección como toda obra humana, lo que implica la necesidad
de someterlo a una metodología metaevaluativa. Con este fin se propone, en el marco de
esta tesis, el diseño del Sistema de Metaevaluación (SisMeta), cuya implementación
permitirá el aseguramiento de la calidad y el mejoramiento continuo de los procesos de
evaluación externa y acreditación y el perfeccionamiento del propio SEAM, lo cual se
evidencia en los resultados de la investigación que se pone a consideración:
1 En la creación del Sistema de Metaevaluación (SisMeta) se asume la siguiente
concepción y composición:
– Un concepto propio de la metaevaluación como sistema y como proceso en la que se
determinan una tipología de la metaevaluación y los ámbitos en los que ella actúa. El
SisMeta, concebido con un enfoque preponderantemente cualitativo y sistémico
basado en la gestión de información para ser más eficiente, se sustenta en tres pilares:
el sujeto como agente que actúa y ejerce influencias; la información, como
propiciadora de la retroalimentación que se produce entre los procesos y las personas;
y el mayor grado de objetividad posible, basado en las evidencias que se manifiestan
en la información generada y procesada y en el buen uso de la información resultante,
transformada en conocimientos.
– Se introduce y desarrolla el concepto de Sistema de Metaevaluación como un sistema
integral que contiene a los procesos de evaluación externa, acreditación y al proceso
de metaevaluación, conformando un todo, pero a su vez son independientes. La
metaevaluación, basada en las evidencias de las fortalezas y las no conformidades en la
implementación de los procesos de evaluación externa y de la acreditación, es el nivel
cualitativamente superior para la validación de su calidad, propiciando la
retroalimentación en todo el sistema.
– El SisMeta tiene como finalidad el aseguramiento de la calidad de los procesos de
evaluación externa y acreditación de las maestrías (objeto de la metaevaluación) para

propiciar su perfeccionamiento y el del SEA-M (objeto de la metaevaluación) al

centrar su atención en todo lo concerniente a la regulación e implementación de los
procesos del SEA-M.El SisMeta se desarrolla en cuatro marcos: marco teórico-
conceptual, marco metodológico, marco organizativo-institucional y un marco legal.
– Los componentes del SisMeta son: Objeto a metaevaluar, Instrumento metaevaluativo,
Metaevaluadores, Demandantes del proceso de metaevaluación, Destinatarios del
proceso, Metaevaluados, Resultados, Regulaciones, normativas y principios de
“buenas prácticas”.
2 Para la implementación de los procesos de metaevaluación en el marco del SisMeta
– Se proponen regulaciones metodológicas que contemplan normas sobre el Órgano
Metaevaluador y sus miembros; sobre el proceso y sus procedimientos; el uso de la
Guía de Metaevaluación; y la ética en la actividad metaevaluativa; se identifican trece
etapas por las que transcurre el proceso de metaevaluación; y se proponen principios
de “buenas prácticas” a seguir en la implementación del SisMeta, estableciéndose que
este, en su función, funge como un tercero a través de un Órgano Metaevaluador
independiente a las entidades evaluadoras y acreditadoras.
– Se diseñó la Guía de Metaevaluación que contempla tres dimensiones y once variables,
ajustadas al principio de la contextualización al reflejar los procesos de evaluación
externa y acreditación en la realidad en la que están inmersos y al resaltar la
repercusión de sus resultados. Promueve una puntuación basada en un enfoque
cualitativo al sustentarse en las evidencias del grado de cumplimiento de lo establecido
en los procesos, que será el fundamento de las conclusiones del proceso de
metaevaluación.
– Como respaldo y evidencia de su actuación y para la correcta toma de decisiones, los
metaevaluadores utilizarán documentos diseñados para la recogida de la información:
Ficha Técnica de los procesos y documento Puntuación otorgada, según los
parámetros de la Guía.
3 Para validar la factibilidad del SisMeta se desarrollaron las siguientes acciones:
– En el cumplimiento de las tareas investigativas, la autora implementó la metodología
metaevaluativa que se somete a consideración, desarrollando el trabajo que deberá
realizar un equipo metaevaluador. En la revisión de los expedientes de 31 procesos de
evaluación externa y acreditación de maestrías, se aplicó el algoritmo concebido para
la identificación de las posibles acciones y etapas de un proceso de metaevaluación,
determinación de las fuentes y de la información presumiblemente útil que necesitaría
una comisión metaevaluadora en su actuación. Esto permitió el perfeccionamiento de
la propia metodología propuesta.

– A modo de consulta de expertos, se realizaron 63 entrevistas a evaluados y

evaluadores, a informantes de los pares académicos, a expertos del MES, y a una
especialista de la ONARC. El diseño de las entrevistas comprendió un sistema de
categorías, dimensiones y variables relacionadas con aspectos relevantes de los
procesos de evaluación externa y acreditación y con la necesidad y conceptualización
de la metaevaluación.
– La modelación informática del SisMeta mediante la herramienta BPwin del sistema
“ALLFUSION DATA MODELER” ayudó a visualizar, analizar y perfeccionar los
procesos inherentes al SisMeta al mostrar su descomposición en actividades y
acciones, sus etapas, elementos, flujo de información, mecanismos y controles
simulando la realidad. Esto permitió la corrección de la concepción primaria del
SisMeta durante el modelado, sentando las bases para su automatización.
– En la implementación de algunas de las sugerencias aportadas por la autora a las
instancias responsables de la actividad evaluativa del MES, sin esperar las
conclusiones de esta tesis doctoral.
4 La contribución de la implementación del SisMeta al aseguramiento continuo de la
calidad de los procesos de evaluación externa y acreditación y al perfeccionamiento del
SEA-M se manifestará en los siguientes resultados:
Se obtendrán conocimientos derivados de la información obtenida del proceso de
metaevaluación que estarán relacionados con:
– Resultados de estudios comparativos y/o de casos de un número determinado de
procesos de evaluación externa y acreditación metaevaluados basados en la
generalización de las no conformidades reiteradas y evidenciadas en los procesos y de
las no conformidades típicas atribuidas a cada proceso, consideradas como no
conformidades factibles en cualquier otro caso y en cualquier otro momento que
también deben tenerse en cuenta.
– Validación de la Guía de Evaluación del SEA-M, fundamentada en la determinación
de aspectos evaluables no generalizables a todos los programas, parámetros que no
cumplen con la contextualización, parámetros en que el peso de la ponderación no es
adecuado y en la determinación del comportamiento de las debilidades de los
programas por variables. Esto tributará a un análisis de tendencia de las variables de la
Guía de Evaluación.
– Valoración del impacto de la evaluación externa y la acreditación al revelar y describir
la actuación y reacción (positiva y/o negativa) y la satisfacción o no de las expectativas
de los evaluados ante el proceso y sus resultados y al determinar el nivel de aceptación
e implementación de las recomendaciones de mejoras en los programas evaluados.

– Cuidado por el buen uso de la información de la evaluación externa y de la

acreditación en la correcta toma de decisiones y en la protección de los programas y
las personas evaluadas y de las que intervienen en los procesos, al preservar sus
derechos y velar por el cumplimiento de sus obligaciones.
– Observancia y ratifación de los aspectos técnicos, metodológicos, éticos y normativos
establecidos en los procesos de evaluación externa y acreditación con el objetivo de
evitar prácticas ilegales y evidenciar el respeto a las buenas prácticas en dichos
procesos. Con esta metodología se estandarizan los procedimientos a cumplimentar en
los procesos de evaluación externa y acreditación lo que se traduce en el
aseguramiento y la elevación de su calidad, haciéndolos más válidos al reducir la carga
subjetiva.
– Valoración de las consecuencias negativas y positivas de la evaluación externa y
acreditación, estableciéndose en qué medida la evaluación realizada ha ampliado sus
objetivos y ha cumplido con su misión. De esto se derivarán estudios de impacto de la
evaluación en el desarrollo de los programas, en su contexto y en el ámbito educativo y
social, en general; estudios de impacto de los programas evaluados y/o acreditados en
la satisfacción de las demandas sociales a que ellos responden; y en estudios
comparativos.
Con la implementación del SisMeta se podrá determinar en qué direcciones hay que
proyectar el perfeccionamiento del SEA-M y sus procesos, adecuándolos a la dinámica
del contexto en que se desarrollan los programas; posibilitará planificar y realizar una
evaluación solvente; remitirse a la toma de decisión basada en la información validada
por los procesos metaevaluativos; promover una mejor comprensión de la empresa
evaluativa y coadyuvar a la profundización de la política y la cultura evaluativa en el
ámbito educativo.

7- Recomendaciones
1 Promover la metodología metaevaluativa como método y medio en la conservación y
generalización de las experiencias y conocimientos adquiridos en la práctica evaluativa
que pueden tributar a nuevas investigaciones o estudios comparativos, sobre tendencias
y de impacto de la evaluación externa y la acreditación que proporcionarían el
aseguramiento de la calidad y el perfeccionamiento del SEA-M en su integralidad y de
cada uno de sus procesos, Esto coadyuvaría a la determinación de políticas y estrategias
evaluativas más acertadas.
2 Estudiar la propuesta del SisMeta, sometida a consideración, por las entidades
correspondientes y, en la medida de las posibilidades, propiciar su implementación no
sólo en el marco del SEA-M, sino también en el marco de los otros sistemas incluidos en
el Sistema Universitario de Programas de Acreditación (SUPRA), haciéndose las
adecuaciones pertinentes.
3 Propiciar la continuación de esta investigación con la creación de un software que
incluiría la confección y gestión de las Bases de Datos a partir de los procesos de
metaevaluación, con el objetivo de obtener información y conocimientos para el
perfeccionamiento del SEA-M.
4 Promover la metodología y el enfoque de sistema y de proceso en la compresión de los
procesos de evaluación y acreditación a otros niveles: carreras, instituciones y otras
modalidades de postgrado.
5 Extender el método de modelación informática fundamentado en la gestión de
información a los procesos de evaluación y acreditación, en general por las bondades
que este proporciona: económicas, instructivas y facilitadoras.
6 Se sugiere la implementación de procesos de metaevaluación como alternativa para
resolver situaciones conflictivas en la práctica evaluativa: no aceptación de los
resultados de la evaluación externa y acreditación, y/o en la identificación de violaciones
u omisiones en los procedimientos durante los procesos.
7 Se recomienda la culminación del código ético para la práctica evaluativa en el marco
del SEA-M.

8- Bibliografía
1.Abarca Ponce, Ma. Pilar: La evaluación de programas educativos. Editora Escuela Española S.A, Madrid,
España, 1989.
2.Acosta, Vladimir: “Desafíos y objetivos regionales para los años 90 en América Latina y el Caribe”. Revista
Educación Superior y Sociedad. Vol.1, No.1-CRESALC, Venezuela, 1989.
3.Aguerrondo, Inés: “La calidad de la Educación: Ejes para su definición y evaluación”. La Educación. Año
XXXVIII, No.116, OEA, Washington D.C., 1993.
4.Aguilar Hernández, Marielos: “La evaluación institucional de las universidades. Tendencias y desafíos” en
VI Congreso Universitario UCR. htm. consultado en Internet el 13/8/03.
5.Alarcón Alba, Francisco; Guillermo Luna, Julio: “La evaluación y acreditación de la Educación Superior en
Centroamérica” en La Evaluación y la Acreditación de la Educación Superior en América Latina y el
Caribe, Pág. 57. UNESCO - IESALC, Editorial ENPES-Mercie Group, CUJAE, Ciudad de La
Habana, Cuba, 2003.
6.Alcántara, Armando: “Tendencias mundiales en la Educación Superior: el papel de los organismos
multilaterales”. UNAM, México.Doc html consultado en Internet el 27/9/02
7.Alfaro V. Gilberto; Sánchez Virginia: Criterios y aspectos para conducir procesos de meta evaluación. Un
análisis de casos. Universidad Nacional Heredia, Costa Rica.
8.Aljure Nasser, Emilio: Lineamientos para la Acreditación de la Educación Superior en Colombia.
Documento de trabajo. Comisión 2. Conferencia Regional sobre Políticas y Estrategias para la
Transformación de la Educación Superior en América Latina. CRESALC-UNESCO-MES,La
Habana 18-22 de noviembre de 1996
9.Álvarez B, Neptalí y Morles Victor: “El futuro de la educación de posgrado. Los sistemas nacionales de
Educación Avanzada”. Revista Investigación y Posgrado, Vol. II, No.2-1996.Venezuela, 1996.
10.Alvira Martín, Francisco: Metodología de la evaluación de programas. Centro de Investigaciones
Sociológicas (CIS), Madrid, 1991.
11.Anónimo: “Sistema Centroamericano de Evaluación y Acreditación de la Educación Superior
(SICEVAES)”. Revista Universidades, No.12-1996, julio-diciembre. México,1996.
12.Anónimo: Evaluation Policy and Framework Saskatchewon Post-Secondary Education and skills training.
Canada, November, 1998. Doc.pdf consultado el 5/6/03.
13.nónimo: Convención de Salamanca. Doc. pdf consultado en Internet el 3/9/03.
14Anónimo: Declaración conjunta de los Ministros de Educación europeos. Comunicación oficial. Praga, 19
de marzo 2001. Doc. pdf consultado en Internet el 25/2/03.
15.Anónimo: Documento de trabajo: Las Organizaciones internacionales de cooperación y la educación. Sus
principales definiciones. En Revista Iberoamericana de Educación (OEI).Programa Calidad y
Equidad en la Educación. Consultado en Internet el 14/3/02.
16.Anónimo: Modelo Europeo de la Calidad. Un camino hacia la excelencia. Home page Assurance Quality
Assessors (AQA). Sitio Web: http://www.aqa.es/loc/modelo.doc.html consultado el 11/10/02.

17.Anónimo: Task Force Peer Review. Models for The Peers. Peer Review VAS/FH/HES/SUP 2001.The
Swiss University.
18.ANUIES: Acreditación Universitaria en América Latina. Antecedentes y experiencias. ANUIES.
Colección de Bibliotecas de la Educación Superior, México, 1993.
19.Armanet, Pilar: “Garantía de la Educación Superior en el contexto de la globalización”.Ministerio de
Educación .Chile. Doc. pdf consultado en Internet el 1/4/04.
20.ArosemenaRomán, Jorge: “Problemática para el establecimiento y perspectivas de la acreditación de
programas entre las universidades mexicanas y centroamericanas para la continuación de estudios”.
EnCalidad y cooperación internacional en la Educación Superior de América Latina y el Caribe.
Memorias de la reunión preparatoria de la Conferencia Regionalsobre Políticas y Estrategias para la
transformación de la Educación Superior en América Latina y el Caribe, La Habana, 1996. ANUIES/
CSUCA/ CRESALC/ UNESCO. Serie: Políticas y Estrategias, No. 6, 1996.
21.Arrién, Juan B.: Calidad y acreditación: exigencias a la universidad. Documento de Trabajo. Comisión 2.
Conferencia Regional sobre Políticas y estrategias para la transformación de la Educación Superior
en América Latina y el Caribe. CRESALC-UNESCO-MES,La Habana 18-22 de noviembre, 1996.
22.Ayarza E, Hernán: “La Evaluación, el Cambio y el Mejoramiento de la calidad de la docencia”. IGLU.
Gestión de la Calidad y el Cambio, octubre, Canadá, 1995.
23.Barnett, Ronald: Poder, esclarecimiento y evaluación de la calidad”. Revista Universidad Futura, Vol.3,
No.8 y 9, pág.59,México, 1995.
24. Benítez, Francisco; Fernández Aurora y otros: “La calidad de la Educación Superior Cubana”. Revista
Cubana de Educación Superior, No.1, Vol. XVII. CEPES- Universidad de La Habana. Cuba, 1997.
25. Bjørnkilde, Thomas; Bason, Christian: Meta Evaluation of the Evaluations of Higher Education in
Denmark. Paper for Case-study Session at the 4 th EES Conference in Lausanne, October
12-14-2000.
26. Bordas, Inmaculada: La evaluación de programas para el cambio. 1992.
27. Brunner, José Joaquín: “Calidad y evaluación en la Educación Superior”. En Evaluación y Acreditación
Universitaria. (Metodologías y experiencias). Editorial Nueva Sociedad, pág. 9, 1997.
28. Brunner, José Joaquín: “La evaluación de la Investigación”. Revista Universidad Futura, Vol. 3, No. 8 y 9,
.México, 1997.
29. Bueno Sánchez, Eramis: Metodología de la Investigación. Centro de Estudios Demográficos (CEDEM) de
la Universidad de La Habana, Ciudad de La Habana, Cuba, 1994
30. Burbano López, Galo: “Política de gestión y mejoramiento de la calidad de la educación superior
colombiana”. En Calidad y cooperación internacional en la Educación Superior de América Latina y
el Caribe. Memorias de la reunión preparatoria de la Conferencia Regional sobre Políticas y
Estrategias para la transformación de la Educación Superior en América Latina y el Caribe.
ANUIES/ CSUCA/ CRESALC/ UNESCO. Serie: Políticas y Estrategias, No. 5, 1996.
31. Bustos, Eduardo: Aseguramiento de la calidad en la Educación Trasnacional. Comisión Nacional de
acreditación de Posgrado (CONAP).Chile. Doc. pdf. consultado en Internet el 1/4/04.
32. Camperos, Mercedes: “El concepto unitario de validez y la evaluación educativa”. Revista Pedagógica.
Vol. XVIII, No. 5, abril-junio, Venezuela, 1997.

33. Carita Bonilla, Luis: “La cooperación internacional en la nueva dimensión de la universidad”. En La
transformación universitaria en vísperas del tercer milenio. Serie: Políticas y Estrategias, No.6.
Memorias del Simposio AUGM/ UDUAL/ CRESALC/ UNESCO, 1996
34. Casaliz, Pierre: “Gestión estratégica y evaluación de la calidad”. 1er Encuentro Interuniversitario
Nacional sobre evaluación de la calidad, La Habana, 1995.
35. Casanova, M. A.: La evaluación garantía de calidad para el centro educativo. Ediciones Edelvives,
Zaragoza, España, 1992.
36. Casassus, Juan; Arancibia, Violeta; Froemel, Juan E.: Laboratorio Latinoamericano de Evaluación de
Calidad de la Educación. Revista Iberoamericana de Educación, Número 10. Evaluación de la
Calidad de la Educación. Organización de Estados Iberoamericanos. Consultado en Internet el
14/03/02.
37. Cobo Suero, Juan Manuel: “El reto de la calidad en la Educación. Propuesta de un modelo sistémico”.
Revista de Educación Superior, No.308, septiembre-diciembre, pág. 353. España, 1995.
38. Colás Bravo, M. Pilar; Rebollo, Ma. de los Ángeles: Evaluación de programas: una guía práctica.
Editorial Kronos. España, 1994.
39. Comunidades Europeas: Comunicación “El papel de las universidades en la Europa del conocimiento”.
Bruselas, 5 / 2 / 2003. COM (2003) 58 final. Documento pdf. consultado 28/5/03.
40. CONACYT -Padrón de Programas de Posgrado de Excelencia. Convocatoria de actualización.
Documentos. México.
41. CONEAU: Lineamientos para la Evaluación Institucional. Ministerio de Cultura y Educación .Aprobado
por resolución No.094-CONEAU-1997. Aportes del Comité Ejecutivo del CIN y el CRUP. Doc. pdf.
consultado 20/7/00.
42. Consejo Europeo de Barcelona: Conclusiones de la Presidencia. En Ministerio de Educación, Cultura y
Deporte de España: Documento-Marco. La integración del sistema universitario español en el
espacio europeo de enseñanza superior. Febrero 2003. Documento pdf. consultado el 22/ 9/03.
43. Cook, T.D.; Reichardt, Ch. S. (Eds): Métodos cualitativos y cuantitativos en la investigación evaluativa.
Editorial Morata, S.A. Madrid, España, 1986.
44. COPAES- Consejo para la Acreditación de la Educación Superior: Manual del procedimiento para el
reconocimiento de organismos acreditadotes de programas académicos de nivel superior. Doc. pdf
consultado en Internet el 18/2/04.
45. Correa Uribe, Santiago y otros: Investigación evaluativa. Módulo 6. En Especialización en teoría, métodos
y técnicas de investigación social. Instituto Colombiano para el Fomento de la Educación Superior,
ICFES. Bogotá, Colombia, 1996. Consultado en diciembre 2000. Sitio Web:
http://www.icfes.gov.co/es/fomento/gcfom/pub/libros/ser_inv_soc/modulo6.pdf
46. Council for Higher Education Accreditation (CHEA): FACT SHEET # 3. Twelve important Questions
about External Quality Review. September, 2001. Documento pdf. Sitio Web: www.chea.org
consultado el 19/2/04.
47. Council for Higher Higher Education Accreditation (CHEA): FACT SHEET # 4. A Framework for
Meeting. Transfer of credit Responsabilities. Documento pdf. Sitio Web: http://www.chea.org

48. Council for Higher Education Accreditation (CHEA): The Fundamentals of Accreditation. What Do You
Need to Know? September, 2002. .Documento pdf. Sitio Web: http://www.chea.org consultado el
19/2/04.
49. Council for Higher Higher Education Accreditation (CHEA): How Do They Operate to Assure Quality?.
FACT SHEET #5 Accrediting Organizations in the U.S., December 2002. .Documento pdf. Sitio
Web: http://www.chea.org consultado el 9/1/04.
50. Council for Higher Higher Education Accreditation (CHEA): FACT SHEET # 1.Profile Accreditation.
August, 2003. Documento pdf. Sitio Web: www.chea.org consultado el 19/2/04.
51. Council for Higher Higher Education Accreditation (CHEA): International Quality Review and
Accreditation .The Role of CHEA Accreditors. Doc.html consultado el 9/1/04. Sitio Web:
http://www.chea.org
52. Crespo, Ismael: El panorama de la Evaluación y Acreditación de la Educación Superior en España con
referencia al marco europeo. En el Seminario-Taller Internacional “Evaluación y Acreditación de la
Educación Superior en América Latina y el Caribe”. Buenos Aires 8 y 9 de mayo de 2003.
Documento pdf consultado el 3/8/03.
53. Criteria Glossary for Sound Evaluation Plans. Sitio Web: http://glossary.htm
54. Cruz Cardona, Victor: Evaluación y Acreditación de Programas de Posgrado. Guía de Autoevaluación de
la AUIP. 2da Edición, Universidad del Valle, Colombia, 1995.
55. Cunhra, Luis Antonio: “El caso paradigmático de Brasil: Evaluación cualitativa de la universidad
brasileña”. Diálogo No.13, septiembre, pág. 6. España, 1994.
56. Chan-goo, Yi: Evaluating The Nacional R&D Evaluation System in Korea. Electronics and
Telecommunications Research Institute (ETRI). Tayon, Korea. Doc. pdf abstract 111 consultado el
4/6/03.
57. Chaves de Rezende Martins, Ricardo: “El Sistema de Seguimiento de los programas de posgrado en
Brasil. Notas críticas sobre Evaluación”. Revista Investigación y Posgrado. Vol. II, No.2.Venezuela,
1996.
58. Chené Louise; Freedman Bárbara: Evaluando la evaluación: un estudio de casos. (español e inglés).
Canadá Sitio Web: http://www.INQAAHE.htm. Consultado 24/11/00.
59. Deiros, Beatríz; Álvarez, Jesús: “La Evaluación académica de programas de posgrado: retos y
dificultades”. Revista Cubana de Educación Superior. Vol. XVIII, No.1-1998, pág.81. Ciudad de La
Habana, Cuba, 1998.
60. de Oliveira Carvalho Abigail y Spagnolo Fernando: “Veinte años de evaluación de posgrados en Brasil: la
experiencia del CAPES”. En Evaluación y Acreditación Universitaria (metodologías y experiencias),
pág.151. Brasil, 1997.
61. de la Torre, Saturnino: Innovación Curricular. Proceso, Estrategias y Evaluación. Editorial Dykinson,
S.L., 1994.
62. de la Torre, Saturnino: Cómo innovar en los centros educativos. Estudios de casos. Editorial Escuela
Española, España, 1998.

63. Diamant, Ana Estela: Propuesta para un análisis comparativo de instrumentos de evaluación de logros
académicos. Documento 4. Programa Evaluación de la Calidad de la Educación. Sitio Web: http://
www.campus-oei.org/revista consultado el 14/03/02.
64. Díaz, Mario de Miguel: La Evaluación de los centros educativos. España, 1990.
65. Diccionario de la Ciencia de la Educación. Publicación Diagonal, Santillana, 1983.
66. Dirección de Posgrado de la Universidad de La Habana: Informes y documentos Cuba, 1995-1996.
67. Documento: La transformación universitaria en vísperas del tercer milenio. Memorias del Simposio
AUGM/UDUAL/ CRESAL/ UNESCO. Serie 6: Políticas y Estrategias. Caracas, 1996.
68. Dopico, Mateo, Ileana: La Guía de Evaluación del Sistema de Evaluación y Acreditación de Maestrías
(SEA-M). Algunas consideraciones. Tesis defendida en opción al título de Master en Ciencias de la
Educación Superior. CEPES, Universidad de La Habana, 2000.
69. Dopico, Mateo, Ileana: “La evaluación de programa como sistema”. Revista Aula Abierta No. 78,
Diciembre 2001. Instituto de Ciencias de la Educación (ICE). Universidad de Oviedo, Oviedo,
España. ISSN: O210-2773, 2001.
70. Dopico, Mateo, Ileana: “Evaluar la evaluación en la búsqueda de la calidad”. Trabajo presentado en poster
en la Sexta Junta Consultiva de Posgrado en el marco del 3er Congreso Internacional de Educación
Superior, Universidad 2002. Ciudad de La Habana, Cuba, 2002
71. Dopico, Mateo, Ileana: “Metaevaluación: ¿Por qué y para qué?”. Revista Cubana de Educación Superior.
Editada por el Centro de Estudios para el Perfeccionamiento de la Educación Superior (CEPES) de la
Universidad de La Habana, Vol. XXIII, No. 3, Año 2003. ISSN 0257-4314. Cuba, 2003.
72. Dopico, Mateo, Ileana: “La evaluación y la metaevaluación: dos procesos y una estrategia para la gestión
de la calidad”. Ponencia (PER- 269) presentada en el VII Taller Internacional sobre la Educación
Superior y sus perspectivas .Comisión 9: Evaluación curricular y de programas (6/2/04). En el marco
del 4to Congreso Internacional de Educación Superior, Universidad 2004. Ciudad de La Habana,
Cuba, 2004.
73. Eaton, Judith S.: In Accreditation Accountable. The Continuing Conversation between Accreditation and
Quality Assurance. CHEA Monograph, Series 2003, number 1.Council for Higher Education
Accreditation )CHEA), Washington, D.C. U.S.A. Sitio Web: www.chea.org consultado 17/2/04.
74. Eaton, Judith S.: Letter from president: The Value of Accreditation: four pivotal roles. May, 2003.
Council for Higher Education Accreditation (CHEA). Doc. pdf. pre_ltr_values_accrd_5-03. Sitio
Web: www.chea.org
75. Enciclopedia General de la Educación: Evaluación e investigación. Tomo 2. Editorial OCÉANO.
Barcelona, España.
76. Escudero Escorza, Tomás: “Desde los tests hasta la investigación evaluativa actual. Un siglo, el XX, de
intenso desarrollo de la evaluación en educación”. Revista Electrónica de Investigación y Evaluación
Educativa, vol.9, n.1. 2003 http://www.uv.es/RELIEVE/v9n1/RELIEVEv9n1_1.htm..
77. Escudero Escorza, Tomás: Enfoques modélicos y estrategias en la evaluación de centros educativos.
Instituto de Ciencias de la Educación Universidad de Zaragoza. España, 1997. Revista Electrónica de
Investigación y Evaluación Educativa, vol.3, n.1, consultada 4/6/03 Sitio Web:
http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_1.htm ..

78. Espí L., Nora: “Líneas de trabajo compartidas en acreditación en Iberoamérica” (Cuba). Revista
Iberoamericana de Educación (OEI), No.35 (2004).Doc.pdf., consultado el 12/3/06. Sitio Web:
http://www.oei/campusoei/revista/rie3 5
79. Estebaranz García, Araceli: Práctica e innovación curricular. Universidad de Sevilla, España, 1995.
80. Fernández-Ballesteros, Rocío: Evaluación de Programas. Una guía práctica en ámbitos sociales,
educativos y de salud. Editorial Síntesis, Madrid, España, 1996.
81. Fernández, J.: La evaluación de la calidad docente. En Teoría y Métodos de Evaluación.. Edit. Cincel,
Madrid, España, 1991.
82. Fernández Lamarra, Norberto: “Los procesos de evaluación y acreditación universitaria en América
Latina”. En Evaluación de la calidad y la acreditación. Espacio Común de Educación Superior Unión
Europea, América Latina y el Caribe (UEALC). Ed. Agencia Nacional de Evaluación de la Calidad y
Acreditación (ANECA), España, 2003.
83. Fernández Lamarra, Norberto: “Hacia la convergencia de los sistemas de educación superior en América
Latina”. Revista Iberoamericana de Educación. No.35 (2004). Doc. pdf consultado el 12/3/06. Sitio
Web: www.oei/campusoei/revista/rie35
84. Fernández Zavala, Luís: Evaluación y estado en América Latina. Tendencias y vicisitudes del estado
evaluador estadounidense y sus repercusiones para la reinvención de la evaluación en América
Latina. (Primera parte) Profesor adjunto de University of New Mexico.
Sitio Web: http://www.iacd.oas.org/Interamerhtml/Riverhtml/riv_zav_zav.htm# consultado 14/1/04.
85. Figaredo, Francisco y Davyt, Amilcar: “Calidad y Evaluación de la Educación Superior en los
documentos de la UNESCO”. Evaluación, Vol.2, No. 3 (5), septiembre, Brasil, 1997.
86. Forner, Angel; Latone Antonio: Diccionario terminológico de investigación educativa y psicopedagógica.
Barcelona. EUB, SL. España, 1996.
87. Foulquié, Paul: Diccionario de Pedagogía. OIKOS-Tau, S.A. Ediciones. España, 1976.
88. Froment Eric (2003): Un espacio europeo para la evaluación de la calidad. En Evaluación de la Calidad y
Acreditación. Espacio Común de Educación Superior Unión Europea, América Latina y Caribe
(UEALC). Ed. Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA), España,
2003.
89. Gabriela Molina, María: Estudio sobre criterio para la evaluación de la justicia social en las instituciones
educativas. En Programa Calidad y Equidad en la Educación. consultado el 22/02/02.Sitio Web:
http//www.campus-oei.org/calidad/ideas.htm.
90. Gago Huguet, Antonio: “Evaluación Universitaria en América Latina”. Revista Universidades, No.11,
enero-julio, México, 1996.
91. Gago Huguet, Antonio: “Calidad, acreditación y evaluación institucional”. En Calidad y cooperación
internacional en la Educación Superior de América Latina y el Caribe. Memorias de la reunión
preparatoria de la Conferencia Regional sobre Políticas y Estrategias para la transformación de la
Educación Superior en América Latina y el Caribe. ANUIES/CSUCA/CRESALC/UNESCO. Serie:
Políticas y Estrategias, No.5. 1996.

92. Gago Huguet, Antonio: “El CENEVAL y la evaluación externa de la educación en México”.Vol.2, No.2,
2000. Centro Nacional de Evaluación para la Educación Superior. Conferencia magistral impartida
en el III Foro Nacional de Educación “La tecnología educativa que México necesita”. Evento
organizado por Coparmex y el Centro de Enseñanza Técnica y superior (Cetys-Universidad)
Ensenada, Baja California, México. Mayo 5, 2000. Revista Electrónica de Investigación Educativa, 2
(2). Consultado el 2779/02.
Sitio Web. http://redie.ens.vabc.mx/vol2no2/contenido-gago.html.
93. García Guadilla, Carmen: “Nuevas exigencias a la Educación Superior en América Latina”. Revista
Educación Superior y Sociedad, Vol.1, No.1, enero-junio. CRESALC-UNESCO, 1991
94. García Guadilla, Carmen: “Globalización y conocimiento en tres escenarios.” Revista Educación Superior
y Sociedad (CRESALC), Vol.6, No.1-1995. Venezuela, 1995
95. García Sánchez, Ester: Metaevaluación. En Reyes, Ramón (Dir.) Diccionario Crítico de Ciencias Sociales.
Universidad Carlos III, Madrid, España. Consultado el 20/03/ 01
Sitio Web: http// d-egsanhez1.htm
96. García, Santiago: Ajuste del sistema de Educación Superior a las exigencias comunitarias. Universidad de
Alcalá, España. Doc. pdf consultado en Internet 1/4/04.
97. Gento Palacios, Samuel; Castillo Arredondo, Santiago: Modelos de Evaluación de Programas Educativos
(Capítulo I). Antonio Medina Rivilla (ed.) Evaluación de Programas Educativos, Centros y
Profesores de. Editorial Universitas, S.A. España, 1995.
98. González, Julia y otros: “Tunning –América Latina: un proyecto de las universidades”. Revista
Iberoamericana de Educación, No.35 (2004). Doc. pdf. consultado el 12/3/04. Sitio Web:
www.oei/campusoei/revista/rie35
99. González F, Luís Eduardo; Ayarza E., Hernán: “Calidad, evaluación institucional y acreditación en la
Educación Superior en la región latinoamericana y del Caribe”. Documento Central. Comisión 2.
Conferencia Regional sobre Políticas y Estrategias para la transformación de la Educación Superior
en América Latina. CRESALC-UNESCO-MES. La Habana, Cuba, 1996.
100. Gónzales López, Ignacio: “Propuesta de Evaluación Institucional universitaria en el ámbito
internacional”.Universidad de Córdova, España. II Congreso Iberoamericano de Didáctica
universitaria. En Revista Iberoamericana de Educación (OEI).Noviembre 2002. Doc. pdf consultado
el 11/12/02.Sitio Web: http://www.oei/campusoei/revista/
101. Gottifredi, Juan Carlos: “La pertinencia de la Educación Superior”. En La transformación universitaria
en vísperas del tercer milenio. Serie: Políticas y Estrategias, No.6. Memorias del Simposio
AUGM/UDUAL/CRESALC/UNESCO.1996.
102. Guba, E. G; Lincoln, Y.S: Fourth generation evaluation .Newbury Park, Ca. Sage. 1989.
103. Guin, Jaques: “El nuevo despertar de la Educación Superior en Francia”. Revista Universidad Futura.
Vol.3, No. 8 y 9, p.73. México, 1991.
104. Hernández Cejas, María Lourdes: Bases del Sistema de Información para el servicio con Agentes de
Seguridad y Protección. Tesis en obtención del título de Master en Gestión de la Información.
Cátedra UNESCO. Facultad de Economía. Universidad de La Habana.2005

105. Hernán Ayarza, E.: “Evaluación y acreditación de la calidad en la universidad latinoamericana”.Revista

Universidades UDUAL, Número 11 Enero/Julio, México, Pág.24. 1996.
106. Herrera, Humberto: Calidad de la Educación Superior. Tema Libre. Conferencia Regional sobre Políticas
y Estrategias para la transformación de la Educación Superior en América Latina y el Caribe.
CRESALC-UNESCO-MES, La Habana, Cuba, 1996.
107. House, Ernest R.: “Tendencias en Evaluación”. Revista de Educación, No.299, septiembre-diciembre,
pág. 43. España, 1992.
108. House, Ernest R.: Evaluación, ética y poder. Texto en español. Madrid, Ed. Morat (Ed. Original,
1980),1994.
109. Jiménez, Bonifacio: Evaluación de programas, centros y profesores. Editorial Síntesis S.A., Madrid,
España, 1999.
110. Junta de Acreditación Nacional de Cuba (JAN): Procedimientos para la acreditación de Maestrías.
Ministerio de Educación Superior de Cuba, 2005.
111. Kalkwijk J.P. Th,: Quality Assurance in Higher Education in the Netherlands. Paper presented at the
HKCAA International Conference Quality Assurance in Higher Education, Hong Kong 15-17 july,
1991.
112. Kent Serna, Rollin: “Evaluación y acreditación de la educación superior latinoamericana: razones,
logros, desafíos y propuestas”. Documento de trabajo. Comisión 2. En Conferencia Regional sobre
Políticas y Estrategias para la transformación de la Educación Superior en América Latina y el
Caribe. CRESALC-UNESCO-MES. La Habana, Cuba, 1996.
113. Landshure de, Gilbert: Diccionario de la evaluación y de la investigación educativa. OIKOS-Tau, S.A.
Ediciones, España, 1985.
114. Lanza, Hilda María: La evaluación de los sistemas educativos en Iberoamérica: algunas reflexiones en
torno a su especificidad. Ponencia presentada en el Congreso Internacional de Evaluación de la
Calidad, Madrid. España. Documento-1.Programa: Evaluación de la Calidad en la educación. Doc.
pdf. consultado el 14/03/02.
115. L’Ecuyer, Jacques: “Una experiencia canadiense en evaluación de la educación superior”. En Evaluación
y Acreditación Universitaria. (Metodologías y experiencias). Editorial Nueva Sociedad, 1997.
116. Lemaitre del Campo, María José: Acreditación de la Educación Superior: tendencias recientes y desafíos
para el futuro. Documento pdf consultado el 17/8/03.
117. Lemaitre del Campo, María José: “Redes de Agencias de aseguramiento de la calidad de la educación
superior a nivel internacional y regional” (Chile). Revista Iberoamericana de Educación (OEI),
No.35 (2004). Doc. pdf consultado el 12/3/06. Sitio Web:
http://www.oei/campusoei/revista/rie35
118. Letelier, Mario: “Calidad y pertinencia en ingeniería. Un enfoque evolutivo”. En Evaluación y
Acreditación Universitaria. Metodologías y experiencias. Editorial Nueva Sociedad, pág.75, 1997.
119. Letelier, Mario y Ayarza Hernán: “Análisis comparativo y acreditación de programas de ingeniería”. En
Evaluación y Acreditación Universitaria. Metodologías y experiencias. Editorial Nueva Sociedad,
pág.187, 1997.

120. Malo Salvador: “Estrategias y prácticas conjuntas en América Latina”. En Evaluación de la calidad y
acreditación. Espacio Común de Educación Superior Unión Europea, América Latina y el Caribe
(UEALC). Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA), Madrid, 2003.
pág. 59. Miembro del Centro Nacional de Evaluación para la Educación Superior (CENEVAL) de
México.
121. Marquís, Carlos: “El rol del estado frente a la evaluación de la calidad”. Documento de trabajo.
Comisión 2. Conferencia Regional sobre Políticas y Estrategias para la transformación de la
Educación Superior en América Latina y el Caribe. CRESALC-UNESCO-MES. La Habana, Cuba,
1996.
122. Martín, Elvira: “Evaluación universitaria. Algunas experiencias de la Enseñanza Superior Cubana”.
Revista Cubana de Educación Superior. Vol. 13, No.1, pág. 55. Editada por CEPES-UH, Ciudad de
La Habana, Cuba, 1993.
123. Martín, Elvira; Álvarez, Jesús: “La política Pública y la Educación Superior”. Revista Cubana de
Educación Superior. Vol. XVIII, No.1-1998, pág.65. Editada por CEPES-UH Ciudad de La Habana,
Cuba, 1998.
124. Martínez, Eduardo: “La evaluación de la educación superior”. En Evaluación y Acreditación
Universitaria. Metodologías y experiencias. Editorial Nueva Sociedad., pág.75, 1997.
125. Martínez Mediano, Catalina: “Evaluación de programas educativos. Investigación educativa. Modelos de
evaluación de programas”. Cuadernos de la UNED, No159. Ed. Torán, S.A., Madrid, España, 1997.
126. Martínez Mediano, Catalina: “La evaluación para la mejora de la calidad de los centros educativos”. En
Décima conferencia mundial trianual: Pedagogía de la diversidad: creando una cultura de paz.
Sociedad española de Pedagogía. Doc.html consultado el 15/10/02. Sitio Web:
http://www.uv.es/soespe
127. Mc Kinley, Kenneth H.: Metaevaluation Report of the Evaluation of the Michigan Public School
Academy Initiative. May 1999. Doc. Html. Sitio Web:
www.wmich.edu/evalctr/charter/micharter.html y
www.wmich.edu/evalctr/charter/reports/metaeval.html
128. Medina Rivilla, Antonio; Villar Angulo, Luis Miguel: Evaluación de Programas Educativos. Editorial
Universitas, S.A. España, 1995.
129. Medina Rivilla, Antonio; Villar Angulo, Luis Miguel: Evaluación de programas, centros y profesores.
Madrid, Ed. Universitas, S.A. España, 1995
130. MES-Cuba: “Estudio sobre los antecedentes, situación actual y perspectivas de la Evaluación y la
Acreditación en la República de Cuba”. UNESCO-MES-IESALC, La Habana. Cuba, mayo
2003.Doc. pdf consultado el 10/7/03.
131. MES-Cuba: Reglamento de la Educación de Posgrado de la República de Cuba. Resolución No.6/96.
132. Ministerio de Educación y Cultura. Consejo de Universidades-España: Indicadores en la Universidad:
información y definiciones. Plan Nacional de Evaluación de la Calidad de las Universidades, España,
1999.

133. Mokate, Karen Marie: Convirtiendo el “monstruo” en aliado: la evaluación como herramienta de la
gerencia social. Instituto Interamericano para el Desarrollo Social – INDES Abril de 2000 – Versión
modificada1, 2003.Departamento de Integración y Programas Regionales. Serie de Documentos de
trabajo I-23.Washington, D.C. EE.UU. Doc. pdf. consultado el 28/7/04.
134. Molina, María Gabriela: Estudio sobre criterios para la evaluación de la justicia social en las
instituciones educativas. Sitio Web: http://www.campus-oei.org/calidad/ideas.htm consultado el
22/02/02.
135. Montano Durán, Alejandro: La acreditación de instituciones de educación superior y programas
académicos en algunos países de América. México. Documento preparado para el Seminario de la
XVII Asamblea General del Consejo Universitario Interamericano para el Desarrollo Económico y
Social CUIDES/IUCESD, Chile, 1997.
Sitio Web: http// montano2.htm consultado el 20 /03/00.
136. Morles, Víctor: “La Educación de Posgrado como objeto de estudio e investigación”. En La Bibliografía
del Posgrado. Venezuela, 1995.
137. Morles, Víctor: “La experiencia internacional sobre evaluación y acreditación de la Educación Superior
y de posgrado: una visión panorámica”. Revista Educación Superior y Sociedad, CRESALC. Vol.7,
No.7-, pág. 59, Venezuela, 1996.
138. Neave, Guy: On the Cultivation, Efficiency and Enterprise: an Overview of Recent Trends in Higher
Education in Western Europe, 1986-1988-european Journal of Education, vol.23, No. 1-2, 1988.
139. Neave, Guy; Vught, Frans van (eds): Prometheus Bound. The Changing Relationship between
Government and Higher Education in Western Europe, Pergamon Press, Oxford, 1991.
140. Neave, Guy: “La política de calidad: Evolución de la Enseñanza Superior en Europa Occidental”.Revista
de Educación Superior, No.308, septiembre-diciembre, pág.7.CRESALC. Venezuela, 1995.
141. Núñez Jover, Jorge: “Epistemología y Posgrado. Cuando hablamos de Política de Posgrado en qué
concepción de la ciencia nos apoyamos? O será que esto no importa?”. Intervención en la II Junta
Consultiva sobre el Posgrado en Iberoamérica. Ciudad de La Habana, Cuba, 1994.
142. Núñez Jover, Jorge: “Universidad, Investigación y Posgrado. Nuevos horizontes prácticos y
epistémicos”. Revista cubana de Educación Superior, No.1-1996, CEPES- Universidad de La
Habana. Ciudad de La Habana, Cuba. 1996.
143. Núñez Jover, Jorge; Ravenet Ramírez, Mariana y otros: “El Posgrado en la Universidad: una mirada a
los noventa”. Revista Cubana de Educación Superior. Vol. XVII, No.3-1997. Ciudad de La Habana,
Cuba, 1997.
144. Núñez Jover, Jorge: Evaluación académica, postgrado y sociedad. En Gestión de la calidad del posgrado
en Iberoamérica, Ed. AUIP, 2000.
145. Octovi Fullati, Genis: “Antropología de la evaluación”. En Salmerón Pérez, Honorario (ed.) Evaluación
Educativa. Teoría, metodología y aplicaciones en áreas de conocimiento. España, 1994.
146. Oteiza, Enrique: “Situación y perspectiva del Posgrado en América Latina y el Caribe”. Revista Diálogo
No. 13, septiembre. España, 1994.

147. Pallán Figueroa, Carlos: Evaluación, acreditación y calidad de la educación en México. Hacia un sistema
nacional de evaluación y acreditación”. En Calidad y cooperación internacional en la Educación
Superior de América Latina y el Caribe. Memorias de la reunión preparatoria de la Conferencia
Regional sobre Políticas y Estrategias para la transformación de la Educación Superior en América
Latina y el Caribe. Serie Políticas y Estrategias, No.5. ANUIES/CSUCA/CRESALC/UNESCO,
1996.
148. Peace Lenn, Maryorie: “La Globalización en la Educación Superior: Temas transnacionales de acceso,
movilidad y calidad”. Centro Nacional de Educación Superior, Washington, D.C., U.S.A. Doc.pdf
149. Pérez Juste, Ramón y otros: Evaluación de Programas y Centros Educativos. UNED, Madrid, España,
1995.
150. Pérez Juste, Ramón; García Ramos, José Manuel: Diagnóstico, evaluación y toma de decisiones.
Ediciones Rialps, S.A. Madrid. España, 1995.
151. Pérez Juste, Ramón: Hacia una educación de calidad, gestión, instrumentos y evaluación. España, 2000.
152. Pérez Serrano, Gloria: Investigación cualitativa. Retos e interrogantes. La Muralla S.A., España, 1994.
153. Plan Nacional de Evaluación de la calidad de las universidades. Guía de evaluación. Consejo de
Universidades. Secretaría General. Madrid, España. 1998.
154. Popkewitz, Thomas S.: “Algunos problemas y problemáticas en la producción de la evaluación”. Revista
de Educación, No. 299, septiembre - diciembre, pág. 95. España, 1992.
155. Poggioli, Lissette: “Calidad de la Educación: una metodología para establecer un sistema de indicadores
educacionales”. Revista Análisis. Vol.4, No.4 y 5. Universidad Pedagógica Experimental Libertador,
Venezuela, 1996.
156. Program Evaluation and Review. Program Evaluation Methods: Measurement and Attribution of
Program Results. En Review Practices and Studies. Government Review and Quality Services.
Deputy Comtroller General Branch. Treasury Board of Canada, Secretariat. Third Edition. Sitio
Web: http://www.tbs-sct.gc.ca/pe/Publications/pem.htm consultado 19/02/01.
157. Propuesta del Sistema Nacional de Evaluación y Acreditación de la Educación Superior. ANUIES. En
Calidad y cooperación internacional en la Educación Superior de América Latina y el Caribe.
Memorias de la reunión preparatoria de la Conferencia Regional sobre Políticas y Estrategias para la
transformación de la Educación Superior en América Latina y el Caribe.
ANUIES/CSUCA/CRESALC/UNESCO. Serie Políticas y Estrategias, No.5, 1996.
158. Rama, Claudio: La Educación transnacional: el tercer “schock” en la Educación Superior en América
Latina. (Director del instituto internacional para la Educación Superior en América Latina y el
Caribe). IEASALC/UNESCO, 2004. Boletín No. 68 de IESALC .Observatorio de la Educación
Superior en América Latina y el Caribe. Documento pdf. consultado el 26/3/04.
159. Ramlow, Mary E.: The Program Evaluation Standars. Summary of the Standards. The Evaluation Center,
Western Michigan University, EE.UU.
Sitio Web: http://wmich.edu Consultado el 4/5/2002.

160. Rancaño, Delma G. N; Benvenuti Oledia: Meta-evaluation: a reconsideration of Universidade Veiga de

Almeida’s evaluative proposal. Universidad Veiga de Almeida, RJ-Brasil. Documento en Inglés en
V Conferencia de la INQAAHE. Consultado el 24/11/00 Sitios Web: http://INQAAHE.htm y ;
http://www.cse.cl/inqaahev.html
161. Reiners Fernando: The social contexto of Educational Evaluation in Latin America. En. David Nevo and
Daniel Stufflebeam (eds). Forthcoming in International Handbook of Educational Evaluation
Doc.pdf consultado el 12/8/03.
162. RIACES: Glosario de calidad y acreditación. Red Iberoamericana para la Acreditación de la Calidad de
la Educación Superior (RIACES), 2004.
163. Rivas Balboa, Celso: “Modelo para el análisis de la calidad académica de programas de posgrado”.
Revista Planiuc. Años 11 y 12, Nros. 18-19. Venezuela, 1993.
164. Rocha, Rosa: Proyecto de Sistema de Gestión de la Información para la Seguridad de los vuelos de
Cubana de Aviación S.A. Tesis en opción del título de Master en Gestión de Información en las
Organizaciones, 2005
165. Rodríguez Días, Marco A.: “La responsabilidad de la educación superior hacia el conjunto del sistema
educativo”. Revista Educación Superior y Sociedad (CRESALC).Vol. 7, No.1-1996, pág.5-25.
Venezuela, 1996.
166. Rodríguez Gómez, Roberto: Acreditación de la Educación Superior. Primera parte: El modelo
estadounidense. Campus Milenio /47. Septiembre 04, 2003. Documento html. consultado en Internet
el 17/2/04.
167. Rodríguez Gómez, Roberto: Acreditación de la Educación Superior. Segunda parte: El escenario de la
integración europea. Campus Milenio /48 sep11, 2003. Documento html. consultado en Internet el
17/2/04.
168. Rodríguez Gómez, Roberto: Acreditación de la Educación Superior. Tercera parte: El escenario
latinoamericano. Campus Milenio/49.Sept.18,2003. Documento html. consultado en Internet el
17/2/04.
169. Rodríguez Gómez, Roberto: Acreditación de la Educación Superior. Cuarta parte: El caso de México.
Campus Milenio/50. Septiembre 25, 2003. Documento html, consultado el 02/ 2004.
170. Rogers, Patricia: Meta-evaluation bibliography. En Resource papers in action research. Royal Melbourne
Institute of Technology, Australia. Doc.html consultado el 5/6/03.
171. Rojas, Jaime: Requerimiento de Asistencia Técnica del Consejo Nacional de Evaluación y Acreditación
(CONEA) para el mejoramiento de la calidad de la Educación Superior. Ecuador. Doc. pdf.
172. Rossi, Petter H; Freeman, Howard. E.: Capítulo 9. Contexto de la investigación evaluativa. En
Evaluación. Un enfoque sistémico para programas sociales. Ed. Trillas, S.A. de C.V México D.F.,
1989.
173. Royero, Jaim: “Contexto sociopolítico de la Evaluación de la calidad en Educación Superior”. En
Contexto mundial sobre la evaluación en las instituciones de Educación Superior: Parte I. Calidad y
evaluación institucional. Revista Iberoamericana de Educación (OEI). Doc.pdf. 334 royero ,

174. Ruiz Ruiz, José María: Cómo hacer una evaluación de centros educativos. Narcea, S.A. de Ediciones.
España, 1996.
175. Ruiz Ruiz, José María: Teoría del curriculum: diseño y desarrollo curricular. Editorial Universitas, S.A.
España, 1996.
176. Ruiz Ruiz, José María: Cómo mejorar la institución educativa. Evaluación de la innovación y del
cambio. Análisis de casos. España, 1998.
177. Salcedo Galvis, Hernando: “Evaluación Institucional y Acreditación: Dos vías complementarias hacia la
excelencia de los Estudios de Posgrado”. Revista Análisis, Vol.3, No. 3 y 4. Segunda etapa.
Venezuela, 1995.
178. Salmerón Pérez, Honorario: Evaluación educativa: teoría, metodología y aplicaciones en áreas de
conocimiento. Granada, Grupo Editorial Universitario. España, 1997.
179. Scriven, Michael: Evaluation Bias and Its Control. Paper #4 .En Occasional Papers Series. June, 1975
Doc. html Metaevaluation, consultado el 10/4/02.
180. Scriven, Michael: The Logic and Methodology of Checklist. June, 2000. Doc. html consultado el 10/4/02
181. Scriven, Michael: Evaluation Thesaurus. Fourth Edition. Newbury Park; Sage, 1991.
182. Scriven, Michael: A Conversational Guide to the Key Evaluation Checklist Thesaurus (4 th ed.) This
handout is based on the entry KEY EVALUATION CHECKLIST (KEC) in the Evaluation.
Newbury Park. Sage. 1991.
183. Shade Angelika: El sistema de acreditación de Alemania. En Evaluación de la calidad y acreditación.
Espacio Común de Educación Superior Unión Europea, América Latina y el Caribe (UEALC).
ANECA, Madrid, 2003.
184. Shadish, Williams: Some Evaluation Questions. ERIC/AE Digest. The Educational Resources
Information Center, ERIC, 1998. Identifier: ED423311.ERIC Digest. Consultado en Internet el 20 /
02/00.
185. Sheele, Jacob P.: Quality Assurance as an European Challenge. Quality Assurance in Higher Education
after the Bologna declaration, with an emphasis on follow-up procedure. Sinergie rapport di ricersa
N.9/2000. Doc.pdf 34scheele del 16/2/01 consultado el 19/8/03.
186. SICEVAES: Sistema Centroamericano de Evaluación y Acreditación de la Educación Superior-
SICEVAES. Secretaría General, CSUCA. En Calidad y cooperación internacional en la Educación
Superior de América Latina y el Caribe. Memorias de la reunión preparatoria de la Conferencia
Regional sobre Políticas y Estrategias para la transformación de la Educación Superior en América
Latina y el Caribe. ANUIES/ CSUCA/ CRESALC/ UNESCO. Serie: Políticas y Estrategias, No.5,
1996.
187. Stake, Robert E.: Program evaluation particulary responsive evaluation. Paper #5.Presented at
Conference “New Trends in Evaluation”, Goteborg, Sweeden, October, 1973. En Occasional Papers
Series. Center for Instrutional Research and Curriculum Evaluation. University of Illinois. Doc.html ,
188. Stufflebeam, Daniel; Shinkfield Anthony J.: Evaluación sistémica. Guía teórica y práctica. Paidós-
M.E.C. Madrid, España, 1987.

189. Stufflebeam, Daniel: Meta-evaluation. Paper #3. En Occasional Papers Series. Doc.pdf. Web/OPS
#03.PDF. Consultado el 8/4/02.
190. Stufflebeam, Daniel: Personnel Evaluation Systems Metaevaluation Checklist (Based on The Personnel
Evaluation Standards). June, 2000.Doc.html consultado en Internet el 11/4/02.
191. Tejada Fernández, José: Los agentes de la innovación en los centros educativos, profesores, directivos y
asesores. Ediciones Aljibe. España, 1996.
192. Terán P, Carmita: El problema de calidad en la educación superior. Sitio Web: http//CALIDAD.htm
Consultado el 22/02/00.
193. The Danish Centre for Quality Assurance and Evaluation of Higher Education (Evalueringscenteret):
Meta Evaluation of the Evaluations of Higher Education in Denmark. Comisionado por el Ministerio
de Educación danés y supervisado por el PLS RAMBOLL Management in 1998.
194. The European commission: Evaluation of European Higher Education: A status Report. DG XXII by The
Centre for Quality Assurance and Evaluation of Higher Education Denmark in cooperation with
Comité National d´ Evaluation, France. September 1998. Doc. pdf consultado en Internet 14/1/04.
195. The Evaluation Center: Glossary of Evaluation Terms. Western Michigan University, 2002. Sitio Web:
http://www.wmich.ed
196. The Joint Committee on Standards for Educational Evaluation: Normas de evaluación para programas,
proyectos y material educativo. Versión en español. Editorial Trillas, México, 1988
197. Tiana Ferrer, Alejandro: Tratamiento y usos de la información en evaluación. Documento 5 del
Programa Evaluación de la Calidad de la Educación. 1996. Sitio web: http://www.campus-
oei.org/revista consultado el 14/03/02.
198. Tiana Ferrer, Alejandro: Evaluación de la calidad de la Educación. Revista Iberoamericana de
Educación. Número 10. Evaluación de la Calidad de la Educación. Organización de Estados
Iberoamericanos (OEI), España. Sitio Web: www.campus-oei.org/revista consultado el 14/03/02.
199. Tiana Ferrer, Alejandro: La evaluación de los sistemas educativos. Revista Iberoamericana de
Educación. Número 10. Evaluación de la Calidad de la Educación. Organización de Estados
Iberoamericanos. Sitio Web: www.campus-oei.org/revista consultado el 14/03/02.
200. Toranzos, Lilia: El problema de la calidad en el primer plano de la agenda educativa. Documento 2.
Programa Evaluación de la Calidad de la Educación. Sitio Web: www.campus-oei.org/revista
201. Toranzos, Lilia: Evaluación y Calidad. Revista Iberoamericana de Educación. Número 10. Evaluación de
la Calidad de la Educación. Organización de Estados Iberoamericanos. Sitio Web:
http://www.campus-oei.org/revista consultado el 18/03/02.
202. Torres Medina, Salim Salomón: Análisis y propuesta de un modelo para automatizar los flujos de
información en los procesos administrativos: el caso del Centro de Capacitación de Yamaha de
México S.A de C.V. Tesis par optar por el título de Master en Gestión de la Información en las
Organizaciones. Cátedra UNESCO. Facultad de Economía. Universidad de La Habana. 2005.
203. Teichler, Ulrich: “Beneficios y peligros de la evaluación”. Artículo fotocopiado por CEPES.1993.
204. Tunnermann, Carlos: “La Universidad de cara al Siglo XXI”. En Reinversión de la Universidad. ICFES,
pág.30, 1995.

205. Tunnermann, Carlos: “Una nueva visión de la educación superior”. Revista Educación Superior y
Sociedad. CRESALC. Vol.6, No.1-1995. Venezuela, 1995.
206. Tunnermann, Carlos: “Calidad de la Educación superior”. En Bases para la transformación de la
Educación Superior en América Latina. Memorias de la Mesa Redonda organizada por la CRESALC
en el marco de la Séptima Reunión de Ministros de Educación de América Latina y el Caribe
(MINEDLAC VII). Serie: Políticas y Estrategias, No.4, 1996.
207. UNESCO: Documento de Política para el cambio y el desarrollo en la Educación Superior. Resumen
ejecutivo, 1996.
208. U.S.News &World Report 1998. Annual Guide Exclusive Rankings. America’s Best Graduate Schools.
EE.UU., 1998.
209. Weiss H., Carol: Investigación evaluativa. Métodos para determinar la eficiencia de los programas de
acción. Editorial Trillas, México, 1996.
210. Wesley Suyder, Jr, Conrad: Development Discussion Papers No.760. Program Evaluation Guidelines
and Framework for Ghana Education. Harvard Institute for International Development. Harvard
University. June, 2000.Doc. consultado en Internet el 20/2/03.
211. Widmer,Thomas: Evaluation Standards in The Context of Sustainability EASY-ECO Evaluation of
Sustainability EuroConference May 23 – 25, 2002 Vienna / Austria Supported by the European
Commission, Research DG, Human Potential Programme, Widmer 1/11 High-Level Scientific
Conferences, Contract No. HPCF-CT-2001-00286. Consultado el 20-01-03.
212. Widmer, Thomas; Landert, Charles; Bachmann, Nicole: Evaluation Standards of Seval, The Swiss
Evaluation Society (Seval Standards), 2000.
213. Witrock, M.: La investigación de la enseñanza. Tomo II. M.E.C, Ed. Paidós, Madrid, 1989.
214. Valle, Victor Manuel: “Algunos criterios para evaluar programas de Educación Superior a nivel de
Posgrado”. Revista Universidades, Anuario, México, 1986.
215. Van Dammen, Dirk: “La Iniciativa Conjunta de la Calidad (Joint Quality Iniative)”. En Evaluación de la
Calidad y Acreditación. Espacio Común de Educación Superior Unión Europea, América Latina y el
Caribe (UEALC), pág. 37. Editado por ANECA, Madrid, España, 2003.
216. Van Vunght, Franz A.: “La calidad de la Educación Superior en Europa. El siguiente paso”. Revista
Universidad Futura, Vol.3, No. 8 y 9, p.59. México, 1991.
217. Vicerrectoría de la Universidad de La Habana: Informe sobre la Universalización previo a la Asamblea
Nacional del Poder Popular, Cuba, 2004.
218. Villanueva, Ernesto: La Educación Transnacional y la Comisión Nacional de Evaluación y Acreditación
Universitaria (CONEAU).Panorama del sistema de educación superior argentino: el contexto de la
expansión de la educación transnacional. Argentina. Doc. pdf consultado en Internet el 1/4/04.
219. Villanueva, Ernesto: “La Acreditación en América Latina: El caso de Argentina en la RIACES y en el
MERCOSUR” .Revista Iberoamericana de Educación, No.35 (2004). Doc.pdf consultado el 12/3/06.
Sitio Web: http://www.oei/campusoei/revista/rie35/

220. Villarroel, Cesar: Calidad y acreditación universitarias latinoamericanas para Latinoamérica. Documento
de trabajo. Comisión 2. Conferencia Regional sobre Políticas y Estrategias para la transformación de
la Educación Superior en América Latina y el Caribe. CRESALC-UNESCO, Ciudad La Habana,
Cuba, 1996.
221. Vroeijenstijn, A.I.: Improvement and Accountability navigating between Scylla and Charybdis. Guide
for External Quality Assessment in Higher Education 1995.Higher. Education Policy Series 30.
Jessica Kingsley publishers. London and Bristol, Pennsylvania. 1995. (Asesor de la Asociación de
Universidades de los Países Bajos).
222. Yarzábal, Luis: “Situación de la Educación Superior en América Latina y el Caribe”. En Bases para la
transformación de la Educación Superior en América Latina. Memorias de la Mesa Redonda
organizada por la CRESALC en el marco de la Séptima Reunión de Ministros de Educación de
América Latina y el Caribe (MINEDLAC VII). Serie: Políticas y Estrategias, No.4, 1996.
223. Young, David: The Academic audit. Unit. En Goedegebure/ Maassen/ Westerheidjen. Pág. 30, 1990.
224. Yuehluen Hu& Han Chiang Chen: La Metaevaluación de la evaluación de la Educación Superior
efectuada en 1977 en Taiwan. Documento en Inglés. Sitio Web: http//INQAAHE. Documento htm.
225. Zubillaga, Carlos: Relatoría general. En La transformación universitaria en víspera del tercer milenio.
Serie: Políticas y Estrategias, No.6. Memorias del Simposio. AUGM/UDUAL/CRESALC/UNESCO,
1996.

9- Sitios Web visitados

http://www.aqa.es.Assurance Quality Assessors
http://www.icfes.gov.co Instituto Colombiano para el Fomento de la Educación Superior
http://www.chea.org.Council for Higher Education Accreditation
http://www.INQAAHEInternational Network for Quality Assurance Agencies in Higher Education
http://www.oei.es.Organización de Estados Iberoamericanos
http://www.campus-oei.org/revista Revista Iberoamericana de Educación
http://www.uv.es/RELIEVE/Revista Electrónica de Investigación y Evaluación Educativa
http://www.redie.ens.vabc.mx/ Revista Electrónica de Investigación Educativa
http://www.wmich.edu.Western Michigan University
http://www.TQM.Asesores Expertos en la aplicación del Modelo Europeo de la EFQM.
http://ww.CONEAU Comisión Nacional de Evaluación y Acreditación Universitaria de.Argentina
http://www.enqa.net European Network for Quality Assurance Agencies in Higher Education.
http://www.efqm.org.Fundación Europea para la Gestión de la Calidad
http://www.INCE.es Instituto Nacional de Calidad y Evaluación de España.
http://www.clubcalidad.es Club de gestión de la Calidad. España
http://www.COPAES.mx Consejo de Acreditación de la educación Superior de México
http://www.aqu.es.Agencia para la Calidad. Cataluña, España.

10- Anexos

Tabla 1. Etapas de la evolución histórica de la evaluación como práctica profesional
relacionadas con el desarrollo socio-económico y científico de EE.UU. (Stufflebeam
Daniel y Shinfield Anthony, 1988)
PERIODO CARACTERIZACION
! Como práctica profesional no era desconocida antes de 1930, pero tampoco era un
movimiento reconocible. El hecho de evaluar individuos y programas apareció, como mínimo,
en el año 2000 a. C., cuando algunos oficiales chinos dirigieron unas investigaciones de los
servicios civiles,
P ! Siglo V a.C., cuando Sócrates y otros maestros griegos utilizaron cuestionarios evaluativos
como parte de su metodología didáctica.
R ! Siglo XIX, en Inglaterra, se utilizaron comisiones reales para evaluar los servicios públicos.
E ! 1845- en los Estados Unidos, Horace Mann dirigió una evaluación, basada en test de
rendimiento, para saber si las escuelas de Boston educaban bien a sus estudiantes.
T ! 1887 - 1898, Joseph Rice estudió los conocimientos en ortografía de 33 000 estudiantes de
un amplio sector escolar. Este estudio está generalmente reconocido como la primera evaluación
formal sobre un programa educativo realizado en América.
Y ! En los últimos años del siglo XIV empezó a crearse el movimiento para la acreditación de
instituciones educativas y programas en los Estados Unidos; desde entonces, el proceso de
L acreditación se ha convertido en uno de los principales medios para evaluar los servicios
educativos.
E ! Una aproximación aún mayor a la evaluación se produjo, en los primeros años del siglo XX,
con la aparición de los tests estandarizados. Este acontecimiento formaba parte de un gran
esfuerzo que pretendía que la educación fuera más eficiente para que un mayor número de
R estudiantes pudiera utilizar los recursos entonces disponibles en las escuelas”.
! Década del 1920, la vasta expansión de los sistemas educativos urbanos hizo necesario
(hasta- estructurar los programas educativos para facilitar con ello que miles de estudiantes pudieran
1930) cambiarse de escuela con regularidad. En los Estados Unidos de Norteamérica se crearon
pruebas estandarizadas para medir habilidades y logros, a fin de evaluar el progreso de esos
estudiantes.
T ! Ralph Tyler acuñó el término evaluación educacional y publicó una amplia y renovadora
visión del currículo y la evaluación.
Y ! Se intenta convertir la educación en un sistema dinámico e innovador que a la vez se fuera
L renovando a sí mismo. Tyler participa de lleno en este movimiento. Le encargaron la
investigación del hoy famoso Eight-Year Study (Smith y Tyler, 1942) para examinar la
E efectividad de ciertos currículos renovadores y estrategias didácticas que se estaban empleando
R en treinta escuelas a lo largo de todo el país
I
Desarrolla su método:
A
N ! Definía la evaluación como algo que determina si han sido alcanzados ciertos objetivos.
O ! Se centra en determinar el grado de éxito, por lo que se opone a métodos indirectos que
determinan factores como la calidad de la enseñanza, el número de libros que hay en la
(primeros
biblioteca , los materiales y la participación de la comunidad..
años de la
década de ! Incluía comparaciones entre los resultados y los objetivos, ya no necesitaba recurrir a
los 30) costosas y problemáticas comparaciones entre grupos de control y grupos experimentales.
1
De la • Tiempo para olvidar la guerra, dejar atrás la Depresión, crear y desarrollar aptitudes, adquirir
recursos, y lograr disfrutar de la “buena vida”.
! Grandes contrastes en la sociedad norteamericana: una “expansión” y la
“complacencia en la emisión de juicios sobre los graves problemas de la sociedad”;
I “época de plenitud” y de “pobreza, desesperación en las ciudades del interior y en las
áreas rurales”.
N ! Período de “profundos prejuicios raciales y de segregación e inconciencia de la
O población blanca ante semejante mal”; “de exorbitante consumo y de gran despilfarro
C de los recursos naturales sin preocuparse por el futuro” y “de abrumador desarrollo de
la industria y capacidad militar....”.
E ! Expansión de ofertas educacionales, del personal y de las facilidades; se construyeron
N edificios; aparecieron instituciones educativas de nuevo tipo (colegios comunitarios); se
C incrementaron desmesuradamente las inscripciones en los programas educativos para maestros y
las inscripciones en los colegios aumentaron espectacularmente.
I ! En general, “no hay un gran interés en formar profesores competentes, en localizar y
A solucionar las necesidades de los menos privilegiados o en identificar y solucionar los problemas
del sistema educativo”.
! Década de 1950, la aplicación de pruebas estandarizadas alcanzó proporciones masivas y las
1946 - organizaciones profesionales interesadas en examinar dichas pruebas tomaron las medidas
1957 necesarias para regular las actividades de sus miembros.
! Se escribía sobre la evaluación y sobre la recopilación de los datos pero no se hacían intentos
de mejorar los servicios educativos.
! Las agencias federales y estatales aún no estaban demasiado introducidas en el campo de la
evaluación de programas por lo que había ausencia de ayudas exteriores y de apoyos para la
realización de evaluaciones en todos los niveles de la educación. Esta falta de objetivos provocó
también el retraso de los aspectos técnicos de la evaluación.
! Durante las décadas de 1930, 1940 y 1950, los avances en la evaluación consistieron en su
mayoría, en la medición del rendimiento del estudiante; sin embargo, a principios de la década
de 1960, se añaden muchos adelantos relacionados con la medición de programas, proyectos y
materiales educativos.
D ! Auge de las evaluaciones de proyectos de currículos a gran escala, financiadas por
estamentos federales.
E ! Los educadores ya no podían hacer o no hacer las evaluaciones a su antojo y las
L metodologías evaluativas debían estar relacionadas con conceptos tales como utilidad y
relevancia.
! La evaluación se convirtió en una industria y en una profesión dependiendo del dinero de los
R contribuyentes para su financiamiento
E ! Como consecuencia del lanzamiento, por parte de la URSS, del Sputnik en 1957, el gobierno
A federal respondió promulgando la National Defense Education Act de 1958. esta acta
proporcionó nuevos programas educativos en matemáticas, ciencias e idiomas, y creó servicios
L asesores y programas de encuestas en los distritos escolares. Se asignaron fondos para evaluar
I estos programas. “Estos programas y proyectos se acompañaban del requisito fundamentalmente
impuesto por el Congreso, que exigía a los educadores evaluar su trabajo. Como resultado, la
S evaluación educativa se expandió enormemente y se diversificó”.
M ! En las evaluaciones que se realizan están representados los cuatro métodos abordados: el
O método de Tyler para definir los objetivos de los nuevos currículos y para valorar el grado en
que estos objetivos quedaban alcanzados; los nuevos test estandarizados a nivel nacional para
reflejar mejor los objetivos y contenidos de los nuevos curricula; el método del criterio
(1958- profesional para valorar las propuestas y verificar periódicamente los resultados, finalmente, la
1972) evaluación de los resultados del desarrollo del currículo a través de pruebas concretas.
! Principios de los 60’, algunos de los más importantes evaluadores educacionales se dieron
cuenta de que su trabajo y sus conclusiones no ayudaban demasiado a los que elaboraban
curricula, y no respondían a las preguntas sobre los programas que planteaban aquellos que
2
necesitaban comprobar su grado de efectividad. La “flor y nata” de la comunidad evaluativa
educacional participó en estos esfuerzos para evaluar los nuevos curricula; estaban
adecuadamente financiados y aplicaban cuidadosamente la tecnología que había ido
desarrollándose durante la pasada década o incluso antes. A pesar de todo esto, empezaron a
darse cuenta de que sus esfuerzos no tenían éxito.
! Cronbach recomendó la reconceptualización de la evaluación como un proceso consistente
en recoger y formalizar información que pueda ayudar a quienes elaboran los currículos. Se
reconocía la necesidad de evaluar las metas, examinar las inversiones, analizar el
perfeccionamiento y la prestación de los servicios, determinar los resultados que se desean ( o no
se desean) obtener del programa. Necesidad de enjuiciar el mérito o el valor del objeto quede la
evaluación
! 1965 se desencadenó la Guerra contra la pobreza. Estos programas invirtieron billones de
dólares en reformas que pretendían igualar y aumentar las oportunidades para todos los
ciudadanos de los Estados Unidos a través de una amplia serie de servicios sanitarios, sociales y
educativos.
! La expansión de la economía permitió que el gobierno federal financiara estos programas, y
se consiguió un gran apoyo de toda la nación para desarrollar lo que el presidente Johnson llamó
la Gran Sociedad.
! Como consecuencia de la preocupación por el posible despilfarro de las inversiones en la
educación, si no se exigían algunos requisitos en la contabilidad, se promulga en 1965 el Acta de
la Educación Elemental y Secundaria que incluía requisitos específicos para la evaluación.
! Los test estandarizados que se habían elaborados con el fin de determinar el promedio del
grado de conocimientos de los estudiantes no sirvieron para casi nada cuando hubo que
diagnosticar las necesidades y valorar los avances de los niños menos favorecidos, cuyo
desarrollo educativo se encontraba muy por detrás del de sus compañeros de clase media. Estos
test eran relativamente inadecuados para discernir las diferencias entre escuelas y /o programas,
principalmente a causa de sus propiedades psicométricas y el alcance de sus contenidos. En
lugar de determinar los resultados directamente relacionados con una escuela o un programa en
concreto, estos tests determinaban, en el mejor de los casos, el grado de aprendizaje, centrándose
casi en los mismos rasgos que los tests de aptitudes.
! Surgieron problemas en la aplicación de los tests estandarizados dada las diferencias
existentes entre un lugar y otro por lo que iban en contra de los preceptos de Tyler que
enfatizaba la importancia de tener en cuenta la variación de los objetivos de un lugar a otro, por
lo que era muy difícil aplicar este modelo a nivel nacional. No se facilitaba la información del
sector más necesitado.
! Las visitas in situ o inspecciones realizadas por expertos, a pesar que fueron utilizadas por
responsables gubernamentales, no resultaron aceptables como primera estrategia evaluativa por
carecer de “objetividad” y el “rigor” estipulado en la legislación.
! Los gobiernos federales, estatales, y locales estadounidenses asignaron cada año varios
millones de dólares para colaborar con los evaluadores y ayudar a responder estas preguntas.
Con los fondos disponibles se aplicaron miles de evaluaciones en la mayoría de los distritos
escolares, ya fueran grandes o pequeños y tuvieran o no experiencia en la evaluación. Los
evaluadores respondieron con diversos proyectos, procedimientos más elaborados, mejor
instrumental, mayores servicios y la expansión de capacitación. Se destinó una gran cantidad de
tiempo, dinero y esfuerzo en el mejoramiento de la evaluación educativa.
! El Congreso comenzó a impacientarse con la aparente incapacidad de los evaluadores para
determinar si los programas multimillonarios ayudaban del todo a mejorar la educación de los
niños.
! Como respuesta a esta necesidad, el Committee on Test Standards, al cual se había asignado
en 1974 la revisión de los Standards for Educational and Psychological Test, incluyó en este
documento una sección de la evaluación de programas y el uso de pruebas en el proceso. Sin
embargo, se estimó que dicho esfuerzo quedaba fuera del ámbito de trabajo de los revisores y,
por tanto, se sugirió nombrar un nuevo comité que se encargara de tales aspectos. A partir de
este momento, un comité de planeación asignado por la American Educational Research
Association, la American Psychological Association y el National Council on Measurement in
3
Education, estudió el caso y propuso el lanzamiento de un proyecto para desarrollar las normas,
pero no para el uso específico de pruebas en la evaluación, sino para la evaluación educativa
general. Dicha recomendación la adoptaron tres organizaciones. Subsecuentemente, se invitó a
otras organizaciones a participar en tal esfuerzo; las aceptaron, se agregaron a las tres
organizaciones fundadoras y designaron al Joint Committee Standards for Educational
Evaluation (Comité Mixto de Normas para Evaluación Educativa), el cual empezó a trabajar en
el otoño de 1975.
! Se creó el National Study Committee on Evaluation que concluyó que la evaluación
educacional “era víctima de una grave enfermedad” y recomendó el desarrollo de nuevas teorías
y métodos de evaluación, así como nuevos programas para preparar a los propios evaluadores.
! Aparecen nuevas conceptualizaciones sobre la evaluación:
• Provus (1971), Hammond (1967), Eisner (1967) y Metfessel y Michael (1967) propusieron
una reforma del modelo Tyler.
• Glaser (1963), Tyler (1967) y Popham (1971) recomendaron los tests basados en criterios
como una alternativa a los tests basados en normas.
• Cook (1966) pidió la utilización del método de análisis sistemático para la evaluación de
programas.
• Scrinven (1967), Stufflebeam (1967, 1971) y Stake (1967) crearon nuevos modelos de
evaluación que se alejaban radicalmente de los anteriores.
Estas conceptualizaciones reconocían la necesidad de evaluar las metas, examinar las
inversiones, analizar el perfeccionamiento y la prestación de los servicios, determinar los
resultados que se desean (o no se desean) obtener del programa e insistieron en la necesidad de
enjuiciar el mérito o el valor del objeto de la evaluación
! 1973-El campo de la evaluación empezó a cristalizar y a emerger como una profesión
diferenciada de las demás. Aparecen publicaciones como Educational Evaluation and Policy
D Analisys, Studies in Evaluation. CEDR Quartely, Evaluation Review, New Directions for
E Program Evaluation, Evaluation and Program Planning y Evaluation News.
L ! Se ofrecen cursos de metodología evaluativa distinguiéndola de la metodología investigativa
en muchas universidades de Estados Unidos. De modo creciente se fundan centros para la
P investigación y el desarrollo de la evaluación entre los que se encuentran la unidad de evaluación
R de Northwest Regional Educational Laboratory, el Center for The Study of Evaluation de la
UCLA, el Stanford Evaluation Consortium, entre otros.
O ! Se publica entonces por el Joint Committee (1981), entidad formada por 12 organizaciones
F profesionales, las normas para juzgar las evaluaciones de los programas educativos, proyectos y
E materiales, y establece un mecanismo para repasar y revisar las Normas y facilitar su uso.
S ! Existencia de tres grandes paradigmas en evaluación educativa: el cuantitativo, el cualitativo
I y el mixto a los que respondieron modelos como el conductista-eficientista, el humanístico y el
holístico respectivamente.
O ! A estos modelos se corresponden diferentes métodos evaluativos, creados principalmente por
N autores norteamericanos como por ejemplo: Aparecen métodos evaluativos como :
A -La Evaluación orientada hacia los objetivos de Tyler, iniciada y continuada por otros muchos
L investigadores entre ellos Metfessel y W.B.Michael, que ampliaron su metodología.
I -El Método científico de evaluación de Edward A. Suchman
S -La Planificación evaluativa de L.J.Cronbach
-La Evaluación orientada hacia el perfeccionamiento (CIPP) de Daniel L. Stufflebeam.
M
-El Método evaluativo centrado en el cliente de R.E. Stake
O -El Método contrapuesto de evaluación de T.R. Owens y R.L.Wolf, una de cuyas derivaciones
(1973
constituye el modelo judicial
hasta 80’)
-La Evaluación iluminativa, o Método holístico de Stake, B.Mc Donald, L. Stenhouse
-El Método evaluativo orientado hacia el cliente de M.S. Scriven.
4
Cinco momentos del desarrollo de la evaluación según los objetivos que se
perseguían con la misma. Tomado de Jesús Garantos Alós
MOMENTO 1
Orígenes remotos de la evaluación: la medición científica de los fenómenos y conductas humanas de finales
del siglo XIX o principios del XX.
Elementos potenciadores y definitorios de esta corriente: Auge de las corrientes filosóficas positivistas y
empíricas que propugnaron la objetividad, el rigor científico en el estudio de la conducta humana, frente al
subjetivismo. Desarrollo y aplicación d e los métodos estadísticos al estudio de las diferencias humanas
individuales. Una mayor preocupación, en la sociedad industrial, por estudiar los problemas que planteaban
en la práctica educativa y la necesidad de unos mecanismos que aseguraran la acreditación y a la vez la
selección de los alumnos en los diferentes niveles educativos.
"Evaluación centrada en el establecimiento de diferencias individuales pudiendo determinar la posición
relativa del sujeto dentro de un grupo normativo de tal forma que la aplicación de un test de rendimiento
era sinónimo de evaluación educativa, dejando en el olvido la representatividad y congruencia con los
objetivos evaluativos.
"Los test informaban algo sobre los alumnos, pero nada sobre los programas o currícula con los que se
había enseñado.
MOMENTO 2
"Años 20 surge un movimiento renovador marcado por una aproximación más científica y sistemática al
desarrollo de currículum y a los problemas de la práctica escolar.
" Años 30 –investigación Eigth Year Study of Secondary Education dirigida por Tyler con la que se
pretendía elaborar nuevos currícula y enfoques en la relación enseñanza-aprendizaje. Se hacía necesario
determinar con el máximo rigor si el proceso instructivo había producido el cambio esperado.
" Enfoque y contribución de Tyler:
• La evaluación como proceso que tiene por objeto determinar en qué medida se han logrado unos
objetivos previamente establecidos.
• La evaluación se diferencia de la medición. Evaluar no es simplemente aplicar un instrumento de
medida sino que supone un juicio de valor sobre la información recogida.
• Los objetivos previamente establecidos serán el criterio referencial para poder emitir un juicio de valor.
• Los organizadores fundamentales del proceso instructivo y de la evaluación son los objetivos educativos
definidos en términos de conducta.
• Ofrece un modelo para conducir un proceso evaluativo.
• El objeto de del proceso evaluativo es determinar el cambio ocurrido en los alumnos, para informar a los
alumnos, padres, profesores y además arrojar luz sobre la eficacia del propio programa educacional.
MOMENTO 3
5
! Los trabajos de Tyler no tienen continuidad de forma inmediata
! La evaluación de la efectividad de los programas sociales de los años 50 en EE.UU se extiende al sistema
educativo diez años más tarde.
! Dos factores básicos inciden en el desarrollo tan espectacular de la evaluación educativa:
El descontento americano por la escuela pública y la provisión de ingentes cantidades de fondos
subvencionando nuevos programas educativos que han de ser evaluados apara justificar la bondad de los
mismos. Las fuertes inversiones en programas educativos llevan parejo un movimiento conocido por
“accountability” o de rendición de cuentas sobre la efectividad o mérito de los programas educativos.
Movimiento de responsabilidad escolar, desarrollado en EE.UU a principios de los setenta.
! Es objeto de evaluación el rendimiento del alumno y todos aquellos factores que convergen en el programa
educativo: profesor, medios, contenidos , experiencias de aprendizaje, organización...
! La evaluación de programas cobra en los 60’ y 70’ un auge inusual surgiendo una nueva modalidad de
investigación aplicada que se ha venido en llamar investigación evaluativa.
! Cronbach (1963) y Scriven (1967) publican el Course improvement through Evaluation y The Methodology
on Evaluation aportando valiosas ideas sobre evaluación y fundamentalmente evaluación de programas.
MOMENTO 4
" Abundantes conceptualizaciones en los 60’

" Lo nuclear del concepto de evaluación se centra en la valoración de cambio ocurrido en el alumno
como resultado de una situación educativa sistemática.
" El mejor criterio para valorar este cambio es una buena y operativa formulación de los objetivos
educativos.
" Aparece la necesidad de una nueva orientación ala evaluación : la denominada de referencia criterial
que cobra su mayor auge en los 70’ y que continua en nuestros días porque es el tipo de evaluación
que suministra un a información real y descriptiva del estatus del sujeto/os respecto a los objetivos
de enseñanza previstos y la valoración de ese estatus por comparación con un estándar o criterio de
realizaciones deseables siendo irrelevante la comparación con los resultados obtenidos por otros
sujetos.
" Se observan dos niveles de actuación: la evaluación orientada hacia los individuos (alumnos,
profesor) y la evaluación orientada a la toma de decisiones sobre el “instrumento” o “tratamiento” o
“programa” educativo.
MOMENTO 5
Años 70 y siguientes se caracterizan por una abundante proliferación de modelos evaluativos: Guba y
Lincoln (1982) refieren la existencia de más de 40 modelos propuestos en la literatura especializada.
Los modelos evaluativos son enmarcados en dos grandes grupos: la evaluación cuantitativa o
experimental y la evaluación cualitativa, naturalista o etnográfica.
6
Guba y Lincoln: Generaciones en la concepción de la evaluación. Características
La primera generación identificada por su interés por la “medida” y la relacionan con el

desarrollo de los test para medir la capacidad intelectual y el rendimiento; se correspondería a
los últimos años del siglo XIX y a las primeras décadas del siglo XX.
La segunda generación caracterizada por la “descripción” y la sitúan en el tiempo posterior a

la I Guerra Mundial, coincidiendo con los cambios del currículo en los Estados Unidos y el
inicio de la evaluación moderna, concretada en el amplio estudio de evaluación de la eficacia
del nuevo currículo dirigido por Ralph Tyler .
La evaluación de la tercera generación se caracteriza por el “juicio” y comienza como

respuesta al cuestionamiento de la eficacia del sistema educativo de los Estados Unidos
después del lanzamiento del Sputnik por parte de los soviéticos en 1957, lo cual originó
cambios en los currículos educativos así como un nuevo enfoque de los mismos con los
trabajos de Cronbach (1963), Scriven (1967), Provus (1971) , Stufflebeam (1971) y con un
predominio de modelos de investigaciones cuasi-experimentales, salvo excepciones como la
de Eisner (1979), que concibe la evaluación como un arte aportando un enfoque cualitativo,
humanístico, completando los métodos de investigación más tradicionales.
Las tres primeras generaciones están dentro de la concepción paradigmática positivista. En

cambio la cuarta generación es la realizada dentro de las concepciones del paradigma
constructivista o naturalista donde los parámetros y límites de la evaluación no son
establecidos a priori, sino que se negocian entre los clientes y el evaluador o evaluadores con
el objetivo de dar respuesta a las necesidades de los clientes para quienes se realiza la
evaluación. El criterio fundamental que domina en este paradigma es el del “consenso” entre
todos los participantes y el evaluador apelándose a la sensibilidad de este último que le facilita
la recogida y descripción de los hechos teniendo en cuenta las diferentes perspectivas de los
participantes.
7
Tabla 2. Postulados de la evaluación naturalista o de cuarta generación.1
LA EVALUACIÓN ES UN PROCESO:
Entre los evaluadores y las audiencias que crean, de un modo colaborativo, una construcción de
consenso sobre el valor del objeto evaluado. La evaluación crea la realidad y que la valoración construida
está sujeta a revisiones y cambios continuos. Ninguna parte del proceso de la evaluación debe
considerarse libre de valores.
Que recoge datos en continua valoración e interpretación, dentro de una unidad inseparables y
simultánea, en donde los hechos y valores van unidos. La recogida de datos y su interpretación o
valoración son inseparables. Los hachos no tienen significado excepto dentro de un marco teórico de
valores.
Local. Los fenómenos únicamente pueden se comprendidos dentro del contexto en el que se estudian; los
hallazgos dependen del contexto y no pueden ser generalizados a otras situaciones; tampoco los
problemas ni las situaciones, si bien pueden ser adaptadas, aprendiendo de ellas, a través de la experiencia
vicaria.
Socio-político. Los aspectos sociales, culturales y políticos lejos de ser meros detractores son un aspecto
integrante del proceso, al menos tan importantes como la adecuación metodológica.
Enseñanza-aprendizaje donde todos los miembros aprenden unos de otros.
Continuo, recursivo y divergente, porque sus hallazgos son creados mediante construcciones sociales
sujetas a revisión. Las evaluaciones deben ser continuamente recicladas y actualizadas. Una buena
evaluación sugiere más preguntas que respuestas y no tiene un punto final natural.
Emergente con resultados impredecibles a priori.
Para compartir responsabilidades más que para asignarlas que implica por igual a todas las partes .Que
implica a los evaluadores y a las audiencias en unas relaciones hermenéuticas-.dialécticas, en los
siguientes sentidos:
! Es una actividad educativa que pretende lograr el consenso y tras clarificar los aspectos que entran en
conflicto.
! Proceso colaborativo en el que los grupos participantes comparten, con el evaluador, el poder para
tomar decisiones sobre la metodología y la interpretación.
! Proceso en el que la distinción entre la investigación básica y aplicada queda anulada; de ese modo
ayuda , simultáneamente , a comprender y clarificar la naturaleza de las necesidades de la acción
! Los evaluadores mantienen contacto directo con los participantes en la evaluación, no pudiendo
realizarse una evaluación efectiva a distancia, lejos del lugar en el que se producen los
acontecimientos.
Los evaluadores juegan muchos roles convencionales-pero reinterpretados- y no convencionales, en la

realización de la evaluación de la cuarta generación. El evaluador permanece como técnico pero es
también un instrumento para la recogida y análisis de datos. es descriptor pero también es historiador e
iluminador; es juez pero también un orquestador de los procesos de enjuiciamiento. Llega a ser un
colaborador político, un agente de cambio y comparte las responsabilidades de los logros en cada una
de sus manifestaciones. Los evaluadores deben poseer no sólo capacidades técnicas sino cualidades
interpersonales relevantes tales como paciencia, humildad, adaptabilidad y sentido del humor.
1
Tomado de Guba Y Lincoln (1985): Citado en Egon Guba e Yvonna Lincoln: la evaluación naturalista en el
libro Evaluación de programas educativos .Investigación evaluativa .modelos de evaluación de programas.
Catalina Martínez Mediano. Cuadernos de la UNED, Madrid, 1996 Ed. Torán S.A
8
Tabla 3. Enfoques (modelos) de la evaluaciónEn función de los objetivos que persiguen, de
sus métodos, de sus instrumentos, etc., y no en cuanto a su pertenencia o no a los modelos
cuantitativo o cualitativo, se destacan los siguientes enfoques:
Clasificación de Stufflebeam, D.L. y Clasificación de House, R.

Shinkfield, A.J. (1987)
! Evaluación orientada hacia los objetivos: ! Enfoque del análisis de sistemas.

iniciada por Ralph Tyler y continuada por otros ! Enfoque de los objetivos
muchos investigadores, entre ellos N.S.Metfessel conductuales o basado en las
y W.B. Michael, que ampliaron su metodología metas.
! Método científico de evaluación - Edward A. ! Enfoque de la toma de decisiones.
Suchman. ! Enfoque libre de metas
! Planificación evaluativa - L.J.Cronbach ! Enfoque de la crítica de arte
! Evaluación orientada hacia el perfeccionamiento ! Enfoque del respeto profesional
(CIPP) - Daniel L. Stufflebeam. ! Enfoque casi-legal (adversario)
! Método evaluativo centrado en el cliente - ! Estudio de casos o enfoque
R.E.Stake transaccional.
! Método contrapuesto de evaluación - T.R.Owens
y R.L. Wolf, una de cuyas derivaciones
constituye el modelo judicial.
! Evaluación iluminativa, o método holístico,
trabajada y comentada por varios autores -
R.E.Stake, B.McDonald, L.Stenhouse, etc.
! Método evaluativo orientado hacia el cliente -
M.S. Scriven
9
Tabla 4.Paradigmas y Modelos de evaluación
PARADIGMAS MODELOS MÉTODOS
CUANTITATIVO CONDUCTISTA EFICIENTISTA ! Consecución objetivos

(Experimental- racional) (Tyler)
! Planificación educativa
Principios operativos: Características: (Cronbach)
! Objetividad ! Control Técnico ! CIPP (Stufflebeam)
! Sistematización ! Investigación experimental CSE (Alkin)
! Inflexibilidad ! Evaluador técnico externo
! Evaluador distante ! Tratamiento de la información técnico-
! CSE (Alkin)
! Garantías científicas: estadístico ! Figura (Stake)
Representación, Validez ! Instrumentos objetivos-cuantitativos
Fiabilidad, Significación ! Criterios del evaluador: Eficiencia
Fases: ! Explotación de resultados por
1.Codificación autoridades
2.Selección técnica
3.Recogida e interpretación de
datos
4.Elaboración de informe
CUALITATIVO HUMANÍSTICO ! Contraposición (Owens)

(Naturalista -fenomenológico) ! Atención al cliente
Principios operativos: (Scriven)
! Personalización Características: ! Crítica artística (Eisner
! Flexibilidad ! Se busca transformación socio-
! Evaluador próximo contextual.
! Garantías de objetividad: ! Investigación sociológica
contraste, credibilidad ! Evaluador como promotor colaborativo
confirmación, validez externa ! Se busca idoneidad de los procesos
autenticidad ! Instrumentos cualitativos
Fases: ! Técnicas participativas y estadísticas
1.Observación participante: no ! Explotación de resultados por
participante, etnográfica de implicados
medios y resultados
2.Recopilación impresiones
3.Intercambio de impresiones
4.Elaboración de informe
MIXTO HOLISTICO ! Evaluación respondente

! base conceptual Características: (Stake).
! base sociológica contextual ! Se busca la valoración integral ! Evaluación iluminativa
! variables psicopedagógicas ! Fundamentación sistemática-integral (Parlett y Hamilton)
Contenidos básicos: ! Investigación socio-empírica ! Evaluación holística
! objetivos ! Evaluador como apoyo técnico
(McDonald)
! contenidos colaborativo
! metodología ! Criterios de implicación global
! medios ! Instrumentos cuantitativos-cualitativos
! evaluación ! Explotación de resultados por
! operativización protagonistas e implicados
! evaluabilidad
10
Tabla 5. Fases o etapas de la evaluación propuestas por diferentes autores
Guba y Lincoln (1989) Francisco Alvira María Antonia Propuesta para el

para la evaluciónde la Martín (1991) Casanova (1992) contexto cubano por la
Cuarta Generación autora de la tesis
1.Familiarización con 1.Definición del plan 1. Familiarización y
1.Establecimiento de un el programa en o diseño de determinación de la
contrato con un cuestión evaluación. evaluabilidad del
patrocinador o cliente . 2.Decisión sobre la 2.Recogida programa.
2.Organización para viabilidad de la sistemática de datos. 2-Organización de la
reciclar la investigación. evaluación. 3.Análisis de los datos evaluación y selección de
Identificación de las 3.Determinación del recogidos. los evaluadores.
audiencias. tipo de evaluación: 4.Valoración de la 3.Determinación de los
3.Desarrollo de 4.Diseño/ proyecto de información obtenida. actores de la evaluación.
construcciones conjuntas la evaluación 5. Redacción de las 4.Definición del plan de
dentro de cada grupo o 5.Recogida de la conclusiones y toma evaluación y organización
audiencia información. de decisiones de los evaluadores en
4.Contraste y desarrollo de 6. Análisis de los grupos de trabajo.
las construcciones datos /informe 5.Recogida sistemática de
conjuntas de las audiencias. datos e información.
5.Clasificación de las 6.Valoración e
demandas, preocupaciones interpretación de la
y asuntos resueltos. información recogida.
6.Establecimiento de 7.Redacción del informe
prioridades en los temas no final.
resueltos. 8.Determinación de las
7.Recogida de información. audiencias con derecho a
8.Preparación de la agenda la información de los
para la negociación. resultados de la
9.Desarrollo de la evaluación, presentación y
negociación. difusión de los mismos .
10.Informes 9.Toma de decisiones.
11.Reciclado / revisión. 10.Seguimiento al plan de
mejora
11.Metaevaluación
11
Descripción de las etapas del proceso de evaluación externa a los programas
de maestrías, según la metodología del SEAM
1-Familiarización y determinación de la evaluabilidad del programa: en la que se identifica

como elementos al programa (documentos inherentes a él), documentos normativos y como
actores o agentes a los evaluadores (expertos), miembros del Comité Técnico Evaluador
(CTE) y Comité Académico (CA) del programa. Para cumplimentar esta fase es necesario
pasar por tres momentos: el CA del programa hace entrega al CTE de todos los documentos
necesarios y obligatorios para la evaluación; el CTE en pleno realiza una valoración de dichos
documentos teniendo en cuenta: disponibilidad de los documentos pertinentes; calidad y
cantidad de la información que atestigua la evaluabilidad del programa, es decir la
conveniencia de proseguir con el proceso de evaluación; y por último, se le entrega toda la
documentación con las recomendaciones correspondientes del CTE a la Comisión Evaluadora
(CE) seleccionada para la realización de la evaluación que debe verificarla y estudiarla antes
del inicio del proceso.
2-Organización de la evaluación y selección de los evaluadores: El CTE seleccionará a los
expertos que conformarán la Comisión Evaluadora y al experto del CTE que los acompañará
como observador y asesor metodológico, a quienes se le entregarán los documentos del
programa con tiempo suficiente para su verificación y estudio. Se conocerán los locales y
medios de trabajo con que se cuenta para llevar a cabo la evaluación, la cantidad y sus
condiciones. Entre los medios de trabajo se prevén medios de comunicación y de cómputo
entre otros. El Comité Académico del programa garantizará la disponibilidad del personal
administrativo de apoyo necesario para la evaluación.
3-Determinación de los actores del proceso de evaluación in situ: evaluadores (expertos) y
evaluados: Comité Académico del programa, profesores, tutores, estudiantes, personal
administrativo de apoyo al programa, egresados. Para las entrevistas el Comité Académico
entregará a los evaluadores los nombres y localización de las personas involucradas
directamente en la evaluación (directivos y profesores y tutores del programa) y de otras
personas que potencialmente pueden ser entrevistadas (estudiantes, tutores, egresados del
programa, directivos del centro, directivos de entidades empleadoras de donde proceden
estudiantes y egresados u otros que se consideren pertinentes).
4-Definición del plan de evaluación y organización de los evaluadores en grupos de trabajo:
Los evaluadores deberán diseñar su cronograma de trabajo según los aspectos a evaluar en la
Guía, definir el trabajo por equipo y posteriormente someterlo al Comité Académico.
5-Recogida sistemática de datos e información: en esta etapa es importante la participación de
todos los actores del proceso: los evaluadores como ejecutores y los propios evaluados como
fuentes de información (Comité Académico, directivos del área a donde pertenece el
programa, profesores, tutores, estudiantes, egresados del programa). La información se
recogerá sobre la base de los aspectos contemplados en el instrumento evaluador (Guía de
Evaluación) y en el Patrón de Calidad. Las fuentes serán los documentos del programa, las
entrevistas realizadas a las personas seleccionadas y la observación in situ al visitar los locales
donde se desarrolla el programa.
6-Valoración e interpretación de la información recogida: Esta etapa se centra principalmente
en el trabajo de equipo de los evaluadores donde se analiza y procesa sobre la información
recogida.
12
7-Redacción del informe final: como documento de trabajo y reflexión, el informe final es el
producto del consenso de todos los evaluadores por lo que ha de ser un informe directo,
integral y exhaustivo para que pueda ser comprendido por todos los interesados. El contenido
del informe se organizará según las variables e indicadores y cumplimentando las normas
establecidas para la elaboración del mismo. En su contenido el informe contemplará la
descripción del objeto evaluado y su contexto; la descripción de los propósitos de la
evaluación y quiénes la realizan; la descripción de los procedimientos desarrollados para el
acopio de datos e información incluidos estos y las fuentes; la descripción de los medios y
técnicas utilizados para la valoración e interpretación de la información; los resultados de la
evaluación (debilidades y fortalezas del programa) y las recomendaciones para la mejora del
programa.
8-Determinación de las audiencias con derecho a la información de los resultados de la
evaluación, presentación y difusión de los mismos: El CA determinará quiénes son las
personas que deben estar en la presentación del informe final de la evaluación una vez
culminado el proceso de evaluación e informará a los evaluadores. La presentación del
informe final se hará en plenaria con los representantes de las audiencias correspondientes o
destinatarios de la evaluación: miembros del Comité Académico, profesores, tutores,
estudiantes del programa, egresados del programa, directivos del área y de diferentes niveles,
otros profesores del centro, directivos de entidades empleadoras, dirigentes de organizaciones
políticas y de masa si procede y usuarios potenciales del programa. Los resultados que se dan
se expresan en debilidades y fortalezas del programa, así como las recomendaciones y
sugerencias de los evaluadores al programa. No se da la calificación obtenida según las
variables de la Guía de Evaluación ni la calificación final. Tampoco los evaluadores expresan
criterios definitivos en cuanto a la certificación de calidad a otorgar al programa.
9. Toma de decisiones: Esta etapa es, a su vez, el comienzo de otra etapa del programa
cualitativamente superior: el perfeccionamiento o la mejora del programa. Realmente la
evaluación no culminó con el informe pues corresponde al Comité Académico y a aquellas
personas comprometidas con el programa hacer el análisis de las recomendaciones sugeridas
en el informe final por los evaluadores, la toma de decisiones y la creación de las condiciones
para la puesta en práctica de las mismas.
10. Seguimiento al programa evaluado: se sugiere la incorporación de esta etapa que
actualmente no se determina en la metodología empleada. Resulta muy importante porque
permite corroborar el cumplimento de las recomendaciones o la adaptación de las mismas en
el programa, así como los cambios que se han introducido por los evaluados y no esperar a una
próxima evaluación externa para su verificación.
11. Metaevaluación: en esta etapa jugarán roles los metaevaluadores, evaluadores y
evaluados. Se propone esta etapa en caso de que sea necesario dilucidar aspectos no claros de
la evaluación que conlleve a la discrepancia de los evaluados con los resultados arrojados por
la evaluación o con la actuación de los evaluadores. Se podrá implementar a propuesta de otras
instancias como la instancia acreditadora si se necesita ganar en claridad en aspectos
normativos y procesuales de la evaluación externa primaria realizada o en el caso de que la
información no haya sido lo suficientemente exhaustiva o válida que facilite la mejor toma de
decisión sobre la certificación de la calidad del programa.
13
Figura 1. Interrelación de la Guía de Evaluación con los otros componentes del Sistema Integral de
Evaluación (SIEVAL)
Instrumento (Guía ) Objeto de evaluación (programa)
Representación de Programa en sus condiciones

características y elementos reales
del programa
Instrumento (Guía) Evaluadores
Modelo con variables e indicadores Recogida e interpretación

mensurables que representan los de la información según
los aspectos a valorar en el programa las variables e indicadores
Instrumento (Guía ) Evaluados
Modelo para la acción A tomar en cuenta

en el diseño, ejecución, y del programa
Instrumento (Guía) Informe final
Proporciona las pautas Se redacta según las

a seguir para la determinación variables contempladas
de las debilidades y fortalezas del en la guía.
programa y las recomendaciones de su mejora.
Instrumento (Guía) Audiencias
Información del resultado Recibe la información de

obtenido de su aplicación los resultados de la evaluación
14
Figura 2. Modelo evaluativo de programa. (Ramón Pérez Juste, 1995)
Momentos Dimensiones Objeto
Calidad intrínseca del Contenido

programa Calidad técnica
Evaluabilidad
INICIO Adecuación de los
El programa destinatarios Respuesta a necesidades,
en sí mismo carencias.
Priorización
Adecuación a la situación
de partida Viabilidad
El programa en su Ejecución Actividades

desarrollo Secuencias
Tiempo
Flexibilidad
Marco
Clima y Coherencia
Medida y logros Constatación

FINAL Contraste
El programa en sus Valoración
resultados Criterios
Referencias
Continuidad
Decisiones
Incorporación de
las mejoras
Plan de seguimiento
15
Descripción del Modelo de Pérez Juste
Primer momento: Inicio. Tres dimensiones. Seis objetos.
Dimensión I- Calidad intrínseca del programa.
Objeto 1- Contenido del programa: Se evalúa la relación del programa con la teoría que lo sustenta y/o con el
estado actual del campo científico/ técnico de que se trate, cuanto de la posible existencia de reduccionismos, la
coherencia entre el programa y las bases socio-psico-pedagógicas en que dice ampararse y la actualización,
equilibrio y ponderación entre las partes y ausencia de sesgos de los temas, teorías, escuelas, principios, etc. y se
evalúa la relevancia desde perspectivas como la demanda social, la utilidad y la funcionalidad o el mismo valor
formativo de los contenidos seleccionados.
Objeto 2- Calidad Técnica del programa: Se evalúa en qué medida el programa aparece inicialmente
diferenciado para acomodarse a la diversidad y a las diferencias individuales por medio de objetivos
diferenciados, adecuación a los alumnos en cuanto a la metodología y medios a utilizar, en cuanto a la variedad
de actividades individuales y grupales a desarrollar y en cuanto al sistema de evaluación propuesto.
Objeto 3- Evaluabilidad del programa: Se evalúa la cualidad de ser evaluable, la relevancia de la información
disponible. Que contenga o no la información básica, en el grado y calidad adecuados para poder ser evaluado,
según la concepción que de tal concepto se posea por parte del evaluador. Un programa tendrá tantas más
posibilidades de ser evaluado cuanto mejor cumpla ciertas exigencias en su contenido, en su metodología y hasta
en su lenguaje, que debe ser claro y preciso.
Dimensión II- Adecuación a los destinatarios o al contexto. Se evalúa el programa en sí mismo en relación
con las necesidades del estudiante como punto de especial referencia, ya que cada grupo de destinatarios tiene su
propia vida por lo que es preciso adecuarlo, acomodarlo a sus características. Se evalúa la personalización en una
de sus dimensiones fundamentales: la individualización didáctica. Es decir la acomodación a los niveles de
partida de los alumnos, a sus conocimientos básicos, sus intereses y motivaciones. Sus necesidades en suma.
Objeto 1- Respuesta a necesidades y carencias: debe realizarse la evaluación de necesidades a fin de evitar que
ciertos deseos más o menos caprichosos se puedan convertir en el elemento base de un programa sistemático, se
está ante la evaluación de necesidades. Entiéndase necesidad como necesidad sentida (subjetivo) y la carencia
(objetivo) como el no poseer determinados conocimientos, formación en técnicas, destrezas y estrategias. Las
necesidades/carencias detectadas deben traducirse en metas a largo plazo, en objetivos a medio/corto plazo del
programa de que se trate. La articulación de las necesidades en el programa supone la selección de estrategias de
intervención, la preparación de las actividades pertinentes, la previsión de la temporalización y de los
medios/recursos e incluso de cara a la evaluación, su traducción a manifestarse observable.
Objeto 2- Establecimiento de prioridades: La evaluación en este aspecto debe atender, entre otros criterios
fundamentales, de una parte, a la existencia o no, y a su calidad técnica, de datos relativos al diagnóstico de
necesidades; de otra, a la coherencia entre las necesidades detectadas y priorizadas y el programa formulado. Por
ejemplo, el carácter técnico/experto que contempla los aspectos de relevancia/trascendencia/gravedad,
rentabilidad, inmediatez, eficacia y responsabilidad y los aspectos eminentemente subjetivos como
interés/motivación expresa y las expectativas personales/grupales como fuente potencial de energías de cambio.
Dimensión III- Adecuación a la situación de partida.
Objeto - Viabilidad del programa. Se evalúa la acomodación y congruencia del programa con ciertas
características de la institución, de su personal y del marco social en que la institución se halle encuadrada para lo
que se toman como criterios el realismo en sus metas, adecuadas a medios y recursos (humanos, técnicos y
materiales); el aprovechamiento es decir, la adecuada dinamización, el plan y orden, así como la suficiencia de
apoyos logrados cuando sean necesarios; la capacitación del profesorado en las técnicas para dar respuesta a las
necesidades y dificultades del aprendizaje; la disponibilidad de los medios y la demanda de los interesados
16
Segundo momento: Desarrollo. Dos dimensiones. Seis objetos.
El interés de la evaluación se centra, no en lo planificado, sino en lo llevado a la práctica. La evaluación del
proceso de aplicación de los programas parece venir exigida por las propias características que definen los
procesos educativos, entre los que nos parece conveniente destacar su complejidad y su prolongada duración,
hechos ambos que pueden dar lugar, con frecuencia, a los denominados efectos no planeados que en ocasiones,
pueden además ser no deseados.
Dimensión I-Proceso de ejecuciónSe evalúa la conformidad o la falta de ella entre la planificación y el desarrollo,
la presencia de desfases significativas, la aparición de efectos no deseados, la constatación de resultados
parciales, conformes o apartados de los previstos. Se evalúan:
! Actividades diseñadas para detectar su grado de eficacia, su real poder motivador, su grado de adecuación a
intereses y capacidades del alumnado.
! Actividades en secuencia: para detectar el punto en que una serie comienza a fallar (causas). Si el desarrollo
del programa se realizó en los tiempos previstos o hubo rupturas en la secuencia.
! Temporalización: no siempre se cuenta con información suficiente para asignar tiempos en la fase de
planificación. Es decir más o menos tiempo, lo cual se refleja en actitudes negativas como la ansiedad,
cansancio, aburrimiento, falta de interés.
! Flexibilidad/rigidez: encontrar el punto de equilibrio de la aplicación
Dimensión II- Marco del programa. Se tiene en cuenta desde el aula, el centro, la coexistencia del programa de
cada profesor con otros programas y la coherencia institucional, es decir, la coherencia del marco o contexto de
referencia con las metas y hasta metodologías del programa. Los criterios para evaluar son la conformidad con la
planificación, la coherencia institucional, la satisfacción del personal, la existencia de desfases/desajustes, los
resultados parciales y la aparición de efectos no programados.
Momento: Final (resultados).Tres dimensiones
Dimensión I- Medidas y logros. Se orienta a la constatación y/o al contraste del programa La medida de los
resultados puede valorarse a partir de la calidad técnica de sus instrumentos, fiabilidad y validez de los datos y
para ello han de ser coherentes con los con los objetivos planificados y con el proceso de enseñanza desarrollado,
además de representativos de los verdaderos saberes alcanzados por los usuarios del programa.
Dimensión II- Valoración. Para hacerse efectiva necesita la existencia de criterios y referencias adecuados al
objeto y a la función a que sirve el programa. Dos de las más importantes referencias son los niveles conseguidos
por el programa en ocasiones anteriores y los estándares internacionales, nacionales tomados como punto de
partida. Junto a ello, es preciso tomar en consideración un conjunto de circunstancias en que el programa se
aplica; de hecho, los resultados de la evaluación inicial y procesual, además de su sentido propio, sirven como
criterios de la valoración.
1-Criterios para valorar las actividades, los productos conseguidos por los destinatarios del programa, o cada uno
de los momentos, dimensiones u objetos que lo integran.
2- Referencias: elementos o puntos de vista con relación a los que se valora el programa, en su conjunto o en sus
partes cuando alcancen entidad la cantidad suficiente: referencia normativa, si existiera algún problema y en
casos de competencia entre programas; referencia criterial, a partir de las metas y niveles previamente
especificados técnicamente por los responsables e idiosincrasia, considerando el conjunto de circunstancias o sus
resultados en situaciones precedentes.
Dimensión III- Continuidad.Se toman criterios referidos a los resultados como son los niveles de pre-
especificación (en términos criteriales o normativos, o bien de naturaleza idiosincrática), relativos a los medios
utilizados en su determinación; la idoneidad del planteamiento metodológico; la calidad técnica de los
instrumentos; la corrección de su interpretación; la adecuación de las técnicas de análisis; la existencia de un
sistema de control interno del plan; grado de participación de los implicados y el sistema de revisión establecido
sobre las decisiones tomadas.
17
Figura 3. Posibles objetos de la evaluación
Políticas
Educativas Centros o instituciones
Sistema Facultades
educativo
Departamentos
Servicios
universitarios
OBJETO DE Programas
EVALUACIÓN Programas/
¿Quése Cursos posgrado Carreras
evalúa? (pregrado)
Procesos
Enseñanza-
aprendizaje
Recursos humanos
Claustro de profesores Necesidades Aprendizaje
Administrativo Estudiantes Desempeño

Impacto
18
Figura 4. Componentes de un Sistema Integral de Evaluación de programa según la
función que realizan
Objeto
(Programa)
Actores Instrumento Actores

intervinientes (Guía de Evaluación) intervinientes
Evaluadores
(internos/externos) Evaluados
Resultados
Informe final
(conclusiones-
recomendaciones)
Actores
intervinientes
Destinatarios
(audiencias)
19
Figura 5. Representación gráfica del proceso de evaluación externa. Componentes
ProcesodeEvaluación
DOC. PROGRAMA
Calidadtécnica
NORMATIVOS
Desarrollo
Resultados
Doc.del
programa Etapas
evaluación
EVALUADORES GUIADE EVALUADOS

EVALUACION
Medios e Patrónde
instrumentos calidad
Debilidades
•Recogida, valoracióne INFORMEFINAL Fortalezas
interpretaciónde Recomendaciones
información
•Técnicas evaluativas
aplicadas AUDIENCIAS
AUTORIZADO
RATIFICADO
CERTIFICADO
TOMADEDECISIONES EXCELENCIA
20
Descripción de los componentes del Sistema de Evaluación y Acreditación
de Maestría (SEAM)
I- El objeto de evaluación: programa de maestría.

II-Los agentes de la evaluación externa: evaluadores externos (expertos): académicos y
profesionales de prestigio tanto de la producción y los servicios que cumplen con requisitos
tales como poseer una cultura en evaluación (entendida como proceso de aprendizaje y medio
de comunicación donde la retroalimentación evaluado /evaluador juega un papel muy
importante); tener experiencia práctica en procesos de evaluación; poseer experiencia
pedagógica; demostrar capacidad de trabajo en equipo; ser exponentes de la ética y de la
honestidad.
III-Los evaluados: personas potencialmente demandantes, destinatarios y actores de la
evaluación (miembros del Comité Académico de programa de maestría objeto de la
evaluación, directivos del centro o institución auspiciadora del programa, profesores, tutores,
estudiantes y egresados del programa). Estos, en su triple función, son susceptibles de ser
entrevistados durante el proceso evaluativo con el objetivo de recoger información sobre el
programa.
IV-Las audiencias: personas autorizadas institucionalmente y legalmente para conocer la
información sobre los resultados de la evaluación (los propios evaluados y otras personas:
tutores de tesis, estudiantes, egresados del programa, directivos del centro o área en cuestión,
directivos de diferentes niveles como el Ministerio de Educación Superior, otros profesores
del centro, directivos de entidades empleadoras, dirigentes de organizaciones políticas y de
masa si procede y usuarios potenciales del programa).
V-El instrumento evaluador: Guía diseñada con los criterios (variables e indicadores) a medir
durante la evaluación, acompañada de documentos diseñados para la recogida de la
información y respaldada por un Patrón de la Calidad.
VI- Los documentos para la evaluación: documentos normativos para la realización de los
procesos de evaluación y documentos inherentes al programa: el programa como el documento
donde está plasmado el diseño curricular (fundamentación teórica, metodológica, informe
sobre la bibliografía, etc.) y el claustro de profesores; curriculum vitae de cada profesor y tutor
con un resumen de la producción científica y los reconocimientos sociales obtenidos; informe
de autoevaluaciones o evaluaciones anteriores; expedientes de estudiantes que cursan el
programa en el momento de la evaluación; expedientes de las diferentes ediciones del
programa; reseña de las actividades investigativas del centro; reseña de la actividad de
colaboración interinstitucional; convenios de colaboración interinstitucional; resumen de la
producción científica derivada del programa (publicaciones de los profesores del programa y
las tesis defendidas).
VI-El informe final: documento que recoge la organización y desarrollo del proceso de
evaluación, los resultados de la evaluación (debilidades, fortalezas encontradas), conclusiones
y las recomendaciones para la toma de decisiones.
21
Tabla 6. Indicadores de la KEC de Scriven. Primera versión
LA KEC COMO INSTRUMENTO DE EVALUACIÓN LA KEC TRADUCIDA COMO INSTRUMENTO

PARA LA METAEVALUACIÓN
1-DESCRIPCION: ¿Qué hay que evaluar? El evaluado, 1-DESCRIPCION: Se describe el diseño, el
descrito tan objetivamente como sea posible ¿Cuáles son personal, y todo sobre la evaluación realizada, las
sus componentes?¿Cuáles son sus relaciones? fuentes de los datos usados para la puntuación y
para fijar todas las especificaciones y parámetros,
así como, la elección del metaevaluador.
2- EL CLIENTE: ¿Quién ha encargado la evaluación? El
cliente evaluativo, que puede o no ser el iniciador de la
investigación evaluativa, puede o no ser el instigador del
evaluando. Por ejemplo, su fabricante, o la agencia
subvencionadora, o su padrino legislativo- y puede o no
ser su inventor- por ejemplo, el planificador de un producto
o programa
3- ANTECEDENTES Y CONTEXTO del evaluado y la 2-ANTECEDENTES Y CONTEXTO: Se refiere a
evaluación. Incluye la identificación de los mantenedores quién demandó, solicitó o se opuso a esta
(incluyendo los no-clientes enumerados en el punto 2, el evaluación. Evaluaciones anteriores. ¿Por qué otra
patrocinador , los representantes de la comunidad, etc.); la evaluación?. Determinar la credibilidad de la
presunta naturaleza del evaluado; las expectativas acerca de evaluación propuesta.
la evaluación; el tipo deseado de evaluación (formativa o
sumativa; esquemas organizativos; esfuerzos prioritarios,
etc)
4-RECURSOS: (“sistema de ayudas” o “valoración de los 4-RECURSOS: Recursos para la evaluación, el
efectivos”): disponibles para la utilización del evaluando y origen (procedencia) de los contratos sobre el
de los evaluadores. diseño y más allá de la evaluación del diseño y de
No se trata de lo que se utiliza sino de lo que puede la ejecución.
utilizarse. Incluye el dinero, la habilidad, la experiencia
previa, la tecnología y las consideraciones sobre la
flexibilidad. Esto es lo que define el nivel de viabilidad.
5-FUNCION: ¿Qué hace el evaluado? Distinguir entre lo
que se supone que hace-función o papel propuesta o
declarada-y lo que de hecho hace (función real, tanto para
el evaluador como para el consumidor); ambas cosas
pueden incluirse en la descripción, pero, por lo general, es
mejor tratarla aparte.¿Existen dimensiones, aspectos o
componentes obvios de estas funciones?
6-SISTEMA DE DISTRIBUCIÓN: ¿Cómo llega al
mercado el evaluado? ¿Cómo se mantiene (en servicio)?.
¿Cómo se lleva a cabo su realización, control y
perfeccionamiento? ¿Quién hace todo esto?
7-CONSUMIDOR: ¿Quién utiliza o recibe los efectos del 3-CONSUMIDOR: Se identifica a los clientes, a las
evaluado?. Distinguir las poblaciones o consumidores audiencias para la evaluación, los evaluadores
escogidos- mercado deseado –de las poblaciones anteriores y otras audiencias potenciales que
directamente afectadas de una manera real o potencial- el debieron haber sido representados.
verdadero mercado- o consumidores o receptores ( o
clientes del evaluado, a menudo llamados clientela), esto
debe distinguirse de la población receptora total directa o
indirectamente afectada, que constituyen los verdaderos
consumidores. Advierte que el instigador y otras figuras de
los puntos 2 y 3 también resultan afectados, por tener un
trabajo, pero eso no les convierte en consumidores en el
sentido estricto. Sin embargo, debemos considerarlos a la
hora de investigar los efectos totales y podemos
22
describirlos como parte de los afectados, impactados o
implicados.
8-LAS NECESIDADES Y VALORES de los afectados y 5-VALOR: El criterio de mérito que se tenga para
potencialmente impactados .Esto incluye tanto los deseos la evaluación, teniendo en cuenta las necesidades
como las necesidades, y también los valores como las del cliente y los estándares profesionales relevantes:
normas sobre el mérito y los ideales juzgados o supuestos la oportunidad (que sea oportuna), relevancia,
(véase punto 9); las metas definidas del programa, cuando costo-eficacia, justicia validez, necesidades
se lleve a cabo una evaluación basada en metas; y las relevantes y apropiadas del clientes y otras más.
necesidades, y otras cosas, del instigador, el controlador, el Debe ser validada y no sólo expresada. Hay alguna
inventor, etc., puesto que están indirectamente afectados. presunción evaluativa del evaluador evidente en la
La importancia relativa de estas consideraciones, a menudo evaluación, o se es apropiadamente transparente a
opuestas, depende de las consideraciones éticas y este respecto?
funcionales.
9-NORMAS: ¿Existen normas preexistentes y
objetivamente valoradas, acerca del mérito o el valor, que
deban aplicarse? ¿Procede alguna de ellas del cliente y el
consumidor, de la función y de las necesidades/valores?
(Esto incluye los ideales asignados; véanse los ideales del
punto 8). Si se tienen en cuenta las metas, y si pueden ser
valoradas como apropiadas (por ejemplo, por una
valoración de las necesidades), legales/éticas y todo lo
demás debe comprobarse si han aparecido en el número 8
para ser aceptadas como una norma relevante en el punto 9.
10-PROCESO: ¿Qué limitaciones/ costes/ beneficios se 6-PROCESO: Si la evaluación fue bien diseñada o
aplican a la operación normal del evaluado (no a sus ejecutada. Por ejemplo, si la evaluación fue creada
efectos o resultados del punto 11)? En particular: legales/ para facilitar la propia evaluación. El reporte y la
ético-morales/ políticas/ administrativas/ estéticas/ difusión de los resultados. Si el evaluador respetó la
hedónicas/ científicas. Un proceso administrativo tiene confidencialidad. ¿Se intensifica la credibilidad?.
limitaciones especialmente significativas en lo que se Se valoran los resultados como errores falsos
refiere al “grado de realización”, esto es, hasta qué punto la positivos versus falso negativo. Si se muestra la
operación real cumple las estipulaciones del programa o las consideración relacionada con lo impactado a través
suposiciones del patrocinador acerca de su operación. Un de la evaluación. Disposición para el balance del
proceso científico debe utilizar indicadores de los poder.
resultados finales científicamente reconocidos; también
material científicamente (o históricamente) solvente de un
libro de texto o curso. Puede constituir un problema ético la
relativa importancia concedida a la satisfacción de las
necesidades de la población escogida y las necesidades de
carrera o condición de otra gente afectada, como por
ejemplo el personal del programa.
11-RESULTADOS: ¿Qué efectos ha producido el 7-RESULTADOS: Incluye los reportes y sus
evaluando (deseados o indeseados)? Resulta útil una matriz efectos buenos y malos con una extensión
de efectos: población afectada x tipo de efecto (cognitivo previsible por el evaluador .Además incluye los
/afectivo/ psicomotor/ sanitario/ social/ ambiental) x por la efectos del proceso de evaluación: si el uso de la
puntuación de las Z de tiempo de reacción (inmediata/ al información en la toma de decisiones aumentó la
final del tratamiento/ más tarde) x duración x cada productividad o debilitó la moral.
componente o dimensión (si se requiere la evaluación
analítica). Para algunos propósitos, los deseados (por
ejemplo, control de programa, responsabilidad legal), para
otros, no debe hacerse distinción (la evaluación del
producto orientada hacia el consumidor).
12-PODER DE GENERALIZACIÓN: a otras personas 10-GENERALIZACION: Otros usos del diseño, en
/lugares /tiempos /versiones. “Personas” significa tanto el otro momento, en otros programas diferentes, otros
personal como los receptores. Esto también puede sitios, etc.
denominarse posibilidad de distribución, posibilidad de
venta/ exportación/ duración/ modificación.
23
13-COSTES: En dólares –psicológico- de personal; inicial- 8-COSTOS: ¿Cuál fue el costo de la evaluación?.
repeticiones (incluyendo preparación, mantenimiento y (Especialmente no en dinero). ¿Qué alternativas
perfeccionamiento), directo/ indirecto- inmediato/ hubo para estos costos (incluyendo no haciendo
retardado /rebajado; si conviene, por componentes más allá)?.
14-COMPARACIONES: con opciones alternativas, 9-COMPARACIONES: Competidor crítico para la
incluyendo las opciones reconocidas y las no reconocidas, evaluación, usando un juicio fundamentado, y
las disponibles y las que se pueden crear. Los principales utilizando otros modelos evaluativos.
contendientes en este campo son los “competidores
críticos” y se identifican en términos de coste más
efectividad. Normalmente incluyen a aquellos que
producen efectos similares o mejores por un precio menor,
y mejores efectos por un coste extra razonables (efectos)
15-SIGNIFICADO. Una síntesis de todo lo anterior. La 11-SIGNIFICACION: Por encima de toda la
validación del procedimiento sintético es, a menudo, una de síntesis para alcanzar o lograr una lectura sobre el
las tareas evaluativas más dificultosas. Normalmente, no valor y el mérito de la evaluación.
puede dejarse al cliente que, por lo general, está mal
equipado en experiencia y objetividad; y las fórmulas-por
ejemplo, los cálculos de coste-beneficio rara vez resultan
adecuadas. Lo más útil es una flexible suma ponderada.
16-RECOMENDACIONES: Esto puede o no ser 12-RECOMENDACIONES: Se pueden o no seguir,
requerido, y puede o no desprenderse de la evaluación; pero pueden incluir: lo que se rechaza, se confirma,
aunque sean requeridas, puede que no sea posible se acepta e implementación.
proporcionar ninguna puesto que los únicos tipos que
pueden resultar apropiados no disponen de pruebas
científicas específicas en el campo de la investigación.(Los
recursos disponibles para la evaluación resultan cruciales
aquí)
17-EL INFORME: El vocabulario, la extensión, el diseño, 13-REPORTE: Del metaevaluador.
el medio, la localización y el personal para su presentación
necesitan un cuidadosos examen, igual que la protección/
privacidad/ publicidad y la investigación previa o la
circulación de os borradores finales preliminares
18-LA METAEVALUACIÓN. La evaluación debe ser
evaluada preferiblemente antes de a) su realización, b) la
difusión final del informe. La evaluación externa es
deseable, pero primero el evaluador principal debe aplicar
la lista de control de indicadores a la propia evaluación.
Los resultados de la metaevaluación deben ser utilizados
formativamente pero también pueden ser incorporados al
informe o transmitidos (resumidamente) al cliente y otras
audiencias adecuadas. (Las “audiencias” aparecen en el
metapunto 7, puesto que son el “mercado” y los
“consumidores” de la evaluación).
24
Tabla 7. Indicadores de la KEC de Scriven. Versión del 2002
KEY EVALUATION CHECKLIST

(mainly for evaluating or reporting on programs and policies and evaluations of them)
Michael Scriven . November 2002

PART A: PRELIMINARIES
I. Executive Usually a selective summary of Checkpoints 11-15
Summary
II. Preface Source and nature of request or need leading to the evaluation (e.g., is the request or need for
an evaluation of worth, or of merit (etc.); is it to be formative or summative or both? If
summative, should it yield grading, ranking, or profiling? Are recommendations,
explanations, fault-finding, or predictions requested? Who are: (i) the client (the person who
officially requests and, if it's a paid evaluation, pays for or arranges payment for the
evaluation and to whom you report); (ii) the prospective audiences (for the report); (iii) the
stakeholders; and (iv) who else will see, or will have the right to see, the results or the raw
data? Be sure to note any subsequently negotiated changes in any of the preceding.
Acknowledgments/thanks...
III. Can you use control or comparison groups to determine causation of supposed effects? If
Methodology controlled, is there random allocation; if stratified, how stratified? If none of these, will you
use quasi-experimental design or the modus operandi method or a case study approach to
determine causation? If the latter, why and whose model? Goal-oriented or goal-free? What
bias control (for credibility as well as validity)? How will you find side-effects? Identify
other investigative and data-analytic procedures used in this evaluation and their justification
(may require brief lit review)—hence provide the 'logic of the evaluation,’ i.e., general
justification of its design.
PART B: FOUNDATIONS
1. Historical, contemporary, and any projected settings for program; identify any upstream
Background stakeholders (and their stakes) other than clients; identify enabling and more recent relevant
and legislation or funders' policy changes; underlying rationale, a.k.a. official program theory, and
Context political logic (if any); general results of lit review on similar interventions (including fugitive
studies, Internet); previous evaluations, if any, and their impact, if any.
2. Not just the official description of program plus components but a correct and complete
Descriptions description in enough detail to recognize, perhaps enough detail (if this is being considered) to
and replicate it. Detailed description of goals/mileposts (if not in goal-free mode). Expect
Definitions divergences from story told in Checkpoint 1. Meaning of 'technical terms,' i.e., those that will
not be in prospective audiences' vocabulary. Note significant patterns/analogies/metaphors that
are used by participants or that occur to you. Distinguish an instigator's efforts in trying to start
up a program from the program itself.
25
3. Consumers comprise the recipients of the services/products (i.e., the downstream direct
Consumers impactees). These people are sometimes called 'clients' but they are clients of the program not
of the evaluation so it's usually better for an evaluator to restrict the use of the term 'client' to
the sponsor of (the person signing the contract, explicit or implicit) for the evaluation. To these
must be added the downstream indirect impactees (e.g., recipient's family or co-workers), who
are impacted via ripple effect. Program staff members are also impactees, but we keep them
separate (by calling them the midstream impactees) because the obligations to them are very
different and much weaker in most kinds of program evaluation (they are not the raison d'etre of
the program). The funding agency, taxpayers, and political supporters, who are also impactees
in some sense are also treated differently (and called upstream impactees), except when they are
also recipients.
4. A.k.a. 'strengths assessment.' The financial, physical, and social-relational assets of (4.1) the
Resources program and (4.2) the impacted population; includes for example the abilities and knowledge of
staff, volunteers, and other supporters, on the program side; and the financial resources of
impactees, on that side. This includes what could have been used, not just what was used (this
defines the 'possibility space,' i.e., the range of what could have been done). May be helpful to
list typical resources that were not used/available on this occasion. For example, to what extent
were impactees, stakeholders, fundraisers, volunteers, donors, families and friends not involved
as much as they could usefully have been involved?
PART C: SUBEVALUATIONS
Each of these involves a fact-finding phase (Step I), followed by the combination of the facts
with whatever values (from 5 above) bear on those facts, which yields the sub-evaluation (Step
II). In other words, going from What's So? to So What?
Identify the relevant value dimensions from the following list, then add 'stars, bars, and steps.'
5. Values The 'stars' are the weights, i.e., the relative or absolute importance of the dimensions of merit or
other values that will be used to get from the facts to the evaluative conclusions. They may be
expressed qualitatively (e.g., letter grades) or quantitatively (e.g., points on a ten point scale).
The 'bars' are minimum standards for acceptability, if any. Bars and stars may be set on any
relevant properties (dimensions of merit), values, or standards; or on dimensions of valued
performance; and may additionally include holistic bars or stars. (In more sophisticated work,
one also establishes 'steps,' i.e., the points on a performance dimension where the weighting
(i.e., value allocation) jumps abruptly from one level to another.) Bars and steps may be fuzzy
as well as precise. At least check the following values for relevance: (i) needs of the impacted
population, via a needs assessment (distinguish performance needs from treatment needs, met
needs from unmet, and meetable needs from ideal but impractical or impossible with present
resources (consider the Resources checkpoint); (ii) criteria of merit from the definition of the
evaluand and from standard usage (e.g., numbers impacted, depth of impact); (iii) legal and (iv)
ethical requirements, including (reasonable) safety for all impactees; (v) fidelity to alleged
specs ('authenticity'; see Checkpoint 5); (vi) personal and organizational goals, if not goal-free;
(vi) professional standards of quality that apply to the evaluand (does not include the Program
Evaluation Standards, which apply only to the evaluation, see Checkpoint 15), (vii) logical
(e.g., consistency); (viii) legislative; (ix) scientific/technical; (x) market; (xi) expert judgment of
quality (sometimes this is not fully reducible to directly measurable criteria, e.g., in real estate
appraisal, cheese manufacture, some medical specialties); (xii) historical/traditional/cultural
standards. Of course, identifying/applying some of these will require expert advice and/or
impactee/stakeholder advice. NOTE: you must include any values here that you will use in
evaluating the side-effects (not just the intended effects); some of these will only occur to you
after you find the side-effects (Checkpoint 7), but that's not a problem—this is an iterative list,
which means one comes back to modify findings on earlier checkpoints.
26
6. Process Assessment of the quality of everything significant that happens or applies before true outcomes
emerge, including causally relevant context and support (e.g., the quality of the student body,
the administration's support of the faculty). This checkpoint also covers: goals, design,
implementation (i.e., degree of implementation of supposed program, a.k.a. 'authenticity' or
'actualization'), management, quality of work (and workers, if you can justify that inference),
activities, procedures; perhaps also the quality of the original logic of the program and its
current (implicit or explicit) logic. What is called 'input evaluation' is covered here, because the
quality of the input either becomes (an essential part of) the quality of the process, or is
irrelevant (e.g., the quality of students at Harvard). Process also includes some intermediate
results of the process, e.g., an admirably large number of CPR classes provided by the Red
Cross, because these are not a value in themselves; the true value is the outcome resulting from
these classes, which (we hope) is saved lives. The classes are part of the process of trying to
save those lives, the process that defines the Red Cross program.
PART D: CONCLUSIONS
11. Overall Combine the sub-evaluations into an overall evaluation (i.e., a unidimensional
Significance conclusion—a grade or a rank) or, if that is not required, into a profile (a multi-
dimensional conclusion). The focus (point of view) is usually the present and future
impact on consumers' needs, subject to the constraints of ethics and the law, by
comparison with any alternatives; but there should usually also be some conclusion that
refers to the client's (and other stakeholders') needs for information (and wants, if
feasible), e.g., unrealized/potential value, if calculable.
12.[possible] These are often requested or expected, or even said to be a necessary part of good
Recommendations evaluation, but this is tricky territory, and giving explanations is in fact on the fringes of
and Explanations the duties of an evaluator. (This is clearly true, since evaluations in which one has no idea
of the operative mechanism ('black-box evaluations') are not only feasible, but often
extremely valuable in many cases, e.g., in determining the true efficacy of native remedies
or new analgesics.) One should distinguish: micro-recommendations—those concerning
minor management and equipment choices/use—some of which are often possible at no
extra cost; but note that in general providing explanations of success/failure in terms of
components/context/decisions will require identifying the true operating logic/theory of
program operation (by contrast with the original and current official or implicit logic).
And macro-recommendations—about the disposition of the whole program (fund, cut,
modify, export, etc.)—always require a lot more than that, namely (i) extensive
knowledge of the context-of-decision for the decision-makers (who are often not the
clients for the evaluation) and (ii) possession of correct (not just believed) logic or theory
of the decision space, key parts of which are often not available to anyone, including the
most expert of experts (in the present state of the art, there may be no generally accepted
true theory about the operation of such organizations) or only available to a board of
directors, or to select legislators. Macro-recommendations typically also require: (iii) the
ability to predict the results of recommended changes, something that even a true program
theory (like many social science theories) is often not able to do with any reliability,
because explanatory theories are often not capable of predictions (contrary to the
positivists' oversimplified philosophy of science, still quite widely accepted by those not
understanding its flaws). Plain predictions of the program's future, without changes, are
also often requested, and are usually very hazardous. Despite the above, procedural
recommendations, e.g., about needed further research or data-gathering or evaluation
procedures, are often possible and useful.
27
13. [possible] If any can be determined, and if appropriate. (The inference from poor work to poor
Responsibility workers in Checkpoint 6 is a simple example of this.) Allocating blame or praise requires
and Justification extensive knowledge of (i) the key players' knowledge at the time of decision-making; (ii)
their resources and responsibilities; as well as (iii) an ethical analysis of their options, and
(iv) certainty about whose decision actually caused the good/bad result (this may be
several people). Not many evaluators have the qualifications to do this kind of analysis;
the 'blame game' is very different from evaluation in most cases, and should not be
undertaken lightly. Still, sometimes mistakes are made that you can identify, and if they
have major consequences they should be pointed out.
14. Report and Conveying the conclusions. Requires making choices between or including: oral or
Support written, long or short, public or private, single or multiple actual presentations, technical
and nontechnical versions. Should also include post-report help, e.g., handling questions,
explaining the report's significance for different groups including users, staff, and funders.
Getting the results (and incidental knowledge findings) into the relevant databases, if any,
and recommending creation of one where beneficial; and into wider publication channels
if appropriate.
15. Metaevaluation Evaluation of this evaluation: to identify its strengths/limitations/other uses. Can obtain
relevant input to this by: (i) using an external evaluator of the evaluation; (ii) applying this
list to the evaluation itself; (iii) using a special metaevaluation checklist (there are three or
four available); (iv) replicating the evaluation and comparing the results; (v) doing the
evaluation using a different methodology and comparing the results; or (vi) applying the
Professional Standards. It's preferable to combine more than one of these approaches,
certainly to include (vi). Notes: (a) Usability and not actual use is a key criterion of merit,
the latter being at best a weak indicator of the former, since it depends heavily on the fast-
changing internal politics of the client's organization. (b) Implementation i.e., use, does
not entail high usability, it may have been very difficult because of poor usability. (c)
Usability directly covers evaluations without recommendations, a category which
includes many important, complete, and influential evaluations. (d) Evaluation impact
often occurs years after submission, and often occurs even if the evaluation was rejected
completely when submitted. (e) Look for contribution to the client's organization's
knowledge management system; if none, recommend creating it.
General Note A: The two checkpoints marked 'possible'—12 and 13—are not always relevant or feasible and
always require extra time/costs. They are mentioned because they are often supposed to be obligatory or
obviously part of any professional evaluation, which is not strictly true; and to provide some guidance for
estimating cost if they are feasible and desired by the client.
General Note B: The explanatory remarks here should not be regarded as more than approximations to the
content of each checkpoint. More detail can be found in the Evaluation Thesaurus, Michael Scriven, (4th.
edition, Sage, 1991), under Key Evaluation Checklist and crosslistings. However, the above version of the
KEC is significantly revised and improved, with help from many students and colleagues, most recently, Jane
Davidson (extensively), Emil Posavac and Rob Brinkerhoff (indirectly), and Andrea Wulf. More suggestions
are very welcome: scriven@aol.com.
This checklist is being provided as a free service to the user. The provider of the checklist has not
modified or adapted the checklist to fit the specific needs of the user and the user is executing his
or her own discretion and judgment in using the checklist. The provider of the checklist makes no
representations or warranties that this checklist is fit for the particular purpose contemplated by
user and specifically disclaims any such warranties or representations.
28
Tabla 8. Las 30 normas del Joint Committee
Utilidad (U) Factibilidad (F)
Los estándares relativos a la utilidad de la evaluación Los estándares relativos a la factibilidad implican
tienen por objetivo que ésta sirva a las necesidades asegurar que la evaluación sea realista, prudente,
de información de los usuarios, destinatarios de la diplomática y austera lo cual se normaliza a través de
evaluación a través de 7 normas: tres normas:
U1.Identificación de los implicados. Las personas F1. Procedimientos prácticos. Los procedimientos
relacionadas o afectadas `por la evaluación deben ser evaluativos deben ser prácticos tratando de minimizar
identificadas de tal forma que sus necesidades los trastornos que puedan producirse durante la
puedan ser tenidas en cuenta. recogida de información.
U2.Credibilidad del evaluador. Las personas que F2.Viabilidad política. La evaluación debe ser
llevan a cabo la valuación deben ser tanto dignas de planificada y llevada a cabo anticipando las diferentes
confianza como competentes para llevar a cabo la posiciones de los distintos grupos implicados de tal
evaluación con el fin de que los hallazgos de la forma que su cooperación pueda ser obtenida y que
evaluación logren máximo de credibilidad y los intentos de boicot de las tareas evaluativas, o de
aceptación. introducción de sesgos por parte de alguno de estos
U3.Ámbito de la información y selección. La grupos, pueda ser advertida y controlada.
información recogida debe ser ampliamente F3.Coste efectividad. La evaluación debe ser eficiente
seleccionada incluyendo cuestiones pertinentes en y producir información de suficiente valor de tal
relación con el programa, así como ser sensible a las forma que los recursos invertidos puedan ser
necesidades de los clientes y otros especificados justificados.
implicados.
U4.Identificación de valores. Las perspectivas,
procedimientos y lógica utilizada en la interpretación
de los resultados deben ser cuidadosamente descritas
de tal forma que las bases en el establecimiento de
juicios valorativos esté clara.
U5.Claridad del informe. El informe de evaluación
debe describir claramente el programa que está
siendo valorado, incluyendo su contexto y sus
objetivos, procedimientos y resultados de la
evaluación de manera que la información esencial
sea prevista y pueda ser fácilmente entendida.
U6.Oportunidad y difusión del informe. Los
hallazgos significativos y el informe de evaluación
deben ser difundidos a los potenciales usuarios de
modo que puedan ser utilizados oportunamente.
U7.Impacto de la evaluación. Las evaluaciones
deben ser planificadas, conducidas e informadas de
tal forma que estimulen el seguimiento continuado
por parte de los implicados para que la probabilidad
de la utilización de la evaluación sea maximizada.
Probidad (P) Adecuación (A) (accuracy)
Las normas referidas a la probidad tratan de asegurar Las normas de adecuación o exactitud tratan de
que la evaluación sea realizada legal, ética y con la asegurar que una evaluación revelará y expresará
debida atención al bienestar de aquellos implicados información técnicamente adecuada sobre aquellas
en la evaluación así como de los afectados por sus características que determinan valor o mérito del
resultados, lo cual se norma a través de los ocho programa evaluado lo cual se articula a través de los
estándares siguientes: doce estándares siguientes:
P1. Orientación de servicio. Las evaluaciones deben A1.Documentación sobre el programa. El programa
ser diseñadas para ayudar a las organizaciones a evaluado debe ser descrito y documentado clara y
atender y servir con efectividad a las necesidades de precisamente de tal forma que pueda ser claramente
29
toda la gama de participantes implicados. identificado.
P2.Convenios formales. Las obligaciones de las A2.Análisis del contexto. El contexto en el que el
partes implicadas (qué debe hacerse, cómo, por programa existe debe ser examinado con detalles
quiénes, cuándo) deben ser acordadas mediante un suficiente de modo que sus probables influencias
documento de tal forma que tales partes estén sobre el programa sean identificadas.
obligadas a seguir todas las condiciones del acuerdo A3. Descripción de propósitos y procedimientos. Los
o, formalmente, a renegociarlas. propósitos y procedimientos de la evaluación deben
P3. Derechos de los sujetos humanos. Las ser controlados y descritos con suficiente detalle de
evaluaciones deben ser planificadas y realizadas manera que puedan ser identificados y evaluados.
respetando y protegiendo los derechos y el bienestar A4. Fuentes admisibles de información. Las fuentes
de los sujetos humanos. de información utilizadas en una evaluación de
P4.Los evaluadores deben respetar la dignidad programa deben ser descritas con suficientemente
humana y su valor en sus interacciones con otras detalle de forma tal que la adecuación de la
personas asociadas con la evaluación de manera que información pueda ser evaluada.
los participantes no estén amenazados y no se vean A5.Información válida. Los procedimientos de
perjudicados. recogida de información deben ser seleccionados o
P5. Evaluación completa y adecuada. La evaluación desarrollados y, entonces, administrados, de manera
debe ser completa y adecuada en sus análisis y que la interpretación alcanzada sea válida para el uso
registro de los puntos fuertes y débiles del programa que se pretende.
evaluado, de forma tal que los primeros puedan A6. Información fiable. Los procedimientos de
robustecerse y loas aspectos problemáticos puedan recogida de información deben ser seleccionados o
ser resueltos. desarrollados y, entonces, administrados, de tal forma
P6. Declaración de resultados. Las partes que se asegure que la información obtenida sea
contratantes de una evaluación deben asegurar que suficientemente fiable para el uso propuesto.
el conjunto de los resultados y a las pertinentes A7. Información sistemática. La información
limitaciones sean accesibles a las personas afectadas recogida, procesada e informada en una evaluación
por la evaluación así como a cualquier otro con debe ser sistemáticamente revisada y cualquier error
expresos derechos legales a recibir los resultados. encontrado debe ser corregido.
P7.Conflicto de intereses. Los conflictos de intereses A8.Análisis de información cuantitativa. La
deben ser manejados con apertura y honestidad de tal información cuantitativa en una evaluación debe ser
forma que no comprometan el proceso de evaluación apropiada y sistemáticamente analizada de forma que
y los resultados. las cuestiones relevantes sean eficazmente
P8.Responsabilidad fiscal. La signación al evaluador contestadas.
y otras partidas presupuestarias deben reflejarse A9. Análisis de información cualitativa. La
contablemente y, en todo caso, ajustarse prudente y información cualitativa en una evaluación debe ser
éticamente de forma que puedan ser contabilizadas y apropiada y sistemáticamente analizada de forma que
apropiadas. las cuestiones relevantes sean eficazmente
contestadas.
A10. Justificación de conclusiones. Las conclusiones
encontradas en una evaluación deben ser
explícitamente justificadas de tal forma que los
implicados puedan valorarlas.
A11.Informe imparcial. Los procedimientos de
informe deben ser salvaguardados contra la distorsión
causada por sentimientos personales y sesgos de
cualquiera de las partes en la evaluación de manera
que el informe refleje claramente los hallazgos de la
evaluación.
A12. Metaevaluación. La evaluación, en sí misma,
debe ser formativa y sumativamente juzgada por
medio de estos u otros pertinentes estándares de tal
forma que su ejecución sea apropiadamente guiada y,
una vez cumplida, los implicados puedan examinar
minuciosamente sus puntos fuertes y débiles.
30
Tabla 9. Aspectos a medir en la Metaevaluación por Alfaro Gilberto y Sánchez Virginia
ASPECTOS DESCRIPCIÓN
CONTEXTO En el que dicho proceso se lleva a cabo
Ofrecer condiciones óptimas que permitan llegar a buen
GESTION INSTITUCIONAL término con un proceso que requiere del compromiso,
respeto y colaboración de todos los participantes
Los que se ponen a disposición para facilitar un proceso de
RECURSOS HUMANOS evaluación que generen confianza y credibilidad
Los adecuados para poder obtener y procesar la
APOYO LOGISTICO e información desde la cual se realizarán las valoraciones
INFRAESTRUCTURA TECNOLOGICA correspondientes.
Sobre las acciones que se realizan, tanto en términos de lo

IMPACTO DE LA EVALUACIÓN que se logra comprender, como de los aportes que se dan
para reconceptualizar y ofrecer opciones de transformación
de acción que ha sido evaluada.
Tabla 10. Criterios para enjuiciar las evaluaciones: Guba y Lincoln 2 (1989) Primer
grupo de criterios: paralelismo con los del paradigma positivista
Criterios del Criterios de Guba y Lincoln.

paradigma positivista
Paradigma constructivista
Validez interna: Credibilidad: la atención se centra en que las construcciones de las personas implicadas
valoración del grado de y las representaciones del propio evaluador vayan de un modo parejo, o sean
isomorfismo3 entre los equivalentes. Se utilizan varias estrategias para incrementar la probabilidad de que tal
hallazgos del estudio y el isomorfismo se produzca; son las siguientes:
mundo real o el
desarrollo real que ha ! Compromiso y encuentro prolongado en el lugar donde se producen los
generado esos resultados, acontecimientos objeto de estudio para evitar efectos de distorsión por la falta de
[y ello no puede estar información y la falta de confianza en el evaluador, para descubrir las construcciones y
presente en un paradigma comprender la cultura del contexto.
que rechaza el realismo ! Observación continua para identificar los elementos y las características más
ontológico. Si la realidad relevantes de la situación.
sólo existe en las mentes ! Informes de los colegas a través del compromiso con compañeros desinteresados
de sus constructores para la discusión, análisis y conclusiones acerca de los hallazgos.
(¿qué sentido tiene es ! Análisis de los casos negativos.
isomorfismo? ! Subjetividad progresiva con el fin de controlar las construcciones m del evaluador.
! Comprobaciones de los miembros y participantes de la evaluación; pueden ser
formales e informales, cumpliendo un importante número de funciones: valores del
evaluador de la intención de una acción concreta; corrección de errores de hecho o de
interpretación; posibilidad de información adicional, estimulando el pensamiento de los
implicados sobre la misma con el fin de mantener evidencias y acuerdos; síntesis como
un primer paso hacia el análisis; valoración de los implicados de la adecuación de la
información posibilitando la confirmación de los datos individuales.
2
Martínez Mediano, Catalina (1996): Evaluación de programas educativos. Investigación evaluativa. Modelos de
evaluación de programas. Capítulo XIII. Egona Guba e Ivonnas Lincoln: La evaluación naturalista. Cuadernos de
la UNED Madrid, Ed..Torán S.A.
31
Tabla 10. Criterios para enjuiciar las evaluaciones Guba y Lincoln (1989).Continuación
Criterios del paradigma positivista Paradigma constructivista

Validez externa: esencia de la generalización Transferibilidad: corresponde al criterio de validez externa o
tiene poco significado si las realidades que generalización. Proceso empírico para evaluar el grado de
podríamos desear generalizar existen, pero en similitud entre los contextos. A diferencia de la generalización
formas muy diferentes en las mentes de las es una cuestión relativa y la técnica adecuada consiste en hacer
personas, dependiendo de las circunstancias e una descripción detallada del tiempo, lugar, contexto y cultura
historias, basadas en las experiencias en los que se realiza la evaluación
diferentes e interpretadas desde diferentes
sistemas de valores].
Fiabilidad: valoración de la estabilidad del Seguridad o formalidad o dependencia: se corresponde con el
fenómeno que ha sido valorado y del criterio de fiabilidad y está relacionado con la estabilidad de los
instrumento utilizado para ello; supone que el datos en el tiempo. Frecuentemente, la inestabilidad se produce
fenómeno es invariable, al menos en un corto como consecuencia del cansancio de los evaluadores. En el
tiempo. Si el fenómeno cambia, y esto es paradigma constructivista los cambios producidos por
central en el crecimiento y mejora de las modificaciones metodológicas pueden contribuir a mejorar la
construcciones, entonces la fiabilidad es seguridad como consecuencia de los cambios producidos en los
inútil como criterio de bondad. constructos emergentes.
Objetividad refleja la posición positivista de Confirmabilidad o confirmación: criterio paralelo al de
la dualidad objeto-sujeto, pero si un objetividad. Se centra en asegurar que los datos, interpretaciones
paradigma rival afirma que la interacción y logros de la investigación tengan sus raíces en los contextos y
(monismo) es inevitable, ¿qué puede en las personas, además de en el evaluador. Los datos, y la
significar la objetividad?. lógica usada en su interpretación, deben estar unidos a sus
fuentes corroborando la totalidad explícita e implícita en un
informe narrativo de estudio de caso.
Segundo grupos de criterios: proceso Tercer grupo: criterios de autenticidad
hermenéutico -La autenticidad integra justicia, conciencia, enriquecimiento,
- Proceso hermenéutico como control de apreciación de los puntos de vista y necesidades de los otros,
calidad propio. La evaluación de cuarta estimulación hacia la acción, y generación de cambios
generación es conducida por un proceso deseables.
hermenéutico-dialéctico. -Justicia: estructura de valores subyacentes en el proceso de
-Los datos son analizados inmediatamente a evaluación. El papel del evaluador es indagar para comunicar
su producción. Se puede realizar una dichos valores y ver los que están en conflicto a través de la
comprobación mediante comentarios, diferencia entre las creencias y el sistema de valores, mediante
elaboración, corrección, revisión u otro que la realización de una negociación de recomendaciones abierta y
los participantes proporcionen. Son una agenda de las acciones subsiguientes.
incorporados dentro de una unión emergente, -Autenticidad ontológica: tiene que ver con cómo maduran,
reconstrucción colaborativa que emerge a mejoran, se expanden y se elaboran las construcciones de los
medida que se produce el proceso. participantes, dado que han alcanzado mayor información y han
Posibilidades de errores no detectados son logrado un uso más sofisticado de ella. Es, literalmente, “una
mínimas. mejora en el individuo, o grupo, de la conciencia experiencial
-Los dos criterios anteriores no son de entera del mundo”. Se refuerza mediante la experiencia vicaria y se
satisfacción para los constructivistas; los comprueba por el testimonio de información seleccionados y
primeros son criterios metodológicos (sólo una auditoria judicial para el estudio del caso determinado
una parte importantes de la evaluación de la Autenticidad educativa: grado en el que los participantes
cuarta generación); las metas, los resultados y individuales comprenden y aprecian las construcciones de los
la negociación son criterios importantes de otros fuera de su grupo particular.
modo que, basarse sólo en criterios Autenticidad catalítica: grado en el cual la acción es estimulada
metodológicos sería insuficiente. y facilitada mediante el proceso de la evaluación. El propósito
-El segundo grupo tiene más que ver con los de la evaluación es la acción y la toma de decisiones. La
procesos constructivistas pero es débil por evaluación de la cuarta generación no sería completa sin una
estar implícito en el proceso mismo. Han acción por parte de los participantes.
ideado criterios de autenticidad de la Autenticidad táctica: poder de los participantes para actuar
concepción básica del constructivismo.
32
AMERICAN EVALUATION ASSOCIATION GUIDING PRINCIPLES
SYSTEMATIC INQUIRY
! Adhere to highest appropriate technical standards.
! Explore with client the shortcomings and strengths of various evaluation questions and methods to answer
them.
! Communicate methods accurately and in sufficient detail to allow others to understand, interpret and critique
the evaluation.
COMPETENCE
! Possess the education, abilities, skills and experience appropriate for the evaluation.
! Practice within the limits of your professional training and competence.
! Seek continually to maintain and improve competencies.
INTEGRITY/HONESTY
! Negotiate honestly with clients and other relevant stakeholders about costs, evaluation tasks, limitations of
methods, likely scope of results, and uses of evaluation data.
! Record all changes in the original evaluation project plan and the reasons for these changes.
! Seek to determine, and where appropriate be explicit about, your own, the clients’ and other stakeholders’
interests concerning the conduct and outcomes of the evaluation.
! Disclose any roles or relationships you have concerning what is being evaluated that might pose a
significant conflict of interest with your role as an evaluator.
! Do not misrepresent procedures, data or findings, and prevent or correct any substantial misuses by others,
within reasonable limits.
! If you determine that certain procedures or activities seem likely to produce misleading evaluative
information or conclusions, communicate your concerns to the client and work to resolve them. If resolution is
not achieved and if the misleading evaluation proceeds, you may legitimately decline to conduct the evaluation
or take other actions.
! Disclose all sources of financial support of your evaluation and the source of the request for the evaluation,
unless there are compelling reasons to the contrary.
RESPECT FOR PEOPLE

! Where applicable, abide by current professional ethics and standards regarding risks, harms and burdens
that might be engendered to those participating in the evaluation; regarding informed consent for participation;
and regarding the need to inform participants about the scope and limits of confidentiality.
! When there are justified negative or critical evaluation results, maximize the benefits and reduce any
unnecessary harms that might occur to clients or stakeholders, provided this will not compromise the integrity
of the evaluation findings.
! Conduct the evaluation and communicate its results in a way that clearly respects the dignity and self-
worth of all stakeholders, knowing that evaluations often negatively affect the interests of some stakeholders.
! Where feasible, foster the social equity of the evaluation, so that those who give to the evaluation can
receive some benefits in return.
! Identify and respect differences among participants, including differences in culture, religion, gender,
disability, age, sexual orientation and ethnicity, and be mindful of potential implications of these differences
when planning, conducting, analyzing and reporting evaluations.
RESPONSIBILITIES FOR GENERAL AND PUBLIC WELFARE

! When planning and reporting evaluations, consider including important perspectives and interests of the
full range of stakeholders in the object being evaluated. When important value perspectives or the views of
important groups are omitted, carefully consider the justification for this.
! Consider not only the immediate operations and outcomes of what is being evaluated but also the broad
assumptions, implications and potential side effects of it.
33
! Barring compelling reasons to the contrary, allow all relevant stakeholders to have access to evaluation
information and actively disseminate this information to stakeholders if resources allow. Present results as
clearly and simply as accuracy allows.
! Maintain a balance between client needs and other needs. When client interests conflict with other interests
or with these guiding principles, explicitly identify and discuss the conflicts with the client and relevant
stakeholders. Work to resolve these, or, when resolution is not possible, determine whether continued work on
the evaluation is advisable.
! Go beyond an analysis of particular stakeholder interests when considering the welfare of society as a
whole, in view of the fact that evaluators have obligations that encompass the public interest and good and the
fact that the public interest and good are rarely the same as the interests of any particular group, including the
client.
Note: These principles are paraphrased and condensed from the official statement (America
Evaluation Association Task Force on Guiding Principles for Evaluators,1995)
ESTANDARES DE LA SOCIEDAD DE EVALUACION DE SUIZA
N – Utility
The utility standards are to guarantee that an evaluation is oriented to the information needs of the intended
evaluation users.
N1 Stakeholder Identification: Those participating in, and those persons affected by, an evaluation are identified
in order that their interests and needs can be taken into account.
N2 Clarifying Evaluation Objectives: All persons who take part in an evaluation are concerned that the objectives
of the evaluation are made clear to all stakeholders.
N3 Credibility: Those who conduct evaluations are both competent and trustworthy; this helps ensure that the
evaluation results are accorded a maximum amount of acceptance and credibility.
N4 Scope and Selection of Information: The scope and selection of the information collected permits pertinent
questions to be asked of the evaluandum while simultaneously taking the interests and needs of the party
contracting the evaluation, as well as other stakeholders, into account.
N5 Transparency in Assessment: The underlying reasoning and point of view used to arrive at the interpretation
of the results are described in such a manner that the bases for the value judgments are clear.
N6 Comprehensiveness and Clarity of the Report: Evaluation reports describe the evaluandum, including its
context, objectives, the questions asked, the procedure(s) used, and the results of the evaluation. This ensures that
the pertinent information is made available and can be readily understood.
N7 Timeliness in Reporting: Significant interim results and (the) final report(s) are made available to the intended
users in such a fashion that they can be used in a timely manner.
N8 Evaluation Impact: The planning, execution, and presentation of an evaluation encourages stakeholders both
to follow the process of evaluation and utilize the evaluation.
D- Feasibility
The feasibility standards ensure that an evaluation is conducted in a realistic, considered, diplomatic and cost
effective manner.
D1 Practical Procedures: Evaluation procedures are designed in such a manner that the necessary information is
collected without disrupting the evaluandum or the evaluation.
D2 Political Viability and Support: Evaluations take the various positions of different interests into consideration
in their planning and execution in order to win their cooperation and discourage attempts by one or another group
to limit evaluation activities or distort or misuse the results.
D3 Cost Efficiency: Evaluations produce information of a value justifying the financial resources expended.
34
K Propriety
The propriety standards ensure that an evaluation is conducted in a legal and ethnical manner and that the welfare
of stakeholders is given appropriate attention.
K1 Formal Agreements:The obligations of the parties to an evaluation (specifying what, how, by whom and when
what is to be done) are set forth in written agreements that obligate the parties to fulfill all the conditions of the
agreements, or if not, to renegotiate these agreements.
K2 Protecting Individual Rights: Evaluations are planned and executed in such a manner as to protect and respect
human rights and welfare.
K3 Human Interaction: Evaluations are laid out in such a manner that contacts between participants are
characterized by mutual respect.
K4 Complete and Fair Assessment: In their assessment and depiction of strengths and weaknesses in the
evaluandum, evaluations are both complete and fair, such that strengths can be built on and problem areas
addressed.
K5 Disclosure of Findings: The contracting parties to an evaluation ensure that the evaluation results are made
available to the affected persons as well as to all those who have a legitimate claim to receive these results.
K6 Declaring Conflicts of Interest: Conflicts of interest are addressed openly and honestly in a manner that they
will least compromise evaluation processes and conclusions.
G-Accuracy
The accuracy standards ensure that an evaluation produces and disseminates valid and usable information.
G1 Documentation of the Evaluandum: The evaluandum is clearly and precisely described and documented so
that it can be unambiguously identified.
G2 Analysis of Context: The influences of the context on the evaluandum are identified.
G3 Description of Objectives and Procedures: The objectives, questions, and procedures used in and by the
evaluation are described and documented with sufficient precision that they are identifiable and can be judged.
G4 Trustworthy Information Sources: The sources of information used in an evaluation are sufficiently precisely
described that the appropriateness of the information can be assessed.
G5 Valid and Reliable Information: The procedures for collecting information are so chosen or developed, and
then employed, that the validity and reliability of the interpretation arrived at is ensured for the given purpose.
G6 Systematic Information Checks: The information that is collected, analyzed, and presented in an evaluation is
systematically: checked for errors.
G7 Qualitative and Quantitative Analysis: Qualitative and quantitative information in an evaluation are
systematically and appropriately analyzed so that the questions posed in the evaluation are actually answered.
G8 Substantiated Conclusions: The conclusions reached by an evaluation are explicitly substantiated in a manner
that stakeholders can follow and that permits them to assess the conclusions.
G9 Objective Reporting: Reporting is free from distortion through personal feelings or preferences for one or
another party to the evaluation; evaluation reports fairly reproduce the results.
G10 Metaevaluation: The evaluation itself will be evaluated on the basis of existing (or other important)
standards so that the execution can be done accordingly and so that stakeholders can in the end assess the
strengths and weaknesses of an evaluation.
35
Tabla 11. The SEVAL Standards: A Functional Overview: The following overview indicates which
Standards are most relevant for various evaluation activities:
Decision to Conduct an Evaluation Defining the Evaluation
U1 Identifying Stakeholders U1 Identifying Stakeholders
U2 Clarifying the Objectives of the Evaluation U2 Clarifying the Objectives of the Evaluation
U3 Credibility A1 Precise Description of the Object of Evaluation
U8 Evaluation Impact A2 Analyzing the Context
F2 Anticipating Political Viability A3 Precise Description of Goals, Questions, and
F3 Cost Effectiveness Procedures
P1 Formal Written Agreement A10 Metaevaluation
K6 Declaring Conflicts of Interest
A1 Precise Description of the Object of Evaluation
A2 Analyzing the Context
A10 Metaevaluation
Planning the Evaluation Evaluation Budgeting
U1 Identifying Stakeholders U2 Clarifying the Objectives of the Evaluation

U2 Clarifying the Objectives of theEvaluation U4 Scope and Selection of Information
U4 Scope and Selection of Information F3 Cost Effectiveness
U5 Transparency of Value Judgments P1 Formal Written Agreement
F1 Practical Procedures A1 Precise Description of the Object of Evaluation
P1 Formal Written Agreement A3 Precise Description of Goals, Questions, and
P4 Complete and Balanced Assessment Procedures
A1 Precise Description of the Object of Evaluation A10 Metaevaluation
A3 Precise Description of Goals, Questions, and
Procedures
A4 Trustworthy Sources of Information
A5 Valid and Reliable Information
A7 Qualitative and Quantitative Analysis
A8 Substantiated Conclusions
A9 Neutral Reporting
A10 Metaevaluation
Concluding an Evaluation Contract Managing the Evaluation
U1 Identifying Stakeholders U1 Identifying Stakeholders
U2 Clarifying the Objectives of the Evaluation U2 Clarifying the Objectives of the Evaluation
U3 Credibility U3 Credibility
U4 Scope and Selection of Information U7 Timely Reporting
U7 Timely Reporting F2 Anticipating Political Viability
F2 Anticipating Political Viability F3 Cost Effectiveness
P1 Formal Written Agreement P1 Formal Written Agreement
P2 Ensuring Individual Rights and Well-Being P2 Ensuring Individual Rights and Well-Being
P5 Making Findings Available P3 Respecting Human Dignity
K6 Declaring Conflicts of Interest K6 Declaring Conflicts of Interest
A1 Precise Description of the Object of Evaluation A3 Precise Description of Goals, Questions, and
A3 Precise Description of Goals, Questions, and Procedures
Procedures A6 Systematic Checking for Errors
A10 Metaevaluation A10 Metaevaluation
Personnel and Evaluation

U3 Credibility
F2 Anticipating Political Viability
K6 Declaring Conflicts of Interest
A9 Neutral Reporting
A10 Metaevaluation
36

&DUDFWHUL]DFLyQGHOFRQWH[WRVRFLDO\HGXFDWLYRHXURSHR,QLFLDWLYDVSDUDOD
PHMRUDGHODFDOLGDGGHODHGXFDFLyQKDFLDHO6LJOR;;,
([LVWHQ XQRV FHQWURV GH HQVHxDQ]D VXSHULRU HQ OD 8QLyQ (XURSHD \ DSUR[LPDGDPHQWH
HQWRGD(XURSDTXHFXHQWDQFRQXQQ~PHURFDGDYH]PD\RUGHHVWXGLDQWHVPiVGHPLOORQHV
HQHODxR
/DVXQLYHUVLGDGHVIXQFLRQDQHQXQHQWRUQRFDGDYH]PiVJOREDOL]DGRHQFRQVWDQWHHYROXFLyQ
PDUFDGR SRU XQD FUHFLHQWH FRPSHWHQFLD SDUD DWUDHU \ FRQVHUYDU D ORV PiV FXDOLILFDGRV \ SRU OD
DSDULFLyQ GH QXHYDV QHFHVLGDGHV D ODV TXH HVWiQ REOLJDGDV D UHVSRQGHU /DV XQLYHUVLGDGHV HXURSHDV
JHQHUDOPHQWHWLHQHQPHQRVDWUDFWLYR\PHGLRVILQDQFLHURVTXHODVGHORV(VWDGRV8QLGRV
(OiPELWRXQLYHUVLWDULRHXURSHRHVWiRUJDQL]DGRHVHQFLDOPHQWHDQLYHOQDFLRQDO\UHJLRQDOSRU
OR TXH H[LVWH XQD LPSRUWDQWH GLYHUVLGDG HQ WpUPLQRV GH RUJDQL]DFLyQ JHVWLyQ \ FRQGLFLRQHV GH
IXQFLRQDPLHQWR LQFOXLGDV ODV FXHVWLRQHV GH HVWDWXWR FRQGLFLRQHV GH WUDEDMR \ FRQWUDWDFLyQ GH ORV
SURIHVRUHV\ORVLQYHVWLJDGRUHVODVGLIHUHQFLDVFXOWXUDOHV\OHJLVODWLYDVDXQTXHWDPELpQH[LVWHQGHQWUR
GHFDGDSDtV\DTXHQRWRGDVODVXQLYHUVLGDGHVWLHQHQODPLVPDIXQFLyQQLUHVSRQGHQGHOPLVPRPRGR
QLFRQODPLVPDUDSLGH]DORVDFRQWHFLPLHQWRVTXHOHVDIHFWDQ
/DVXQLYHUVLGDGHVHXURSHDVVHHQIUHQWDQDFWXDOPHQWHDODQHFHVLGDGGHDGDSWDUVHDSURIXQGRV
FDPELRV UHODFLRQDGRV FRQ DVSHFWRV WDOHV FRPR HO DXPHQWR GH OD GHPDQGD GH IRUPDFLyQ VXSHULRU
PDQWHQLHQGR \ UHIRU]DQGR OD H[FHOHQFLD GH OD HQVHxDQ]D \ OD LQYHVWLJDFLyQ TXH VH RIUHFH \
JDUDQWL]DQGRDOPLVPRWLHPSRXQDFFHVRDPSOLRHTXLWDWLYR\GHPRFUiWLFRDODHQVHxDQ]DVXSHULRUOD
LQWHUQDFLRQDOL]DFLyQ GH OD HGXFDFLyQ \ OD LQYHVWLJDFLyQ TXH VH DFHOHUD QRWDEOHPHQWH SRU ODV QXHYDV
WHFQRORJtDVGHODLQIRUPDFLyQ\ODFRPXQLFDFLyQ\VHWUDGXFHDVXYH]HQXQDPD\RUFRPSHWHQFLDHQWUH
ODV GLVWLQWDV XQLYHUVLGDGHV \ ORV GLVWLQWRV SDtVHV SHUR WDPELpQ HQWUH ODV XQLYHUVLGDGHV \ ODV GHPiV
LQVWLWXFLRQHV WHQLpQGRVH HQ FXHQWD TXH XQD SDUWH FDGD YH] PiV LPSRUWDQWH GH ODV GRWDFLRQHV
HFRQyPLFDVDVLJQDGDVD ODVXQLYHUVLGDGHVVHDWULEX\HVREUHODEDVHGHFULWHULRVGH FRPSHWLWLYLGDGHO
GHVDUUROORGHXQDFRRSHUDFLyQHVWUHFKD\HILFD]HQWUHODVXQLYHUVLGDGHV\ODLQGXVWULDODPXOWLSOLFDFLyQ
GHORVOXJDUHVGHSURGXFFLyQGHFRQRFLPLHQWRVODUHRUJDQL]DFLyQGHORVFRQRFLPLHQWRVODDSDULFLyQGH
QXHYDVH[SHFWDWLYDV
/DXQLYHUVLGDGHVUHVSRQVDEOHGHVXPRGRGHIXQFLRQDPLHQWR\GHJHVWLyQGHVXVDFWLYLGDGHV\
SUHVXSXHVWRVDQWHVXVSDWURFLQDGRUHV\DQWHORVFLXGDGDQRVORTXHVXSRQHXQDSUHVLyQFDGDYH]PD\RU
SDUD TXH VH LQFRUSRUHQ D VXV HVWUXFWXUDV GH JHVWLyQ \ GH JRELHUQR UHSUHVHQWDQWHV GHO PXQGR QR
DFDGpPLFR GDGR TXH VH ILQDQFLD D WUDYpV GH LPSRUWDQWHV IRQGRV S~EOLFRV \ SULYDGRV \ ORV
FRQRFLPLHQWRV TXH SURGXFH \ WUDQVPLWH WLHQHQ XQD UHSHUFXVLyQ VLJQLILFDWLYD HQ OD HFRQRPtD \ OD
VRFLHGDG
/D H[FHOHQFLD KD GHMDGR GH JHQHUDUVH \ GH PHGLUVH D QLYHO QDFLRQDO LQFOXVR HQ ORV SDtVHV
HXURSHRVPiVJUDQGHVVLQRPiVELHQDHVFDODGHODFRPXQLGDGHXURSHDRPXQGLDO
/D PRYLOLGDG GH ORV HVWXGLDQWHV VLJXH VLHQGR EDMD HQ (XURSD (Q WpUPLQRV JHQHUDOHV ODV
SHUVSHFWLYDVGHFDUUHUDSURIHVLRQDOHQODVXQLYHUVLGDGHVHXURSHDVVRQOLPLWDGDV\EDVWDQWHLQFLHUWDV
8QD WHUFHUD SDUWH GH ORV HXURSHRV WUDEDMDQ KR\ HQ GtD HQ VHFWRUHV TXH H[LJHQ XQ DOWR QLYHO GH
FRQRFLPLHQWRVPiVGHOHQSDtVHVFRPR'LQDPDUFD\6XHFLD\HVWRVVHFWRUHVKDQFRQWULEXLGRSRU
VtVRORDODFUHDFLyQGHODPLWDGGHORVQXHYRVSXHVWRVGHWUDEDMRJHQHUDGRVHQWUH\

(QHOVyORHOGHORVHVWXGLDQWHVHXURSHRVUHDOL]DEDQVXVHVWXGLRVHQRWURSDtVHXURSHR\DXQTXHOD
PRYLOLGDGGHORVLQYHVWLJDGRUHVHVVXSHULRUDODGHODPHGLDGHODSREODFLyQVHPDQWLHQHDXQQLYHOLQIHULRUDOGH
ORV(VWDGRV8QLGRV/DPRYLOLGDGHVWXGLDQWLOSUiFWLFDPHQWHVRORVHUHDOL]DGHDOILQDOGHOFLFORHGXFDWLYRGHJUDGR
\GXUDQWHHOSRVWJUDGRGHELGRDODVGLILFXOWDGHV\WUDEDVTXHVXSRQHHOUHFRQRFLPLHQWRGHWtWXORV\SHULRGRVGH
HVWXGLR

/DV XQLYHUVLGDGHV FRQWULEX\HQ D OD FRQVHFXFLyQ GH ORV GHPiV REMHWLYRV GH OD HVWUDWHJLD GH
/LVERD FRQFUHWDPHQWH DO HPSOHR \ D OD FRKHVLyQ VRFLDO DVt FRPR D OD PHMRUD GHO QLYHO HGXFDWLYR
JHQHUDOHQ(XURSD
$FWXDOPHQWH HO Q~PHUR GH MyYHQHV HXURSHRV WLWXODUHV GH XQ GLSORPD GH HQVHxDQ]D VXSHULRU
VXSHUDFRQFUHFHVDOGHODVJHQHUDFLRQHVDQWHULRUHV
$SUR[LPDGDPHQWHXQGHORVHXURSHRVGHHQWUH\DxRVSRVHHQXQWtWXORGHHQVHxDQ]D
VXSHULRU PLHQWUDV TXH HVWH SRUFHQWDMH VyOR VH VLW~D HQ HO SDUD HO WUDPR GH HGDG FRPSUHQGLGD
HQWUHORV\ORVDxRV
6L VH FRQVLGHUD DO FRQMXQWR GH OD SREODFLyQ GH HQWUH \ DxRV OD WDVD GH HPSOHR GH ORV
WLWXODGRVGHODHQVHxDQ]DVXSHULRU&,1(\VHVLWXDEDHQHQXQHVGHFLUFHUFDGH
SXQWRVSRUHQFLPDGHODPHGLDJOREDOGHWRGRVORVQLYHOHVGHHQVHxDQ]D\FDVLSXQWRVSRUHQFLPD
GHODWDVDFRUUHVSRQGLHQWHDODVSHUVRQDVTXHVyORKDQDOFDQ]DGRHOQLYHOGHODHQVHxDQ]DVHFXQGDULD
LQIHULRU&,1(GHD
/DWDVDGHGHVHPSOHRGHORVWLWXODGRVGHODHQVHxDQ]DVXSHULRUVHVLWXDEDHQHQXQHV
GHFLUODWHUFHUDSDUWHGHODWDVDFRUUHVSRQGLHQWHDODVSHUVRQDVFRQXQEDMRQLYHOGHFXDOLILFDFLyQ
/DVXQLYHUVLGDGHVHXURSHDVDFRJLHURQHQHODXQRVHVWXGLDQWHVH[WUDQMHURVIUHQWHD
PiVGHHQHOFDVRGHODVXQLYHUVLGDGHVQRUWHDPHULFDQDVSURFHGHQWHVHQVXPD\RUtDGH$VLD
/RV (VWDGRV 8QLGRV DWUDHQ SURSRUFLRQDOPHQWH XQ Q~PHUR PXFKR PiV HOHYDGR GH HVWXGLDQWHV
H[WUDQMHURVGHFXUVRVDYDQ]DGRVGHLQJHQLHUtDPDWHPiWLFDHLQIRUPiWLFD\UHWLHQHQHQPD\RUPHGLGDD
ORV WLWXODUHV GH GRFWRUDGR DSUR[LPDGDPHQWH XQ GH ORV HXURSHRV TXH REWLHQHQ VX WtWXOR HQ ORV
(VWDGRV8QLGRVVLJXHYLYLHQGRDOOtYDULRVDxRV\PXFKRVGHHOORVSHUPDQHFHQHQHOSDtV
/DPRYLOLGDGGHORVHVWXGLDQWHVVLJXHVLHQGRPDUJLQDOHQ(XURSD(QVyORHOGHORV
HVWXGLDQWHV HXURSHRV UHDOL]DEDQ VXV HVWXGLRV HQ RWUR SDtV HXURSHR \ DXQTXH OD PRYLOLGDG GH ORV
LQYHVWLJDGRUHV HV VXSHULRU DODGH OD PHGLDGH ODSREODFLyQVH PDQWLHQHDXQQLYHO LQIHULRU DOGH ORV
(VWDGRV8QLGRV
/DV XQLYHUVLGDGHV SDUWLFLSDQ DFWLYDPHQWH HQ HO FRQMXQWR GH ODV DFFLRQHV GHO SURJUDPD
6Ï&5$7(6(5$6086'HVGHVXSXHVWDHQPDUFKDVHKDQEHQHILFLDGRGHHVWHSURJUDPDPiVGHXQ
PLOOyQ GH HVWXGLDQWHV \ FDGD DxR DSUR[LPDGDPHQWH SURIHVRUHV RSWDQ SRU OD PRYLOLGDG HQ HO
PDUFRGHGLFKRSURJUDPD
(O SURJUDPD /(21$5'2 SUHVWD DSR\R D SUR\HFWRV GH PRYLOLGDG HQWUH XQLYHUVLGDGHV \
HPSUHVDVGHORVFXDOHVVHKDQEHQHILFLDGRSHUVRQDVHQWUH\
1XPHURVDV UHGHV WHPiWLFDVLQWHUXQLYHUVLWDULDVFRQWULEX\HQDVtDUHIRU]DU ODFRRSHUDFLyQ D QLYHO
HXURSHR \D TXH DFW~DQ FRPR WKLQNWDQN JUXSR GH UHIOH[LyQ VREUH HO IXWXUR R OD HYROXFLyQ GH VX
PDWHULD
/D &RPXQLGDG KD DSR\DGR OD SXHVWD HQ PDUFKD GHO 6LVWHPD (XURSHR GH 7UDQVIHUHQFLD GH
&UpGLWRV(&76FX\RREMHWLYRHVHOUHFRQRFLPLHQWRGHORVSHUtRGRVGHHVWXGLR
/DVXQLYHUVLGDGHV WDPELpQSDUWLFLSDQHQODLQLFLDWLYD(XURSD\VXSODQGHDFFLyQSDUDHO
TXH SRWHQFLD HO GHVDUUROOR HQ WRGDV ODV XQLYHUVLGDGHV GHO DFFHVR HQ OtQHD FDPSXV YLUWXDO GH ORV
HVWXGLDQWHVHLQYHVWLJDGRUHV
(VWDFRRSHUDFLyQVHH[WLHQGHDVLPLVPRDRWUDVUHJLRQHVGHOPXQGRFRPRODUHJLyQPHGLWHUUiQHD
5XVLD \ ORV 1XHYRV (VWDGRV ,QGHSHQGLHQWHV \ ORV SDtVHV HQ GHVDUUROOR D WUDYpV GH ORV SURJUDPDV
7(0386 $/)$ \ $VLD /LQN ³(UDVPXV :RUOG´ TXH SHUPLWLUi DSR\DU OD FUHDFLyQ GH ³PiVWHUV
HXURSHRV´FRQHOREMHWRGHDWUDHUD(XURSDDDOJXQRVGHORVPHMRUHVHVWXGLDQWHVGHOPXQGRSDUDTXH
UHDOLFHQHVWXGLRVHQDOPHQRVGRVSDtVHVHXURSHRV
(OGHVIDVHHQWUHODRUJDQL]DFLyQGHODVXQLYHUVLGDGHVDQLYHOGH(VWDGRPLHPEUR\ODDSDULFLyQGH
GHVDItRVTXHVXSHUDQODVIURQWHUDVQDFLRQDOHVKDDXPHQWDGRHQORV~OWLPRVDxRVFRPRFRQVHFXHQFLDGH
ODFRQMXQFLyQGHORVVLJXLHQWHVIDFWRUHVODDSDULFLyQGHXQDXWpQWLFRPHUFDGRHXURSHRGHOWUDEDMRHQHO
TXH ORV FLXGDGDQRV HXURSHRV GHEHQ WHQHU OD SRVLELOLGDG GH GHVSOD]DUVH OLEUHPHQWH \ HQ HO TXH ODV
GLILFXOWDGHVTXHSODQWHD HOUHFRQRFLPLHQWRGHODVFXDOLILFDFLRQHV DGTXLULGDV FRQVWLWX\HQ XQREVWiFXOR
REVROHWRODVH[SHFWDWLYDVHQPDWHULDGHUHFRQRFLPLHQWRVXUJLGDVDUDt]GHODVDFFLRQHVOOHYDGDVDFDER
SRU OD SURSLD 8QLyQ (XURSHD SDUD IRPHQWDU OD PRYLOLGDG HVSHFLDOPHQWH PHGLDQWH OD LQLFLDWLYD

(5$6086 OD DSDULFLyQ GH XQD RIHUWD JOREDOL]DGD GH GLVWLQWRV SURJUDPDV XQLYHUVLWDULRV OD
SHUVLVWHQFLDGHODIXJDGHFHUHEURVHVWXGLDQWHVHLQYHVWLJDGRUHVGHDOWRQLYHO\HOPDQWHQLPLHQWRGHXQ
QLYHO FRPSDUDWLYDPHQWH EDMR GH DFWLYLGDG GH ODV XQLYHUVLGDGHV HXURSHDV D QLYHO LQWHUQDFLRQDO OD
LQWHQVLILFDFLyQ GH HVWRV IDFWRUHV SURYRFDGD SRU OD DPSOLDFLyQ GH OD 8QLyQ TXH JHQHUDUi XQD PD\RU
KHWHURJHQHLGDGGHOSDQRUDPDXQLYHUVLWDULRHXURSHR
/RV SURFHGLPLHQWRV HXURSHRV GH JDUDQWtD GH OD FDOLGDG YDUtDQ HQRUPHPHQWH HQ OR TXH UHVSHFWD D
HQIRTXHGHILQLFLyQGHODVSDODEUDVFODYHV\DJHQWHVGHJDUDQWtDGHODFDOLGDG
6H HMHFXWDQ LQLFLDWLYDV D QLYHO QDFLRQDO FRQWLQHQWH H LQWHUQDFLRQDO SDUD HO PHMRUDPLHQWR GH OD
FDOLGDGGHODHGXFDFLyQ
• (O6LVWHPD(XURSHRSDUDODPHMRUDGHODFDOLGDG(48,6RIUHFHGHVGHXQDDFUHGLWDFLyQTXHVHWUDGXFHHQODHWLTXHWD
(48,6SDUDHVFXHODVGHQHJRFLRV
• /D$VRFLDFLyQGHODV8QLYHUVLGDGHV(XURSHDV(8$TXHGHVGHRIUHFHXQSURJUDPDGHHYDOXDFLyQLQVWLWXFLRQDOHQHO
TXHKDQSUDFWLFDGRPiVGHHYDOXDFLRQHVLQVWLWXFLRQDOHVHQSDtVHVLQFOX\HQGRLQVWLWXFLRQHVODWLQRDPHULFDQDV
• &DVLWRGRVORV(VWDGRVPLHPEURV\SDtVHVFDQGLGDWRVDOD&(KDQLQYHUWLGRHQVLVWHPDVGHDVHJXUDPLHQWRGHFDOLGDGTXH
HVWiQLQWHJUDGRVGHIRUPDYROXQWDULDHQOD5HG(XURSHDSDUDHO$VHJXUDPLHQWRGHOD&DOLGDG(14$(XURSHDQ1HWZRUNIRU
4XDOLW\$VVXUDQFHLQ+LJKHU(GXFDWLRQFUHDGDHQ
• $VRFLDFLRQHVLQWHUQDFLRQDOHVYLQFXODGDVDOPXQGRXQLYHUVLWDULRTXHVHSUHRFXSDQSRUODFDOLGDGGHODGRFHQFLDFRPROD
(XURSH'LPHQVLRQRI,QVWLWXWLRQDO4XDOLW\0DQDJHPHQWROD,QWHUQDWLRQDO1HWZRUNIRU4XDOLW\$VVXUDQFH$JHQFLHVLQ+LJKHU
(GXFDWLRQ,14$$+(
• 'HVGHHOFXUVRVHKDQSXHVWRHQPDUFKDRWUDVLQLFLDWLYDVWUDQVQDFLRQDOHVFRQHODSR\RHFRQyPLFR\HVWUXFWXUDO
GHOD&RPLVLyQ(XURSHDFRPRVRQHO3UR\HFWR7XQLQJ(GXFDWLRQDO6WUXFWXUHVLQ(XURSHHQPDUFDGRHQHOSURFHVRGH/D
6RUERQD%RORQLD3UDJD%HUOtQSDUWLFLSDQXQLYHUVLGDGHVFRQHOREMHWLYRGHGHILQLUFULWHULRVFRPXQHVSDUDHODSUHQGL]DMHHQ
FLQFRGLVFLSOLQDV1HJRFLRV &LHQFLDVGH OD(GXFDFLyQ*HRORJtD+LVWRULD\0DWHPiWLFDVDVtFRPRFULWHULRVSURIHVLRQDOHV
FRPXQHVHQWpUPLQRVGHFRQRFLPLHQWRVKDELOLGDGHV\FRPSHWHQFLDVXWLOL]DQGRODVH[SHULHQFLDVDFXPXODGDVHQORVSURJUDPDV
(5$6086\6Ï&5$7(6GHVGH
• (QHOVHFUHDHO(VSDFLR&RP~QGH(GXFDFLyQ6XSHULRU8QLyQ(XURSHD$PpULFD/DWLQD\&DULEH8($/&SDUD
IDFLOLWDUODPRYLOLGDGGHHVWXGLDQWHVSURIHVRUHVHLQYHVWLJDGRUHVODFUHDFLyQGHVLVWHPDVGHFUpGLWRVFRPSDWLEOHVTXHSHUPLWDQHO
UHFRQRFLPLHQWR\ODFRQYDOLGDFLyQGHSHUtRGRVGHHVWXGLRVUHVSHWDQGRODOHJLVODFLyQYLJHQWHHQFDGDSDtVDVtFRPRIDFLOLWDUHO
LQWHUFDPELRGHH[SHULHQFLDVUHIHUHQWHVDODGLUHFFLyQHYDOXDFLyQ\JHVWLyQGHORVVLVWHPDVGHHGXFDFLyQGHODVWUHVUHJLRQHV\VXV
FODYHVIXQGDPHQWDOHVVRQODFRQILDQ]DPXWXD\HOUHFRQRFLPLHQWR
• &RQVWLWXLGDRILFLDOPHQWHHQPD\RGHOHQ%XHQRV$LUHVOD5HG,EHURDPHULFDQDSDUDOD$FUHGLWDFLyQGHOD&DOLGDG
GHOD(GXFDFLyQ6XSHULRU5,$&(6FRQODDVLVWHQFLDGHUHSUHVHQWDQWHVGHDJHQFLDVGHDFUHGLWDFLyQGHODFDOLGDG\GH0LQLVWHULRV
GH(GXFDFLyQGHSDtVHVLEHURDPHULFDQRVHQWUHORVTXHHVWiQ(VSDxD0p[LFR&XED$UJHQWLQD&KLOH%ROLYLD*XDWHPDOD
&RVWD5LFD(FXDGRU8UXJXD\\&RORPELD6XREMHWLYRSULQFLSDOHVSURPRYHUODFRRSHUDFLyQ\HOLQWHUFDPELRGHLQIRUPDFLyQ\
ODVEXHQDVSUiFWLFDVHQWUHORVGLVWLQWRVRUJDQLVPRV\HQWLGDGHVGHDFUHGLWDFLyQSDUDDOFDQ]DUODFRKHVLyQUHJLRQDOHQPDWHULDGH
HYDOXDFLyQ\DFUHGLWDFLyQ\FRQWULEXLUDODSURIXQGL]DFLyQGHORVSURFHVRVGHLQWHJUDFLyQVXEUHJLRQDOHVHQPDUFKD\DFWXDUFRPR
LQWHUORFXWRUFRQRWURVRUJDQLVPRVGHFDUiFWHULQWHUQDFLRQDO
• (QQRYLHPEUHGHDJHQFLDVGHDFUHGLWDFLyQGH$OHPDQLD$XVWULD%pOJLFD+RODQGD,UODQGD1RUXHJD6XL]D\
(VSDxDILUPDURQHQ&yUGRED(VSDxDHODFXHUGRGHFRQVWLWXFLyQGHO&RQVRUFLR(XURSHRGH$FUHGLWDFLyQ(&$6XREMHWLYR
HVFRQWULEXLUDODFUHDFLyQGHO(VSDFLR(XURSHRGH$FUHGLWDFLyQTXHLQFOX\DHOUHFRQRFLPLHQWRPXWXRWDQWRELODWHUDOFRPR
PXOWLODWHUDOSDUDTXHODVGHFLVLRQHVVREUHDFUHGLWDFLyQWRPDGDVHQXQSDtVVHDQDFHSWDGDVHQHOUHVWR6HSXHGHQPHQFLRQDU
WDPELpQOD,QLFLDWLYD&RQMXQWDGHOD&DOLGDG-RLQW4XDOLW\,QLDWLYHHO5HJLVWUR0XQGLDOGHOD&DOLGDGOD$VRFLDFLyQGHODV
8QLYHUVLGDGHV(XURSHDV(8$HO6LVWHPDGH(YDOXDFLyQGHOD&DOLGDGGHOD(QVHxDQ]DGHOD,QJHQLHUtD6(&$,

)URPHQW (ULF 8Q HVSDFLR HXURSHR SDUD OD HYDOXDFLyQ GH OD FDOLGDG (Q (YDOXDFLyQ GH OD FDOLGDG \
DFUHGLWDFLyQ(VSDFLRFRP~QGH(GXFDFLyQ6XSHULRU8QLyQ(XURSHD$PpULFD/DWLQD\&DULEH8($/&(GLWDGR
SRU$1(&$(VSDxD

(Q)LFKDVLQIRUPDWLYDVGHSURJUDPDV\DFWLYLGDGHV$1(&$

6LWLRKWWSZZZMRLQWTXDOLW\QO

7DEOD2EMHWLYRVGHOSURFHVRGHVGHOD6RUERQDKDVWD%HUOtQ

'(&/$5$&,Ï1'(/$625%21$

³3URPRYHUODFRQYHUJHQFLDHQWUHORVVLVWHPDVQDFLRQDOHVGHOD(GXFDFLyQ´

%2/21,$
*HQHUDOL]DFLyQGHO6LVWHPDGH&UpGLWRV(XURSHR
$GRSFLyQGHO6XSOHPHQWRDOGLSORPD
$GRSFLyQGHXQDHVWUXFWXUDEDVDGDHQGRVFLFORV

35$*$(675$7(*,$6

5HFRQRFLPLHQWRDFDGpPLFRXQPDUFRGHFXDOLILFDFLRQHVFRP~Q\IOH[LEOH
&RPSHWLWLYLGDG HQ IRUPDFLyQ H LQYHVWLJDFLyQ GHQWUR \ IXHUD GH QXHVWUDV
IURQWHUDV

6$/$0$1&$3$5/$0(172(8523(2

&80%5(%$5&(/21$
(GXFDFLyQ\ELHQHVWDUVRFLDO
(VWDEOHFLPLHQWRGHVLVWHPDVHGXFDWLYRVGHPi[LPDFDOLGDG

*5$=%(5/,1

(/(63$&,2(8523(2'(('8&$&,Ï1683(5,25

• 'HVDUUROODUOD(XURSDGHOFRQRFLPLHQWR
• 'HVDUUROODUXQVLVWHPDHGXFDWLYRGHFDOLGDG
• 'HVDUUROODUHOUHIHUHQWHHXURSHR

&/$9(6'(/$5()250$(8523($

• (GXFDFLyQFRPRDSUHQGL]DMH
• 7LWXODFLRQHVRULHQWDGDVDSHUILOHVSURIHVLRQDOHV
• 2EMHWLYRVFRPSHWHQFLDV\FRQRFLPLHQWRV
• 0HWRGRORJtDVGRFHQWHV
• 'HVDUUROORVDGPLQLVWUDWLYRV\GHJHVWLyQ

7RPDGRGH6DQWLDJR*DUFtD3UHVLGHQWHGHOD$VRFLDFLyQ$OH[DQGHUYRQ+XPEROGWGH(VSDxD
&DWHGUiWLFRGHOD8QLYHUVLGDGGH$OFDOi

$PSOLDFLyQ VREUH ORV REMHWLYRV TXH VH SHUVLJXHQ FRQ XQD (GXFDFLyQ 6XSHULRU GH
H[FHOHQFLDHQ(XURSD
(Q OD &RPXQLFDFLyQ GH OD &RPLVLyQ GH ODV &RPXQLGDGHV (XURSHDV %UXVHODV ³(O
SDSHOGHODVXQLYHUVLGDGHVHQOD(XURSDGHOFRQRFLPLHQWR´VHSODQWHDTXHOD8QLyQ(XURSHD
QHFHVLWD ³XQ HQWRUQR XQLYHUVLWDULR VDQHDGR \ IORUHFLHQWH´ H[FHOHQFLD HQ VXV XQLYHUVLGDGHV
SDUD RSWLPL]DU ORV SURFHVRV TXH VXVWHQWDQ OD VRFLHGDG GHO FRQRFLPLHQWR \ ORJUDU HO REMHWLYR
ILMDGR HQ HO &RQVHMR (XURSHR GH /LVERD FRQYHUWLUVH HQ ³OD HFRQRPtD PiV FRPSHWLWLYD \
GLQiPLFDGHOPXQGREDVDGDHQHOFRQRFLPLHQWRFDSD]GHVXVWHQWDUHOFUHFLPLHQWRHFRQyPLFR
\ FUHDU XQ PD\RU Q~PHUR GH SXHVWRV GH WUDEDMR GH PHMRU FDOLGDG \ XQD PD\RU FRKHVLyQ
VRFLDO´
(O&RQVHMR(XURSHRGH%DUFHORQDUHFRQRFLyHVWDQHFHVLGDGGHH[FHOHQFLDDODERJDUSRU
TXHORVVLVWHPDVHXURSHRVHGXFDWLYRVVHFRQYLUWLHUDQHQXQDUHIHUHQFLDGHFDOLGDGPXQGLDO
SDUDHO(QFRQVHFXHQFLDVHPDQLILHVWDTXHVLODFUHDFLyQGHXQD(XURSDEDVDGDHQHO
FRQRFLPLHQWR UHSUHVHQWD SDUD ODV XQLYHUVLGDGHV XQD IXHQWH GH RSRUWXQLGDGHV WDPELpQ
UHSUHVHQWDFRQVLGHUDEOHVGHVDItRVGHELGRDTXHOD(GXFDFLyQ6XSHULRU(XURSHDVHGHVDUUROODHQ
XQPDUFRFRPSOHMR
(O LQWHUpV SRU LPSOHPHQWDU OD HYDOXDFLyQ GH ODV XQLYHUVLGDGHV HXURSHDV FUHFLy
QRWDEOHPHQWHDSDUWLUGHFRQODSXEOLFDFLyQGHOGRFXPHQWR&UHFLPLHQWRFRPSHWLWLYLGDG
HPSOHR 5HWRV \ SLVWDV SDUD HQWUDU HQ HO VLJOR ;;, /LEUR %ODQFR HODERUDGR SRU OD
&RPXQLGDG(XURSHDSDUDSURSRQHUVROXFLRQHVDORVJUDYHVSUREOHPDVGHULYDGRVGHOGHVFHQVR
HQHOULWPRGHFUHFLPLHQWRGHODHFRQRPtDHXURSHDHQGHVYHQWDMDIUHQWHDORV(VWDGRV8QLGRV\
-DSyQ HQ FXDQWR D HPSOHR PHUFDGR H[WHULRU LQYHVWLJDFLyQ LQQRYDFLyQ WHFQROyJLFD \
HODERUDFLyQGHQXHYRVSURGXFWRVLQGXVWULDOHV

&RPXQLFDFLyQGHOD&RPXQLGDG(XURSHD³(OSDSHOGHODVXQLYHUVLGDGHVHQOD(XURSDGHOFRQRFLPLHQWR´

&RQVHMR (XURSHR GH %DUFHORQD &RQFOXVLRQHV GH OD 3UHVLGHQFLD (Q 0LQLVWHULR GH (GXFDFLyQ &XOWXUD \
'HSRUWHGH(VSDxD'RFXPHQWR0DUFR/DLQWHJUDFLyQGHOVLVWHPDXQLYHUVLWDULRHVSDxROHQHOHVSDFLRHXURSHRGH
HQVHxDQ]DVXSHULRU)HEUHUR'RFXPHQWRSGIEDMDGRGH*RRJOHHO

'RFXPHQWR &UHFLPLHQWR FRPSHWLWLYLGDG HPSOHR 5HWRV \ SLVWDV SDUD HQWUDU HQ HO VLJOR ;;,&RPXQLGDG
(XURSHD %ROHWtQ 6XSOHPHQWR (Q $JXLODU +HUQiQGH] 0DULHORV /D HYDOXDFLyQ LQVWLWXFLRQDO GH ODV
XQLYHUVLGDGHV7HQGHQFLDV\GHVDItRV9,&RQJUHVR8QLYHUVLWDULR8&5KWP%DMDGRGH*RRJOHHO

7DEOD&UpGLWRV(&76HQOD8QLyQ(XURSHD\6XSOHPHQWRHXURSHRDOWtWXORGHGRFWRU

/RVFUpGLWRV(&76GHWUDQVIHUHQFLD\DFXPXODFLyQVHEDVDQHQHOWUDEDMRGHO
HVWXGLDQWHVWXGHQWZRUNORDG

FUpGLWRV(&76UHSUHVHQWDQ

VHPDQDVDSUR[GHHVWXGLRDWLHPSRFRPSOHWR
KRUDVDSUR[GHWUDEDMRGHOHVWXGLDQWH
FUpGLWRHTXLYDOHDPQKRUDVGHWUDEDMR

&UpGLWRV(&76HQ(VSDxD

&UpGLWRVGHWUDQVIHUHQFLD\DFXPXODFLyQPLGHQHOWUDEDMRGHOHVWXGLDQWH
&UpGLWRVSRUFXUVRDFDGpPLFRVHPDQDV
&UpGLWR KK

5HVXPHQGHODHVWUXFWXUDGHODWLWXODFLyQ

*UDGR&UpGLWRV(XURSHRV(&76
3RVJUDGR&UpGLWRV(XURSHRV(&76
6XSOHPHQWRHXURSHRDOWtWXORGHGRFWRU

Ö &HUWLILFDGR TXH LQFOXLUi LQIRUPDFLyQ DFDGpPLFD \ SURIHVLRQDO TXH SXHGD VHU
FRQWUDVWDGD SRU OD XQLYHUVLGDG \ HO PXQGR ODERUDO 5HIOHMDUi OD WUD\HFWRULD
DFDGpPLFD\SURIHVLRQDOGHFDGDHVWXGLDQWHFRQVXVGDWRV

• LQIRUPDFLyQVREUHODWLWXODFLyQFDPSRVGHHVWXGLRQDWXUDOH]DGHOD
LQVWLWXFLyQHQODTXHVHFXUVy
• QLYHOGHORVHVWXGLRVGXUDFLyQGHOSURJUDPD\UHTXLVLWRVGHDFFHVR
• FRQWHQLGRGHODWLWXODFLyQ\UHVXOWDGRVIRUPDGHHVWXGLRUHTXLVLWRVGHO
SURJUDPDFUpGLWRVFDOLILFDFLRQHVHQODVPDWHULDV
• RWUDVLQIRUPDFLRQHVUHODWLYDVDODFFHVRDRWURVHVWXGLRV\DODFRQGLFLyQ
SURIHVLRQDO

3DUDODLPSODQWDFLyQGHHVWHVXSOHPHQWRHXURSHRVHSUHYpQGRVHWDSDV

3ULPHUDIDVHWUDQVLWRULDHQODTXHVHSRGUiH[SHGLUSDUDORVWtWXORVDFWXDOHV
6HJXQGDGHILQLWLYDXQDYH]TXHYHDQODOX]ODVQXHYDVWLWXODFLRQHVFRQIRUPHD
ORVFUpGLWRVHXURSHRV

(O0RGHOR(XURSHRGH([FHOHQFLDDGDSWDGRDORVFHQWURVHGXFDWLYRV
,PSODQWDU HO 0RGHOR ()40 VLJQLILFD XWLOL]DUOR FRPR UHIHUHQWH SDUD SURGXFLU XQ FDPELR FXOWXUDO
TXH LQFRUSRUH H LQWHJUH ORV YDORUHV \ SULQFLSLRV EiVLFRV GH OD H[FHOHQFLD HPSUHVDULDO \ FRPR
PHWRGRORJtDGHPHMRUDSHUPDQHQWHSDUDDOFDQ]DUGLFKDH[FHOHQFLD/DLPSODQWDFLyQHVXQSURFHVRTXH
UHTXLHUH)RUPDFLyQ'LDJQyVWLFR\3ODQHVGHDFFLyQHQFDPLQDGRVDOD0HMRUDSHUPDQHQWH
(O0RGHORSURSRUFLRQDXQHVTXHPDJHQHUDOSDUDDSOLFDUODDXWRHYDOXDFLyQ\UHDOL]DUPHMRUDV6X
IXHU]DSURFHGHGHODFRPSUHQVLyQGHODVUHODFLRQHVTXHH[LVWHQHQWUHORVGLYHUVRVFULWHULRV
(VWiIRUPDGRSRUGRVEORTXHVHOGHORVDJHQWHV\HOGHORVUHVXOWDGRV&RQHOREMHWLYRSXHVWRHQORV
UHVXOWDGRV ILQDOHV TXH HV OD VDWLVIDFFLyQ GH ODV QHFHVLGDGHV GHO FOLHQWH FRQFUHWDGRV HQ UHVXOWDGRV GHO
SURSLR FOLHQWH GH OD LQVWLWXFLyQ HO DOXPQR ORV UHVXOWDGRV HQ HO SHUVRQDO GH OD LQVWLWXFLyQ \ ORV
UHVXOWDGRV HQ OD VRFLHGDG HV D WUDYpV GHO EORTXH GH ORV DJHQWHV FRQFUHWDGRV HQ HO OLGHUD]JR GH OD
LQVWLWXFLyQHQVXSROtWLFD\HVWUDWHJLDHQHOSHUVRQDOGHODLQVWLWXFLyQ\HQORVFRODERUDGRUHV\UHFXUVRV
TXHFRQWULEX\HQHQODFRQFUHFLyQGHODUHDOL]DFLyQGHORVSURFHVRVSDUDFRQVHFXFLyQGHORVORJURVHQ
FRKHUHQFLDFRQODVQHFHVLGDGHVGHOFOLHQWH
(O0RGHOR(XURSHRGH*HVWLyQGH&DOLGDGDGDSWDGRDORVFHQWURVHGXFDWLYRVVHUiODUHIHUHQFLDSDUD
ODHYDOXDFLyQGHODVPHPRULDV\ODFRQFHVLyQGHOSUHPLRHQFXDOTXLHUDGHVXVPRGDOLGDGHV
/DVROLFLWXGVHUiHYDOXDGD\SXQWXDGDGHDSXQWRV6HGDXQYDORUUHODWLYRDFDGDXQRGHORV
QXHYH FULWHULRV GHO 0RGHOR /DV FLIUDV LQGLFDGDV PDUFDQ HO Q~PHUR Pi[LPR GH SXQWRV TXH SXHGHQ
DVLJQDUVHDFDGDXQRGHHOORV\VXHTXLYDOHQWHSRUFHQWXDO
&ULWHULRVGHOEORTXHGHORVDJHQWHVRIDFLOLWDGRUHVSXQWRV
¾ /LGHUD]JRFRPSRUWDPLHQWR\DFWXDFLyQGHGLULJHQWHVGHODLQVWLWXFLyQHQFDPLQDGRDFRQGXFLUHO
FHQWURKDFLDODJHVWLyQGHODFDOLGDGSXQWRV
¾ 3ODQLILFDFLyQ\HVWUDWHJLDUHIHULGDDODPLVLyQORVYDORUHV\ODGLUHFFLyQHVWUDWpJLFDGHOFHQWUR\
DOPRGRHQTXHVHLPSODQWDQORVSUR\HFWRVGHODRUJDQL]DFLyQSXQWRV
¾ *HVWLyQGHOSHUVRQDOFHQWUDGDHQODIRUPDHQTXHODLQVWLWXFLyQXWLOL]DDOPi[LPRHOSRWHQFLDOGH
VXSHUVRQDOSDUDODPHMRUDFRQWLQXDGHODLQVWLWXFLyQSXQWRV
¾ &RODERUDGRUHV\5HFXUVRVUHIHULGRDOHVWDEOHFLPLHQWRGHDOLDQ]DVFRQFRODERUDGRUHV\DOD
JHVWLyQXVR\FRQVHUYDFLyQGHORVPHGLRVPDWHULDOHVDOVHUYLFLRGHODVIXQFLRQHVGHODRUJDQL]DFLyQ
SXQWRV
¾ 3URFHVRVUHIHULGRDODIRUPDHQFyPRVHLGHQWLILFDQORVSURFHVRVVHSODQLILFDQVHJHVWLRQDQVH
DSOLFDQVHUHYLVDQ\VHHYDO~DQ\VHPHMRUDQHQFRKHUHQFLDFRQORVHVWiQGDUHVUHSUHVHQWDWLYRVGHORV
SUR\HFWRVGHODLQVWLWXFLyQHGXFDWLYDSXQWRV

&ULWHULRVGHOEORTXHGHORVUHVXOWDGRVSXQWRV
¾5HVXOWDGRV HQ OD 6DWLVIDFFLyQ GHO FOLHQWH OR TXH VH HVSHUD TXH FRQVLJD HO FHQWUR HGXFDWLYR HQ
UHODFLyQFRQVXPLVLyQSXQWRV
¾5HVXOWDGRVHQOD6DWLVIDFFLyQGHOSHUVRQDODGHFXDGDUHVSXHVWDDODVQHFHVLGDGHV\H[SHFWDWLYDVGH
ODVSHUVRQDVTXHWUDEDMDQHQODRUJDQL]DFLyQ,QWHJUDFDPSRVFRPRHODPELHQWHODERUDOODIRUPDFLyQ
FRQWLQXDODVDOXGRODVHJXULGDGSXQWRV
¾5HVXOWDGRV HQ OD ,PSDFWR VRFLDO TXp FRQVLJXH HO FHQWUR HQ UHODFLyQ FRQ ODV QHFHVLGDGHV \
H[SHFWDWLYDVGHODVRFLHGDG\HQHOHQWRUQRSUy[LPRSXQWRV
¾5HQGLPLHQWRTXpFRQVLJXHHOFHQWURHQUHODFLyQFRQOD3ROtWLFDVXHVWUDWHJLD\SODQLILFDFLyQ\FRQ
UHVSHFWRDODVDWLVIDFFLyQGHODVQHFHVLGDGHV\H[SHFWDWLYDVSXQWRV
&DUDFWHUtVWLFDVGHO0RGHOR(XURSHRGH([FHOHQFLD()40
'LQiPLFR YD HYROXFLRQDQGR \ DGDSWiQGRVH D ORV FDPELRV TXH VH SURGXFHQ HQ HO HQWRUQR
&HQWHQDUHVGHH[SHUWRVHQULTXHFHQHVWHPRGHORDxRWUDVDxRFRQVXVDSRUWDFLRQHV
3HUIHFWDPHQWHDSOLFDEOHDFXDOTXLHUWLSRGHHPSUHVDXRUJDQL]DFLyQWDQWRGHOVHFWRUSULYDGRFRPR
GHOS~EOLFRKRVSLWDOHVFHQWURVGHHQVHxDQ]DD\XQWDPLHQWRVHQWLGDGHVQROXFUDWLYDV\SRUVXSXHVWR
HQ 3<0( \D VHDQ pVWDV LQGXVWULDOHV R GH VHUYLFLRV H LQFOXVR HQ PLFUR 3<0( R SHTXHxDV
RUJDQL]DFLRQHV
0D\RUpQIDVLVHQOD([FHOHQFLDTXHHODQWHULRU0RGHORGH*HVWLyQGHOD&DOLGDG1RVHWUDWDGHXQ
PRGHORGHHYDOXDFLyQSDUDHODVHJXUDPLHQWRGHODFDOLGDGVLQRTXHSUHWHQGHLUPiVDOOiEXVFDQGROD
H[FHOHQFLDHLQFRUSRUDQGRORVSULQFLSLRVGHOD&DOLGDG7RWDOGHXQDPDQHUDH[SOtFLWD
6XSRQHXQPDUFRGHWUDEDMRQRSUHVFULSWLYRTXHUHFRQRFHTXHODH[FHOHQFLDGHXQDRUJDQL]DFLyQ
VHSXHGHORJUDUGHPDQHUDVRVWHQLGDPHGLDQWHGLVWLQWRVHQIRTXHV3UHWHQGHVHUXQD³JXtDGHVFULSWLYDGH
RUJDQL]DFLyQ GH LQVWLWXFLRQHV´ GHQWUR GHO SDUDGLJPD GH &DOLGDG 7RWDO FRQ HO ILQ GH D\XGDU D ODV
RUJDQL]DFLRQHVDFRQRFHUVHXWLOL]DQGRODHVWUDWHJLDGHODDXWRHYDOXDFLyQPHGLDQWHODFRPSDUDFLyQGH
ORV LQGLFDGRUHV GHVFULSWLYRV GHO 0RGHOR FRQ HO IXQFLRQDPLHQWR UHDO GH OD RUJDQL]DFLyQ OR FXDO
FRQFOXLUtD HQ XQ LQIRUPH GHVFULSWLYR HQ HO TXH VH UHIOHMDQ ORV DVSHFWRV GH IXQFLRQDPLHQWR \ ORJURV
SRVLWLYRV GH OD RUJDQL]DFLyQ DVt FRPR DTXHOORV QHFHVLWDGRV GH PHMRUD TXH VHUtDQ REMHWR GH SODQHV \
SUR\HFWRVGHPHMRUDGHODLQVWLWXFLyQ
'HILQH IDFWRUHV FUtWLFRV SDUD HO EXHQ IXQFLRQDPLHQWR GH XQD RUJDQL]DFLyQ D ORV TXH GHQRPLQD
FULWHULRV LQWHJUDGRV SRU LQGLFDGRUHV /D FRPSUREDFLyQ VLVWHPiWLFD GH OD H[LVWHQFLD R QR GH GLFKRV
LQGLFDGRUHV SHUPLWH WHQHU XQ FRQRFLPLHQWR REMHWLYR GHO IXQFLRQDPLHQWR GHO FHQWUR SDUD HODERUDU
SUR\HFWRV\SODQHVGHPHMRUD
)XQGDPHQWDFLyQGHO0RGHORGH([FHOHQFLDHXURSHR(QORVSULQFLSLRVGHOPRYLPLHQWR
GHOD&DOLGDG7RWDOTXHLQWHJUDODVWHRUtDVGHOD(YDOXDFLyQGH3URJUDPDVH,QVWLWXFLRQHV\ODV
7HRUtDV GH 2UJDQL]DFLyQ (PSUHVDULDO HQ FRQWLQXD UHYLVLyQ SDUD VX YDOLGDFLyQ HPStULFD \
JHQHUDOL]DFLyQ
3UHPLVD GHO 0RGHOR (XURSHR GH ([FHOHQFLD /D 6DWLVIDFFLyQ GH &OLHQWH \ (PSOHDGRV \ HO
,PSDFWRHQOD6RFLHGDGVHFRQVLJXHQPHGLDQWHXQ/LGHUD]JRTXHLPSXOVHOD3ROtWLFD\(VWUDWHJLDODV
SHUVRQDV GH OD RUJDQL]DFLyQ ODV $OLDQ]DV \ 5HFXUVRV \ ORV 3URFHVRV KDFLD OD FRQVHFXFLyQ GH OD
([FHOHQFLDHQORV5HVXOWDGRVGHODRUJDQL]DFLyQ´
)LQDOLGDGGHOPRGHORDSOLFDGRDOiPELWRHGXFDWLYR&RQRFHUODUHDOLGDGGHOFHQWURGH
XQPRGRULJXURVR\UHIOH[LRQDUVREUHHOODORTXHSRVLELOLWDUi\HODERUDUSODQHV\HVWUDWHJLDV
GHPHMRUD

0DSDGHORV&ULWHULRVGHO0RGHOR /D EDVH GHO 0RGHOR GH ([FHOHQFLD HQ HO
iPELWR HGXFDWLYRDO LJXDO TXH HQHO VHFWRU
HPSUHVDULDO HV OD DXWRHYDOXDFLyQ
HQWHQGLGD FRPR XQ H[DPHQ JOREDO \
VLVWHPiWLFR GH ODV DFWLYLGDGHV \ UHVXOWDGRV
GHXQDRUJDQL]DFLyQTXHVHFRPSDUDFRQXQ
PRGHOR GH H[FHOHQFLD SDUD FRQVHJXLU XQD
FRPSUHQVLyQ GHWDOODGD GHO &HQWUR
(GXFDWLYR \ UHDOL]DU XQ GLDJQyVWLFR VREUH
FXDO HV OD VLWXDFLyQ GHO FHQWUR VHxDODQGR
ORVSXQWRVIXHUWHV\ODViUHDVGHPHMRUD$
SDUWLU GH HVWH GLDJQyVWLFR VH HODERUDQ
SURSXHVWDV GH PHMRUD REMHWLYDV FRQFUHWDV
\ FRQVHJXLEOHV HQ XQ SOD]R GHWHUPLQDGR
DUELWUDQGRXQVHJXLPLHQWRGHGLFKRSODQGH
PHMRUD H LQWURGXFLpQGRVH HQ HO FHQWUR XQD
GLQiPLFDGHPHMRUDFRQWLQ~DODJHVWLyQGHODFDOLGDG/DDXWRHYDOXDFLyQXWLOL]DODHVWUDWHJLDGHOFLFOR
GH 'HPLQJ /DV DFWLYLGDGHV GH PHMRUD FRQVWDQWH VH UHDOL]DQ PHGLDQWH OD VHFXHQFLD GH SODQLILFDU OD
PHMRUDLPSOHPHQWDUODYHULILFDUVXVHIHFWRV\DFWXDUHQIXQFLyQGHORVUHVXOWDGRVGHGLFKDYHULILFDFLyQ
/DYHUVLyQHQYLJRUGHVGHHOGHO0RGHOR()40GH([FHOHQFLDGLILHUHGHODYHUVLyQDQWHULRUHQ
QXHYRQRPEUHGHOPRGHOR0RGHOR()40GH([FHOHQFLDVHVXSULPHODSDODEUDHPSUHVDULDOHO
&ULWHULRSDVDDOODPDUVH&RODERUDGRUHV\5HFXUVRVHQORVQRPEUHVGHORVFULWHULRV\VH
VXVWLWX\HODSDODEUD6DWLVIDFFLyQSRU5HVXOWDGRVHOQXHYRQRPEUHGHO&ULWHULRHV5HQGLPLHQWR
)LQDOGHODRUJDQL]DFLyQVHLQWURGXFHODOyJLFD5('(5TXHLQWHJUDGHXQDIRUPDPiVFRPSOHWDODV
DQWLJXDVUHJODVGHHYDOXDFLyQ(QHOPDSDGHOPRGHORVHVXEUD\DODLPSRUWDQFLDGHODLQQRYDFLyQ\HO
DSUHQGL]DMH DxDGLHQGR XQD IOHFKD GH UHDOLPHQWDFLyQ 6H LQVLVWH WDPELpQ HQ HVWRV GRV FRQFHSWRV HQ
YDULRVVXEFULWHULRV
9DORUDFLyQGHO0RGHOR(XURSHRGH*HVWLyQGH&DOLGDGSDUDODHGXFDFLyQ
&RQVWLWX\HXQLQVWUXPHQWRTXHFRQWULEX\HDODIRUPDFLyQHQJHVWLyQGHODFDOLGDGDODYH]TXHRIUHFHXQ
PDUFRGHUHIHUHQFLDFRQXQRVLQGLFDGRUHV\OHQJXDMHFRP~QTXHYDDSHUPLWLUFRQRFHUHOIXQFLRQDPLHQWR
GHORVFHQWURV
6X DSOLFDFLyQ YD DVRFLDGD D OD UHDOL]DFLyQ GH SURFHVRV GH DXWRHYDOXDFLyQ FRQ HO ILQ GH YDORUDU HO
SURJUHVRGHODLQVWLWXFLyQ\HVWDEOHFHU3ODQHVGH0HMRUD
6HEDVDHQODXWLOL]DFLyQGHKHFKRV\GDWRVUHFRJLGRVGHIRUPDVLVWHPiWLFD
/D DXWRHYDOXDFLyQ FRQFOX\H HQ XQ DXWRLQIRUPH EDVDGR HQ HO DQiOLVLV GH OD LQIRUPDFLyQ UHFRJLGD TXH
SHUPLWDQIXQGDPHQWDUORV3ODQHV\3UR\HFWRVGHPHMRUD
6XDSOLFDFLyQDORV&HQWURV(GXFDWLYRVQHFHVLWDGHXQDPD\RUHODERUDFLyQGHVXVLQGLFDGRUHVDGDSWDGRV
D ODV FDUDFWHUtVWLFDV GHO VLVWHPD HGXFDWLYR EXVFDQGR ORJUDU XQ PD\RU FRPSURPLVR GH OD FRPXQLGDG
HGXFDWLYDSRUODFDOLGDG\XQDLPSOLFDFLyQGHORVPLHPEURVGHORVFHQWURVHGXFDWLYRVHQHOGHVDUUROORGH
LQGLFDGRUHV TXH DSRUWHQ LQIRUPDFLyQ VREUH OD JHVWLyQ GH ORV FHQWURV \ OD FDOLGDG GH ORV SURJUDPDV
HGXFDWLYRV\GHORVSURFHVRVSDUDODFRQVHFXFLyQGHORVREMHWLYRVHGXFDWLYRV
3RVLFLRQD\UHODFLRQDHQWUHVtGHXQDPDQHUDRUGHQDGDDVSHFWRVPRGHUQRVGHOD*HVWLyQFRPRSXHGHQ
VHUODJHVWLyQGHOFRQRFLPLHQWR\GHODLQIRUPDFLyQ\ODJHVWLyQGHODLQQRYDFLyQGHODWHFQRORJtDRGHOD
FUHDWLYLGDG FRQ DVSHFWRV FOiVLFRV TXH QR SRU VHU DQWHULRUHV HQ HO WLHPSR WDQWR HQ VX FRQFHSWXDOL]DFLyQ
FRPR HQ VX GHVDUUROOR PHWRGROyJLFR VRQ PHQRV LPSRUWDQWHV R QRV SRGHPRV SHUPLWLU GHVFXLGDU FRPR
SXHGHQ VHU OD JHVWLyQ GH OD HVWUDWHJLD OD FRPXQLFDFLyQ LQWHUQD OD JHVWLyQ GH ORV ULHVJRV HFRQyPLFRV \
ILQDQFLHURV\ODVHJXULGDGODERUDO

3HUPLWHRUGHQDUHLQWHUUHODFLRQDUWRGRVHVWRVHOHPHQWRVGHODJHVWLyQ/DVRUJDQL]DFLRQHVTXHUHDOL]DQ
XQD$XWRHYDOXDFLyQVXHOHQGHVFXEULUPiVGHXQFHQWHQDUGHiUHDVGHPHMRUDGHVGHDTXHOODVTXHH[LJHQ
XQDWRPDGHGHFLVLyQHVWUDWpJLFDDRWUDVTXHUHTXLHUHQDUUHJORVUiSLGRVHVSHFtILFRV
7DEOD'HVFULSFLyQGHDOJXQDVLQLFLDWLYDVWUDQVQDFLRQDOHVHQ(XURSD

3UR\HFWR7XQLQJ

)XQGDPHQWR GHO SUR\HFWR 7XQLQJ VHJ~Q HO ,QIRUPH )LQDO 3UR\HFWR SLORWR )DVH GHO 7XQLQJ
(GXFDWLRQDO6WUXFWXUHVLQ(XURSHUHDOL]DGRSRUPiVGH8QLYHUVLGDGHV

6HRULHQWDKDFLDFRPSHWHQFLDVJHQpULFDV\HVSHFtILFDVDFDGDiUHDWHPiWLFDGHORVJUDGXDGRVGH
SULPHUR\VHJXQGRFLFOR
7LHQH XQ LPSDFWR GLUHFWR HQ HO UHFRQRFLPLHQWR DFDGpPLFR JDUDQWtD \ FRQWURO GH FDOLGDG
FRPSDWLELOLGDGGHORVSURJUDPDVGHHVWXGLRDQLYHOHXURSHRDSUHQGL]DMHDGLVWDQFLD\DSUHQGL]DMH
SHUPDQHQWH
1RVHFHQWUDHQORVVLVWHPDVHGXFDWLYRVVLQRHQODVHVWUXFWXUDV\HOFRQWHQLGRGHORVHVWXGLRV6H
KD GLVHxDGR XQD PHWRGRORJtD SDUD OD FRPSUHQVLyQ GHO FXUUtFXOR \ SDUD KDFHUOR FRPSDUDEOH
LQWURGXFLpQGRVHHOFRQFHSWRGHUHVXOWDGRVGHODSUHQGL]DMH\FRPSHWHQFLDV
6H KD HVFRJLGR HO QRPEUH GH 7XQLQJ SDUD UHIOHMDU OD LGHD GH TXH ODV XQLYHUVLGDGHV QR HVWiQ
EXVFDQGRODDUPRQL]DFLyQGHVXVSURJUDPDVRFXDOTXLHURWUDFODVHGHFXUUtFXORHXURSHRXQLILFDGR
QRUPDWLYR R GHILQLWLYR VLQR VLPSOHPHQWH SXQWRV GH DFXHUGR GH FRQYHUJHQFLD \ HQWHQGLPLHQWR
PXWXR\SRUORTXHVXSRQHGHSXHVWDDSXQWRGHODXQLYHUVLGDGHXURSHDIUHQWHDOUHWRGH%RORQLD
%XVFD³DILQDU´ODVHVWUXFWXUDVHGXFDWLYDVGH(XURSDDEULHQGRXQGHEDWHFX\DPHWDHVLGHQWLILFDU
H LQWHUFDPELDU LQIRUPDFLyQ \ PHMRUDU OD FRODERUDFLyQ HXURSHD SDUD HO GHVDUUROOR GH OD FDOLGDG
HIHFWLYLGDG\WUDQVSDUHQFLD
7XQLQJ QR HVSHUD GHVDUUROODU QLQJXQD HVSHFLH GH FXUUtFXORV HXURSHRV QL GHVHD FUHDU QLQJ~Q
FRQMXQWRGHHVSHFLILFDFLRQHVGHDVLJQDWXUDVSDUDOLPLWDURGLULJLUHOFRQWHQLGRHGXFDWLYR\RSRQHU
ILQDODULFDGLYHUVLGDGGHODHGXFDFLyQVXSHULRUHXURSHD
(OSUR\HFWRQRGHVHDUHVWULQJLUDORVDFDGpPLFRV\HVSHFLDOLVWDVRSHUMXGLFDUODDXWRQRPtDORFDO
RQDFLRQDO
/D FRPSHWLWLYLGDG H[LJH OD WUDQVSDUHQFLD HQ OD GHILQLFLyQ GH UHVXOWDGRV GHO DSUHQGL]DMH \ GH
FRPSHWHQFLDV\XQVLVWHPDGHFUpGLWRVTXHSHUPLWDODFRPSDUDFLyQ$HVWHUHVSHFWRVRQFUXFLDOHV
ODPHWRGRORJtD\KHUUDPLHQWDVGHO6LVWHPD(XURSHRGH7UDQVIHUHQFLD\$FXPXODFLyQGH&UpGLWRV
(&76DFXHUGRVGHDSUHQGL]DMHWUDQVIHUHQFLDGHKLVWRULDODFDGpPLFR\HQXQIXWXURGHVFULSWRUHV
GHQLYHO\GHFXUVRVTXHVHDMXVWHQDODVQHFHVLGDGHVGHORVHVWXGLDQWHVTXHVHGHVSOD]DQDRWUD
XQLYHUVLGDGRORVTXHVHTXHGDQHQVXSDtV
(OSUR\HFWR7XQLQJFRQVLGHUDTXHODVWLWXODFLRQHVOOHJDUiQDVHUFRPSDUDEOHV\FRPSDWLEOHVVLHO
GHVHPSHxR SURIHVLRQDO GH ORV SRVHHGRUHV GH GLFKRV WtWXORV HV FRPSDUDEOH \ VL VX SHUILOHV
DFDGpPLFRV\SURIHVLRQDOHVWDPELpQORVRQ6HSURSRQHFRPRYiOLGRHOGHODVFRPSHWHQFLDVSDUD
H[SUHVDUODFRPSDULELOLGDGHQWpUPLQRVGHODVFDSDFLGDGHVTXHSXHGHQGHVDUUROODUORVSRVHHGRUHV
GHXQDWLWXODFLyQ

,QLFLDWLYD&RQMXQWDGHOD&DOLGDG -RLQW4XDOLW\

• $FFLyQGHORVJRELHUQRVIODPHQFRV\KRODQGpVSXHVWDHQPDUFKDSDUDIRUWDOHFHUODFRRSHUDFLyQ
PXWXDGHQWURGHOSURFHVRGH%RORQLD(QHOODSDUWLFLSDXQJUXSREDVWDQWHJUDQGHGHSDtVHVHQWUH
ORVTXHGHVWDFDSRUVXLPSOLFDFLyQ(VSDxD
• 8QRGHORVUHVXOWDGRVPiVFRQRFLGRVGHOWUDEDMRGHOD,QLFLDWLYDHVHOHOHQFRGHODVWLWXODFLRQHV
GH'XEOtQHQHOTXHVHGHVFULEHQGLVWLQWDVOLFHQFLDWXUDVDOFDQ]iQGRVHXQDFXHUGRDFHUFDGHOD
WHUPLQRORJtD\ORVHOHPHQWRVEiVLFRV

5HJLVWUR0XQGLDOGHOD&DOLGDG

7LHQHHOREMHWLYRGHFUHDUXQDHVSHFLHGHDFUHGLWDFLyQ
3UR\HFWRWULEXWDULRGHODLGHDGHTXHHODVHJXUDPLHQWRGHFDOLGDGHVXQDDFWLYLGDGTXHVHSXHGHKDFHUHQHO
WLHPSROLEUHFRQODVSURSLDVQRUPDV\ORVSURSLRVSXQWRVGHUHIHUHQFLD
6HFUHHTXHSXHGHUHVXOWDU~WLOHODERUDUXQPDUFRGHUHIHUHQFLDFRP~QSDUDWRGRHOPXQGRTXHVHSXHGD
XWLOL]DU SDUD GHVDUUROODU XQ UHFRQRFLPLHQWR EODQGR R OLJKW GHO DVHJXUDPLHQWR GH OD FDOLGDG SDUD ORV
HVWXGLDQWHV SDUD HO PXQGR H[WHULRU SDUD ODV LQVWLWXFLRQHV TXH WLHQHQ TXH WUDWDU FRQ HVWDV DJHQFLDV GH
DVHJXUDPLHQWRGHODFDOLGDG
(MHPSORGHHQIRTXHPXOWLODWHUDOLQLFLDGRSRUOD$VRFLDFLyQ,QWHUQDFLRQDOGH3UHVLGHQWHVGH8QLYHUVLGDG
SHURVHHVWiGHEDWLHQGRHQXQHVSDFLRPiVDPSOLR\WLHQHHODSR\RGHO)RUR*OREDOGHOD81(6&2

$VRFLDFLyQGHODV8QLYHUVLGDGHV(XURSHDV(8$

6H FUHD HQ 6DODPDQFD HQ DEULO GH FRPR UHVXOWDGR GH OD IXVLyQ HQWUH OD &RQIHUHQFLD GH 5HFWRUHV
(VSDxROHV&5(\OD&RQIHGHUDFLyQGH&RQIHUHQFLDVQDFLRQDOHVGH5HFWRUHV
(QWUH VXV PLHPEURV VH VXPDQ SDtVHV HXURSHRV H LQFOX\H XQLYHUVLGDGHV FRPR PLHPEURV
LQGLYLGXDOHV\FRQIHUHQFLDVGHUHFWRUHVFRPRPLHPEURVFROHFWLYRV
6XPLVLyQHVHQFLDOHVLPSXOVDUODLPSOHPHQWDFLyQGHXQHVSDFLRHXURSHRSDUDODHGXFDFLyQVXSHULRU\OD
LQYHVWLJDFLyQ
3DUDFRQVHJXLU HVWHREMHWLYR OD(8$VLUYH DOVHFWRUFXPSOLHQGRGRV IXQFLRQHV SULQFLSDOHV FRPRSDUWH
UHSUHVHQWD DO VHFWRU HQ ODV GLVFXVLRQHV SROtWLFDV FRPR RUJDQL]DFLyQ GH VHUYLFLRV RIUHFH XQ HOHQFR GH
VHUYLFLRVDORVPLHPEURVSDUDD\XGDUOHVDIRUWDOHFHUVXFDOLGDG\DVtUHIRU]DUHOVHFWRUHQFRQMXQWR(QWUH
HVWRV VHUYLFLRV H[LVWHQ SURJUDPDV FRPR HO 3URJUDPD GH 5HYLVLyQ ,QVWLWXFLRQDO TXH HYDO~D OD JHVWLyQ
HVWUDWpJLFD\ODFDSDFLGDGGHFDPELRGHODVLQVWLWXFLRQHVHO3UR\HFWRGH&DOLGDGGHOD&XOWXUDILQDQFLDGR
SRUHO3URJUDPD6yFUDWHV\GHVWLQDGRDGHVDUUROODUXQDFXOWXUDLQWHUQDGHFDOLGDGHQWUHODVLQVWLWXFLRQHV
/D(8$FHOHEUyXQDFRQYHQFLyQHQPD\RGHOGRQGHOOHYRDFDERHOGHEDWHGHFyPRKDFHUDYDQ]DUHO
SURFHVR GH %RORQLD HQ HO FXDO VH LQFOX\HURQ ORV VLJXLHQWHV SXQWRV UHIRU]DU (XURSD HQ HO FRQWH[WR GH OD
JOREDOL]DFLyQ HQOD]DU HO HVSDFLR HXURSHR SDUD OD HGXFDFLyQ VXSHULRU \ OD LQYHVWLJDFLyQ PHMRUDU HO
JRELHUQR \ OD JHVWLyQ LQVWLWXFLRQDOHV GHVDUUROODU XQD FXOWXUD GH FDOLGDG LQWHUQD HQ ODV XQLYHUVLGDGHV
JDUDQWL]DUTXHODVLQVWLWXFLRQHVVHDQORVSULQFLSDOHVDJHQWHVHQORVGHEDWHV

6LVWHPDGH(YDOXDFLyQGHOD&DOLGDGGHOD(QVHxDQ]DGHOD,QJHQLHUtD6(&$,

6LVWHPDGHHYDOXDFLyQGHODFDOLGDGGHVDUUROODGRHQHOPDUFRGHO3URJUDPD&ROXPEXVZZZFROXPEXV
ZHEFRPTXHVHSUHSDUyFRQODFRQIRUPDFLyQGHXQJUXSRGHH[SHUWRVGHHYDOXDFLyQGHHVWDGLVFLSOLQD
GH GLIHUHQWHV XQLYHUVLGDGHV GH (FXDGRU 0p[LFR &RORPELD &KLOH %UDVLO $UJHQWLQD ,WDOLD $OHPDQLD
(VSDxD\GHO5HLQR8QLGR
3UHWHQGHVHUXQDKHUUDPLHQWDWpFQLFDPHQWHFRUUHFWDJHQHUDGD\SUREDGDHQXQFRQWH[WRLQWHUQDFLRQDO
3URSRQH D ODV LQVWLWXFLRQHV XQLYHUVLWDULDV XQD PHWRGRORJtD \ ORV LQVWUXPHQWRV GH DSOLFDFLyQ QHFHVDULRV
SDUDDQDOL]DU\YDORUDUODLQIOXHQFLDGHORVIDFWRUHVTXHDIHFWDQDODFDOLGDGGHODHQVHxDQ]DGHLQJHQLHUtD\
RIUHFLHQGRFULWHULRV\UHFRPHQGDFLRQHVSDUDDERUGDUSURFHVRGHPHMRUDGHODFDOLGDG
6HIXQGDPHQWDHQODQRFLyQGHFDOLGDGJOREDOGHODHQVHxDQ]DHOFXDOSODQWHDORVVLJXLHQWHVFRPSRQHQWHV
FDOLGDGGHOSODQGHHVWXGLRGHOSURFHVRGHHQVHxDQ]DGHORVUHVXOWDGRVLQPHGLDWRVFDOLGDGGHLQWHJUDFLyQ
GHOJUDGXDGRDOPHUFDGRODERUDO
7LHQH LQGLFDGRUHVDJUXSDGRV HQ IDFWRUHV TXHVRQ SODQ GH HVWXGLRVFRQGLFLRQHVGHLQJUHVRGH ORV
HVWXGLDQWHVSURFHVRGHHQVHxDQ]DDSUHQGL]DMHUHVXOWDGRVLQPHGLDWRVHLQWHJUDFLyQGHORVJUDGXDGRV

$FWXDOPHQWHVHHVWiFXOPLQDQGRHOWHUFHUFLFORGHO6(&$,FRQODSDUWLFLSDFLyQGHFDUUHUDVGHLQJHQLHUtD
GHXQLYHUVLGDGHVODWLQRDPHULFDQDVILQDQFLDGRHQVXWRWDOLGDGODVSURSLDVXQLYHUVLGDGHV

$1(&$$JHQFLD1DFLRQDOGH(YDOXDFLyQGHOD&DOLGDG\$FUHGLWDFLyQGH(VSDxD
$&5(',7$&,21

(MH SULQFLSDO GH ODV DFWXDFLRQHV DFUHGLWDFLyQ GH WtWXORV RILFLDOHV FRPSHWHQFLD H[FOXVLYD HQ HVWH FDPSR
RWRUJDGDSRUOD/H\GH8QLYHUVLGDGHVRWRUJDOD(OiPELWRGHDSOLFDFLyQGHODDFUHGLWDFLyQDEDUFD

/DVHQVHxDQ]DVFRQGXFHQWHVDODREWHQFLyQGHWtWXORVGHFDUiFWHURILFLDO
/DVHQVHxDQ]DVFRQGXFHQWHVDODREWHQFLyQGHWtWXORVGH'RFWRU
/RVFHQWURVTXHLPSDUWDQHQVHxDQ]DVFRQDUUHJORDVLVWHPDVHGXFDWLYRVH[WUDQMHURV

/DDFUHGLWDFLyQHVXQH[DPHQGHOGHVDUUROOR\GHORVUHVXOWDGRVGHODVHQVHxDQ]DVTXHH[LJHODVXSHUDFLyQ
GH HVWiQGDUHV GH FDOLGDG SUHYLDPHQWH HVWDEOHFLGRV SDUD FDGD WLSR GH WLWXODFLyQ D ORV HIHFWRV GH VX
KRPRORJDFLyQSRUHO*RELHUQR

3URFHVR GH DFUHGLWDFLyQ YDORUDFLyQ LQWHUQD GH OD WLWXODFLyQ FRPSUREDGD SRU XQ FRPLWp H[WHUQR FX\R
UHVXOWDGRHVXQLQIRUPHTXHSURSRQHODDFUHGLWDFLyQRQRDFUHGLWDFLyQGHODWLWXODFLyQHYDOXDGD

3DUD OOHYDU D FDER OD HYDOXDFLyQ SDUD OD DFUHGLWDFLyQ GH ODV HQVHxDQ]DV RILFLDOHV OD DJHQFLD KD FRQVWLWXLGR
FLQFR JUXSRV GH H[SHUWRV XQR SRU FDGD FDPSR FLHQWtILFR TXH KDQ GHILQLGR VHLV FULWHULRV JHQHUDOHV
3URJUDPD IRUPDWLYR 2UJDQL]DFLyQ GH OD HQVHxDQ]D 5HFXUVRV KXPDQRV 5HFXUVRV PDWHULDOHV 3URFHVR
IRUPDWLYR \ 5HVXOWDGRV 6H GHVJORVDQ HQ YDULRV VXEFULWHULRV H LQGLFDGRUHV GH DFUHGLWDFLyQ EDVDGRV HQ HO
HVWXGLR FRPSDUDGR GH H[SHULHQFLDV GHVDUUROODGDV HQ (XURSD \ (VWDGRV 8QLGRV \ HQ VX DGDSWDFLyQ D ODV
FDUDFWHUtVWLFDVGHODVHQVHxDQ]DVHVSDxRODV

(OWUDEDMRUHDOL]DGRSRUHVWRVJUXSRVKDVLGRH[DPLQDGR\YDOLGDGRSRUHO&RPLWp1DFLRQDOGH$FUHGLWDFLyQ
/D UHDOL]DFLyQ GH ORV SUR\HFWRV SLORWR VH HIHFW~D D WLWXODFLRQHV GH XQLYHUVLGDGHV (O PRGHOR GH
DFUHGLWDFLyQVHVRPHWHUiDODYDOLGDFLyQLQWHUQDFLRQDODWUDYpVGHODVUHGHVGHDJHQFLDVGHDFUHGLWDFLyQGHODV
TXHOD$JHQFLDIRUPDSDUWHFRPRHO&RQVRUFLR(XURSHRGH$FUHGLWDFLyQ

/D $JHQFLD KD HODERUDGR ODV *XtDV GH 9DORUDFLyQ ,QWHUQD \ ([WHUQD SDUD OD DSOLFDFLyQ GH ORV FULWHULRV H
LQGLFDGRUHVGHDFUHGLWDFLyQ

352*5$0$ '( (9$/8$&,Ï1 ,167,78&,21$/ (YDOXDFLyQ SDUD OD PHMRUD GH ODV
WLWXODFLRQHV

&RQWLQXLGDG GH ORV 3ODQHV 1DFLRQDOHV GH &DOLGDG GH ODV 8QLYHUVLGDGHV \ HYDO~D ODV HQVHxDQ]DV
XQLYHUVLWDULDV XWLOL]DQGR ORV PLVPRV FULWHULRV H LQGLFDGRUHV TXH VHUiQ DSOLFDGRV SDUD OD DFUHGLWDFLyQ GH
WLWXODFLRQHV

6XVREMHWLYRVVRQ
9 3URPRYHUSURFHVRVGHUHIOH[LyQDQiOLVLV\GLDJQyVWLFRTXHLQFUHPHQWHQODFDOLGDGGHODVHQVHxDQ]DV
9 3UHSDUDU D OD WLWXODFLyQ SDUD ORV IXWXURV SURFHVRV GH DFUHGLWDFLyQ DO DSRUWDUOH XQ PD\RU JUDGR GH
FRQRFLPLHQWRSURSLR\PD\RUH[SHULHQFLDHQORDVSURFHVRVGHHYDOXDFLyQ
9 3URSRUFLRQDULQIRUPDFLyQDODV$GPLQLVWUDFLRQHV3~EOLFDV\DOFRQMXQWRGHODVRFLHGDGVREUHODFDOLGDG
GHORVWtWXORVXQLYHUVLWDULRV\VXVSODQHVGHPHMRUD

(O SURJUDPD FRQVWD GH XQD IDVH GH DXWRHYDOXDFLyQ FRQWUDVWDGD FRQ XQD HYDOXDFLyQ H[WHUQD \ XQ LQIRUPH
ILQDO HQ HO TXH VH UHFRJHQ ODV SURSXHVWDV GH PHMRUD $O ILQDOL]DU HO SURFHVR VH HODERUDUiQ LQIRUPHV
WUDQVYHUVDOHVGHUHVXOWDGRVGHODWLWXODFLyQHYDOXDGD

(Q OD SULPHUD FRQYRFDWRULD GH OD $1(&$ SDUWLFLSDQ WLWXODFLRQHV GH XQLYHUVLGDGHV /D DJHQFLD KD
SXEOLFDGRXQD*XtDGH$XWRHYDOXDFLyQ\XQD*XtDGH(YDOXDFLyQ([WHUQD

$1(&$(9$/8$&,Ï1'(/352)(625$'2

(YDO~DODDFWLYLGDGGRFHQWHHLQYHVWLJDGRUDGHOSURIHVRUDGRDHIHFWRVGHVXFRQWUDWDFLyQODERUDOHQXQD
XQLYHUVLGDG SDUD OR TXH OD /H\ 2UJiQLFD GH 8QLYHUVLGDGHV H[LJH OD SUHYLD HYDOXDFLyQ SRVLWLYD GH OD
PLVPD 3RU RWUD SDUWH HO 5HDO 'HFUHWR GH +DELOLWDFLyQ GHO SURIHVRUDGR DVLJQD D OD $JHQFLD
FRPSHWHQFLDV HQ FLQFR VXSXHVWRV GHO SURFHVR GH KDELOLWDFLyQ SUHYLD SHWLFLyQ GHO &RQVHMR GH
&RRUGLQDFLyQ8QLYHUVLWDULD

3DUD ORV FDQGLGDWRV D VHU FRQWUDWDGRV SRU FXDOTXLHU GH ODV XQLYHUVLGDGHV GHO WHUULWRULR QDFLRQDO OD
$JHQFLD HIHFW~D HYDOXDFLRQHV FXUULFXODUHV GH IRUPD JUDWXLWD D OR ODUJR GH WRGR HO DxR \ HPLWH XQ
FHUWLILFDGRTXHHVYiOLGRHQHVWHiPELWRSRUWLHPSRLQGHILQLGR

6H SXHGHVROLFLWDUODHYDOXDFLyQ GH OD $1(&$FRQFDUiFWHUSUHYLR DODFRQWUDWDFLyQHQXQLYHUVLGDGHV
S~EOLFDV SDUD ODV VLJXLHQWHV ILJXUDV 3URIHVRU $\XGDQWH 'RFWRU 3URIHVRU &RODERUDGRU 3URIHVRU
&RQWUDWDGR'RFWRU

$SDUWLUGHODxRWRGDVODVXQLYHUVLGDGHVSULYDGDVGHEHUiQFRQWDUFRQXQGHOSURIHVRUDGRHQ
SRVHVLyQ GHO LQIRUPH IDYRUDEOH HPLWLGR SRU OD $JHQFLD (Q HO SULPHU DxR GH IXQFLRQDPLHQWR GHO
SURJUDPDOD$JHQFLDKDHYDOXDGRDVROLFLWDQWHVGHORVTXHHOKDREWHQLGRLQIRUPHIDYRUDEOH
HQHOFRQMXQWRGHODVGLIHUHQWHVILJXUDV

$1(&$&(57,),&$&,Ï1

/D FHUWLILFDFLyQ HV XQ SURFHVR GH HYDOXDFLyQ H[WHUQD VROLFLWDGR GH IRUPD YROXQWDULD SRU OD XQLGDG D
HYDOXDU SRU HO TXH VH FRPSUXHED HO FXPSOLPLHQWR GH XQ FRQMXQWR GH HVSHFLILFDFLRQHV SUHYLDPHQWH
HVWDEOHFLGDV 6X REMHWLYR IXQGDPHQWDO HV HO UHFRQRFLPLHQWR GH OD FDOLGDG GH OD XQLGDG HYDOXDGD DVt
FRPRUHFRPHQGDUPHWRGRORJtDVSDUDSURPRYHUODPHMRUDFRQWLQXDGHORVSURJUDPDV\VHUYLFLRVGHODV
XQLYHUVLGDGHV

/D $JHQFLD GHVDUUROOD GLYHUVDV DFWXDFLRQHV HQ HO iPELWR GH OD FHUWLILFDFLyQ 0HQFLyQ GH &DOLGDG HQ
SURJUDPDV GH 'RFWRUDGR &HUWLILFDGR GH &DOLGDG GH ORV 6HUYLFLRV GH %LEOLRWHFD GH ODV 8QLYHUVLGDGHV
&HUWLILFDGR GH &DOLGDG GH 7tWXORV 3URSLRV &HUWLILFDGR GH &DOLGDG GH ,QVWLWXWRV 8QLYHUVLWDULRV GH
,QYHVWLJDFLyQ

)LJXUD$1(&$02'(/2'($&5(',7$&,Ï1&5,7(5,26
3URJUDPD
)RUPDWLYR

2UJDQL]DFLyQGH
OD(QVHxDQ]D

3URFHVR 5HVXOWDGRV
5HFXUVRV )RUPDWLYR
+XPDQRV
5HFXUVRV
0DWHULDOHV

7DEOD6REUHODHYDOXDFLyQ\DFUHGLWDFLyQHQ&XED

3$,6 (17,'$' 352&(',0,(1726 $6(*85$0,(172'(/$
$&5(',7$'25$ &$/,'$'
-$1 (YDOXDFLyQGHSURJUDPDVGHPDHVWUtDV 6835$
-XQWD1DFLRQDOGH 6($0
$FUHGLWDFLyQ
/D*XtDGH(YDOXDFLyQFRQXQDHVFDODGH 6LVWHPD8QLYHUVLWDULRGH3URJUDPDV
8QLGDG HVSHFLD FDOLILFDFLyQ GH SXQWRV LQFOX\H GH$FUHGLWDFLyQ
OL]DGD H LQGHSHQ YDULDEOHV 3HUWLQHQFLD H LPSDFWR VRFLDO
GLHQWHGHOUHVWRGHODV SXQWRV 7UDGLFLyQ GH OD LQVWLWXFLyQ \
GLUHFFLRQHV GHO 0(6 FRODERUDFLyQLQWHULQVWLWXFLRQDOSXQWRV

EULQGiQGROH DVt D ORV &XHUSR GH SURIHVRUHV \ WXWRUHV 2EMHWLYR SULQFLSDO HV ³FRQWULEXLU D
SURFHVRV GH HYD SXQWRV 5HVSDOGR PDWHULDO \OD PHMRUD GH OD FDOLGDG GH OD
DGPLQLVWUDWLYR GHO SURJUDPD SXQWRV
OXDFLyQ XQ FDUiFWHU HGXFDFLyQ VXSHULRU HQ &XED
H[WHUQR VLVWpPLFR H (VWXGLDQWHV SXQWRV \ &XUUtFXOR PHGLDQWH OD FHUWLILFDFLyQ DO QLYHO
LQWHJUDGR SXQWRV QDFLRQDO H LQWHUQDFLRQDO GH
SURJUDPDV H LQVWLWXFLRQHV TXH
&RPSXHVWD SRU XQ &RQ QLYHOHV GH DFUHGLWDFLyQ 3URJUDPD FXPSODQ UHTXLVLWRV GH FDOLGDG
Q~PHUR QR PD\RU GH $XWRUL]DGR5DWLILFDGRFRQDOPHQRVHO HVWDEOHFLGRV´L
H[SHUWRV SURYH SXQWRV GH ORV SXQWRV
QLHQWHV GH ODV &HUWLILFDGR FRQ DO PHQRV HO
6XEVLVWHPDV
GLIHUHQWHV SXQWRV ([FHOHQFLD DO PHQRV HO
,QVWLWXFLRQHV DGVFULWDV SXQWRV
6($0
DO 0(6 \ GH ORV
2UJDQLVPRV GH OD &RQLQGHSHQGHQFLDGHODSXQWXDFLyQWRWDO
$GPLQLVWUDFLyQ REWHQLGD HO SURJUDPD GHEHUi DSUREDU 6LVWHPDGH(YDOXDFLyQ\
$FUHGLWDFLyQGH0DHVWUtDV
&HQWUDO GHO (VWDGR LQGLFDGRUHVGHREOLJDWRULRFXPSOLPLHQWR
2$&(

([LJH DO PHQRV GRV HGLFLRQHV GHO
'HVLJQD HQWUH VXV SURJUDPD FRQFOXLGDV FRQ VXV
PLHPEURV XQD FRUUHVSRQGLHQWHV DXWRHYDOXDFLRQHV \ XQD 2EMHWLYRV
6HFUHWDUtD(MHFXWLYD HGLFLyQ HQ HMHFXFLyQ KDFHU XQD VROLFLWXG
RILFLDOGHHYDOXDFLyQH[WHUQDSRUHO5HFWRU $OFDQ]DU ORV PHMRUHV QLYHOHV GH
&XHQWD FRQ &RPLWpV RHO'LUHFWRUGHODLQVWLWXFLyQDOD-XQWDGH FDOLGDG HQ OD IRUPDFLyQ DFDGpPLFD
7pFQLFRV (YDOXDGRUHV $FUHGLWDFLyQ 1DFLRQDO -$1 KDEHU GHSRVWJUDGR\HYLWDUXQLQFUHPHQWR
&7(yUJDQRV DX[L REWHQLGR UHVXOWDGRV VDWLVIDFWRULRV HQ OD GHVRUGHQDGR GH SURJUDPDV GH
OLDUHV HQFDUJDGRV GHO HYDOXDFLyQ H[WHUQD GHVSOHJDGD SRU XQD PDHVWUtD FRQ PDUFDGRV GHVQLYHOHV
DVHVRUDPLHQWR PHWR FRPLVLyQ GH H[SHUWRV FRQWDU FRQ XQ GHFDOLGDG
GROyJLFR D ORV GLFWDPHQ IDYRUDEOH GHO &RPLWp 7pFQLFR
SURFHVRV GH DFUHGL (YDOXDGRU \ OD GHFLVLyQ SRVLWLYD GH OD )RPHQWDU XQD FXOWXUD GH OD
WDFLyQHLQWHJUDGRVSRU -$1 FDOLGDG HQWUH ORV DFWRUHV GH ODV
XQQ~PHURPi[LPRGH PDHVWUtDV \ HO PHMRUDPLHQWR
SURIHVRUHV H ([LVWH XQ 3DWUyQ GH &DOLGDG GHEHU VHU FRQWLQXR GH ORV SURJUDPDV GH HVWH
LQYHVWLJDGRUHV GH GHODVPDHVWUtDVFXEDQDVUHIHUHQWHWHyULFR QLYHO
UHFRQRFLGR SUHVWLJLR GHORVHVWiQGDUHVTXHGHEHQDOFDQ]DUVH
DFDGpPLFR
& (YDOXDFLyQLQVWLWXFLRQDO
$OFDQ]DU OD FHUWLILFDFLyQ S~EOLFD
GH OD FDOLGDG GH ORV SURJUDPDV
2EMHWLYRV DFUHGLWDGRV \ OD SRVLEOH XWLOL]DFLyQ
8 /D HYDOXDFLyQ H[WHUQD HV VROLFLWDGD SRU
3URPRYHU RUJDQL]DU ODV XQLYHUVLGDGHV GHEH HQYLDU D
GH HVWDV FHUWLILFDFLRQHV SDUD OD
KRPRORJDFLyQ \ FRQYDOLGDFLyQ GH
HMHFXWDU\FRQWURODUOD 6HFUHWDULDGHOD-$1ODVDXWRHYDOXDFLRQHV WLWXODFLRQHV GH HJUHVDGRV FRQ

SROtWLFD GH DFUH FRUUHVSRQGLHQWHV GH ORV 'HSDUWDPHQWRV LQVWLWXFLRQHVH[WUDQMHUDV
GLWDFLyQ SDUD OD GRFHQWHV )DFXOWDGHV \ GHO SURSLR ,(6
% (GXFDFLyQ 6XSHULRU FXDQGR VH UHDOL]D OD GH OD ,(6 OD *DUDQWL]DU TXH ORV VHUYLFLRV
DVt FRPR FRRUGLQDU 6HFUHWDUtD(MHFXWLYDGHOD-$1VHOHFFLRQD HGXFDFLRQHV DO QLYHO GH PDHVWUtDV
ORV GLIHUHQWHV SURFH ODV )DFXOWDGHV D HYDOXDU \ FXDQGR VH TXH VH RIUH]FDQ DO H[WUDQMHUR VHDQ
$ VRV GH HYDOXDFLyQ UHDOL]DODGHOD)DFXOWDGVHHYDO~DQWRGRV GHFDOLGDGUHFRQRFLGD
LQVWLWXFLRQDO HQ ORV ORV'HSDUWDPHQWRV GRFHQWHV 6HUHDOL]DUi
FHQWURV DGVFULSWRV DO VLHPSUHTXHKD\DDSUREDGRXQDDXGLWRUtD
6($&8
0(6 HFRQyPLFD FRPR Pi[LPR HQ HO SOD]R GH
XQDxRDQWHULRUDODVROLFLWXG
6LVWHPDGH(YDOXDFLyQ\
$FUHGLWDFLyQGH&DUUHUDV
8QLYHUVLWDULDV
6($(
$FUHGLWDFLyQGH(VSHFLDOLGDGHVGH
3RVJUDGR
6($'
$FUHGLWDFLyQGH'RFWRUDGRV

7DEOD1LYHOHV\HVFDODVGHSXQWXDFLyQSDUDODDFUHGLWDFLyQQDOJXQRVSDtVHV
ODWLQRDPHULFDQRV

$8,3 $UJHQWLQD %UDVLO &RORPELD &XED 0p[LFR 9HQH]XHOD

'RFWRUDGRV
0DHVWUtDV
([FHOHQWH ([FHOHQWH
([FHOHQWH
± ([FHOHQFLD
\
! $SUREDGR
0DHVWUtD
$FUHGLWDGR
([FHOHQWH

0X\ 0X\ 0X\EXHQD &HUWLILFDGR &RQGLFLRQDGR
EXHQD EXHQD FRQ
$FUHGLWDGR ! REVHUYDFLRQHV
±
%XHQD
5DWLILFDGR &RQGLFLRQDGR
FRQFDUiFWHUGH
%XHQD %XHQD > HPHUJHQWH
± $XWRUL]DGR
1R 1RDFUHGLWD 1RDSUREDGR
UHFRPHQGDGR
\ $XWRUL]DGR
7RPDGRGH1HSWDOtÈOYDUH]HQ/LEURGH$8,3$FWXDOL]DFLyQGHODLQIRUPDFLyQGH&XEDSRU,OHDQD'RSLFR

7DEOD9DULDEOHVXWLOL]DGDVHQORVVLVWHPDVGHHYDOXDFLyQ\DFUHGLWDFLyQGHDOJXQRV
SDtVHVODWLQRDPHULFDQRV\GHOD$8,3
&2/20%,$
$8,3 $5*(17,1$ %5$6,/

$OXPQRV $OXPQRV (VWXGLDQWHV 3URGXFFLyQWpFQLFD\DUWtVWLFD

(JUHVDGRV 2UJDQL]DFLyQDGPLQLVWUDWLYD\ 3URGXFFLyQELEOLRJUiILFD
UHJODPHQWR
3URIHVRUHV &XHUSRDFDGpPLFR 3UR\HFWRVGHLQYHVWLJDFLyQ &XHUSRGHGLVHUWDQWHV
\SXEOLFDFLRQHV
&XUUtFXOR 3ODQGHHVWXGLR 3URJUDPDVDFDGpPLFRVFRQWDFWRV 3URJUDPD
\FRQYHQLRVFRQ
JUXSRV QDFLRQDOHV H
LQWHUQDFLRQDOHV

$GPLQLVWUDFLyQ (TXLSDPLHQWR 5HFXUVRV ItVLFRV WHFQROyJLFRV \ 5HFXUVRVKXPDQR
ELEOLRWHFD\FHQWURV ILQDQFLHURV
GHGRFXPHQWDFLyQ
(QWRUQRLQVWLWXFLRQDO 0DUFRLQVWLWXFLRQDO $FWLYLGDGHVGHIRUPDFLyQ

,PSDFWRVRFLDO /tQHDVGHLQYHVWLJDFLyQ
(YDOXDFLyQ 7HVLV\GLVHUWDFLRQHV

&267$5,&$ &8%$ 0(;,&2 9(1(=8(/$

3ODQGH(VWXGLRV &XUUtFXOR 3ODQGHHVWXGLRV 3ODQGHHVWXGLRV\SHUILO
'RFHQFLD 7UDGLFLyQGHODLQVWLWXFLyQ\ 6DWLVIDFFLyQGHGHPDQGD

FRODERUDFLyQLQWHULQVWLWXFLRQDO

3HUVRQDODFDGpPLFR &XHUSRGHSURIHVRUHV\WXWRUHV 3ODQWDDFDGpPLFD 0DUFR QRUPDWLYR
LQVWLWXFLRQDO
3REODFLyQHVWXGLDQWLO (VWXGLDQWHV $OXPQRV &RQYHQLRV
2UJDQL]DFLyQ\ $SR\RPDWHULDO ÈUHD \ OtQHDV GH 3HUWLQHQFLDVRFLDO
DGPLQLVWUDFLyQ LQYHVWLJDFLyQ
\DGPLQLVWUDWLYR
5HFXUVRVItVLFRV 3HUWLQHQFLD HLPSDFWR 3URGXFWLYLGDG FLHQWtILFD \R 3URGXFWLYLGDG
PDWHULDOHV\ WHFQROyJLFD GH OD SODQWD
ILQDQFLHURV DFDGpPLFD
HLPSDFWR ([SHULHQFLD
9LQFXODFLyQHLPSDFWRHQORV )LQDQFLDPLHQWR
VHFWRUHVVRFLDO\SURGXFWLYR

&RPSURPLVRLQVWLWXFLRQDO 5HFXUVRVKXPDQRV
&RQWH[WR H LPSRUWDQFLD GHO 3ODQWDItVLFD
SURJUDPDHYDOXDGR
'RWDFLyQ
5HFXUVRVGHIRUPDFLyQ
7DEOD5HSUHVHQWDFLyQGHODVYDULDEOHVFRPXQHVDORVVLVWHPDVGH
HYDOXDFLyQ\DFUHGLWDFLyQGHSDtVHVUHIHULGRVHQOD7DEOD

9DULDEOHV &DQWLGDG GH VLVWHPDV
TXHODLQFOX\HQ
&XUUtFXOR3ODQGHHVWXGLR3URJUDPD3URJUDPDV
DFDGpPLFRV3ODQGHHVWXGLRV\SHUILO
$OXPQRV(VWXGLDQWHV

3URIHVRUHV&XHUSRDFDGpPLFR3ODQWDDFDGpPLFD&XHUSRGH
GLVHUWDQWH

$GPLQLVWUDFLyQ
2UJDQL]DFLyQDGPLQLVWUDWLYD$SR\RPDWHULDO
\DGPLQLVWUDWLYR
(QWRUQRLQVWLWXFLRQDO0DUFRLQVWLWXFLRQDO0DUFRQRUPDWLYR
LQVWLWXFLRQDO

,PSDFWRVRFLDO3HUWLQHQFLDVRFLDOHLPSDFWR9LQFXODFLyQH
LPSDFWRHQORVVHFWRUHVVRFLDO\SURGXFWLYR

5HFXUVRVItVLFRVPDWHULDOHV\ILQDQFLHURV5HFXUVRVItVLFRV
WHFQROyJLFRV\ILQDQFLHURV)LQDQFLDPLHQWR

ÈUHD\OtQHDVGHLQYHVWLJDFLyQ/tQHDVGHLQYHVWLJDFLyQ
3UR\HFWRVGHLQYHVWLJDFLyQ\SXEOLFDFLRQHV

&RQYHQLRVFRQJUXSRVQDFLRQDOHVHLQWHUQDFLRQDOHV
&RODERUDFLyQLQWHULQVWLWXFLRQDO&RQYHQLRV

3URGXFFLyQELEOLRJUiILFD3XEOLFDFLRQHV
5HFXUVRVKXPDQRV

3HUWLQHQFLDVRFLDO
,QIUDHVWUXFWXUDGHDSR\R\ItVLFD3ODQWDItVLFD
/H\HQGD3DUDFDGDYDULDEOHVHXWLOL]DHOFRORUFRQHOTXHVHLGHQWLILFDQHQODWDEODDQWHULRU

6,&$5 DFUHGLWD OD &DOLGDG DFDGpPLFD \ OD &DWHJRUtD 5HJLRQDO &HQWURDPHULFDQD GH SURJUDPDV GH
SRVJUDGR GH XQLYHUVLGDGHV PLHPEURV GHO &68&$ H[FHSFLRQDOPHQWH GH SURJUDPDV GH JUDGR 9DORUD \
SURPXHYH OD FRRSHUDFLyQ \ HO LQWHUFDPELR DFDGpPLFR UHJLRQDO \ OD IRUPDFLyQ GH UHFXUVRV KXPDQRV
GRWDGRVGHXQDSHUVSHFWLYDFHQWURDPHULFDQDGHOTXHKDFHUGHVXGLVFLSOLQD$FWXDOPHQWHVHHQFXHQWUDHQ
SURFHVR GH UHRULHQWDFLyQ FRQ HO SURSyVLWR GH DFUHGLWDU WDPELpQ SURJUDPDV GH SRVJUDGRV QDFLRQDOHV \
DPSOLDU HO PDUFR LQVWLWXFLRQDO HQ TXH RSHUD SDUD HVWDEOHFHU OD &RPLVLyQ &HQWURDPHULFDQD GH
$FUHGLWDFLyQGH3URJUDPDVGH3RVJUDGR
6,&(9$(6 /RV SURFHVRV GH HYDOXDFLyQ HQ HVWH PDUFR HVWiQ RULHQWDGRV DO PHMRUDPLHQWR GH OD
FDOLGDG GH ORV SURJUDPDV GH JUDGR GH ODV XQLYHUVLGDGHV HVWDWDOHV GH OD UHJLyQ SDUD SUHSDUDUVH SDUD OD
DFUHGLWDFLyQ
&RQVHMR&HQWURDPHULFDQRSDUDOD$FUHGLWDFLyQ&&$UH~QHDGLIHUHQWHVVHFWRUHVXQLYHUVLGDGHV
HVWDWDOHV SULYDGDV PLQLVWHULRV GH HGXFDFLyQ FROHJLRV SURIHVLRQDOHV \ ORV GLVWLQWRV RUJDQLVPRV GH
HYDOXDFLyQ\DFUHGLWDFLyQH[LVWHQWHV\HQIRUPDFLyQGHODUHJLyQ,QLFLDWLYDPiVLPSRUWDQWH\FRQPD\RU
SRWHQFLDO GH LPSDFWR KR\ GtD HQ PDWHULD GH HYDOXDFLyQ \ DFUHGLWDFLyQ GH OD FDOLGDG GH OD HGXFDFLyQ
VXSHULRU &HQWURDPHULFDQD (O &&$ VXSRQH PLHPEURV WLWXODUHV \ VXSOHQWHV LGHQWLILFDGRV FRPR
SHUVRQDOLGDGHVQRWDEOHVGHORVSDtVHVFHQWURDPHULFDQRVTXHQRUHSUHVHQWHQJRELHUQRVQLXQLYHUVLGDGHVQL
VHFWRUHV VRFLDOHV HQ SDUWLFXODU /D PLVLyQ GHO &&$ HV OD GH FRQWULEXLU DO PHMRUDPLHQWR FRQWLQXR GH OD
FDOLGDGSHUWLQHQFLDHLQWHJUDFLyQGHOD(GXFDFLyQ6XSHULRU&HQWURDPHULFDQDPHGLDQWHODDFUHGLWDFLyQHO
UHFRQRFLPLHQWR\ODSURPRFLyQGHRUJDQLVPRVGHDFUHGLWDFLyQTXHIXQFLRQHQHQFDGDSDtVRHQODUHJLyQ
FRQWiQGRVHHQWUHVXVSULQFLSDOHVIXQFLRQHVODVGH
'HWHUPLQDUODVSROtWLFDVSURFHGLPLHQWRVFULWHULRV\HVWiQGDUHVSDUDODHYDOXDFLyQDFUHGLWDFLyQ\HO
UHFRQRFLPLHQWR UHJLRQDO GH DJHQFLDV DFUHGLWDGRUDV IRUPDOPHQWH HVWDEOHFLGDV TXH IXQFLRQHQ HQ OD
UHJLyQ D WRQR FRQ ORV HVWiQGDUHV \ SULQFLSLRV LQWHUQDFLRQDOPHQWH UHFRQRFLGRV UHVSHWDQGR HO PDUFR
OHJDOGHFDGDSDtV
2WRUJDU UHFRQRFLPLHQWR UHJLRQDO D ORV RUJDQLVPRV DFUHGLWDGRUHV GH (GXFDFLyQ VXSHULRU TXH
IXQFLRQHQ HQ OD UHJLyQ VREUH OD EDVH GH OD YHULILFDFLyQ GHO FXPSOLPLHQWR GH ODV SROtWLFDV FULWHULRV \
HVWiQGDUHVGHO&&$
3URPRYHU\DSR\DUODFUHDFLyQGHDJHQFLDVXRUJDQLVPRVGHDFUHGLWDFLyQHQORVSDtVHVGHODUHJLyQ
GRQGHQRH[LVWDQDVtFRPRODFUHDFLyQGHRUJDQLVPRVUHJLRQDOHVHVSHFLDOL]DGRVGHDFUHGLWDFLyQ
&RDG\XYDU DO IRUWDOHFLPLHQWR \ WUDQVIRUPDFLyQ GH ORV RUJDQLVPRV GH DFUHGLWDFLyQ TXH QR FXPSODQ
FRQ ORV UHTXLVLWRV SDUD VX UHFRQRFLPLHQWR \ SURPRYHUi HO LQWHUFDPELR \ FRODERUDFLyQ HQWUH ORV
RUJDQLVPRVGHDFUHGLWDFLyQTXHUHFRQR]FD
$VRFLDFLyQ GH 8QLYHUVLGDGHV 3ULYDGDV GH &HQWURDPpULFD $835,&$ IXQGDGD HQ \
IRUPDGD SRU XQLYHUVLGDGHV SULYDGDV GH SDtVHV (O 6DOYDGRU +RQGXUDV 1LFDUDJXD \ &RVWD 5LFD
RUJDQL]D\UHDOL]DSURFHVRVGHHYDOXDFLyQ\DFUHGLWDFLyQLQVWLWXFLRQDOGHVXVXQLYHUVLGDGHVPLHPEURV6X
-XQWD'LUHFWLYDHVURWDWLYDQRWLHQHVHGHItVLFDSHUPDQHQWH\VX&RPLVLyQGH$FUHGLWDFLyQFRPSXHVWDSRU
PLHPEURVQRHVSHUPDQHQWH\VHQRPEUDVRORFXDQGRVHUHDOL]DXQDFRQYRFDWRULDSDUDDFUHGLWDFLyQ
-XQLRGHORV0LQLVWURVGH(GXFDFLyQGHORVSDtVHVGHO0(5&2685\ORVGH&KLOH\%ROLYLD
DSUREDURQXQ0HPRUDQGRGH(QWHQGLPLHQWRSDUDOD,PSOHPHQWDFLyQGHXQ0HFDQLVPR([SHULPHQWDOSDUD
OD $FUHGLWDFLyQ GH &DUUHUDV GH *UDGR /RV RUJDQLVPRV GH FRPSHWHQFLD D QLYHO QDFLRQDO VHUiQ ODV
³$JHQFLDV 1DFLRQDOHV GH $FUHGLWDFLyQ´ 6H HVWDEOHFH OD FUHDFLyQ GH OD ³5HXQLyQ GH $JHQFLDV GH
$FUHGLWDFLyQ GHO 0(5&2685´ FRPR LQVWDQFLD GH PRQLWRUHR \ FRRSHUDFLyQ UHJLRQDO TXH OOHYDUi HO
UHJLVWURGHHYDOXDGRUHVTXHVHUiUHYLVDGRSHULyGLFDPHQWHWHQLpQGRVHHQFXHQWDHOGHVHPSHxRGHTXLHQHV
KD\DQ SDUWLFLSDGR HQ ORV SURFHVRV GH DFUHGLWDFLyQ (VWDUi GLVSRQLEOH SDUD VX FRQVXOWD SRU SDUWH GH ODV
LQVWLWXFLRQHV GH HGXFDFLyQ VXSHULRU \ SDUD VX XWLOL]DFLyQ SRU ODV DJHQFLDV QDFLRQDOHV GH DFUHGLWDFLyQ
$1$3DUD OD SUHSDUDFLyQ GH ORV UHVSHFWLYRV GLFWiPHQHV GH DFUHGLWDFLyQ ODV $1$V GHEHQ WHQHU HQ
FXHQWD ODV FRQFOXVLRQHV GHO LQIRUPH GH DXWRHYDOXDFLyQ ODV RSLQLRQHV GH ORV FRPLWp GH SDUHV VREUH HO
SURFHVR GH DXWRHYDOXDFLyQ HO FXPSOLPLHQWR GH ORV FULWHULRV \ SDUiPHWURV HVWDEOHFLGRV \ VX
UHFRPHQGDFLyQHQFXDQWRDOUHVXOWDGRVJOREDOHVGHSURFHVRGHDFUHGLWDFLyQHOJUDGRGHFXPSOLPLHQWRGH
ODV PHWDV \ REMHWLYRV LQVWLWXFLRQDOHV HO UHVXOWDGR GH RWURV SURFHVRV GH DFUHGLWDFLyQ QDFLRQDO R
LQWHUQDFLRQDO RWURV DQWHFHGHQWHV OHJDOHV R UHJODPHQWDULRV SURSLRV GH ODV GLVSRVLFLRQHV QDFLRQDOHV
GLFWiPHQHV GH ODV $1$V SXHGHQ VHU $FUHGLWDFLyQ SRU HO SOD]R GH YLJHQFLD 1R DFUHGLWDFLyQ
7DEOD,QLFLDWLYDVUHJLRQDOHVGHDFUHGLWDFLyQ\KRPRORJDFLyQHQ$/

$PpULFD/DWLQD
7DEOD5HVXOWDGRVGHORVSURFHVRVGHDFUHGLWDFLyQGHSURJUDPDVGHPDHVWUtDVSRUHO6($
0+DVWDHQHURVHHYDOXDURQSURJUDPDVGHPDHVWUtDV
)(&+$ 7RWDO $SHODFLRQHV

3URJUDPDVH[FHOHQWHV
3URJUDPDV
FHUWLILFDGRV
DFUHGLWDGRV
3URJUDPDV
5DWLILFDGRV
7RWDOGH
PHQFLRQHV
DFUHGLWDGDV
7RWDOGHSURJUDPDV
DFUHGLWDGRV
1RDFUHGLWDGRV
7RWDOPHQFLRQHV
HYDOXDGDV
7RWDOGHSURJUDPDV
HYDOXDGRV
2EVHUYDFLyQKD\SURJUDPDVTXHVXVPHQFLRQHVIXHURQDFUHGLWDGDVLQGHSHQGLHQWHVHQGLVWLQWDV
IHFKDV

7RWDOGHSURJUDPDV
HYDOXDGRV
7RWDOGH$SHODFLRQHV

7DEOD5HVXOWDGRVGHODHYDOXDFLyQGHSURJUDPDVSRUUHXQLRQHVGHOD-$1KDVWDMXOLR

5HXQLRQHV-$1 ([FHO &HUWLILF 5DWLILFDGR 1RDFUHGLWDGR 7RWDO
1R
'LF
1R0DU
1R PHQFLRQHV
-XO SURJUDPDV
DSHODFLRQHV
7RWDO PHQFLRQHV
SURJUDPDV
3URJUDPDVDFUHGLWDGRV
3URJUDPDVGH([FHOHQFLD GHOWRWDOGHSURJUDPDV
TXHSDVDURQHOSURFHVR
3URJUDPDV&HUWLILFDGRV
3URJUDPDV5DWLILFDGRV

([SHULHQFLDVPHWDHYDOXDWLYDVLQWHUQDFLRQDOHV
7DLZiQ(QXQDQiOLVLVUHDOL]DGRDOSURFHVRGHDFUHGLWDFLyQGHODVXQLYHUVLGDGHVGH7DLZDQ
LPSOHPHQWDGR HQ <XHKOXHQ +X \ +DQ &KLDQJ &KHQ VH FXHVWLRQDQ ORV VLJXLHQWHV
DVSHFWRV¢$OFDQ]yHVWDDFUHGLWDFLyQODPHWDWUD]DGD"¢(OSDWUyQXWLOL]DGRHQODDFUHGLWDFLyQ
HV YiOLGR" ¢6RQ ORV HYDOXDGRUHV OR VXILFLHQWHPHQWH SURIHVLRQDOHV" ¢(O DXWRHVWXGLR
DXWRFRQRFLPLHQWR KD DOFDQ]DGR HO DXWRSHUIHFFLRQDPLHQWR" ¢(O UHSRUWH LQIRUPH GH OD
DFUHGLWDFLyQ VHUi DFHSWDGR SRU ODV XQLYHUVLGDGHV" (VWRV DVSHFWRV IXHURQ LQYHVWLJDGRV
H[DPLQ
727$/ iQGRVH
6ROLFLWXGHVGHDFUHGLWDFLyQ
HO

VLVWHPD
3URJUDPDVQRSUHVHQWDGRV GH
3URJUDPDVQRFXPSOHQFRQ WUDEDMR
UHTXLVLWRV GH OD
DFUHGLWD
FLyQ FRQ WUHV SURSyVLWRV FRQRFHU ORV HIHFWRV GH OD DFUHGLWDFLyQ GH OD (GXFDFLyQ 6XSHULRU
UHDOL]DGD HQ HO SDtV HYDOXDU HO SURFHVR GH DFUHGLWDFLyQ HQ ORV WpUPLQRV GH ODV GLPHQVLRQHV

<XHKOXHQ+X +DQ&KLDQJ&KHQ/D0HWDHYDOXDFLyQGHODHYDOXDFLyQGHOD(GXFDFLyQ6XSHULRUHIHFWXDGD
HQHQ7DLZDQ

WUDEDMRSUHOLPLQDUFULWHULRVGHDFUHGLWDFLyQDXWRHVWXGLROXJDUGHODHYDOXDFLyQUHVXOWDGRV\
RIUHFHU ODV VXJHUHQFLDV FRQFUHWDV SDUD OD DFUHGLWDFLyQ IXWXUD GH ODV XQLYHUVLGDGHV \ GH ODV
SROtWLFDVGHODWRPDGHGHFLVLRQHVUHFRJLGDVHQXQFXHVWLRQDULRTXHGLVHxDURQORVHVSHFLDOLVWDV
FRQODLQWHQFLyQGHDFRSLDUODVRSLQLRQHVVREUHODYDOLGH]\ODYHUDFLGDGODDFUHGLWDFLyQ/RV
DXWRUHVVHSODQWHDQDVtODQHFHVLGDGGHODPHWDHYDOXDFLyQHQWHQGLGDFRPRODHYDOXDFLyQGHOD
HYDOXDFLyQXVDQGRXQDPHWRGRORJtDSDUDHYDOXDUODHYDOXDFLyQ\UHH[DPLQDQGRHOGLVHxRHO
SURFHVR\ORVHIHFWRVGHODHYDOXDFLyQ
%UDVLO8QVHJXQGRFDVRGHPHWDHYDOXDFLyQHVHOUHIHULGRDODH[SHULHQFLDHQOD8QLYHUVLGDG
9HLJD GH %UDVLO GRQGH VH FUHD XQD &RPLVLyQ GH (YDOXDFLyQ SDUD DQDOL]DU OD HYDOXDFLyQ
LQVWLWXFLRQDO UHDOL]DGD HQ HVWD XQLYHUVLGDG WHQLHQGR HQ FRQVLGHUDFLyQ HO HOHPHQWR
PHWDHYDOXDGRU/DPHWDHYDOXDFLyQRODHYDOXDFLyQGHODHYDOXDFLyQHVWXYRSUHVHQWHGXUDQWH
WRGR HOGHVDUUROOR GHO WUDEDMRGH DXWRFRQRFLPLHQWR\ DXWRSHUIHFFLRQDPLHQWRGHVGH OD SURSLD
FUHDFLyQ GH OD &RPLVLyQ GH (YDOXDFLyQ 7RGDV ODV IRUPDV GH UHFRQVLGHUDFLyQ GH ODV
HYDOXDFLRQHV \ GLDJQyVWLFRV LQYROXFUDURQ D XQ JUXSR GH OD FRPXQLGDG DFDGpPLFD /D
HYDOXDFLyQ FRQVWDQWH \ SHUPDQHQWH GH ODV DFFLRQHV HYDOXDWLYD D SHVDU GH PHUHFHU XQ
WUDWDPLHQWRPiVSURIXQGR\VLVWHPiWLFRVHFRQYLUWLHURQHQSHUFHSWLEOHV\FRQFUHWDVLQGLFDQGR
ODPRGLILFDFLyQGXUDQWHHOSURFHVR
(QHODUWtFXORGH5DQFDxR'HOPD*1\%HQYHQXWL2OHGLDVHSODQWHDTXHXQDHYDOXDFLyQ
TXHKDFHXQDUHIOH[LyQVREUHODVDFFLRQHVHYDOXDWLYDVSXHGHHVWDUUHODFLRQDGDFRQODH[WHQVLyQ
GH ODV DFFLRQHV OD YDOLGH] \ OD YHUDFLGDG GHO SURFHVR HYDOXDWLYR OD SDUWLFLSDFLyQ GH OD
FRPXQLGDG OD DGHFXDGD FDQWLGDG GH UHFXUVRV KXPDQRV ILQDQFLHURV \ PDWHULDOHV OD SHUIHFWD
FRPXQLFDFLyQGHORVUHVXOWDGRVODVPRGLILFDFLRQHVIXWXUDVODLQYHVWLJDFLyQGHODFDOLGDGGHOD
HQVHxDQ]D \ HO DSUHQGL]DMH HO SHUIHFFLRQDPLHQWR GH ORV FXUUtFXORV \ ORV SURJUDPDV \ OD
FRQWULEXFLyQHQHOSURFHVRGHWRPDGHGHFLVLRQHVHWF
&DWDOXxD (VSDxD %DUWRORPp \ RWURV HVSHFLDOLVWDV OOHYDURQ D FDER XQ DQiOLVLV GH ORV
PRGHORVLQVWLWXFLRQDOHVGHHYDOXDFLyQGHFHQWURVXWLOL]DGRVHQ&DWDOXxDVHLVHQWRWDODORVTXH
DxDGLHURQGRVHXURSHRV(&,6\*5,'6\XQRDPHULFDQR'(/$:$5(7UDVFRQVXOWDUOD
OLWHUDWXUD HVSHFLDOL]DGD VREUH HO WHPD HVWH HTXLSR HVWDEOHFLy XQ OLVWDGR GH FULWHULRV
FRPSDUDWLYRVDJUXSDGRVHQORVFLQFREORTXHVVLJXLHQWHVREMHWLYRVGHODHYDOXDFLyQREMHWRGH
ODHYDOXDFLyQPHWRGRORJtDGHHYDOXDFLyQFULWHULRVGHHYDOXDFLyQ\HOSDSHOGHOHYDOXDGRU
((88*DOOHJRVQRVLQIRUPDGHXQDPHWDHYDOXDFLyQGHDFWXDOHVPRGHORVGHHYDOXDFLyQGH
FHQWURV HQ (VWDGRV 8QLGRV OOHYDGD D FDER SRU HO &5($7( &HQWHU IRU 5HVHDUFK RQ
(GXFDWLRQDO $FFRXQWDELOLW\ DQG 7HDFKHU (YDOXDWLRQ HQ OD TXH VH UHYLVDURQ XQ WRWDO GH
FLQFXHQWD \ XQ PRGHORV GH GLVWLQWR FDUiFWHU QDFLRQDO UHJLRQDO HVWDWDO ORFDO \ GH DJHQFLDV
S~EOLFDV\SULYDGDV(VWHHVWXGLRSDUWLyGHODFODVLILFDFLyQGHPRGHORVUHIOHMDGDHQHOHVWXGLR
GH 5LFKDUGV TXH LQFOX\H ORV VLJXLHQWHV WLSRV GH PRGHORV GH HYDOXDFLyQ GH FHQWURV

5DQFDxR 'HOPD * 1 %HQYHQXWL 2OHGLD 0HWDHYDOXDWLRQ D UHFRQVLGHUDWLRQ RI 8QLYHUVLGDGH 9HLJD GH
$OPHLGD¶VHYDOXDWLYHSURSRVDO5-%UDVLO

5DQFDxR 'HOPD * 1 %HQYHQXWL 2OHGLD 0HWDHYDOXDWLRQ D UHFRQVLGHUDWLRQ RI 8QLYHUVLGDGH 9HLJD GH
$OPHLGD¶VHYDOXDWLYHSURSRVDO5-%UDVLO

%DUWRORPp

*DOOHJRV

0RGHORV FHQWUDGRV HQ HO FXPSOLPLHQWR 0RGHORV FHQWUDGRV HQ HO GLDJQyVWLFR \ 0RGHORV
FHQWUDGRVHQHOUHQGLPLHQWR
*UDQ %UHWDxD %UXQQHU UHILHUH TXH ODV GLUHFWULFHV SROtWLFDV FRQWHQLGDV HQ XQ :KLWH 3DSHU
GHODxRHQ*UDQ%UHWDxDLQWURGXFHQXQDWULSOHGLVWLQFLyQSDUDODHYDOXDFLyQGHFDOLGDG
GHODGRFHQFLDFRQWUROGHFDOLGDGLQWUtQVHFREDVDGRHQPHFDQLVPRVLQWHUQRVSDUDPDQWHQHU\
PHMRUDU OD FDOLGDG GH VX SURYLVLyQ DXGLWRUtD GH FDOLGDG FRQVLVWHQWH HQ HO H[DPHQ H[WHUQR
GLULJLGR D SURSRUFLRQDU VHJXULGDG GH TXH ODV LQVWLWXFLRQHV WLHQHQ HQ VX OXJDU PHFDQLVPRV
LQWHUQRV GH FRQWURO GH FDOLGDG \ HYDOXDFLyQ GH FDOLGDG PHGLDQWH H[DPHQ \ MXLFLRV H[WHUQRV
VREUH OD FDOLGDG GH OD HQVHxDQ]D \ HO DSUHQGL]DMH HQ FDGD LQVWLWXFLyQ (Q FXDQWR D OD
DXWRHYDOXDFLyQLQVWLWXFLRQDOFRQWUROGHODFDOLGDGLQWUtQVHFRHO&RPLWpGH9LFHFDQFLOOHUHV\
3ULQFLSDOHV &9&3 KD HVWDEOHFLGR XQD $FDGHPLF $XGLW 8QLW $$8 TXH DVLVWH D ODV
LQVWLWXFLRQHV LQGLYLGXDOHV HMHUFLHQGR UHVSHFWR GH HOODV XQD IRUPD GH PHWDHYDOXDFLyQ FRPR
KDFH HO ,QVSHFWRUDGR +RODQGpV GH OD (GXFDFLyQ 6XSHULRU ³DO SURYHHU VHJXULGDG GH TXH ORV
PHFDQLVPRV \ PpWRGRV GH HYDOXDFLyQ HPSOHDGRV VRQ DSURSLDGRV D VX REMHWLYR \ VH HVWiQ
DSOLFDQGRHQODSUiFWLFD´
/D SUHVLyQ HYDOXDWLYD TXH VH KD OHYDQWDGR HQ *UDQ %UHWDxD KD LGR DFRPSDxDGD SRU HO XVR
UHODWLYDPHQWHLQWHQVRGHSHUIRUPDQFHLQGLFDWRUVLQGLFDGRUHVGHGHVHPSHxRGHHQXQFLDGRV
XVXDOPHQWH GH FDUiFWHU FXDQWLWDWLYR VREUH UHFXUVRV HPSOHDGRV \ ORJURV REWHQLGRV HQ iUHDV
UHOHYDQWHVSDUDREMHWLYRVHVSHFtILFRVGHODHPSUHVDVRQXQLQVXPRFODYHSDUDORVSURFHVRVGH
DFFRXQWDELOLW\ WDQWR KDFLD GHQWUR GH ODV LQVWLWXFLRQHV FRPR IUHQWH D ORV RUJDQLVPRV
ILQDQFLDGRUHV (O &RQVHMR 1DFLRQDO GH FDOLGDG TXH KDFH ³DXGLWRUtDV´ SDUD GHWHUPLQDU VL ORV
SURFHGLPLHQWRVVRQDGHFXDGRVJHQHUDOPHQWHSURGXFHXQLQIRUPHS~EOLFR
'LQDPDUFD (Q HO GRFXPHQWR 0HWD (YDOXDWLRQ RI WKH (YDOXDWLRQV RI +LJKHU (GXFDWLRQ LQ
'HQPDUNVHSUHVHQWDXQHVWXGLRGHLPSDFWRGHODVHYDOXDFLRQHVGHVGHKDVWDHQ
OD HGXFDFLyQ VXSHULRU GH 'LQDPDUFD $ HVWH HVWXGLR GH LPSDFWR OR GHQRPLQDURQ
PHWDHYDOXDFLyQ\VHEDVyHQXQGLVHxRPHWRGROyJLFRFRQGRVFRPSRQHQWHVXQRFXDQWLWDWLYR\
RWUR FXDOLWDWLYR \ FRQVLVWLy HQ OD UHDOL]DFLyQ GH HQFXHVWDV HQ SULPHU OXJDU D ORV MHIHV GH
GHSDUWDPHQWR \ IDFXOWDGHV HQ VHJXQGR OXJDU HQWUHYLVWDV SURIXQGDV D ORV YLFHFKDQFHOORUV \
ILQDOPHQWH VH KL]R HO HVWXGLR GH FDVRV GHQWUR GH VHLV FDPSRV HGXFDWLYRV TXH FXEULHURQ
GLIHUHQWHV WLSRV GH IDFXOWDGHV GRQGH VH UHDOL]DURQ HYDOXDFLRQHV (O DQiOLVLV GH ORV UHVXOWDGRV
GHO HVWXGLR EDVDGR SULQFLSDOPHQWH HQ XQD YDORUDFLyQ VXEMHWLYD GH ODV SHUVRQDV GHQWUR GHO
VLVWHPDHGXFDFLRQDOORVHYDOXDGRVFRQHOREMHWLYRGHDQDOL]DUHOYtQFXORHQWUHHOSURFHVRGH
HYDOXDFLyQ\HOLPSDFWRDUURMyORVLJXLHQWH

%UXQQHU-RVp-RDTXtQ&DOLGDG\HYDOXDFLyQHQODHGXFDFLyQVXSHULRU(Q(YDOXDFLyQ\$FUHGLWDFLyQ
8QLYHUVLWDULD0HWRGRORJtDV\([SHULHQFLDV(GLWRUHV(GXDUGR0DUWtQH]\0DULR/HWHOLHU(G1XHYD6RFLHGDG

<RXQJ'DYLG7KH$FDGHPLFDXGLW8QLWHQ*RHGHJHEXUH0DDVVHQ:HVWHUKHLGMHQ3DJ

%M¡UQNLOGH 7KRPDV %DVRQ &KULVWLDQ 0HWD (YDOXDWLRQ RI WKH (YDOXDWLRQV RI +LJKHU (GXFDWLRQ LQ
'HQPDUN3DSHUIRU&DVHVWXG\6HVVLRQDWWKHWK((6&RQIHUHQFHLQ/DXVDQQH2FWREHU

0HWD(YDOXDWLRQRIWKH(YDOXDWLRQVRI+LJKHU(GXFDWLRQLQ'HQPDUNUHDOL]DGRSRUHO(YDOXHULQJVFHQWHUHW
7KH'DQLVK&HQWUHIRU4XDOLW\$VVXUDQFHDQG(YDOXDWLRQRI+LJKHU(GXFDWLRQFRPLVLRQDGRSRUHO0LQLVWHULRGH
(GXFDFLyQGDQpV\VXSHUYLVDGRSRUHO3/65$0%2//0DQDJHPHQWLQ

$ SHVDU TXH HO VLVWHPD GH HYDOXDFLyQ IXH DSR\DGR SRU ORV SURIHVLRQDOHV GHO VLVWHPD
HGXFDFLRQDO HVWRV HVWiQ PX\ HVFpSWLFRV VREUH HO VLVWHPD GH HYDOXDFLyQ SRU OR TXH SXHGHQ
VXEHVWLPDUHOLPSDFWRGHODHYDOXDFLyQ
'HVSXpV GH KDEHU SDVDGR SRU SURFHVRV GH HYDOXDFLyQ VH KDQ UHDOL]DGR FDPELRV
SDUWLFXODUPHQWH HQ DVSHFWRV UHODFLRQDGRV FRQ ORV REMHWLYRV GH OD HGXFDFLyQ FRQWHQLGR \
FRPSRVLFLyQ GH ODV DVLJQDWXUDV /DV HYDOXDFLRQHV KDQ WHQLGR WDPELpQ LPSDFWR HQ PHQRU
PHGLGDHQODVKDELOLGDGHVSHGDJyJLFDV\SURIHVLRQDOHVGHORVSURIHVRUHV\HQORVPpWRGRVGH
HQVHxDQ]D
/DV HYDOXDFLRQHV KDQ LQIOXLGR HQ HO HVWDEOHFLPLHQWR GHO VLVWHPD GH DVHJXUDPLHQWR GH OD
FDOLGDG HQ DSUR[LPDGDPHQWH XQR GH FXDWUR FDVRV GH OD HGXFDFLyQ \ KDQ WHQLGR XQ LPSDFWR
GLUHFWR DOOt GRQGH ORV HYDOXDGRUHV KLFLHURQ UHFRPHQGDFLRQHV TXH QR KDQ VLGR WRPDGDV HQ
FXHQWDSRUORVHYDOXDGRV(QVHJXQGROXJDUODVHYDOXDFLRQHVKDQDFWXDGRFRPRXQSURFHVRGH
FDPELRFDWDOtWLFR\DFHOHUDGRHQFDPLQDGRHQPXFKRVFDVRVDKDFHUORPiVREMHWLYR
6H GHPRVWUy TXH HO HOHPHQWR SDUWLFLSDWLYR HQ WpUPLQRV GH DXWRHYDOXDFLyQ HV GH JUDQ
LPSRUWDQFLDSDUDHOLPSDFWRGHODHYDOXDFLyQHQODHGXFDFLyQVXSHULRUDSHVDUGHTXHGLFKR
SURFHVR FRQVXPH PXFKR WLHPSR 6L ODV UHFRPHQGDFLRQHV SDUWHQ R HVWiQ EDVDGDV HQ ORV
UHVXOWDGRVGHODDXWRHYDOXDFLyQHVPX\SUREDEOHTXHVHDQLPSOHPHQWDGDV
/D SDUWLFLSDFLyQ GH ORV FHQWURV HQ OD DXWRHYDOXDFLyQ LQGLFD HO JUDGR GH XWLOL]DFLyQ GH ODV
HYDOXDFLRQHV HQ HO VHFWRU GH OD HGXFDFLyQ TXH HVWi FDUDFWHUL]DGR SRU XQ DOWR JUDGR GH
DXWRQRPtD\SURIHVLRQDOL]DFLyQ
([LVWHXQDFRUUHODFLyQHQWUHHOQ~PHURGHFHQWURVLQYROXFUDGRVHQODHYDOXDFLyQ\HOQLYHO
GHLPSDFWR
7KRPDV:LGPHU SODQWHDTXHVHSXHGHGLIHUHQFLDUODVGHPDQGDVKHFKDVDODHYDOXDFLyQHQ
UHODFLyQ FRQ ORV GRV FULWHULRVGHYDORUDFLyQGLIHUHQWHVD VDEHU LQWHUQR\ H[WHUQR\HO XVR GH
HOORV SDUD YDORUDU OD FXDOLGDG GH XQD HYDOXDFLyQ \ DVXPH WUHV QLYHOHV GH FRQVWUXFWRV HO
SULPHUR HO SURJUDPD R HO SUR\HFWR TXH VH HYDO~D HO VHJXQGR OD HYDOXDFLyQ \ HO WHUFHUR OD
PHWDHYDOXDFLyQ 8Q HYDOXDGRU SXHGH DVt HYDOXDU XQ SURJUDPD X RWUR REMHWR EDVDGR HQ ORV
REMHWLYRV GHO SURJUDPD FULWHULR GH HYDOXDFLyQ YDORUDFLyQ LQWHUQR SHUR WDPELpQ SXHGH
HYDOXDUXQSURJUDPDEDVDGRHQODVLJQLILFDFLyQVRFLDOGHOSURJUDPDFULWHULRGHHYDOXDFLyQ
YDORUDFLyQ H[WHUQD (O PLVPR UD]RQDPLHQWR SXHGH VHU DSOLFDGR D XQD HYDOXDFLyQ FRPR
FRQVWUXFWRGHVHJXQGRRUGHQGRQGHHOFULWHULRGHYDORUDFLyQUHOHYDQWHSXGLHUDVHUHQSULPHU
OXJDU ORV REMHWLYRV GH OD HYDOXDFLyQ FULWHULR GH YDORUDFLyQ LQWHUQD \ HQ VHJXQGR OXJDU OD
WHRUtD \ PHWRGRORJtD GH OD HYDOXDFLyQ JHQHUDO FULWHULR GH YDORUDFLyQ H[WHUQD 3RU DQDORJtD
HVWH DUJXPHQWR SXHGH SURVHJXLU HQ HO WHUFHU RUGHQ \ VL VH HPSUHQGH XQD YDORUDFLyQ R
HYDOXDFLyQ GH XQD HYDOXDFLyQ HQWRQFHV VH SXHGH KDEODU GH XQD PHWDHYDOXDFLyQ \ VXUJH
HQWRQFHVODLQWHUURJDQWHGHTXLpQHYDO~DXQDPHWDHYDOXDFLyQ>9HU7DEOD@

:LGPHU7KRPDV(9$/8$7,2167$1'$5'6,17+(&217(;72)6867$,1$%,/,7<
($6<(&2(YDOXDWLRQRI6XVWDLQDELOLW\(XUR&RQIHUHQFH0D\±9LHQQD$XVWULD6XSSRUWHGE\WKH
(XURSHDQ &RPPLVVLRQ 5HVHDUFK '* +XPDQ 3RWHQWLDO 3URJUDPPH :LGPHU +LJK/HYHO 6FLHQWLILF
&RQIHUHQFHV&RQWUDFW1R+3&)&7&RQVXOWDGRHO

1LYHOHVSURSXHVWRVSRU7KRPDV:LGPHUFRQVXVFRUUHVSRQGLHQWHVEDVHVGHYDORUDFLyQ

/HYHO 2EMHFW %DVLVIRU,QWHUQDO %DVLVIRU([WHUQDO
$VVHVVPHQW&ULWHULD $VVHVVPHQW&ULWHULD

)LUVW2UGHU 3URJUDP3URMHFW 2EMHFWLYHVRIWKH 6RFLDO6LJQLILFDQFHRIWKH
&RQVWUXFWV 0HDVXUHHWF 3URJUDP3URMHFWHWF 3URJUDP

6HFRQG2UGHU (YDOXDWLRQ 2EMHFWLYHVRIWKH (YDOXDWLRQ7KHRU\DQG
&RQVWUXFWV (YDOXDWLRQ 0HWKRGRORJ\

7KLUG2UGHU 0HWDHYDOXDWLRQ 2EMHFWLYHVRIWKH0HWD
&RQVWUXFWV HYDOXDWLRQ

(QFRQVHFXHQFLDORVGRV~OWLPRVLQVWUXPHQWRVVRQGHULYDGRVGHORVFRQWHQLGRVVLJQLILFDWLYRV
RGHORVUHVXOWDGRVGHODVHYDOXDFLRQHVODEDVHSDUDODLQYHVWLJDFLyQHVODHYLGHQFLDWHPiWLFD
TXH ODV SURSLDV HYDOXDFLRQHV SXHGHQ SURSRUFLRQDU 8Q PHWDDQiOLVLV UHTXLHUH XQ VXILFLHQWH
Q~PHURGHHVWXGLRVHYDOXDWLYRVH[LVWHQWHVTXHSHUPLWDXQDUHVSXHVWDFXDQWLWDWLYDSDUDUHQGLU
FXHQWD D XQ DVXQWR HVSHFtILFR (VWH IRFR FXDQWLWDWLYR WtSLFDPHQWH KDFH XQ PHWDDQiOLVLV
RULHQWDGR PiV HVWUHFKDPHQWH TXH XQD VtQWHVLV GH HYDOXDFLyQ 8QD VtQWHVLV GH HYDOXDFLyQ
UHTXLHUHXQJUXSRWHPiWLFRHQWUHORVHVWXGLRVHYDOXDWLYRVVREUHHOFXDOHVWiEDVDGRSRUORTXH
HQVXHQIRTXHFXDOLWDWLYRHVWiFLUFXQVFULWDGHIRUPDPHQRVHVWUHFKD>9HU7DEOD@
9LVLyQGHORUGHQGHORVLQVWUXPHQWRV

,QVWUXPHQW 'HVFULSWLRQ
(YDOXDWLRQ &RQWHQW 6\QWKHVLV RI 9DULRXV (YDOXDWLRQ 6WXGLHV ODUJHO\
6\QWKHVLV TXDOLWDWLYHJOREDOHYDOXDWLRQFURVVVHFWLRQDODQDO\VLV
0HWD$QDO\VLV 4XDQWLWDWLYH,QWHJUDWLRQRIWKH5HVXOWVRI9DULRXV
(YDOXDWLRQ6WXGLHVUHVHDUFKV\QWKHVLV
0HWDHYDOXDWLRQ (YDOXDWLRQRI(YDOXDWLRQV6\VWHPDWLF$VVHVVPHQWRIWKH
4XDOLW\RIRQHRUPRUH(YDOXDWLRQ6WXGLHV
8QD PHWDHYDOXDFLyQ HQ FRQWUDVWH WLHQH IXQGDPHQWDOPHQWH XQ REMHWLYR GLIHUHQWH FRPR OD
HYDOXDFLyQ GH XQD R PiV HYDOXDFLRQHV TXH LQWHQWD HVWDEOHFHU VLVWHPiWLFDPHQWH HO YDORU \ HO
PpULWR GH OD HYDOXDFLyQ R HYDOXDFLRQHV (Q RWUDV SDODEUDV XQD PHWDHYDOXDFLyQ YDORUD OD
FDOLGDG GH XQD HYDOXDFLyQ \ SRU HVR HOOD QHFHVLWD FULWHULRV GH YDORUDFLyQ &RPR VH VHxDOy
SUHYLDPHQWHDPERVFULWHULRVODHYDOXDFLyQGHREMHWLYRVFULWHULRGHYDORULQWHUQR\ODWHRUtD\

Tabla 22. Estadísticas generales de las etapas de la investigación
Primera Segunda Tercera etapa Cuarta etapa Total

a etapa
Procesos de 10 8 10 3
evaluación procesos -Expedientes : 7 Expedientes:9 -Expedientes:2 31
externa experimen- -Informes Informesfinales:10 -Informes finales:
revisados tales finales: 8 DictámenesCTE:9 2
-Dictámenes del
CTE: 3
Cantidad de 34 25 33 10 102
participantes
en
procesos
Expertos del No No 5 3 8
CTE en reglamentado
procesos
Entrevistas 24 6 19 14 63
Realizadas 3 libres
60 semi-
estructuradas.
Expertos y 7 6 2 15
directivos del
MES
Directivos 12 6 8 3 29
centros
Y programas
Evaluadores 5 5 10
Miembros de la 3 3
JAN
Profesores 5 5
del
programa
Experto de la 1 1
ONARC
Encuestas 5
realizadas
Profesores 2
Estudiantes y 3
egresados
63
Tabla 23.
ETAPA INVESTIGATIVA I: RESULTADOS
Observación: Para Información detallada de esta etapa remitirse a la Tesis de

maestría de la autora: La Guía de Evaluación del SEAM. Algunas consideraciones
Tesis de maestría La Guía de Evaluación del SEAM. Algunas consideraciones

Defendida en el
2000
Problema ¿Qué le falta a la Guía de Evaluación para que cumpla
científico totalmente con el carácter de integralidad y exhaustividad?
1- Entrevistas con guiones según jerarquización: directivo, evaluador,
expertos. Total : 24 personas
2-Análisis de los 10 primeros procesos experimentales de evaluación
externa en la UH. (1997-98; 1998-99) .Se estudió la documentación de
los mismos. Programas: 4 de Ciencias Sociales y 6 de Ciencias Exactas
y naturales.
3- Descripción de la Guía de Evaluación del SEAM y su comparación
con las Guías de Evaluación de la AUIP, CAPES y CONACYT.
! Análisis de los indicadores de la Guía en cuantitativos,
Tareas realizadas cualitativos y mixtos.
! Análisis de las variables según su correspondencia con el inicio,
desarrollo y final del programa según Modelo de Pérez Juste.
4-Análisis de las variables de la Guía según los resultados de las
entrevistas.
! Aspectos de la Guía que desbordan el contexto donde se
desarrolla el programa.
! Variables que deben estar presentes y no aparecen en la Guía.
! Indicadores (ítems) que debieran medirse por separado.
1-Primera aproximación metaevaluativa a la Guía de Evaluación.
2-Introducción del concepto de Sistema Integral de Evaluación
(SIEVAL) y sus componentes
Importancia y 3-Descripción del proceso de evaluación y sus componentes.
aportes 4- Introducción del concepto de metaevaluación
5-Reseña de la educación del posgrado y de la evaluación en la
educación en Cuba.
6- Introducción a la teoría de la evaluación respaldada con una extensa
bibliografía que no se encuentra en Cuba.
7-Propuesta de documentos y normas para la recogida de información
durante el proceso de evaluación.
8-Normas para la realización de la evaluación en general.
64
Resultado 1: Descripción de la Guía de Evaluación
1-En el SEAM se identificó un Patrón de Calidad que contiene seis estándares por los cuales
será medida la calidad de los programas de maestrías que se convirtieron, más tarde, en las
variables que componen la actual Guía de Evaluación. Por tanto, la Guía de Evaluación cuenta
con 6 variables y un total de 68 ítems evaluables. El puntaje de la guía alcanza la cifra de 110
puntos.
TABLA 24 .Variables de la Guía de Evaluación del SEA-M

VARIABLES PUNTAJE Por Total de Indicado- Indicado- Total de
110 puntos ciento indicado res res ítems
% res cerrados desplega-
dos
Pertinencia e impacto social 15 puntos 14% 3 1 2 6
Tradición de la institución y 15 puntos 14% 6 2 4 9

colaboración Internacional
Cuerpo de profesores y tutores 30 puntos 27% 5 2 3 9
Respaldo material y 25 puntos 25 % 7 5 2 4

administrativo del Programa
5. Estudiantes 10 puntos 9% 5 4 1 4
6. Curriculum 15 puntos 13% 8 8 0 0
TOTAL 110 puntos 34 22 12 32
" Indicadores no desplegados (cerrados) + Indicadores desplegados = 54
! De los 54 se seleccionaron 40 para el análisis de algunas de las características de la

Guía y serán denominados como descriptores en general El resto de los aspectos están
implícitos en los indicadores a que pertenecen. De este análisis se obtuvieron los
siguientes resultados:
65
Tabla 25 .Análisis de los Indicadores de la Guía de Evaluación del SEA-M
(Variante 1)
Momento de Variables de Descriptores Descriptores Descriptores % según
la la Guía cuantitativos cualitativos mixtos momento
Evaluación
1.Pertinencia e 1.1 1.2
impacto
2.Tradición y 2.6 2.1,2.2,2.3, 24 ítems

colaboración 2.4,2.5
I-Inicio del 3.Cuerpo de 3.1,3.2,3.3

profesores y 3.4 60%
programa tutores.
4.Respaldo
material y
administrat. 4.1,4.2.2,4.5 4.2,4.3
5.Estudiante 5.1
6.Curriculum 6.7 6.1,6.2,6.3,

6.4,6.6
II- 4.Respaldo 4.1.1,4.1.2, 10 ítems
material y 4.2.2,4.4,4.6,
Desarrollo administrat. 4.7
del
5.Estudiante 5.2
programa 25%
6.Curriculum 6.7 6.5,6.6
III- El 1.Pertinencia e 1.3 6 ítems

impacto
programa 3.5
en sus 3. Cuerpo de 15%
profesores y
resultados tutores.
5.Estudiantes 5.3,5.4,5.5
6.Curriculum 6.8
Total 6 10 = 25% 19= 47.5% 11=27.5% 40 ítems
66
Tabla 25-A. Variables e Indicadores según el momento del programa
Programa Variables Cantidad de Indicadores

Inicio- en sí mismo 1,2,3,4,5,6 = 100% 24 = 60%
En su desarrollo 4,5,6 =50% 10 = 25%
Final- en sus resultados 1,3,5,6 = 66.6% 6 = 15
Gráfico 1. Variables /momento programa
100%
80%
Inicio
60% Desarrollo
Final
40%
20%
0%
Gráfico 2. Indicadores/momento programa

60
50
40
Inicio
30 Desarrollo
20 Final
10
Gráfico 3 Análisis de los indicadores de la Guía en cuantitativos y cualitativos.

Descriptores cualitativos Descriptores cuantitativos Descriptores mixtos
19 = 47.5% 10 = 25% 11 = 27.5%
50%
40%
cuantitativos
30%
cualitativos
20% mixtos
10%
0%
67
Tabla 26. Etapa Investigativa I : Análisis de las variables de la Guía de Evaluación en
comparación con las características que debe cumplir un programa de calidad según criterios
de los entrevistados
Características de un programa de maestría de calidad En la Guía
Garantía de la bibliografía con acceso físico real SI
Garantía del claustro en cantidad y calidad SI
Tiempo real de dedicación por el estudiante SI
Aseguramiento material. SI
Efecto del programa en la vida profesional del egresado (publicaciones, campo de investigación, SI
posibilidad de entrar en un mercado de trabajo, salario, etc..)
Riqueza de las tesis. Aportes y su valor NO
Satisfacción tanto de estudiantes como de profesores en que el trabajo valió la pena NO
Carácter instrumental del programa, es decir el programa debe servir para algo NO
Carácter integral y sistemático de las asignaturas del programa en correspondencia con el objetivo de NO
salida que tiene el programa.
Cuando no hay abandono de estudiantes, lo cual es un índice de calidad. NO
Pertinencia del programa. Respuesta a las necesidades del desarrollo de profesionales en el área NO
Calidad en el proceso administrativo del programa: organización de la documentación, de la SI

programación y calendario de las actividades.
Que tenga proyección a las tendencias futuras NO
Tabla 27. Etapa Investigativa I: Análisis de las variables de la Guía en comparación con los
parámetros a evaluar dentro de un Sistema de Evaluación propuestos por los directivos en
las entrevistas realizadas.
PARÁMETROS PROPUESTOS EN LA GUÍA

Excelencia del claustro............................................ SI
Excelencia del programa ...............................(Calidad Técnica) SI
Impacto social .......................................... ............. SI
Actualidad científica............................................... SI
Diseño curricular.................................................. NO
Aseguramiento material........................................ SI
Concepción formal del programa (orden y orientación).......................................................... SI*
Bibliografía disponible............................................ SI
Rigor científico........................................................ NO*
Pertinencia (cumplimiento de las funciones para lo que se ha diseñado el SI
programa)......................... SI*
Cumplimiento de requisitos establecidos por el propio programa para la NO
ejecución................ NO
Tiempo que le dedica el profesor al pregrado, posgrado y a la SI
investigación................................. SI
Recursos humanos y financieros............................ SI
Inserción de la investigación en el diseño y en el proceso....................... NO
Proceso de selección............................................
Proceso de formación de estudiantes.................... NO*
Calidad de las tesis................................................
Coherencia del programa...................................... NO
Estudiantes. Sus características, interés profesional y experiencia, según los objetivos del programa.
Lo que pasa con ese estudiantes después NO
68
Reflexiones finales de la Etapa Investigativa I
Se pudo constatar que:
1. La implementación del SEA-M debe ser considerada en sí misma una innovación y, a su
vez, promotora de innovaciones y mejoras en los programas de maestrías que se evalúan por
dicho sistema. Con él se introduce en el ámbito educativo cubano la Evaluación y
Acreditación de programas con un nuevo enfoque al trascender cualitativamente los niveles de
control de la calidad implícitos en las experiencias de supervisión y control imperantes hasta el
momento, las inspecciones y al proyectarse hacia el exterior del propio sistema educativo.
2. El SEAM es un producto autóctono, que se ha nutrido de lo mejor de las prácticas
evaluativas internacionales estudiadas y de la experiencia acumulada en Cuba mediante la
inspección u otro tipo de control. El SEA-M es el fruto de un proceso de reflexión, de
maduración y de arduo trabajo de un grupo de compañeros, fundamentado en las condiciones
reales en que desarrollan los programas dentro del contexto académico cubano.
3. La implementación de forma experimental en la Universidad de La Habana del Sistema
de Evaluación significó el despertar de la cultura evaluativa en el ámbito académico. Cultura
que lleva intrínsecamente la conciencia de la necesidad de realizar procesos de autoevaluación,
evaluación externa y de acreditación y según se enriquezca esta experiencia, irá
desarrollándose cada vez más.
4. La Guía de Evaluación diseñada para el SEA-M presenta un balance adecuado entre la
valoración cuantitativa y la cualitativa. A través de sus indicadores se representan los tres
momentos esenciales de todo proceso de evaluación: el programa en sí mismo, el desarrollo y
los resultados del programa, aunque, desde este punto de vista, la ponderación no está
debidamente balanceada: de los 40 descriptores analizados el 60% refiere a la evaluación del
programa en sí mismo, un 25 % al proceso y el 15% tributa a los resultados del programa.
5. La Guía de Evaluación del SEA-M es un instrumento multipropósito, se utiliza para
realizar procesos de autoevaluación, evaluación externa y para la posterior acreditación.
Cumple con preceptos teóricos referidos en la literatura consultada al contemplar los aspectos
esenciales para evaluar un programa: pertinencia, impacto social, tradición de la institución,
colaboración interinstitucional, cuerpo de profesores y tutores, estudiantes y currículo
contemplados también en sistemas de evaluación de otros países. Sin embargo, en la Guía hay
ausencia de aspectos evaluables en un programa no incluidos dentro de sus variables como el
proceso de enseñanza - aprendizaje y el seguimiento al egresado, entre otros.
6. Existe una correspondencia entre el puntaje establecido por la Guía para cada variable y
la prioridad otorgada por los expertos y evaluadores entrevistados a dichas variables.
7. La contextualización de la evaluación en tanto su realización “sea en función de y para
un contexto socio cultural, económico y político determinado” 1, exige que la teoría, el
método, las técnicas, procedimientos e instrumentos que la identifican estén al servicio de
dicho contexto en que tiene lugar su práctica, de las necesidades y expectativas de los grupos
involucrados, y no que sean los métodos y técnicas utilizadas los que determinen las
características, complejidad y alcance de la evaluación.
8. En su concepción y praxis la evaluación es un sistema integral, donde se articulan y se
interrelacionan varios componentes protagonistas y otros elementos no menos importantes.
Dada la complejidad del sistema, este no está exento de imperfecciones y subjetividades. No
hay sistema de evaluación perfecto.
1
Hernando Salcedo Galvis (1995
69
Tabla 28. Generalidades y estadísticas
ETAPA INVESTIGATIVA II
Trabajo Tarea Segunda Procesos evaluativos Entrevistas

investigativo investigativa Etapa analizados realizadas
Proyecto ramal Aproximación a un 1999-febrero 8 6 miembros de
científico- estudio 2002 Comité
Técnico exploratorio De 8 especialidades diferentes Académicos de 3
del MES metaevaluativo programas
Gestión del aplicado a la Expedientes = 7
Posgrado en la evaluación externa Informes finales 8
Universidad: el y acreditación de
desarrollo de la maestrías en la UH Codificación de los procesos:
evaluación y la Etapas de la tarea Objetivos 2-2000-1 2-2000-5
metaevaluación 1-Definición 2-2000-2 2-2000-6
1.Revisión de una meto- 2-2000-3 2-2000-7
Problema bibliográfica y dología de la 2-2000-4 2-2000-8
Investigativo: establecimiento del metaevalua-
¿Existe un estado del arte del ción Leyenda para los códigos:
adecuado nivel tema. 2-Realizar la
de calidad en 2.Análisis de los metaevalua- 2 = Segunda etapa
los procesos de documentos ción con carác- 2000/2001= Año de evaluación
normativos normativos ter experi- 1 = Orden
aplicados a los utilizados y mental a
procesos de revisión de procesos de Evaluadores
Programas excelentes =3
evaluación expedientes de los evaluación participantes
Programas Acreditados = 5
externa y procesos. externa de la 25
acreditación de 3.Entrevistas UH
las maestrías?
Entrevistas Miembro CA Evaluadores Acreditación recibida Eva- Parti-
por Programa 6 de tres luado cipantes
programas res CTE
Técni
co
2-2000-1 Acreditada 3
2-2000-2 Acreditada / Premio calidad 4 1
2-2000-4 Excelencia 3
2-2001-6 Excelencia 3 1
2-2001-8 Excelencia 3
70
Resultados de la Etapa Investigativa II
Tabla 29. Resultado 1.Tarea investigativa 2: Del Estudio de documentos normativos
Estudio de Documentos normativos estudiados Objetivos alcanzados

Doc. Procedimiento. (entregado Dic. 2001)
! Solicitud de acreditación. 1.1. Identificación del basamento teórico
! Verificación de la evaluabilidad del programa del SEA-M.
por el CTE.
! Constitución y aprobación de la Comisión Contempla la certificación como objetivo final
Evaluadora. y la evaluación externa como un medio para
alcanzarla de forma automática. Se
! Organización y desarrollo del seminario de
entremezclan los procesos de acreditación y
preparación de expertos evaluación sin delimitar sus alcances (hasta
! Verificación in situ por la Comisión evaluadora donde llega uno y el otro) dándose el papel
de las condiciones acreditables del programa. preponderante a la acreditación y no a la
! Para el análisis de los resultados de la mejora del programa evaluado. Teóricamente
evaluación externa y la elaboración del los dos procesos se relacionan entre sí, pero
dictamen del CTE. son diferentes intrínsecamente desde el punto
! Solicitud de acreditación en Cuba por el SEAM. de vista metodológico y en el cumplimiento de
Requisitos, procedimientos y documentación. sus objetivos
Doc. UHM-20-Elaborado Marzo 2001.
! Planillas SEAM-1; SEAM-2; SEAM-3
! Sobre las etapas organizativas para la evaluación 1.2. Descripción de las funciones de los
externa. Capítulo III del Reglamento del SEAM- órganos del MES participantes en la
1999. evaluación (JAN, COPEP, CTE, CE).Ver
! Documentos e instrumentos establecidos para la Tabla 33 Pág. 76
realización de entrevistas y encuestas por los
evaluadores. 1.3. Identificación de las etapas
conducentes a la evaluación externa según
los documentos. Ver Tabla 34 Pág. 77
71
Tabla 30. Resultado 1 Objetivo 1.2: Descripción de las funciones de las instancias del
MES participantes en la evaluación: JAN, COPEP, CTE, CE
ORGANOS INVOLUCRADOS FUNCIONES

Junta de Acreditación Nacional ! Recepciona y estudia la solicitud de acreditación del rector o
(JAN) director del centro que auspicia el programa.
! Da respuesta a la solicitud de acreditación.
! Aprueba la Bolsa de Expertos.
! Aprueba la Comisión Evaluadora conformada por el CTE.
! Estudia la propuesta del nivel de certificación del CTE en su
dictamen final.
! Otorga o no la certificación correspondiente
Comisión Permanente para la ! Comisión Asesora para la Educación de Posgrado
Educación Posgraduada responsabilizada para aprobar los programas de maestrías para
(COPE ) su ejecución.
Comité Técnico Evaluador ! Integrado por especialistas de reconocido prestigio académico.
(CTE) ! Pertenece a la COPEP. Fue creado para realizar las funciones
derivadas de los procesos de evaluación externa y
acreditación.
! Verifica la evaluabilidad del programa en una primera
instancia (predictamen).
! Determina continuar o no con la evaluación.
! Selecciona a no menos de 5 especialistas de la Bolsa para integrar la
Comisión Evaluadora y eleva la propuesta a la JAN.
Comisión Evaluadora (CE) ! Integrada por 3 expertos (de la Bolsa) del área del
conocimiento correspondiente al programa que se evalúa y un
miembro del CTE en calidad de observador, seleccionados por
el CTE y aprobados por la JAN.
! Realiza el proceso de evaluación del programa en la
institución donde se desarrolla.
! Rinde un informe final al CTE
Deficiencias ( imprecisiones) ! No queda precisa la delimitación de las funciones del CTE,

detectadas CE y la JAN.
! No quedan precisadas las funciones del experto del CTE
durante la realización del proceso.
! No se precisan las funciones e independencia de los
evaluadores.
! No queda claro cómo se conforma la Comisión Evaluadora.
Entiéndase el procedimiento de selección de los
evaluadores.
! No se valora la importancia y el rol del informe final de los
evaluadores
! No se está explícito el rol y la finalidad del dictamen del
CTE, quedando como un mero documento oficial para
seguir el curso de la acreditación
72
Tabla 30-A. Resultado 1 Objetivo 1.3: Identificación de las etapas conducentes a la evaluación
externa y deficiencias detectadas
Etapas identificadas Deficiencias detectadas en las etapas

1. Entrega en la DPG-UH de carta ! Se observan iguales requisitos y
dirigida al rector solicitando el proceso documentos para la solicitud de la
de evaluación acompañada de los evaluación externa y la acreditación.
documentos establecidos ! La determinación de la evaluabilidad del
2. Solicitud del Rector a la JAN dentro de programa se realiza tanto por el CTE
los plazos establecidos. Respuesta de la como por la CE en última instancia. Esto
JAN al Rector en los 60 días hábiles. entra en contradicción con lo establecido
3. Respuesta de la JAN al Rector en los en cuanto a que “si el programa no es
60 días hábiles evaluable en una primera instancia
4. CTE verifica la evaluabilidad del (CTE) no puede continuarse con el
programa. Determinación de la proceso” por lo que, en caso negativo, no
realización del proceso evaluativo o no. tiene sentido conformar la CE para
5. CTE eleva a la JAN la propuesta de la determinar nuevamente que el programa
composición de la Comisión no es evaluable.
Evaluadora. Aprobación de la ! Ausencia de normas para elaborar el
Comisión Evaluadora por la JAN informe final de evaluadores
6. CTE organiza el seminario para los ! No se contempla la posibilidad de la
expertos donde se elabora de la comunicación de los resultados de la
estrategia y el cronograma de trabajo a evaluación externa a los evaluados y la
seguir durante el proceso, se selecciona difusión de los mismos.
el coordinador de la CE y se hace el ! No se determina el nivel de
estudio minucioso de los documentos obligatoriedad de entrega de los
del programa por los evaluadores documentos adjuntos a la planilla
(evaluabilidad). SEAM-1
7. Ejecución del proceso evaluativo in situ
8. Reunión del CTE para analizar el
informe de la CE y elaborar el
dictamen con la propuesta de
certificación
9. CTE eleva la propuesta a la JAN
10. JAN informa al centro las conclusiones
sobre la acreditación.
73
Tabla 31. Resultado 2: Revisión de expedientes de siete procesos culminados
Objetivo 2.1: Comprobar la presencia y/o Objetivo 2.2 Analizar los instrumentos de
ausencia de la documentación establecida en los recogida de la información utilizados por los
expedientes. evaluadores.
Debilidades detectadas en relación con: Debilidades detectadas en relación con:

• En los documentos no se especifica el # de
• Ausencia de documentos obligatorios para la entrevistas a realizar.
evaluabilidad.
• La muestra tomada para las encuestas no tiene
• Ausencia de formularios individuales de entrevistas y
validez para generalizar por no cumplir con lo
encuestas
• Ausencia de otros documentos con información
establecido (igual o mayor de 30) y no ser
complementaria solicitados. seleccionada aleatoriamente.
• No existe homogeneidad en la información solicitada • Mal ordenamiento de variables en el
instrumento utilizado para la entrevista.
• Preguntas que incluyen más de una variable.
• Unión engorrosa y agotadora de lo cualitativo
y cuantitativo para la aplicación del instrumento.
• Preguntas que requieren una preparación
conceptual previa.
Objetivo 2.3.Estudiar y analizar informes elaborados por evaluadores y los dictámenes del
CTE. (Estudiados 8 informes)
Debilidades detectadas en relación con:
• En uno aparece la participación de cinco evaluadores. (Reglamentado 3)
• Diferente extensión (2 a 10 cuartillas).
• Diferentes formatos. (Por variables, por fortaleza / debilidades o por ambos)
• Ausencia de firmas (3 casos) de evaluados y evaluadores o indistintamente.
• Ausencia de fecha de elaboración del informe.
(4 casos)
• Ausencia de fecha del proceso. (3 casos)
• Diferente duración del proceso. (de 3 a 5 días)
• No referencia de las fuentes de información: entrevistas y encuestas, o indistintamente (5 casos)
• No referencia a visitas realizadas (5 casos).
• Aparecen indistintamente recomendaciones generales y específicas. (En un caso no aparece nada).
Específicamente en el contenido de los informes finales

Ausencia de:
# Evaluación cuantitativa por variable y final (3 casos ).

# Descripción actividades evaluativas (5 casos).
# Descripción del objeto evaluado (4 casos).
# Descripción del contexto del objeto evaluado (7 casos).
# Clima del proceso (7 casos)
# Referencia evaluaciones anteriores (4 casos).
74
Resultado 3. Información derivada las entrevistas. Etapa Investigativa II
Se entrevistaron a 6 miembros del Comité Académico de 3 programas evaluados disponibles en el

momento. Los entrevistados emitieron criterios favorables y desfavorables pero se darán solamente
aquellos criterios negativos que son parte del fundamento del presente proyecto, los cuales se
expondrán de forma general. Se parte de criterios cualitativos emitidos por los entrevistados según su
experiencia durante el proceso evaluativo y no por la cantidad de emisores, ya que en esta etapa no se
pudo concluir con el número de entrevistas deseadas.
Información recogida
1- Se dio el caso de que un evaluador o los evaluadores: sin experiencia evaluativa; no eran de la especialidad
del programa; de que pertenezcan a un mismo centro; que su actuación haya sido poco objetiva en alguna de las
etapas del proceso; no tuvieran la suficiente claridad de cómo medir alguno de los parámetros ni dominio del
sistema de posgrado; no se hayan estudiado la documentación previamente por no haber sido entregada por el
nivel correspondiente externo al programa; van más a los papeles que a los resultados derivados para la práctica
social, sin tener en cuenta la carencia de recursos actuales y fueron autoritarios (inflexibles, no oían criterios)
durante el proceso
2. De 3 pares académicos, 2 fueron mal seleccionados y el proceso se tuvo que repetir.(1 caso)
3. En la reunión con el CTE para la elaboración del dictamen final participó solamente uno de los evaluadores en
representación de la comisión evaluadora.
4. Las debilidades y fortalezas fueron presentadas de forma muy escueta.
5. Las conclusiones se hicieron verbalmente no medió documento escrito alguno ni se firmó nada por las partes.
6.Los resultados presentados fueron poco objetivos

7. El proceso debió pararse por el nivel correspondiente si es que el programa no era evaluable por no cumplir
con uno de los parámetros establecidos como esenciales para la evaluabilidad del programa..
8. Clima de incertidumbre durante el proceso para los evaluados por no contar previamente con información
importante para el proceso como era el documento Sobre las particularidades del SEAM: categorías de
acreditación, procedimientos y beneficios de los programas autorizados, acreditados y de excelencia
9. No se poseía por parte de los evaluados de la lista actualizada de la documentación que debían contener los
expedientes de los estudiantes y del programa. La lista que se tenía no estaba vigente, por lo que se desconocía
que debía estar determinado documento en los expedientes.
10. Las entrevistas realizadas por los evaluadores son agotadoras

11. En las entrevistas a los estudiantes se valoró solamente el criterio de uno o dos estudiantes no de la mayoría
en relación con uno de los aspectos que se le situó al programa como debilidad.
12. Las conclusiones por parte del órgano correspondiente es demorada.
13. Se tiene la impresión de que la opinión (dictamen) del CTE es una conclusión personal y no de una
comisión.
14. El dictamen no refleja exactamente lo que dijeron los evaluadores en las conclusiones del proceso.
15. No hay difusión de los resultados

16. En la preparación del proceso por parte de los evaluados no se contó con apoyo institucional del centro
auspiciador del programa todo quedó como responsabilidad del comité académico.
75
Tabla 32. Generalidades y Estadísticas
ETAPA INVESTIGATIVA III
Trabajo Tareas Tercera Procesos evaluativos Entrevistas realizadas

investigativo etapa analizados
1.Revisión 2002-2003 11 Entrevistas -18
bibliográfica De 8 especialidades diferentes
y Directivos MES =5
Tesis doctoral Expedientes = 9 Miembros CA =8
establecimien
Informes finales =10 Evaluadores =5
to del estado Dictámenes CTE= 9
La Gestión
del arte del De ellos 9 doctores
del posgrado:
tema.
de la
evaluación a Codificación de los procesos: Encuestas=5
2.Análisis de (no se tomarán en cuenta)
la meta-
los 3021 3025 3029 Profesores =2
evaluación. 3022 3026 30210 Estudiantes=1
documentos
Propuesta de 3023 3027 Egresados =2
normativos
un Sistema 3024 3028
utilizados 3-
de
Revisión de
Metaevalua- Leyenda: 3-tercera etapa
expedientes
ción 00 = evaluación en el 2000
de los 02= evaluación en el 2002
procesos. 1-orden analizado
Evaluadores = 33
3.Entrevistas
Prog. Excelentes =1
Prog. Acreditados = 5
Prog.No acreditados=4
Entrevistas Miembro CA Evaluadores Acreditación recibida Evalua- Participan

por dores tes CTE
Programa Técnico
3021 3 No acreditada 3 1
3022 1 No acreditada 3 1
3023 2 2 Certificada (acreditada) 4
3024 1 Certificada (acreditada) 3
3025 2 2 Certificada (acreditada) 3 1
3026 Excelencia 3/ 2 1
3027 No acreditada 3
3028 No acreditada 2 1
3029 Certificada (acreditada) Dudas 4
de la JAN
30210 Certificada (acreditada) 3
76
Tabla 33. Generalidades y Estadística
ETAPA INVESTIGATIVA IV
Trabajo Tareas Cuarta Procesos evaluativos Entrevistas realizadas

investigativo etapa analizados
1.Revisión 12/2003- 3 Entrevistas -12
bibliográfica 6/2004 De 3 especialidades diferentes
y Directivos MES =1
Tesis establecimien Codificación de los procesos: Miembros CA =2
doctoral Evaluadores =4
to del estado
4031 Directivos centro = 1
del arte del 4032 Miembros JAN= 3
La Gestión tema. 4033 Especialista ONARC =1
del
posgrado: 2.Análisis de De ellos 4 doctores
de la los
documentos
evaluación a
normativos
la meta- utilizados
evaluación. 3-Revisión Leyenda:
Propuesta 4- cuarta etapa
de
de un 03 = evaluación en el 2003
expedientes 1-orden analizado Evaluadores = 10
Sistema de de los
Metaevalua- procesos.
ción
4.Entrevistas
Entrevistas Miem Direc Evaluadores Acreditación recibida Evaluado- Participan

por bro tivo res tes CTE
Programa CA centr Técnico
o
4031 Ratificado 3 1
4032 2 1 2 No acreditado 4 2
4033 1 No acreditado 3 -
77
Tabla 34. Indicadores de la Guía de Evaluación del SEA-M de obligatorio
cumplimiento o invalidantes.
Requisitos Ratificado de 110 Certificado Excelente

de 110 de 110
Puntuación 66 puntos 77 puntos 93.5 puntos
Total 60% 70% 85%
Mínima
Por ciento Entre 50% y 69% Entre 70% y 79% Entre 80% y
de Indicador 3.1.1 Indicador 3.1.2 100%
Doctores Indicador 3.1.3
Indicador 5.3.1 Indicador 5.3.2 Indicador 5.3.3
Puntos = 2 Puntos= 4 Puntos= 6
Por ciento ≥ 20% en plazo ≥ 50% ó 30% ≥ 75% ó 50%

de tesis previsto en plazo previsto en plazo
defendidas previsto
≥ 50% durante la ≥ 70% durante ≥ 80% durante
validez de la validez de la validez de
créditos créditos créditos
Indicador Puntuación 2/3 parte

para
cualquier
categoría
1.1 5 3.33
1.3 6 4
2.3 5 3.33
2.4 3 2
4.1 7 4.66
4.2 7 4.66
5.1 2 1.33
6.1 2 1.33
6.5 3 2
6.6 3 2
Modificaciones a la guía según CTE
Variable 2.4- en los últimos 4 años – 1 punto

en los últimos 5-10 años- 2 puntos
en los últimos más de 10 años-3 puntos
Variable 3
3.1 hasta 17 puntos 3.1.1 >= 50% - 10 puntos 3.1.2 >= 70% - 15 puntos 3.1.3 >= 80 %- 17 puntos
3.2-se otorgarán hasta 3 puntos adicionales si son doctores dedicados al área del conocimiento.
3.2.1-
78
Junta de Acreditación
Nacional
JAN
Comisión Nacional
de Grado
Secretaría ejecutiva
de la JAN
COPEP
Autoriza los programas Dirección de Evaluación
Direcciòn de Posgrado
MES Comité Técnico
Evaluador CTE
DPG -Centros e IES Comisión Evaluadora
Comité Académico
Figura 7. Organigrama de las Instancias involucradas en los procesos de

aprobación, evaluación y acreditación de programas de maestrías.
DIMENSIONES CONTENIDAS EN LAS ENTREVISTAS REALIZADAS SEGÚN

LA JERARQUIZACIÓN DE LOS ENTREVISTADOS
79
Tabla 35. Contenido de las entrevistas a directivos del centro y del programa
Pre- Dimensiones Variables Indicadores

gunta
1 Conceptual Características que debe cumplir
Proceso
evaluativo
2 Conceptual Parámetros para metaevaluar
Metaevaluación
3 Formación de 3.1. Rasgos Poder de comunicación
evaluadores personológicos
3.2. Profesionalidad ! Experiencia evaluativa
! Especialista de la rama del programa
! Dominio de las técnicas de recogida y
procesamiento de la información
! Otros
Calificativo:
Objetiva / Poco objetiva/ Parcializada
4 Actuación de los
evaluadores
5, 6, 7, 8, Organización del 5.1. Clima del proceso Aspectos relevantes
10, 11 proceso de
evaluación 6.1.Organización del trabajo de los ! Aspectos positivos
externa. evaluadores ! Aspectos negativos
7.1.Cumplimiento del plan de trabajo ! Cambios a lo programado relacionados

de los evaluadores con:
-Fecha
-Plazo de duración
-Cantidad de evaluadores
-Cantidad de entrevistas realizadas
-Visitas a los locales del programa
-Identificación de audiencias
-Entrega del informe final
-Presentación de las conclusiones
8.1 Respaldo al proceso por los Calificativo:
auspiciadores del programa ! Excelente
! Suficiente
! Poco suficiente
! Insuficiente
! Muy insuficiente
9.1 Identificación de las audiencias Calificativo:
Adecuadas / No adecuadas
11.1Evaluación participativa. Nivel de ! Alto
participación de los involucrados en el ! Medio
programa y del centro. ! Bajo
! Nulo
80
Tabla 35. Contenido de las entrevistas a directivos del centr y del programa
(Continuación)
Pregun- Dimensiones Variables Indicadores

ta
9 Metodología utilizada Procesamiento y análisis de ! Elaboración del informe final:
en el proceso de datos calificación /evaluación
evaluación externa
12,13,16 Resultados del proceso 12.1 Objetividad de los Calificativo
de evaluación resultados informados por los -Objetivos
evaluadores -Poco objetivos
-Parcializados
13.1.Aceptación de los ! Debilidades señaladas

resultados por los evaluados ! Fortalezas destacadas
13.2. Discrepancias por los ! Debilidades señaladas
evaluados . ! Fortalezas destacadas
16.1.Cumplimiento de los Si / Parcialmente

objetivos propuestos para la No/ No se
evaluación
14,15 Resultados del proceso 14.1Aceptación de los Sí / No
de acreditación resultados por los evaluados.
14.2 Discrepancias por los Sí / No

evaluados.
15.1.Presentación del recurso ! Sí / No
de apelación ! Respuesta recibida
! Demora de la respuesta
17 Impacto de la Plan de mejora al programa ! Aspectos negativos
evaluación ! Aspectos positivos
18, 19 Trascendencia de la 18.1. Uso de la información en
evaluación externa la toma de decisiones.
18.2 Difusión del informe y

resultados.
19.1Influencia de los ! Aumento

resultados en la demanda por ! Disminución
el programa ! Se mantiene igual
Definición: Trascendencia: -empezar a ser conocida una cosa o divulgarse

-extenderse, propagarse los efectos de unas cosas a otras
Concepto más amplio / Sinónimos: consecuencia, resultado
Impacto: - repercusión, influencia importantes: más directo al programa
81
Tabla 36. Contenido de las entrevistas a directivos del MES
y miembros de la JAN
Pregun- Dimensiones Variables Indicadores

ta
1 Conceptual Características que debe
Proceso evaluativo cumplir
2 Conceptual Necesidad de realizar la
Metaevaluación metaevaluación
Metaevaluación
4 Innovación y mejora de los 4.1 Aspectos a mejorar
procesos de evaluación externa
5, 6 Innovación y mejora de los 5.1Aspectos a mejorar
procesos de acreditación
6.1Ética de los intervinientes Establecimiento de un código ético
del proceso
7 Legalidad en el proceso de Observancia de la legalidad ! Cumplimento de las normas
evaluación y acreditación establecidas
! Derechos de los intervinientes
en el proceso
! Deberes de los intervinientes en
el proceso.
8 Trascendencia de la evaluación 8.1Influencia de los
resultados en la demanda por
el programa
8 Impacto de la evaluación 8.2 Plan de mejora al
programa
9,10,11 Organización del proceso de 9.1 Selección de evaluadores
evaluación externa
10.1Rol del evaluador ! Independencia
! Peso de sus consideraciones en
las conclusiones del proceso de
acreditación
! Peso de sus consideraciones en
la posterior toma de decisiones.
11.1Rol del experto del CTE ! Necesidad

durante el proceso de ! Imparcialidad
evaluación externa. ! Influencia
82
Tabla 37. Preguntas complementarias a directivos del MES y miembros de la JAN
(Continuación)
Miembros de la JAN
Pregunta Dimensiones Variables Indicadores
1,5 Calidad del sistema de 1.1Fiabilidad de los
evaluación (SEAM) instrumentos.
5.1Evidencia de un salto
cualitativo del SEAM
2, 3 Organización del proceso de 2.1 Proceso de selección
acreditación de los miembros de la
JAN
2.2 Formación de los
miembros de la JAN
2.3 Organización de las
sesiones de trabajo de la
JAN
4 Conceptual Actividad evaluativa
Proceso de evaluación Acreditación
Proceso de acreditación
Directivos del MES
Pregunta Dimensiones Variables Indicadores
12 Calidad del sistema de Innovaciones y mejoras
evaluación (SEAM) introducidas al SEAM
13 Impacto de los procesos de Mejoras e innovaciones ! Seguimiento
evaluación externa introducidas al cumplimiento de
las recomendaciones
de la Comisión
Evaluadora
14 Metodología empleada en los Nivel de participación de ! Participación
proceso de acreditación los evaluadores en el de los evaluadores en
proceso de acreditación las sesiones de
trabajo de la JAN.
! Información a
los evaluadores de
las conclusiones del
proceso de
acreditación
83
Tabla 38. Contenido de las entrevistas a Evaluadores

gunta
1 Conceptual Características que debe cumplir
Proceso evaluativo
2 Conceptual Necesidad de realizar la
Metaevaluación metaevaluación
Metaevaluación
4, 5,6 Organización de los Proceso de selección de evaluadores. 4.1Momento de selección
7, 8,9 procesos de
evaluación externa 5.1Notificación de selección
6.1Caracterización del proceso de

selección de los evaluadores.
7.1Determinación de la evaluabilidad ! Participación de los evaluadores en
(Inciso7.5) la determinación de la evaluabilidad
7.2Rol del evaluador ! Libertad de acción durante el

proceso. (Inciso 7.4)
! Independencia (8)
! Peso de sus consideraciones para las
conclusiones (8)
! Peso de sus consideraciones para la
posterior toma de decisiones (8)
7.3Procedimientos administrativos ! Entrega de la documentación del
(Inciso 7.6) programa en tiempo y forma a los
evaluadores.
7.4 Retroalimentación evaluador-
evaluado en el proceso (Inciso 7.11.1)
7.5 Clima del proceso (Inciso 7.11.2)
7.6 Organización del proceso (Inciso

7.11.3)
7.7. Presentación de las conclusiones de ! Audiencias presentes
la evaluación externa
9.1Rol del experto del CTE ! Necesidad
! Imparcialidad
! Influencia en las conclusiones del
proceso
7 Formación del 7.8 Preparación pre-proceso de los ! Participación de los evaluadores en
evaluador evaluadores (Inciso 7.1) el seminario preparatorio
7.9 Rasgos personológicos de ! Seguridad durante el proceso
los evaluadores (Inciso 7.2)
7.10 Profesionalidad de los evaluadores ! Tenencia de conocimientos teóricos

(Inciso 7.3) sobre evaluación
84
Tabla 38. Contenido de las entrevistas a Evaluadores (continuación)
gunta
7 Metodología utilizada en los 7.11.Recogida de ! Técnicas aplicadas por los
procesos de evaluación información evaluadores (Inciso 7.7)
externa ! Selección de la muestra para las
entrevistas (Inciso 7.8)
! Jerarquización de las entrevistas
realizadas (Inciso 7.9)
! Calidad de los formularios de las
entrevistas (Inciso 7.10)
! Calidad del instrumento evaluador
(variables e indicadores)
! (Inciso 7.11.4)
7.12 Procesamiento y ! Elaboración del informe final

análisis de datos (Inciso ! Claridad de las normas
7.12) preestablecidas para su elaboración.
7 Resultados del proceso de 7.13 Homogeneidad en las ! Consenso entre los evaluadores.
evaluación externa conclusiones de la ! Coincidencia de la proposición de
evaluación externa (Inciso certificación entre la CE y el CTE (
7.13) Inciso 7.16)
7.14 Análisis de los ! Participación de los evaluadores

resultados de la evaluación junto al CTE para el análisis de los
por el CTE (Inciso 7.15) resultados de la evaluación y la posible
propuesta de certificación a la JAN.
7 Resultados del proceso de 7.15 Homogeneidad en las ! Coincidencia de la proposición de

acreditación conclusiones de la certificación entre la CE y la JAN (
acreditación Inciso 7.17)
10,12,15 Innovación y mejora de los 10.1 Aspectos a
procesos de evaluación perfeccionar en los procesos
externa de evaluación externa.
12.1Etica de los Establecimiento de un código ético
intervinientes en el proceso.
15.1 Mejoras en las
condiciones de trabajo de
los evaluadores.
11,12 Innovación y mejora de los 11.1 Aspectos a
procesos de acreditación perfeccionar en los procesos
de acreditación.
12.2 Ética de los ! Establecimiento de un código ético.
intervinientes en el proceso.
13 Legalidad en el proceso de Observancia de la legalidad
evaluación externa y en los procesos
acreditación
14 Trascendencia de la Difusión de los resultados ! Para la mejora de los programas.
evaluación externa de los procesos ! Para la demanda del programa
85
Figura 8. Diagrama integrador de las dimensiones tenidas en cuenta para las
entrevistas por categorías determinadas
Futuro
Presente inmediato Futuro mediato
¿Qué se ¿Qué resultados ¿Qué resultados
hace y se obtienen a se obtienen a
Presente
cómo? corto plazo? mediano plazo?
¿Qué se
hace y
cómo?
Categorías
Conceptualización Realidad del proceso de Realidad del proceso de Significación de los Perfeccionamiento de
evaluación externa acreditación procesos los procesos
Proceso de
Evaluación Formación Formación Trascendencia Calidad del
de evaluadores Miembros de de la sistema
la JAN evaluación (SEAM)
Acreditación Metodología
en el proceso Innovación y
Metodología Impacto de la mejora de los
en el proceso evaluación procesos de
evaluación
Meta- Organización externa
evaluación del proceso
Organización
del proceso
Actuación de Innovación y
los mejora de los
evaluadores procesos de
Observancia acreditación
de la legalidad
Resultados del
proceso
Resultados del
proceso
Observancia
de la legalidad
86
Procesamiento de la información recogida en las Fichas Técnicas de
los procesos de evaluación externa y acreditación estudiados
Tabla 39. Estadísticas generales de los procesos de evaluación y acreditación estudiados en las etapas de
investigación II, III, IV (2000-2004)
ETAPA ETAPA ETAPA

INVESTIGATIVA II INVESTIGATIVA III INVESTIGATIVA -IV
Cantidad de Procesos 8 10 3
Evaluadores 25 31 10
Programas certificados 5 5 ( 3 en segunda 1
vuelta)
Programas excelente 3 1
Programas no acreditados 4 2
Documentos ausentes 3 dictámenes del CTE 1 dictámenes del CTE 1 Informe de CE/ 1
1 expediente 1 expediente Expediente
Coincidencia de los tres instancias 3 procesos 3 procesos 1
en el otorgamiento del nivel de acreditación
Debilidades detectadas en los procesos 26 76 37
Apelación 2
88
Tabla 40. Estadísticas en detalles de los procesos de evaluación externa y acreditación analizados
Proceso Evalua- Experto Duración del Documentos Debilidades Recomenda Debilidades Complemen- Debilidad
dores CTE proceso ausentes al programa ciones por CTE tación es detec-
por CE tadas
2-2000-1 3 5 Dictamen CTE 16 13 9
2-2000-2 4 Si 4 Expediente 18 1 8
2-2000-3 3 4 ---------- 13 13 5 8
2-2000-4 3 5 Dictamen CTE 7 4 7
2-2000-5 3 5 ---------- 12 7 5
2-2001-6 3 Si 6 Dictamen CTE 3 0 13
2-2001-7 3 2 ----------- 4 5 12 7
2-2001-8 3 5 --------- 3 4 8
3021 3 Si 5 No 10 5 12 7
3022 3 Si 5 No 21 No No SI 4
3023 4 No 6 No 12 6 4
3024 3 Si 4 No 11 Si (no dato Igual a la CE
exacto) más una nueva
3025 3 Si No dato Dictamen CTE 17 4 No 5
3026 3 Si 5 No 27 5/5 5 13
3027 3 No 7 Expediente 15 1 Igual a CE 7
3028 2 Si 4 No 7 6 9 8
3029 4 No 3 No 13 No No SI 7
30210 3 No 3 No 11 No Igual a la CE SI 4
más una nueva
4031 3 Si 5 Informe de la CE No dato No dato 7 NO SI
4032 4 2 alternos 5 Expediente 14 13 Igual de la CE NO apela SI
más 3 ción
4033 4 No 5 No 18 4 Igual de la CE NO apela SI
más 3 ción
89
Tabla 41 Caracterización de los procesos de evaluación externa y acreditación analizados
Código Calificación otorgada Acreditación Acreditación Coincidencia de

programa Propuesta otorgada criterios para la
certificación
CE(%) CTE (%)
2-2000-1 No dato Acreditado Acreditado CE-CTE-JAN
2-2000-2 No dato Acreditado Acreditado CTE-JAN
2-2000-3 97.2 (88.36) Acreditado Acreditado CTE-JAN
2-2000-4 95.25 (86.36) Excelencia Excelencia Se desconoce
2-2000-5 95 (86.59) Acreditado Acreditado Se desconoce
2-2001-6 103 (93.63) Excelencia Excelencia Se desconoce
2-2001-7 98.5 (89.5) Acreditado Acreditado CE-CTE-JAN
2-2001-8 99 (90%) Excelencia Excelencia CE-CTE-JAN
3021 68(61.8%) 67 (61.8%) No acreditada No acreditada CE-CTE-JAN
3022 82.5 (75) 83 (75.45) Certificada/ No acreditada No acreditada CTE-JAN
3023 95 (86.36) 94.5 (85.9) Certificada Certificada CE-CTE-JAN
3024 93.5 (85%) 91.5 (83.18) Certificada Certificada CE-CTE-JAN
3025 86.1 (78.2%) Certificada Certificada CE-CTE-JAN
3026 80 (72.7) 101.5 (92.6) Certificada//Excelencia Excelencia CE-CTE-JAN

103 (93.63)
3027 86.1 (78.2) 86.7 (78.8) Certificada No acreditada CE-CTE
3028 Error 65- Real 64 67 - 60.9% No acreditada No acreditada CE-CTE-JAN
58.18%
3029 Error 85.4 - Real 86.1 86.1 - 77.63% certificada No acreditada /Certificada CE-CTE
78.27% complementación
30210 Error 86.8- Real 86.3 Error 88 Real 88.3 Certificada Certificada CE-CTE
78.45% (80.2%)
4031 85.7 (77.9%) Ratificado Ratificado CE no dato/ CTE-JAN

4032 83.5 (75.9%) CE-Certificado/CTE- No acreditado NO
Ratificado
4033 80.25 (72.95%) No acreditado No acreditado CE-CTE-JAN
90
Tabla 41. Caracterización de los procesos (continuación)
Código programa Indicadores Indicadores invalidantes Indicadores con

invalidantes aprobados cero
desaprobados puntuación
ratificado certificado excelente

2-2000-1 No dato No dato No dato No dato
2-2000-3 0 2 9
2-2000-4 0 2 9
2-2000-5 1 (5.3) 11
2-2001-7 0 1 12
2-2001-8 1 (5.3) 3 8
3021 1 (3.1) 1 6 4 4
3022 0 1 5 6 0
3023 1 (5.5) 4 8 0
3024 0 4 8 0
3025 0 1 6 5 0
3026 1 (4.2) 2 4 4 6
2 informes de la CE
0 1 2 9 0
1 (6.6) 1 2 9 0
3027 0 2 3 7 0
3028 2 (3.1, 5.3) 4 6 9
3029 0 1 3 8 2
30210 0 1 5 6 1
4031 NO 2 4 5 3 no invalidantes
4032 NO 1 7 4 2 invalidantes para
excelentes
4033 4 3 5 1 no invalidante
(4.1,4.2,6.5,6.6)
91
Observaciones de los procesos de evaluación externa y acreditación analizados
Procesos de la Etapa II
" Sólo 2 procesos con participación de un experto del CTE, la participación del mismo se instauró a partir de determinada fecha.
" 6 programas que obtuvieron más del 86% del total de los puntos de la Guía de Evaluación (110 puntos) uno de los requisitos para
obtener el nivel de programa excelente; sin embarg, 3 de ellos obtuvieron el nivel de certificado
" Un programa tiene desaprobado un indicador invalidante; sin embargo, se le otorgó el nivel de programa excelente.
" El otorgamiento de un nivel de acreditación debe estar respaldado por la coincidencia de lo cualitativo y lo cuantitativo
entendiéndose que lo cuantitativo debe ser la expresión numérica del análisis cualitativo exhaustivo y tener implícito los indicadores
invalidantes.
" Los indicadores invalidantes traen contradicción en el otorgamiento del puntaje y del nivel de acreditación por lo que se considera
oportuno un nuevo análisis de la Guía. Se recomienda que no debieran existir indicadores invalidantes, sino que se les otorgue el
puntaje a estos indicadores por su importancia.
Procesos de la Etapa III
" En tres procesos se tuvo que realizar complementaciones para que la JAN pudiera aclarar sus dudas y llegar a conclusiones
correctas. Esto puede ser el resultado de una mala determinación de la evaluabilidad del programa antes de comenzar el proceso o
por mal trabajo de la Comisión Evaluadora.
" En un proceso las conclusiones de la CE estuvo dividida por lo que se elaboraron dos informes finales.
" Un programa acreditado como programa de excelencia a pesar de tener indistintamente dos indicadores invalidantes no aprobados.
" Programas con el porcentaje de puntuación entre el 50 % -69% para Ratificado = 2 ( No se otorgó a ningún programa)
" Programas con el porcentaje de puntuación entre 70% y 79% para Certificado = 5
" Programas con el porcentaje de puntuación entre 80% o más para Excelente = 3 (Se le otorgó a un solo programa)
" En 4 procesos no participó el experto del CTE.
" La duración de los procesos osciló entre 3 y 7 días
Procesos de la Etapa IV
" Programas con el porcentaje de puntuación entre el 50 % -69% para Ratificado = 0 . Se otorgó a 1 programa.
" Programas con el porcentaje de puntuación entre 70% y 79% para Certificado = 3 . No se otorgó a ningún programa.
" Programas con el porcentaje de puntuación entre 80% o más para Excelente= 0 . No se otorgó a ningún programa
92
Gráfico 4. Procesos según la certificación recibida hasta 2006
ratificados excelencia
21 27
excelencia
certificados
ratificados
certificado
59
93
Conclusiones derivadas del estudio de 31 procesos de evaluación externa y
acreditación culminados
Como resultado se detectaron deficiencias en los procesos que se relacionan con aspectos del
propio proceso, y con las dimensiones establecidas en los formularios de las entrevistas para la
recogida de información para esta investigación. A continuación se dan las deficiencias
detectadas con algunas de las incidencias.
1-Ausencia de documentos del proceso: expediente (en 3 procesos), informe final de la

Comisión Evaluadora (1 proceso) y Dictamen del Comité Técnico Evaluador (4 procesos).
2-Ausencia de documentos obligatorios en los expedientes del proceso como son: solicitud
para la realización del proceso de evaluación externa y acreditación al Rector o Director del
centro por parte de los responsables del programa (6 procesos); solicitud para la realización
del proceso de evaluación externa y acreditación a la JAN(6 procesos); formularios o
trascripción de las entrevistas y encuestas realizadas( 8 procesos); listado de profesores y
tutores del programa; dictamen de aprobación del programa; resultados de las dos
autoevaluaciones obligatorias para el proceso; plan de desarrollo del programa;
reconocimientos sociales obtenidos por profesores y tutores; líneas de investigación del centro
auspiciador del programa; currículum de los profesores; planillas SEAM-3E, 4E, 5E; el
documento técnico del programa; dictamen del CTE (están aparte); y listado de egresados
extranjeros.
3-Sobre la elaboración del Informe Final de la CE:
! No exhaustividad en el contenido de los informes de la CE: no se da la descripción del

programa, visitas realizadas y el contexto (12 procesos) ; no referencia a los resultados de las
entrevistas y encuestas realizadas ( 5 procesos); no se mencionan las fuentes de información;
no aparece el cronograma de trabajo de los evaluadores; no aclaración de aspectos que se
mencionan como debilidades; no se da la propuesta de acreditación de la CE; ausencia de la
valoración de los expedientes de estudiantes revisados y de las tesis revisadas; no hay claridad
en cuál edición es la que se evalúa o en la que se concentra la evaluación; y aparece el
resumen de los resultados de las entrevistas sin diferenciar los aspectos que se valoran según
la jerarquización de los entrevistados / egresados, estudiantes, profesores y empleadores).
! No cumplimiento de aspectos formales: no aparece el título del programa; la fecha de
elaboración del informe (5 procesos) ; la fecha del proceso; no aparece ninguna firma de la
parte evaluadora (9 procesos) o de la parte evaluada (10 procesos); no aparecen las firmas de
todos los evaluadores o todas las firmas correspondientes de los responsables del programa
evaluado; no aparece la puntuación otorgada por variables ni la puntuación general que puede
aparecer aparte del informe; utilización indistinta de la terminología y sin formato definido.
! Existencia de dos informes de la CE por diferencias de criterios y falta de consenso.
! No uniformidad en la extensión del informe, en general.
1. Sobre el señalamiento de debilidades y las recomendaciones en el informe final del CE

y el dictamen del CTE:
94
! Se señalan debilidades al programa sin aclarar las causas o si la responsabilidad es del
centro auspiciador del programa o ajena a este.
! No correspondencia, en contenido, entre las debilidades situadas y las recomendaciones
hechas por los evaluadores.
! No correspondencia de la cantidad de las debilidades situadas y las recomendaciones
hechas. Estas están por debajo o están ausentes totalmente.
! Se sitúan como debilidades aspectos que realmente no lo son, sino más bien son los
motivos o las causas de las posibles debilidades que se plantean.
! No coincidencia entre las debilidades señaladas por la CE y el CTE; este último aporta
“debilidades nuevas” sin haber realizado la evaluación externa in situ.
! Contradicción entre las debilidades situadas y la información recogida en las entrevistas
que no respaldan los señalamientos.
! Se sitúan debilidades que no se corresponden totalmente con la realidad del programa
! Se sitúan debilidades al programa por la CE que entran en contradicción con las
conclusiones dadas.
! La redacción de las debilidades señaladas por la CE fue modificada por el CTE en su
dictamen
! Se omiten debilidades situadas por la CE en el Dictamen del CTE
! Se sitúan varias debilidades que refieren a un mismo aspecto
! No se hacen recomendaciones
! Se señalan aspectos que más que una debilidad son recomendaciones y no queda claro cuál
es el aspecto negativo del programa. No se tiene claro qué es una “debilidad”. Si es un
aspecto con el que no cumple el programa para llegar a lo establecido por la Guía de
Evaluación para obtener excelencia o aquel aspecto que no se tiene.
! Se sitúan como debilidades aspectos que no tienen que ver directamente con el programa,
sino con la política o proyección del centro empleador de los estudiantes y egresados.
! En el informe de la CE se plantean debilidades que en el Dictamen del CTE aparecen
como fortalezas.
! Se sitúan debilidades en apartado si ser consideradas dentro del conjunto de las debilidades
determinadas y sí son debilidades.
2. Sobre el otorgamiento de la puntuación (contenido cuantitativo de la evaluación):
! Error de suma (total) de la puntuación dada en el Informe final de la CE: por encima (2
procesos) o por debajo (4 procesos).
! Error de suma (total) de la puntuación dada en el Dictamen del CTE (3 procesos).
! No coincidencia de la puntuación otorgada en el Informe final de la CE y en el Dictamen
del CTE: el CTE otorga una mayor (6 procesos) o menor puntuación (1 proceso).
! Se otorga una puntuación no adecuada en correspondencia con las debilidades señaladas
en l variable (1 proceso).
! Se dejan de otorgar todos los puntos y no se sitúan debilidades en la variable en el
dictamen del CTE (1 proceso)
6-Sobre la elaboración del Dictamen del CTE
95
! No cumplimiento de aspectos formales: no aparece la fecha del proceso y ausencia de la
firma del coordinador del CTE.
! No exhaustividad del contenido: no descripción del proceso de evaluación externa (en
todos los casos) , del clima del proceso, de las actividades realizadas por los evaluadores
(en todos los casos ), ni del contexto del programa ; no aparecen recomendaciones (3
procesos).
7-Sobre la determinación de la evaluabilidad del programa: programas sujetos a la

evaluación externa sin cumplir con el por ciento de doctores (menos del 70% - 2 procesos),
con la documentación entregada deficiente (1 proceso) y procesos que fueron sujetos a
complementación a solicitud de la JAN por dudas que impedían llegar a conclusiones o
porque no fueron acreditados (4 proceso). Esto significa problemas en la determinación de
la evaluabilidad del programa.
8- Sobre las conclusiones y resultados de los procesos.

! No correspondencia de la puntuación recibida con el nivel de acreditación otorgado:
puntuación alta o adecuada a un nivel, no hay indicadores invalidantes desaprobados y se
otorga un nivel inferior (6 procesos).
! No correspondencia de la puntuación con el nivel de acreditación otorgado: puntuación
alta con indicadores invalidantes no aprobados y se otorga un nivel alto de acreditación (2
procesos)
! Proceso sujeto a complementación donde participó algún evaluador que había participado
en la evaluación primaria (1 proceso)
! No homogeneidad en el nivel de acreditación propuesto por las diferentes instancias
involucradas en el proceso de evaluación y acreditación (5 procesos).
9-Sobre el experto del CTE en el proceso de evaluación externa: ausencia del experto en el
proceso después de estar reglamentada su presencia (3 procesos) o alternancia de expertos
en un mismo proceso (1 proceso).
10-Sobre la toma de decisiones: no referencia a la decisión tomada por el CTE al recibir dos
informes finales de la CE en un mismo proceso.
11-Trabajo de los evaluadores: ausencia de alguno de los evaluadores designados durante el
proceso (1 proceso); comunicación limitada entre los evaluadores y evaluados (1 proceso);
y deficiencias en el procesamiento de la información (1 proceso). El análisis realizado a
los procesos de evaluación externa también permitió detectar los siguientes aspectos
relacionados con las variables de la Guía de Evaluación:
! Con las variables 3, 4, 5 y 6 se relacionan problemas presentados por los evaluadores
durante los procesos de evaluación.
! Las debilidades situadas a los programas por las CE se relacionan a todas las variables del
Guía, aunque la mayoría están entre la 1, 3, 4, 5, 6
! Las variables donde hubo más incidencias de errores a la hora de puntuar fueron la 4, 5, 6
! Los indicadores invalidantes que no se aprobaron están relacionados con las variables 3, 4,
5, 6
96
Tabla 42. Debilidades detectadas en los procesos de evaluación externa estudiados en
todas las etapas y su correspondencia con las dimensiones determinadas para las
entrevistas.
Dimensiones Aspectos Proceso

1-Cumplimiento,
cuidado y respaldo
de la documentación
del proceso.
1.2 Ausencia de Informe de la CE 4031
documentos
Dictamen del CTE 2-2000-1, 2-2000-4, 2-2000-6, 3025
concluyentes del
proceso Expediente 2-2000-2, 3027, 4032
1.3 Ausencia de Solicitud de la realización de los procesos de evaluación externa y acreditación al Rector 3021, 3022, 3025, 3028, 3029, 30210
documentos por los responsables del programa.
obligatorios en el Solicitud de la realización de los procesos de evaluación externa y acreditación a la JAN. 3021, 3022, 3023, 3025, 3028, 3029
expediente del Entrevistas realizadas (transcripción) 3021, 3024, 3025, 3026, 3028, 3029,
proceso. 30210, 4033
Listado de profesores y tutores 3021, 3022, 4031
Currículum de profesores 3028, 4031
Programa 3029, 30210
Dictamen de aprobación del programa 3021, 3022, 3023, 3028, 3029, 4031
• Para la Resultado de las autoevaluaciones Sólo una 3021

realización de los Plan de desarrollo 3022, 3025, 3028
procesos Reconocimientos sociales de profesores y tutores . 3025, 4031
Participación de profesores en eventos 4031
Líneas de investigación del programa y centro. 3025, 3028, 30210, 4031
Listado de estudiantes extranjeros 4031
Planillas SEAM (3E)- 3028 (4E)- 3028, 30210
(5E)-3028, 3029, 30210
Culminación proceso Dictamen del CTE aparte del expediente , Dictamen de la JAN En la mayoría (Ej. 4031); Todos
97
2-Elaboración de 2-200-1,2-2000-
los informes No descripción de visitas realizadas, contexto, clima del proceso 4,3021,3023,3022,3024,3027,
finales por la CE 3028, 3029, 30210, 4032,4033
2.1.No exhaustividad
del contenido
No referencia a los resultados de las entrevistas y encuestas realizadas. 2-2001-8,3022,3026,3028, 3029
No referencia a las fuentes de información 2-2000-4
No referencia al cronograma de trabajo 3022, 3023,3024
No aclara aspectos señalados al programa como debilidades 3023
No aparece la propuesta del nivel de certificación 4032,4033
No aparece valoración de los expedientes de los estudiantes revisados. 4031
No claridad en la edición que se evalúa o en la que se concentra la evaluación externa. 2-2000-1
Referencia de resultados de entrevistas sin diferenciar los aspectos que se valoran según los 3021
entrevistados (egresados, cursistas, profesores)
Utilización de terminología indistintamente por los evaluadores. 3021
Utilización de categorías valorativas por los evaluadores que por su carga subjetiva no 3023 (“suficiente”)
aclaran o respaldan la puntuación otorgada.
2.2 No cumplimiento No aparece fecha de elaboración del informe. 3022, 3023, 3025,3027, 3028
de aspectos formales No aparece la fecha del proceso de evaluación 2-2000-1, 2-2000-4, 3021
No aparece el título del programa 3021
Sin firma de los evaluadores 2-2000-1,2-2000-4,3022,3023,3024,
3025,3026, 4032,4033
Con firma de alguno de los evaluadores 2-2000-3, 2-2000-5, 3021, 30210
Sin firma de los evaluados 2-2000-4, 2-2000-5, 3022,3024
3025,3027,3028, 30210, 4032,4033
Con firma de alguno de los evaluados 3021
Sin formato definido 2-2000-4
No aparece puntuación por variables 2-2000-1, 2-2000-5
No aparece puntuación general 3023,3028,3029
Puntuación aparece aparte del informe 2-2000-4
2.3 No uniformidad
en la extensión de los
informes.
98
Dimensiones Proceso
3.Determinación de debilidades al programa.
3.1 Determinación de debilidades al programa sin aclarar las causas de las mismas ni de quién es la responsabilidad ya sea 2-200-1, 3022
del centro o ajena a este.
3.2. No correspondencia de la cantidad de debilidades situadas al programa con las recomendaciones sugeridas por 2-2000-1, 2-200-3, 2-2000-4,
evaluadores. Estas se quedan por debajo o están ausentes totalmente. 2-2000-5, 3022, 3025,3027,4033
3.3 Determinación de debilidades en aspectos que realmente no lo son, mas bien son los motivos o causas de las posibles 2-2000-3, 2-2000-5, 3025
debilidades que pudieran derivarse de ellos.
3.4 No coincidencia en debilidades determinadas por la CE y el CTE (este sitúa debilidades nuevas) 2-2001-7, 2-2001-8, 4032
3.5. Contradicción entre las debilidades situadas y la información recogida en las entrevistas que no respaldan a las 3021
primeras.
3.6 Varias debilidades señaladas a un mismo aspecto 3022
3.7 Se redactan las debilidades de forma tal que son recomendaciones y no queda claro cuál es el aspecto negativo del 3023,3024,3025, 4032
programa. (No se tiene claro qué significa “debilidad” si es un aspecto que no se cumple para llegar a lo establecido por la
Guía como excelencia o el aspecto que no se cumple por no tenerse.)
3.8. Se sitúan aspectos deficientes en apartado y no dentro del conjunto de las debilidades determinadas y realmente sí son 3023
debilidades
3.9. Se determinan debilidades a aspectos que no tienen que ver directamente con el programa sino con la política o la 3024
proyección del centro empleador del maestrante
3.10. Se determinan debilidades al programa que no se corresponden totalmente con la realidad del mismo ( en la práctica) 3027, 4033
3.11.Se determinan debilidades que entran en contradicción con las conclusiones dadas por la misma CE 3029
3.12.En el dictamen del CTE se encuentran debilidades determinadas por la CE pero modificadas en su redacción 4032
3.13 En el dictamen del CTE no aparecen debilidades determinadas por loa CE 4032
3.14 No se hacen recomendaciones 3022
3.15 En el informe de la CE se plantean debilidades que en el dictamen del CTE aparecen como fortalezas 3023
3.16 No correspondencia en contenido entre las debilidades situadas y las recomendaciones hechas por los evaluadores 4033
4.Otorgamiento de la puntuación en el Informe Final de la CE y el Dictamen del CTE
4.1Error de suma de los puntos por los evaluadores Por encima 3024, 3028
Por debajo:3029,30210,4032, 4033
4.2.Error de suma en al Dictamen del CTE 3021, ,3026,30210
4.3.No coincidencia de la puntuación entre el Informe Final de la CE y el Dictamen del CTE. 3021,3022,3023,3026,3027, 3028
4.4.El CTE otorga más puntuación que la CE 3022,3023,3028,30210,4033,4031
4.5 El CTE otorga menos puntuación que la CE 4033
4.6.Se otorga puntuación no adecuada en correspondencia con las debilidades determinadas en la variable 4031
4.7.No se otorgan todos los puntos en variables sin el respaldo de debilidades situadas 3026 (Dictamen del CTE)
99
Dimensiones Aspectos Procesos
5.Elaboración del Dictamen del
CTE
5.1 No exhaustividad del contenido No aparecen recomendaciones 3022, 3023,4033
No descripción del proceso de evaluación externa General para todos Ej. 3023
No descripción del clima del proceso. General para todos Ej. 3023
No descripción del contexto del programa. General para todo Ej. 3023
No descripción de las actividades de los evaluadores. General para todos Ej. 3023
No aparecen recomendaciones 3022,3023,4033
5.1Aspectos formales No fecha del proceso 3022
No firma del coordinador del CTE ni sus miembros 3023,3026,3028,
4031,4032, 4033
6.Determinación de la Programas sujetos a proceso de evaluación externa sin cumplir con el % de 3028, 3029
evaluabilidad doctores estipulados o con dudas al respecto.
Programas sujetos a proceso de evaluación externa con documentación 4031
entregada deficiente.
Programas sujetos a proceso de evaluación externa y después en la JAN han 3021,3022, 3029, 30210
surgido dudas para las conclusiones o no han sido acreditados por lo que han
sido sometidos a procesos de complementación.
7.Falta de consenso en las Existencia de dos informes finales de la CE con criterios divididos. 3026, 4032
conclusiones de la CE o mal
trabajo en equipo de los
evaluadores
8. Conclusiones y resultados de
los procesos
8.1 Correspondencia de la puntuación Cuando la puntuación recibida es adecuada para un nivel de acreditación 2-2001-7,
recibida por la Guía y el nivel de determinado y no hay indicadores invalidantes desaprobados pero se otorga un 3022,3027,3029,30210,
acreditación recibido nivel menor de acreditación. 4031
Cuando la puntuación recibida es alta, la acreditación otorgada es alta pero hay 2-20001-8,3024
indicadores invalidantes desaprobados
8.2 No coincidencia en el nivel de 3022 CE / (CTE +JAN), 3027 (CE+CTE) / JAN
acreditación otorgado por la CE, CTE 3029 (CE+CTE) / JAN, 30210 (CE+CTE) / JAN
y la JAN 4032 CE / CTE / JAN
8.3 Contradicciones entre la CE y la Se plantean aspectos como debilidad por la CE y 3023
CTE como fortaleza por el CTE
100
Dimensiones Aspectos Procesos
9.Procesos de complemen- Proceso de complementación donde participó un evaluador que había participado en la 3021
tación y apelación evaluación externa primaria
10. Trabajo de los No presencia física de todos los evaluadores en los días de trabajo . 3026
evaluadores No amplia comunicación entre evaluadores y evaluados 3029
Deficiencias en el procesamiento de la información 3029
11.Participación del experto Ausencia del experto en el proceso 3023,3027,3029
del CTE en el proceso Alternancia de expertos del CTE en un mismo proceso 4032
12.Toma de decisiones Por parte del CTE cuando se reciben dos informes de la CE 3026
Tabla 43. Cantidad de debilidades detectadas por las variables de la Guía de Evaluación
Variables 1 2 3 4 5 6
Procesos
Variables donde se detectaron problemas en general en los procesos de evaluación 2 1 5 5 4 3
externa cometido por los evaluadores
Variables donde se situaron debilidades por los evaluadores 15 7 15 18 14 16
Variables donde se situaron debilidades por el CTE 4 4 2 9 6 9
Variables con problemas de puntuación
Errores de suma por la CE 1 1 1 2 3

Errores de suma por el CTE 1
Más puntuación dada por el CTE 1 1 1 2 2 1
Menos puntuación dada por el CTE 1
Indicadores invalidantes desaprobados por variables 2 1 3 1
3.1 4.1 5.3 6.5
3.2 4.2 6.6
3.1 5.3
5.3
101
Gráfico 5. Incidencias y debilidades situadas en los procesos analizados
Incidencias en general
18
16
14 Debilidades situadas
por evaluadores
12
10 Debilidades situadas
8 por el CTE
6
Problemas de
4
puntuación
2
0 Indicadores
1 2 3 4 5 6 invalidantes
desaprobados
1-Pertinencia e impacto social

2-Tradición de la institución y colaboración
Variables de la guía interinstitucional
3-Cuerpo de profesores y tutores
4-Respaldo material y administrativo del
programa
5-Estudiantes
6-Curriculum
102
Modelo. Ficha Técnica de los procesos de evaluación externa realizada a los
programas de maestrías.
Código
1-Datos generales
Fecha del proceso Duración (días) # Evaluadores # Experto del CTE
2- Fuentes documentales del proceso

En existencia Ausentes
3-Calificación cuantitativa recibida por el programa por variables y la final.

Invalidantes
Varia- Informe Comisión % del Invali- Informe Comité Técnico % del Invali-
bles Evaluadora (CE) total dantes Evaluador (CTE) total dantes
1
2
3
4
5
6
Total
4-Acreditación propuesta y recibida
Proposición Proposición Acreditación Apelación Complementación Acreditación

CE CTE JAN después de
apelación
SI NO SI NO
103
5-Debilidades detectadas por variables al programa en la evaluación externa
Variables ! Debilidades ( Según Informe de la CE)

1
2
3
4
5
6
Variables ! Debilidades ( Según dictamen CTE)

1
2
3
4
5
6
CONCLUSIONES DADAS ( Según dictamen CTE)
RECOMENDACIONES SUGERIDAS (Según CE y CTE)
6- No conformidades detectadas en el proceso de evaluación y acreditación

como resultado de la investigación metaevaluativa.
104
Tabla 44. Deficiencias factibles en los procesos de evaluacion externa y en su
regulaciones según la política evaluativa, la metodología, aspectos éticos y la
información recepcionada
En la política evaluativa pueder darse En la metodología utilizada pueden detectarse

deficiencias relacionadas con los siguientes deficiencias relacionadas con
aspectos:
! Pormenorización de los procedimientos para la
! Reflejo de aspectos medulares de la realización de la evaluación externa y la acreditación
política evaluativa en el Reglamento del en el Reglamento del Sistema de Evaluación.
Sistema de Evaluación ! Elección del momento propicio para la evaluación.
! Definición explícita de los objetivos de la ! Duración o premura con que se realicen los procesos
actividad evaluativa. de evaluación externa y acreditación.
! Pertinencia del diseño del sistema de ! Parámetros predeterminados en la Guía de
evaluación para su aplicación a todos los Evaluación
programas por igual. ! Sistema de puntaje
! Identificación del sistema de evaluación ! Organización del trabajo de los evaluadores.
con el Patrón de Calidad de los ! Técnicas empleadas para la recogida de la
programas. información.
! Nivel de participación en el proceso de ! Elaboración de cuestionarios para entrevistas
evaluación externa . ! Entrega y recepción de documentos obligatorios para
! Apoyo institucional al proceso de los procesos.
evaluación externa. ! Utilización de los recursos.
! Medios y recursos para la realización de ! Cumplimiento de los procedimientos y etapas
la evaluación externa. establecidas para los procesos.
! Sistema de selección de los evaluadores
Entre los aspectos éticos se pudieran detectar Deficiencias relacionadas con la información
deficiencias relacionadas con: ! Selección adecuada de las personas a entrevistar por
su confiabilidad.
! Cumplimiento por los evaluadores ! Riqueza de la información aportada por los
seleccionados con las aptitudes y actitudes encuestados y entrevistados
establecidas para ejercer como tales ! Calidad de la documentación presentada por los
! Cumplimento de lo establecido para la evaluados.
selección de los evaluadores ! Existencia de documentos adecuados para la
! Confiabilidad de la información brindada recogida de la información.
por los evalaudos ! Calidad de los cuestionarios utilizados por los
evaluadores.
! Calidad del informe final de los evaluadores
105
Tabla 45. Aspectos metaevaluables según las etapas de la evaluación externa
ETAPAS DEL ASPECTOS A TENER EN CUENTA PARA LA METAEVALUACIÓN Cum- Sufi

PROCESO DE plido Cali -
EVALUACIÓN Si/ No -dad cien
Par-cial- -cia
mente
1-Determinación • Entrega de documentos inherentes al programa evaluado por parte del
de la Comité Académico.
evaluabilidad del • Condiciones materiales y de infraestructuras prevista para la realización de
programa la evaluación.
• Informes de evaluaciones realizadas previamente a la que se metaevalúa
2 • Entrega previa a los evaluadores de la relación de los involucrados
Determinación de directamente en la evaluación.
los actores de la • Entrega previa a los evaluadores de la relación de personas disponibles para
evaluación las entrevistas y encuestas durante la evaluación.
• Determinación de las posibles audiencias.
3-Definición del • Conocimiento por parte de los evaluados del cronograma de trabajo diseñado
plan de por los evaluadores.
evaluación y
organización de
los evaluadores
4 • Realización de entrevistas y /o encuestas a las personas previstas.
• Constancia escrita o grabada de dichas entrevistas o encuestas
Recogida • Realización de visitas a locales donde se desarrolla el programa.
sistemática de • Utilización del instrumento evaluativo (guía) establecido (normado)
datos e
información.
5-Valoración e $ Trabajo en equipo por parte de los evaluadores para el análisis de la
interpretación de información recogida.
la información $ Instrumentos utilizados:
• Medios de cómputo
6 $ Organización del contenido según las variables contempladas en el

instrumento evaluativo.
Redacción del • Si contiene descripción del objeto evaluado y su contexto
informe final • Si contiene propósitos (objetivos) de la evaluación.
• Si contiene los procedimientos desarrollados para el acopio de datos e
información.
• Si contiene descritas las fuentes de información.
• Si contiene descritos los medios y técnicas utilizados para la elaboración e
interpretación de la información recogida.
• Si contiene los resultados de la evaluación (debilidades, fortalezas del
programa)
• Si contiene las recomendaciones de los evaluadores para la posterior toma de
decisiones: mejora del programa, continuar o cerrar el programa.
• Si contiene los nombres de los evaluadores .
• Si contiene las firmas de las partes :evaluadores y evaluados
7.Difusión del $ Si se discutió el informe previamente con el Comité Académico.
informe final $ Si se presentó el informe en plenaria ante las audiencias.
$ Si se tomaron en cuenta las sugerencias de las audiencias con respecto al
informe y los resultados de la evaluación para posterior análisis.
106
Tabla 46. Aspectos metaevaluables según los momentos del proceso de evaluación
externa
MOMENTO DEL VARIABLES INDICADORES

PROCESO DE
EVALUACIÓN
Suficiencia Diseño de la evaluación
Momento Inicial
Adecuación al contexto
Pertinencia Objetivos a que responde la evaluación
(Calidad intrínseca) Demanda de la evaluación
Necesidades cubiertas
Momento en que se desarrolló
Oportunidad que ofrece el proceso de evaluación a todos los
Equidad participantes: directivos, empleadores, profesores, estudiantes
y egresados.
Gestión Apoyo logístico

Recursos humanos
Desarrollo
Organización y Recursos Disponibilidad de:
recursos Fuentes de información
Recursos materiales
Recursos financieros
Recursos humanos
Infraestructura tecnológica
Marco Clima en que se ha desarrollado
Capacidad del proceso evaluativo para alcanzar las metas

propuestas: métodos, medios, etapas, diseño, instrumento
Eficacia evaluativo, selección y competencia del evaluador, duración.
Cambios con respecto al diseño original de la evaluación
Utilización de recursos: infraestructura, recursos humanos,
recursos materiales, medios de cómputo, fuentes de
información.
Medida en la cual la evaluación ha alcanzado una serie de
Eficiencia efectos. Calidad del informe y su presentación
Efectos de la evaluación: cambios logrados deseados e
indeseados.
Final Significancia de los resultados en términos de vigencia y
Efectividad amplitud para la comprensión y reconceptualización de la
(Calidad extrínseca) acción que se evalúa, así como de los planes de mejoramiento.
Repercusión de la evaluación, influencia importantes : más
Impacto directo al programa
Uso de la información en la toma de decisiones. Aportes.

Difusión del informe. Significancia de la evaluación en
Trascendencia términos de vigencia y amplitud para la comprensión y
reconceptualización de la acción que se evalúa, así como de
los planes de mejoramiento
107
Momento II Momento III : PASOS Diseño 1
Posibles defi- 1-Por etapas 2-Por momentos del proceso de 3-Por los ámbitos de la evaluación Variable 1
ciencias en: de la evaluación evaluación Pertinencia de la evaluación
Política Determinación Suficiencia Pertinencia Variable 2
evaluativa de la evaluabilidad Impacto Suficiencia de la evaluación
del programa Inicial
Suficiencia
Social
Pertinencia
Eficiencia
Eficacia
Determinación Equidad Efectividad Variable 3
Aspectos de los actores Transparencia Equidad de la evaluación
metodoló- de la evaluación Desarro Organización Gestión Político Legitimidad
gicos llo y
Recursos Transferibilidad
Recursos
Marco Trascendencia
Definición Eficacia Eficacia Variable 4
Información del plan de Organización y recursos del
recogida evaluación y Eficiencia Institucio- Eficiencia proceso
organización Final nal Equidad
del trabajo Efectividad Gestión / Recursos / Marco
de los evaluadores Impacto Trascendencia
Trascendencia
Recogida Fundamento teórico del Variable 5
Aspectos de datos e sistema Eficacia de la evaluación
éticos información Validez de la
Científico metodología del sistema
Validez del instrumento
evaluativo usado
Valoración e Variable 6
interpretación Efectividad de la evaluación
de datos e información
Redacción informe final Variable 7
Eficiencia de la evaluación
Difusión informe final Variable 8 Impacto y trascendencia
Tabla 47 Momentos del diseño de la variante 1 de la Guía de Metaevaluación
108
Tabla 48. Correlación de aspectos inherentes a los procesos de evaluación externa y acreditación con variables
identificadas durante el proceso de diseño de la Guía de Metaevaluación
Variables identificadas En el proceso lo tributa:

Pertinencia ! Organización (recursos/ gestión/ clima)
! Metodología utilizada
! Resultados del proceso
! Observancia de la legalidad (reglamento/ normas/ códigos de ética y buenas prácticas)
Equidad ! Organización (recursos/ gestión/ clima)
! Observancia de la legalidad (reglamento/ normas/ códigos de ética y buenas prácticas)
Suficiencia ! Organización (recursos/ gestión/ clima)
Eficiencia ! Organización (recursos/ gestión/ clima)
! Trascendencia del proceso
Eficacia ! Formación de los evaluadores
! Organización (recursos/ gestión/ clima)
! Observancia de la legalidad
Efectividad ! Formación de los evaluadores
! Trascendencia del proceso
Trascendencia e Impacto ! Organización (recursos/ gestión/ clima)
Transparencia ! Formación de los evaluadores
Legitimidad ! Observancia de la legalidad
Transferibilidad ! Metodología utilizada
109
Tabla 49. Variante 1 Guía de Metaevaluación: Total de puntos 180
VARIABLE 1 -PERTINENCIA DE LA EVALUACIÓN

TOTAL DE PUNTOS 20
INDICADORES PUNTAJE
1.1 Realización en cumplimiento de una solicitud ya sea de algunas de las partes comprometidas con el
programa o de agentes externos al programa
1.2 Solicitud debidamente encauzada
1.3 Cumplimiento de los objetivos de la evaluación
1.4 Respuesta a los objetivos previstos por los demandantes
1.5 Implementación en el momento establecido en la demanda
1.6 Adecuación al contexto en que se desarrolla el programa evaluado
VARIABLE 2 SUFICIENCIA DE LA EVALUACIÓN
TOTAL DE PUNTOS 25
INDICADORES PUNTAJE
2.1 Adecuación del proceso al diseño de la evaluación previsto en cuanto a su organización
2.2 Adecuación a los aspectos contemplados en el instrumento evaluativo
2.3 Cambios efectuados con respecto a la planificación inicial debidamente justificados e informados.
VARIABLE 3 EQUIDAD DE LA EVALUACIÓN.
TOTAL DE PUNTOS 10
INDICADORES PUNTAJE
3.1 Nivel de participación de los comprometidos con el programa: directivos, profesores y estudiantes.
3.2 Nivel de participación de agentes externos intervinientes en el programa: empleadores y egresados.
3.3 Identificación de las audiencias destinatarias de los resultados
VARIABLE 4 ORGANIZACIÓN Y RECURSOS
TOTAL DE PUNTOS 30
INDICADORES PUNTAJE
4.1 GESTION
4.1.1 Apoyo logístico brindado por la institución para propiciar condiciones de convivencia de los
evaluadores dentro del contexto en que se desarrolla la evaluación
4.1.2 Apoyo logístico de la institución para el desplazamiento de los evaluadores
4.1.3 Personal de apoyo para facilitar las acciones de los evaluadores
4.2 RECURSOS
4.2.1 Disponibilidad de medios de cómputo
4.2.2 Disponibilidad de recursos materiales
4.2.3 Disponibilidad de locales de trabajo
4. 3 MARCO
4.3.1 Clima favorable al proceso
4.3.2 Comunicación entre las partes
4.3.3 Coordinación del trabajo entre las partes
4.3.4 Libertad de acción de los evaluadores
VARIABLE 5 EFICACIA DE LA EVALUACIÓN

TOTAL DE PUNTAJE 20
INDICADORES PUNTAJE
5.1 Cumplimiento de las etapas previstas de la evaluación
5.1.1 Entrega previa a los evaluadores de la lista y disponibilidad de las personas
susceptibles de ser entrevistadas o encuestadas
5.1.2 Entrega de los documentos inherentes del programa
5.1.3 Calidad de la información referida en los documentos del programa
5.1.4 Conocimiento por parte de los evaluados del cronograma de trabajo de los evaluadores
110
evaluativo.
6.1.2 Contiene descripción del objeto evaluado y su contexto
6.1.3 Contiene propósitos (objetivos) de la evaluación
6.1.4 Contiene los procedimientos desarrollados para el acopio de datos e información
6.1.5 Contiene descritas las fuentes de información
6.1.6 Contiene descritos los medios y técnicas utilizados para la elaboración e interpretación
de la información recogida
6.1.7 Contiene los resultados de la evaluación (debilidades, fortalezas del programa)
6.1.8 Contiene las recomendaciones de los evaluadores para la posterior toma de decisiones:
mejora del programa, continuar o cerrar el programa.
6.1.9 Imparcialidad de la información
6.2 Difusión y presentación del informe
6.2.1 Discusión previa del informe con los evaluados
6.2.3 Aceptación del informe por los evaluados
6.2.3 Difusión del informe en tiempo y forma
6.2.4 Presentación del informe a las audiencias
6.2.5 Aceptación del informe por las audiencias
6.2.6 Recogida por los evaluadores de las sugerencias hechas por las audiencias
VARIABLE 7 EFICIENCIA DE LA EVALUACIÓN

TOTAL DE PUNTAJE: 20
INDICADORES PUNTAJE
7.1 Utilización de los medios de cómputos
7.2 Utilización de los medios de cómputo
7.3 Utilización de las fuentes de información
7.4 Utilización de los recursos humanos
VARIABLE 8 IMPACTO Y TRASCENDENCIA DE LA EVALUACIÓN
TOTAL DE PUNTAJE 25
INDICADORES PUNTAJE
8.1 Aceptación de los resultados de la evaluación por los evaluados
8.2 Aceptación de los resultados de la evaluación por las audiencias
8.3 Uso de la información aportada por la evaluación en la toma de decisiones
8.4 Cambios realizados en el programa sobre la base de las recomendaciones de los
evaluadores.
8.5 Demanda del programa después de difundidos los resultados de la evaluación.
111
FORMULARIOS PARA LA REALIZACIÓN DE LAS ENTREVISTAS
Observación: Todas los formularios tienen el mismo encabezamiento
Fecha __________________
Relación directa con los procesos de evaluación y de acreditación. Sí_______No_______
Introducción
Soy M.Sc. Ileana Dopico Mateo profesora de la Universidad de La Habana que actualmente está
realizando un estudio sobre los procesos de evaluación externa realizados hasta el momento a los
programas de maestría con el propósito de elevar la calidad de la evaluación y acreditación de
programas en la Educación Superior. Sus criterios y opiniones son de vital importancia para este
estudio. La información que brinde estará amparada por el principio del anonimato.
Gracias por su atención
Para mayor aclaración dirigirse a: Teléf. 205-2360, Email: idopico@yahoo.com; idopico@flex.uh.cu
FORMULARIO 1. Entrevistas a directivos del MES y Miembros de la JAN
1. Nombre al menos tres características que deba cumplir un proceso evaluativo.
2. Teniendo en cuenta que la metaevaluación es la evaluación de la evaluación. ¿Considera

usted necesario la realización de procesos metaevaluativos?.
Sí______ No_______ Argumente brevemente en cualquier caso. Si su respuesta es
negativa pase a la pregunta No. 4
3. ¿Qué parámetros usted tendría en cuenta para metaevaluar una evaluación?.

4. Si usted entiende que deben perfeccionarse aspectos de los procesos de evaluación externa
de programas de maestrías que se llevan a cabo, por favor, menciónelos.
No, ninguno _________
5. Si usted entiende que deben perfeccionarse algunos aspectos en los procesos de

acreditación de programas de maestrías que se llevan a cabo, por favor, menciónelos.
No, ninguno _________
6. ¿Considera necesario el establecimiento de un código ético que garantice la debida

actuación de todos los intervinientes en los procesos de evaluación y acreditación de los
programas de maestrías?.
Sí_________ No_________¿Por qué?
7. ¿Considera necesario el establecimiento de normativas legales que respalden los derechos
y deberes de las partes en los procesos de evaluación y acreditación de los programas de
maestrías?.
Sí_________ No_________¿Por qué?
112
8. Opine si la difusión de los resultados de los procesos de evaluación y acreditación
ayudaría:
$ A la mejora de los programas. Sí______ No_____ ¿Por qué?
$ A una mayor demanda de los programas. Sí______ No_____¿Por qué?
9. ¿Cómo puede caracterizar el proceso de selección de los evaluadores?.
10. Según la experiencia acumulada hasta el momento en la evaluación y acreditación de

programas de maestrías, caracterice el rol de los evaluadores dentro del proceso evaluativo
en cuanto a:
a) La independencia en su actuación durante el proceso
b) Al peso de sus consideraciones para las conclusiones del proceso
c) A la posterior toma de decisiones
11. Según la experiencia acumulada hasta el momento en la evaluación y acreditación de

programas de maestrías, caracterice el rol del experto del CTE que participa en los
procesos en cuanto a:
a) Su necesidad
b) Su imparcialidad durante el proceso
c) Influencia en las conclusiones del proceso de acreditación.
Preguntas complementarias para miembros de la JAN
1-¿Son fiables los instrumentos del SEAM?
2-Selección como miembro de la JAN
3- Sobre las sesiones de trabajo de la JAN
4-Sobre toda la actividad de evaluación y acreditación
5-Sobre el salto cualitativo del SEAM
113
FORMULARIO 2. ENTREVISTAS A EVALUADORES
Fecha de entrevista_____________ Especialidad_____________________________

CES o Institución a la que pertenece_________________________________________
Categoría docente_________________Grado científico_________________________
Experiencias en evaluación________________________________________________
______________________________________________________________________
Programa de maestría evaluado por el que se entrevista_________________________
______________________________________________________________________
2. Teniendo en cuenta que la metaevaluación es la evaluación de la evaluación. ¿Considera

usted necesario la realización de procesos metaevaluativos?.
3. Sí______ No_______ Argumente brevemente en cualquier caso. Si su respuesta es
negativa salte la pregunta No. 4
4. ¿Qué parámetros usted tendría en cuenta para metaevaluar una evaluación?.
5. ¿Cuándo fue seleccionado para la bolsa de evaluadores?. ¿Cómo le fue notificada esa
selección
6. En su criterio, ¿cómo usted caracterizaría el proceso de selección de los evaluadores?
7. PARTICULARIZANDO EN EL PROCESO DE EVALUACIÓN DE LA MAESTRÍA DE

_________________________________________________________EN LA QUE
USTED PARTICIPÓ NOS GUSTARÍA CONOCER ALGUNOS ASPECTOS:
7.1.¿Recibió un seminario de preparación antes del proceso? Sí_______ No_____¿Porqué?

7.2.¿Se sintió seguro para esta actividad como evaluador? Sí_____ No______ ¿Por qué?
7.3.¿Tenía conocimientos teóricos sobre evaluación anteriores al proceso culminado?
Sí____ No___
7.4. ¿Se sintió con plena libertad de acción durante el proceso evaluativo?
Sí____ No___ ¿Por qué?
7.5.¿Participó en la determinación de la evaluabilidad del programa? Sí___ No___ ¿Por qué?
7.6. ¿Recibió la documentación necesaria sobre el programa a evaluar en tiempo forma?
Sí________No______ ¿Por qué?
7.7. ¿Qué técnicas se aplicaron para la recogida de la información durante el proceso?
7.8. ¿Cómo se seleccionó la muestra para la realización de las entrevistas?
7.9. ¿A quiénes se entrevistaron?
Identificación Sí No Cantidad
Miembros del Comité Académico
Directivos de la institución auspiciadora
Profesores
Estudiantes
Egresados
Empleadores
114
7.10. ¿Cómo usted caracterizaría los formularios que le fueron entregados para su aplicación
en las entrevistas durante el proceso?
7.11. Opine sobre:
7.11.1 Retroalimentación evaluador-evaluado durante el proceso evaluativo:

7.11.2. Clima durante el proceso:
7.11.3.Organización durante el proceso
7.11.4. Guía de evaluación (variables e indicadores) utilizada.
7.12.¿Se elaboró un informe final por escrito? Sí________ No__________
! En caso de que sea negativa su respuesta anterior diga, ¿ por qué?

! En caso de que sea afirmativa su respuesta anterior, diga si para usted estaban claras las
normas establecidas para la elaboración de dicho informe.
Sí________No____ ¿Por qué?
7.13.¿Los evaluadores estuvieron de acuerdo entre sí en las conclusiones arribadas?
Sí______Parcialmente_____No_____En caso de que su respuesta no sea negativa diga,

¿ Por qué?
7.14.¿Qué audiencias estuvieron presentes en el acto de las conclusiones?
Identificación Sí No Cantidad
Miembros del Comité Académico
Directivos de la institución auspiciadora
Profesores
Estudiantes
Egresados
Empleadores
7.15.¿Participó usted en la reunión con el CTE para el análisis de los resultados del proceso
evaluativo? Sí_____ No_______ ¿Por qué?
7.16.¿Las conclusiones a las que arribaron los evaluadores coincidieron con las dictaminadas
por el CTE?
Sí________ Parcialmente________ No__________ No sé____________
! En caso de que su respuesta no sea afirmativa diga, ¿ por qué?
7.17.¿La propuesta de calificación otorgada por los evaluadores coincidió con la otorgada por
la JAN? Sí________ Parcialmente________ No__________ No sé____________
! En caso de que su respuesta no sea afirmativa diga, ¿ por qué?
8. Según su experiencia en la evaluación del programa de maestría en cuestión, caracterice el

rol de los evaluadores dentro del proceso evaluativo en cuanto a:
115
a) La independencia en su actuación durante el proceso
b) Al peso de sus consideraciones para las conclusiones del proceso.
c) A la posterior toma de decisiones
9. Según su experiencia en la evaluación del programa de maestría en cuestión, caracterice el

rol del experto del CTE que participa en los procesos en cuanto a:
a) Su necesidad
b) Su imparcialidad durante el proceso
c) Influencia en las conclusiones del proceso de acreditación.
10. Según su opinión, ¿qué aspectos usted perfeccionaría en los procesos de evaluación de
programas de maestrías que se llevan a cabo?
11. Según su opinión, ¿qué aspectos usted perfeccionaría en los procesos de acreditación de
programas de maestrías que se llevan a cabo?.
12. ¿Considera necesario el establecimiento de un código ético que garantice la debida

actuación de todos los intervinientes en los procesos de evaluación y acreditación de los
programas de maestrías?
Sí_________ No_________¿Por qué?
13. ¿Considera necesario el establecimiento de normativas legales que respalden los derechos
y deberes de las partes en los procesos de evaluación y acreditación de los programas de
maestrías?
Sí_________ No_________¿Por qué?
14. Opine si la difusión de los resultados de los procesos de evaluación y acreditación
ayudaría:
$ A la mejora de los programas. Sí______ No_____ ¿Por qué?
$ A una mayor demanda de los programas. Sí______ No_____¿Por qué?
15. Según su consideración, ¿qué necesitarían los evaluadores para realizar su trabajo con
más calidad?.
116
FORMULARIO 3. Entrevistas a directivos del centro y del programa
Fecha de entrevista____________ Fecha de la evaluación externa____________

Programa evaluado_________________________________________________
Rama de la ciencia_________________________________________________
Centro/institución__________________________________________________
Departamento_____________________________________________________
Facultad__________________________________________________________
Provincia______________________Grado científico______________________

2. Tenga en cuenta que la metaevaluación es la evaluación de la evaluación ¿Qué
parámetros usted tendría en cuenta para metaevaluar una evaluación?.
3. ¿Se puede afirmar que en el proceso de evaluación culminado los pares académicos
(evaluadores) cumplían con las siguientes características?.
Si Más/menos No
Con experiencia evaluativa
Especialista de la rama del programa
Con poder comunicativo
Dominio en el tratamiento de la información
Otros_____________________________________________________________
4. ¿Cómo considera usted la actuación de los evaluadores durante el proceso evaluativo

realizado?. Objetiva______ Poco objetiva _____Parcializada_______ ¿Por qué?
5. Mencione tres aspectos relevantes que describan el clima en que se desarrolló el proceso
de evaluación.
6. Según su criterio mencione 3 posibles aspectos positivos y negativos en la organización
del trabajo de los evaluadores.
7. Si se efectuaron cambios en lo programado en el plan de trabajo de los evaluadores
durante el proceso evaluativo, relaciónelos con los siguientes aspectos:
_______ Adecuación con lo planificado
_______Fecha programada para comenzar la evaluación.
_______Plazo de tiempo establecido para el proceso evaluativo.
_______Cantidad de evaluadores
_______Número de entrevistados.
_______Identificación de las audiencias.
_______Fecha de entrega del informe.
_______Presentación del informe.
_______Visitas a locales donde se desarrolla el programa.
Si se tomaron medidas, ¿cuáles fueron?:
117
8. En relación con la institución o centro que auspicia el programa:¿Cómo considera la
organización del proceso evaluativo? Fundamente sólo si su respuesta está en los rangos de
poco suficiente, insuficiente y muy insuficiente:
Excelente ____ Suficiente____ Poco suficiente_____

Insuficiente____ Muy insuficiente_____
9. Piense, no se apure: ¿Cómo calificaría usted el informe final presentado por los
evaluadores?.
10. Según su criterio, ¿considera usted que las audiencias identificadas como destinatarias
de los resultados de la evaluación fueron las adecuadas?. Mencione las audiencias
identificadas. Si______ No______
11. ¿Considera usted que en el proceso de evaluación el nivel de participación (profesores,
estudiantes, egresados, empleadores, directivos de diferentes niveles) fue Alto_______
Medio________ Bajo______ o Nulo______?
12. En su criterio, ¿calificaría usted los resultados de la evaluación como Objetivos______
Poco objetivos_____ o Parcializados_______?
13. Si usted está en desacuerdo con algunos de los resultados negativos (debilidades)
determinados por el proceso evaluativo, por favor, menciónelos y explique brevemente su
desacuerdo.¿Por qué?
a. ¿Está usted de acuerdo con el resultado obtenido en la acreditación? Sí ___No

b. Si el centro no estuvo de acuerdo con los resultados de la acreditación, ¿se recurrió al
recurso de apelación? Sí_______No______
c. ¿Cuál fue la respuesta a la apelación? ¿Cuánto demoró dicha respuesta?
d. ¿Considera que la evaluación cumplió con los objetivos previstos para su realización?.
Sí_____ Parcialmente______ No_______ No se______
14. Mencione tres aspectos positivos y tres negativos que permitan hablar de impacto de la
evaluación (cambios al programa después del proceso evaluativo ) realizada para los intereses del
centro y del programa.
15. Mencione tres aspectos positivos y tres negativos que permitan hablar de trascendencia de
la evaluación realizada para los intereses del centro y del programa.
Trascendencia de la evaluación = significación de los resultados

en términos de vigencia y amplitud para la comprensión y
reconceptualización de la acción que se evalúa, así como de los
planes de mejora. Uso de la información en la toma de decisiones.
Difusión del informe y resultados
16. Según su opinión, ¿después de conocerse los resultados de la evaluación puede decirse que
la demanda por el programa: a) aumentó_____ b) disminuyó_____ o c) se mantiene
118
Tabla 50 Acopio en tablas Excel de la información obtenida sobre procesos de
evaluación y acreditación analizados (ejemplo)
Expedientes de los procesos de evaluación y

acreditación
Programa (Código) 3001 3022 3023 3024
3- 27-
Fecha del proceso 7/04/00 31/5/02 15-18/10/02 21-26/10/02
Cantidad de días utilizados para proceso 3 5 4 6
Existencia del expediente NO SI SI Si
DOCUMENTOS A ENTREGAR A LA JAN
1 Carta de solicitud al Rector para la eval.externa No No No
2 Carta de solicitud a la Junta de Acreditación No No Una
3 Dos ejemplares del programa Sólo 1 Sólo 1 Si
4 Resultado de evaluación externa: Informe CE No Si SI
5 Informe de autoevaluaciones: dos últimas Una Dos
6 Plan de desarrollo de la Maestría Si No
7 PLANILLAS
7,1 SEA-M-1E Datos generales programa Si Si Si
7,2 SEA-M-2 E Pertin. Impacto Tradic. Colabor. Si Si Si
7,3 SEA-M-3E Profesores y tutores Si Si Si
7,4 SEA-M-4E Respaldo.Estudiantes Currículo
7,5 SEA-M-5E Tesis defendidas/edición
8 ENCUESTAS REALIZADAS planillas 22 29 19
8,1 A profesores 6 2 6
8,2 A cursistas 15 13 6
8,3 A egresados 12 14 7
8,4 A empleadores
8,5 Valoración cuantitativa sobre encuestas Si No
8,6 Valoración cualitativa sobre encuestas Si No
9 ENTREVISTAS REALIZADAS 7 4
9,1 A profesores 2 1
9,2 A cursistas 1
9,3 A egresados 3
9,4 A empleadores 2 1
9,5 A miembros del CA 1
9,6 A directivos del centro auspiciador 1
Valoración cuantitativa y/o cualitativa
10 OTROS DOCUMENTOS
10,1 Colaboración interinstitucional nacional -extran. Si Si
10,2 Publicaciones de profesores y tutores Si Si Si
10,3 Reconocimiento sociales últimos 5 años Si Si Si
10,4 Líneas y grupos de investigación 5 a 10años Si Si Si
10,5 Líneas y grupos de investigación más 10 años
10,6 Investigaciones realizadas 5 años últimos
120
10,7 Balance anual del trabajo científico-técnico
10,8 Resumen sobre características de bibliografía No
10,9 Dictamen de aprobación del programa No
10,1 Dictamen sobre cambios en el programa No Si
10,1 Listado de profesores y tutores
10,1 Participación de profesores en eventos Si Si
10,1 Curriculum de profesores Si Si
10,1 Listado de egresados extranjeros por edic.
10,2 Valoración revisión expedientes de estudiantes
10,2 Valoración tesis revisadas
11 CRONOGRAMA DE ACTIVIDADES DE LA C.E No No Si
12 INFORME DE LA COMISION EVALUADORA No Si Si Si
13 DICTAMEN DEL CTE EN EXPEDIENTE Si Si Si
14 Acreditación propuesta por la CE
No
15 Acreditación propuesta por el CTE acredit. No acredit. Acreditada
No
16 Acreditación propuesta por la JAN Acredit. acredit. No acredit. Acredit.
17 APELACIÓN
Observaciones.
Los documentos del 2 al 7 obligatorios según
Procedimiento para la solicitud de Acreditación
de maestrías en Cuba por el SEA-M
Dictámenes del CTE

Aspectos/Programas (Códigos) 3001 3022 3023 3024
27- 14- 21-
Fecha de la evaluación 3-7/4/00 31/5/02 18/10/02 26/10/02
Cantidad de Evaluadores 4 3 3 4
Experto del CTE SI SI SI
Extensión del proceso 5 5 5 6
Extensión del informe
Formato
Introducción
Título del programa SI
Mención que se evalúa
Por variables SI
Por Fortalezas y debilidades
Conclusiones
Contenido general
Fortalezas definidas SI
Debilidades definidas SI SI
Recomendaciones/ aspectos
Recomendaciones generales
Eval. cuantitativa / variable SI SI
Eval.cuantitativa final
121
Fecha del proceso SI
Descripción actividades eval. SI
Descripción del objeto evaluado SI
Descripción del contexto
Evaluaciones anteriores
Sobre el clima del proceso
Sobre condiciones materiales
proceso
Sólo firma presidente comisión
Firma coordinador del CTE SI SI NO
Sobre muestra escogida
Visitas realizadas
Fecha de elaboración
Calificación por variables

Variable 1 (15) 13 11 14
1.1 (Inval) (5) 5 (E) 5 (E) 5 (E)
1,2 3 2 3
1.3(Inval) (6) 5(C) 4 ( R) 6 (E)
Invalidantes NO NO NO
Variable 2 (14) 14 10 14
2,1 1 0,5 1
2,2 2 1,5 2
2.3 (Inval) (5) 5 ( E) 4(C) 4(C)
2.4 (Inval) (3) 2 ( C) 2 ( C) 3 (E)
2,5 2 1 2
2,6 2 1 2
Variable 3 (30) 4 ( 5) 26 26
3.1 (Inval. 100%) (15) 0 15 ( E) 15 ( E)
3,2 0 4 5
3,3 2 2 2
3,4 1 2 1
3,5 2 3 3
Invalidantes SI NO NO
Variable 4 (25) 17 18,5 20
4.1 (Inval) (7) 5 ( C) 6 ( C/ E) 5 ( C)
4.2 (Inval) (7) 5 ( C) 5 ( R) 6 ( C/ E)
4,3 2 3 3
4,4 2 2 2
4,5 1 0,5 0,5
4,6 1 1 2,5
4,7 1 1 1
Variable 5 (10) 7 6,5 7
122
5.1 (Inval) (2) 1 ( R) 2 ( C/E) 1.5 ( C)
5,2 1 0,5 0,5
5.3 (Inval 5.3.1 )(2) 2 (E) 2 ( E) 2 ( E)
5,4 3 2 3
5,5 0 0 0
Variable 6 (15) 12 11 13,5
6.1 (Inval) (2) 2 ( C/ E) 2( C/ E) 2( C/ E)
6,2 2 0,5 2
6,3 1 1 1
6,4 0 0,5 1
6.5 (Inval) (3) 2 (R / C ) 2 (R / C ) 3 (E)
6.6 (Inval) (3) 2(R / C ) 2 (R / C ) 2 (R / C )
6,7 1 1 0,5
6,8 2 2 2
Calificación general NO APARECE 67 83 94,5
No No
Propuesta de acreditación ACREDITADO acredit. acredit. Acredit
Coherencia
Objetividad
Imparcialidad
Lenguaje
Observaciones: el dictamen es firmado por el
coordinador del CTE
o tiene su pie de firma
Leyenda
Diferencia de puntuación
Casillas en blanco = No o que no se tiene la
información
Informes finales de la Comisión de Evaluación
Aspectos/Programas (códigos) 3001 3022 3023 3024

3-
1 Fecha de la evaluación 7/4/00 27-31/5/02 14-18/10/02 21-26/10/02
2 Cantidad de Evaluadores 4 3 3 4
3 Experto del CTE SI SI SI
4 Extensión del proceso 5 5 5 6
5 Extensión del informe 19 páginas 8 páginas
6 Formato
6,1 Introducción SI SI
6,2 Título del programa SI SI
123
6,3 Mención que se evalúa
6,4 Por variables SI SI Si
6,5 Por Fortalezas y debilidades Si
6,6 Conclusiones Si SI Si
7 Contenido general
7,1 Fortalezas definidas Si Si Si
7,2 Debilidades definidas Si Si Si
7,3 Recomendaciones/ aspectos
7,4 Recomendaciones generales Si
7,5 Eval. cuantitativa / variable Si Si Si
7,6 Eval.cuantitativa final Si Si
7,7 Fecha del proceso Si Si
7,8 Descripción actividades eval. Si Si Si
7,9 Descripción del objeto evaluado Si Si Si
7,1 Descripción del contexto
7,11 Evaluaciones anteriores
7,12 Sobre el clima del proceso
7,13 Sobre condiciones materiales
proceso
7,14 Firmas todos los evaluadores solo 2 No Si
7,15 Sólo firma presidente comisión
7,16 Firma director/decano
7,17 Firma coordinador del CA
7,18 Revisión de documentos/cuáles?
7,19 Sobre muestra escogida
7,2 Visitas realizadas
7,21 Fecha de elaboración
7,22 Sobre encuestas 26
cursistas 12
egresados 14
directivos institucional
miembros CA
profesores y tutores
empleadores
7,23 Sobre entrevistas 16 Si / 4
cursistas 3
egresados 4
directivos institucional 1
miembros CA 4 1
profesores y tutores 2 1
empleadores 3 1
8 Calificación por variables
Variable 1 (15) 13 11 13,5
1.1 (Inval) (5) 5 (E) 5 (E) 5 (E)
1,2 3 2 2,5
124
1.3(Inval) (6) 5(C) 4 ( R) 6 (E)
Variable 2 (14) 14 9,5 14
2,1 1 0 1
2,2 2 1,5 2
2.3 (Inval) (5) 5 ( E) 4(C) 4(C)
2.4 (Inval) (3) 2 ( C) 2 ( C) 3 (E)
2,5 2 1 2
2,6 2 1 2
Variable 3 (30) 5 26 26
3.1 (Inval. 100%) (15) 0 15 ( E) 15 ( E)
3,2 0 4 5
3,3 2 2 2
3,4 1 2 1
3,5 2 3 3
Invalidantes SI NO NO
Variable 4 (25) 17 18,5 20
4.1 (Inval) (7) 5 ( C) 6 ( C/ E) 5 ( C)
4.2 (Inval) (7) 5 ( C) 5(C) 6 ( C/ E)
4,3 2 3 3
4,4 2 2 2
4,5 1 0,5 0,5
4,6 1 1 2,5
4,7 1 1 1
Variable 5 (10) 7 6,5 8
5.1 (Inval) (2) 1 ( R) 2 ( C/E) 1.5 ( C)
5,2 1 0,5 0,5
5.3 (Inval 5.3.1 )(2) 2 (E) 2 ( E) 2 ( E)
5,4 3 2 4
5,5 0 0 0
Variable 6 (15) 12 11 13,5
6.1 (Inval) (2) 2 ( C/ E) 2( C/ E) 2( C/ E)
6,2 2 0,5 2
6,3 1 1 1
6,4 0 0,5 1
6.5 (Inval) (3) 2 (R / C ) 2 (R / C ) 3 (E)
6.6 (Inval) (3) 2(R / C ) 2 (R / C ) 2 (R / C )
6,7 1 1 0,5
6,8 2 2 2
Calificación general 68 82,5 95
Propuesta de acreditación Pendiente Acreditada Acredit/Exc
125
8 Coherencia
9 Objetividad
10 Imparcialidad
11 Lenguaje
12 Observaciones
126

Propuesta de Un Sistema de Meta - Dopico Mateo, Ileana

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Propuesta de Un Sistema de Meta - Dopico Mateo, Ileana

Uploaded by

Copyright:

Available Formats

Propuesta de un sistema de

metaevaluación para el aseguramiento

Ileana Dopico Mateo

Propuesta de un sistema de metaevaluación para

Ileana Dopico Mateo

Propuesta de un sistema de metaevaluación para

Ileana Dopico Mateo

Ciudad de La Habana, 2007

Edición: Eduardo Cordero Ramírez

Editorial Universitaria del Ministerio de Educación Superior de la

La Editorial Universitaria publica bajo licencia Creative Commons de tipo

Todas las universidades de Cuba en una:

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

o alternativas para evaluarse y acreditarse o hacer adaptables las ya existentes. Esto

1.1- Problema de Investigación

1.2- Preguntas científicas

1.3- Objeto de estudio

1.4- Campo de acción

1.5- Límite de la investigación

1.6- Objetivos específicos

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

– Diseño de una Guía de Metaevaluación

1.7- Tareas de investigación

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

procesos educativos, estos procesos tienen un mayor impacto y trascendencia en un radio

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

1.9- Métodos de investigación

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

relacionadas con la claridad en los procederes y el cumplimiento de lo normado; con la

1.11- Novedad de la tesis

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

Información a través de su modelación; una recopilación bibliográfica actualizada sobre

1.12- Estructura de la tesis

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

2- La evaluación y la metaevaluación para el aseguramiento

2.1- Calidad, Evaluación y Acreditación en la educación superior

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

determinan su jerarquía y su funcionamiento local, nacional e internacional, para lo cual la

2.1.1- Elementos epistemológicos sobre la evaluación en el ámbito

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

indistintamente (Stufflebeam y Shinkfield[vi], Guba y Lincoln [vii] y Jesús Garantos

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

concurso de diversas ciencias y disciplinas como parte integral de los procesos y

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

acreditación de su calidad y su mejora, donde la información, en consonancia con su

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

evaluación y seguimiento que lleva a cabo un órgano externo, de acuerdo a normas

2.2- Usos y ámbitos de actuación e influencia de la evaluación.

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

concepción es insuficiente “al contarse, en primer lugar, con información directa e

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

2.3- 1.3. El Sistema Integral de Evaluación (SIEVAL) y sus

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

separado, responde a un contexto o ambiente delimitado por su radio de acción (a la

Ciudad de La Habana : Editorial Universitaria, 2008. -- ISBN 978-959-16-0788-1

interrelación de todos los elementos que intervienen en el proceso de evaluación, lo cual

2.4- Puntos de partida para juzgar la calidad de la evaluación