You are on page 1of 106

Proyecto ALFA Nro.

DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Mdulo "GESTIN INTERNA DE LA CALIDAD EN LAS INSTITUCIONES DE EDUCACIN SUPERIOR" (Mdulo GIC)
Versin 1 (borrador), ao 2011

Autor: JOS RAFAEL TORO

Notas:
1. Esta versin corresponde a un borrador en proceso de construccin que slo podr ser terminado una vez que se haya realizado la aplicacin piloto de los mdulos del programa y los eventuales ajustes de calidad 2. Con el fin de evitar la sobrecarga grfica que supondra hacer referencia explcita en forma permanente al masculino y al femenino, se ha optado por emplear el masculino genrico clsico, en el entendido de que todas las menciones representan siempre a hombres y mujeres.

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Mdulo "GESTIN INTERNA DE LA CALIDAD EN LAS INSTITUCIONES DE EDUCACIN SUPERIOR (GIC)


INTRODUCCIN

TABLA DE CONTENIDOS DEL MDULO

Unidad 1. LA GESTIN INTERNA DE LA CALIDAD EN LAS INSTITUCIONES DE EDUCACIN SUPERIOR (IES) NOTAS ACERCA DE LA CALIDAD Y LA GESTIN INTERNA DE LA CALIDAD DE LAS INSTITUCIONES DE EDUCACIN SUPERIOR 1.1 LA MISIN 1.2 LA VISIN 1.3 COMPONENTES DEL SISTEMA QUE CONSTITUYE UNA INSTITUCIN DE EDUCACIN SUPERIOR 1.4 GESTIN DE RECURSOS VS. GESTIN DE PROCESOS 1.5 EFECTIVIDAD INSTITUCIONAL: EL CICLO PLANIFICACIN INSTITUCIONAL, EVALUACIN, PLANES DE MEJORAMIENTO Unidad 2. EVALUACIN PARA LA GESTIN INTERNA DE LA CALIDAD EN LAS INSTITUCIONES DE EDUCACIN SUPERIOR INTRODUCCIN 2.1 EVALUACIN: INFORMACIN, CARACTERIZACIN DE ATRIBUTOS Y RELACIONES CAUSALES 2.1.1 Informacin bsica y de salida 2.1.2 Relaciones causales 2.1.3 Caracterizacin de atributos complejos 2.1.4 Ejemplo: causas de la desercin 2.1.5 Ejemplo: calidad docente de los profesores 2.2 EVALUACIN PARA EFECTOS DE GESTIN INTERNA DE LA CALIDAD Y PLANIFICACIN 2.3 EVALUACIN Y LA COMUNIDAD ACADMICA Credibilidad Participacin de la comunidad 2.4 TRANSPARENCIA Y SOCIALIZACIN
2

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Unidad 3. UNIDADES DE INVESTIGACIN E INFORMACIN PARA LA GESTIN INTERNA DE LA CALIDAD EN LAS INSTITUCIONES DE EDUCACIN SUPERIOR INTRODUCCIN
3.1 ACOPIO Y MANEJO DE INFORMACIN 3.2 ANLISIS INSTITUCIONAL

3.3 INVESTIGACIN Y DESARROLLO PEDAGGICO Unidad 4. LAS INSTITUCIONES DE EDUCACIN SUPERIOR INTRODUCCIN 4.1 EJEMPLOS DE PROCESOS DE ACREDITACIN INSTITUCIONAL 4.1.1 SACS: Southern Association of Colleges and Schools, EU, 2010-2011 [SACS, 2010] 4.1.2 CNA Comisin Nacional de Acreditacin de Chile Operacionalizacin criterios de evaluacin en procesos de acreditacin [CNA-Chile, 2010] 4.1.3 CNA Consejo Nacional de Acreditacin, Ministerio de Educacin de Colombia, [CNA-Colombia, 2006] 4.2 CARACTERSTICAS GENERALES DE LAS EVALUACIONES EXTERNAS 4.3 AUTOEVALUACIN E INFORME DE AUTOEVALUACIN 4.4 VISITA DE PARES REFERENCIAS BIBLIOGRFICAS DEL MDULO ANEXOS Anexo I: EJEMPLO DE DESARROLLO DE UN CICLO DE EFECTIVIDAD INSTITUCIONAL Anexo 2: INFORMACIN DE BASE, FACTORES DE CALIDAD Y RESULTADOS MISIONALES Anexo 3. TAREAS QUE ACOMPAAN EL USO DEL MDULO DE GESTIN DE LA CALIDAD

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Unidad 1 "GESTIN INTERNA DE LA CALIDAD EN LAS INSTITUCIONES DE EDUCACIN SUPERIOR (GIC)


TABLA DE CONTENIDOS DE LA UNIDAD 1
INTRODUCCIN ACERCA DE LA CALIDAD Y LA GESTIN INTERNA DE LA CALIDAD DE LAS INSTITUCIONES DE EDUCACIN SUPERIOR 1.1 LA MISIN 1.2 LA VISIN 1.3 COMPONENTES DEL SISTEMA QUE CONSTITUYE UNA INSTITUCIN DE EDUCACIN SUPERIOR 1.4 GESTIN DE RECURSOS VS. GESTIN DE PROCESOS 1.5 EFECTIVIDAD INSTITUCIONAL: EL CICLO PLANIFICACIN INSTITUCIONAL, EVALUACIN, PLANES DE MEJORAMIENTO

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

INTRODUCCIN
Este mdulo presenta la gestin interna de la calidad como una indagacin profunda dentro de los procesos y componentes de la institucin de educacin superior (IES), buscando las acciones que actan sensiblemente sobre la calidad institucional, todo esto dentro de un marco misional, un esquema de gobierno y un entorno social propio de la institucin de educacin superior. Para lo sealado, esta primera unidad, dedicada a la gestin interna de la calidad en las instituciones de educacin superior, ha sido organizada en unas notas iniciales sobre cinco secciones. Las notas iniciales identifican los problemas fundamentales que parecen formar parte de la gestin interna de la calidad, comenzando por la definicin de calidad, para lo cual se refiere a la definicin de calidad que se propone a la base del presente programa de formacin. En esta lgica de una calidad que mira tanto a los propsitos institucionales como a los requerimientos externos, las secciones 1.1 y 1.2 abordan los temas de la misin y la visin institucional y su uso para efectos de la gestin de la calidad. La seccin 1.3 se refiere a las componentes del sistema que constituye una institucin de educacin superior y la forma de relacionarlos para efectos de la gestin interna de la calidad, mientas que la seccin 1.4 se hace cargo de la tensin de la gestin de recursos versus la gestin de procesos, abogando por las ventajas de esta ltima. Finalmente, la seccin 1.5 ofrece una estrategia integral en la forma del ciclo de la efectividad institucional, consistente en un ciclo virtuoso de planificacin, evaluacin y planes de mejoramiento.

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

ACERCA DE LA CALIDAD Y DE LA GESTIN INTERNA DE LA CALIDAD DE UNA INSTITUCIN DE EDUCACIN SUPERIOR


La gestin de la calidad es una actividad de tipo directivo, en varios niveles de una organizacin, orientada a lograr de manera sistemtica un incremento de la calidad de lo que dicha organizacin se propone. Los problemas que surgen con una actividad de este estilo son varios: Primero, qu vamos a entender por calidad. Una institucin de educacin superior (IES) puede tener su propia visin de lo que es calidad. Sin embargo esto no puede ser del todo aceptable en un proceso de gestin de la calidad, puesto que las instituciones educativas estn inmersas dentro de uno o varios contextos sociales que reciben a los graduados y dichas personas deben ser profesionalmente idneas dentro de dichos contextos. La definicin que hacemos de calidad en este modulo integra conceptos de consistencia interna con sus propios mandatos misionales y externa respecto a su contexto social y econmico. En el mdulo denominado Modelos de aseguramiento de la calidad en la educacin superior perteneciente a este mismo programa de formacin, se dice que desde la praxis del aseguramiento de la calidad, la calidad puede ser definida, en contextos de diversidad, a partir de enfatizar la capacidad que una institucin o programa tiene para responder a las expectativas externas y a los propsitos y objetivos internos, organizando sus procesos de manera consistente para el logro de los objetivos perseguidos. De esa forma, la calidad se asocia con consistencia interna y externa, perspectiva que coincide con la apreciacin de Westerheijden (1999) en el sentido que el uso ms comn que se da al concepto de calidad en el marco de los sistemas de AC se ajusta a la idea de fitness for purpose.

Sin embargo el problema ms complejo de la gestin de calidad quizs no sea el de definicin, sino el de la efectividad de esta labor de gestin. Es decir, cmo determinar un conjunto de acciones que en efecto conduzcan a cambios sustanciales en la calidad, dentro de las limitaciones propias de cualquier organizacin. Si pensramos en una curva en la cual el crecimiento de la calidad se registra como una funcin del tiempo, en los periodos ms tempranos ser relativamente fcil determinar de qu dependen los ascensos en calidad. Muy posiblemente tendrn que ver con dotar adecuadamente la institucin desde el punto de vista de recursos humanos preferentemente profesores, para lo cual se requieren recursos financieros suficientes. La gestin de calidad hasta este punto debe contribuir a un uso juicioso de los recursos econmicos en procura de excelentes recursos humanos y fsicos. Sin embargo cuando se alcanzan ciertos niveles de recursos, los incrementos en la calidad son cada vez ms difciles. La gestin de calidad en este escenario se hace ms compleja y sutil. Entender las formas de incrementar la calidad cuando la sensibilidad a los recursos es menor y muy
6

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

seguramente se requieren estrategias nuevas y creativas, es algo que desafa a toda la institucin. Este proceso no puede ser el fruto de un rapto de creatividad. Tiene que ser un proceso sistemtico, en el cual se disean mtodos sistemticos de busca de los factores que afectan la calidad en una IES, a lo cual llamamos evaluacin institucional en este modulo; dichas evaluaciones se enmarcan dentro de planes institucionales que generan la ruta de la IES, de manera que la recomendaciones de una evaluacin lleven a acciones concretas en pro de la calidad. A su vez los planes institucionales responden a una visin de universidad para los siguientes aos, la cual es una puesta en escena de una misin institucional y un entorno local y global.

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

1.1 LA MISIN
Los conceptos de misinvisin han sido largamente usados en procesos de planificacin y se podra decir que su elaboracin o reelaboracin forman parte de la cultura de cualquier organizacin moderna. En la definicin propuesta de calidad en el programa de formacin del cual forma parte esta unidad y este mdulo, la misin juega un papel determinante: El ajuste a los propsitos declarados se reinterpreta como la capacidad de la institucin de cumplir su misin. Es decir, que la misin es el propsito declarado. En esto no debera haber nada problemtico, salvo que las misiones no necesariamente han sido escritas como propsitos declarados y por lo tanto puede ser difcil usarlas en la prctica como instrumentos para la gestin de calidad. Esto no tiene otra solucin, dentro de los planteamientos que sustentan esta unidad, que traducir la misin en propsitos concretos. Las misiones en las instituciones de educacin superior han surgido de una de diversas motivaciones: Coinciden prcticamente con la declaracin de fundacin de la institucin, lo cual las puede hacer difciles de usar para los propsitos aqu propuestos dado el tono de los planteamientos fundacionales. Fueron construidas como parte de una carta de presentacin de la institucin y corren el riesgo de ofrecer ms de lo que se logra realmente Fueron construidas o reconstruidas para procesos de acreditacin y evaluacin, en las cuales se sabe que la institucin ser juzgada a partir de la misin lo cual las lleva a no comprometerse.

Esta ltima situacin lleva a una disyuntiva interesante que tendremos que analizar adelante: si calidad es ajustarse a los propsitos declarados y esto forma parte de un proceso de acreditacin externo, puede existir la tendencia a trazar propsitos poco ambiciosos que conduzcan a evaluaciones exitosas. En la misin misma puede quedar plasmada esta actitud defensiva que ciertamente no hace parte del proceso de gestin de la calidad. Aqu proponemos elementos mnimos que deberan estar en una misin que haga justicia a la realidad de la institucin en el sentido ms amplio: Declaracin de principios y valores de institucin: Las IES estn ubicadas dentro de una rbita ms general de principios y valores que los puramente educativos pero que son determinantes de estos ltimos. Dichos principios y valores usualmente obedecen a motivaciones asociadas a la fundacin y/o el contexto del cual proviene la institucin.
8

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Si bien este tipo de declaraciones de principios generales no necesariamente se operacionalizan en propsitos a lograr, s son importantes para que miembros de la comunidad acadmica o evaluadores, entiendan el contexto ms amplio valorativo dentro del cual opera la institucin. A su vez ese marco valorativo amplio determina rasgos importantes de la identidad educativa de la institucin que mencionaremos en el siguiente aparte.
Ejemplos de ello son: la institucin es de naturaleza confesional; la institucin responde a una filiacin poltica; o ms recientemente se han observado instituciones de educacin superior que responden a reas del sector productivo o empresas. As mismo, pueden existir compromisos de absoluto pluralismo en el terreno valorativo.

Caracterizacin acadmica de la institucin: Aqu nos referimos estrictamente a la identidad acadmica y educativa de la institucin, la cual debe estar perfilada en la misin. En las instituciones de educacin superior confluyen programas, metodologas de enseanza, nivel de estudios, relaciones con la sociedad y propsitos de investigacin entre otras. Ninguna de estas variables es neutra. Cada institucin tiene una aproximacin a ellas, lo cual en cierta medida determina la identidad de la institucin. Estos elementos componen la parte central de la misin para una entidad educativa
Ejemplos: Existen instituciones de educacin superior con programas marcadamente profesionales en contraste con otras que dan una importancia equivalente a la educacin en competencias generales. Algunas privilegian mecanismos de aprendizaje autnomo y activo, mientras otras son ms conservadoras en aspectos pedaggicos. Para algunas instituciones las escuelas de pregrado y postgrado juegan un rol comparable, siendo que otras conservan un inters marcado por el pregrado. Para algunas universidades la produccin en investigacin, como generacin de conocimiento, es parte de la esencia de la institucin y en otras solo se contempla la investigacin formativa.

Estos ejemplos ponen de presente conceptos clave de los cuales debe ocuparse una misin para poder ser usada en el sentido de la gestin de la calidad que desarrolla este mdulo. Sobre ellos volveremos de manera ordenada y sistemtica. Relacin de la institucin con su contexto social: Como bien se ha dicho en el Marco de Referencia, una definicin de calidad basada estrictamente en el ajuste a los propsitos declarados corre el peligro de que la institucin de educacin superior se defina a si misma sin tener en cuenta el contexto dentro del cual est inmersa y dentro del cual operarn sus egresados. La educacin es un servicio pblico y como tal tiene un deber de pertinencia ante la sociedad. La
9

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

manera como la institucin responde a su deber de ser pertinente es propia de cada institucin y debe reflejarse en alguna medida en la misin.
Ejemplos que podemos dar: Si una institucin grada estudiantes que son exitosos en el mercado laboral de su regin o pas, ya se es pertinente socialmente. sta quizs sea la definicin ms comn de pertinencia a la cual puede acudir una institucin educativa. Una exigencia distinta puede suponer que una universidad a travs de sus escuelas y facultades y a travs de sus programas de investigacin y servicios se impone un deber de contribuir activamente al anlisis y solucin de problemas de su regin o pas. Una universidad puede plantearse como una universidad altamente selectiva, en razn del tipo de programas que ofrece; otra, por su parte, puede privilegiar la inclusin de estudiantes con una amplia gama de calificaciones, una tercera puede privilegiar estudiantes con caractersticas determinadas, tnicas, por ejemplo.

Las misiones suelen ser enunciados muy sintticos que tratan de capturar la esencia de la institucin en sus componentes ms importantes, los cuales se pueden clasificar en categoras como las mencionadas atrs. Dichos enunciados incluyen conceptos que dan para una gran variedad de interpretaciones. Podemos dar los siguientes ejemplos: excelencia acadmica, pluralismo, formacin tica, compromiso con el desarrollo del pas, aprendizaje autnomo. Si la misin va a ser usada para verificar el logro de propsitos, se necesita un mnimo de especificidad en el uso de los conceptos que componen la misin. A esto podemos llamarlo la misin extendida que puede entenderse como un documento que acota el significado de estos conceptos clave, lo cual ayudar en el proceso de gestin de la calidad. Podemos dar ejemplos de la manera cmo la ambigedad de la misin puede llevar a interpretaciones muy distintas de lo que puede o debe realizar la institucin:
Formacin tica puede significar la simple obligatoriedad de los estudiantes de tomar un curso de tica profesional. Pero tambin puede suponer cursos no profesionales que expongan al estudiante a dilemas morales y al discernimiento tico. Por ltimo se puede buscar que el estudiante sea expuesto a experiencias o practicas fuera del campus que evidencien problemticas ticas.

La forma de implementacin de la formacin tica que se propone en las diversas alternativas supone esfuerzos muy distintos e incluso concepciones muy distintitas de qu es formacin tica. Una misin extendida tratara de cerrar la amplitud de interpretaciones y a su vez acotar la evaluacin de logro de propsitos. En trminos del ejemplo, no toda interpretacin de formacin tica es vlida. No sobra advertir que una misin extendida no puede convertirse en una camisa de fuerza. No es una suma de
10

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

definiciones taxativas, sino una reflexin acadmica de la comunidad sobre el sentido que debe darse a los distintos conceptos que constituyen la misin. Esta reflexin debera emprenderse cada vez que se construye una nueva visin, que como veremos es la puesta en escena de la misin.

11

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

1.2 LA VISIN
Para una misin declarada de una institucin existen mltiples instituciones que satisfacen dicha misin. Podramos decir que cada puesta en escena que hace una institucin de su propia misin est respondiendo a una visin. Para un tiempo presente la institucin se conoce a s misma en toda su operacin, sus componentes y el contexto local y global en el cual opera. Esa informacin permite proyectar la institucin por periodos cortos de 1 a 3 aos. La proyeccin posiblemente no sea ms que pequeos ajustes de todas las variables de operacin. Sin embargo, todos los elementos que componen la actividad de la educacin como casi cualquier otra actividad - son muy dinmicos, desde concepciones educativas hasta el entorno socioeconmico en el cual se acta. Esta condicin hace que una proyeccin simple de la institucin posiblemente no sea adecuada en 5 aos y muy seguramente ser completamente desatinada en 10 aos. La Visin de la institucin (a 5 aos, 10 aos) trata de suplir esta necesidad. La visin es un ejercicio que busca pensar dentro de las condiciones reinantes hacia futuro, cual es la mejor interpretacin que debe hacer la institucin de su propia misin. La construccin de la visin es un ejercicio estratgico y no simplemente operativo. Requiere un conocimiento de tendencias en muchos frentes de los cuales damos unos ejemplos: Tendencias de masificacin de la educacin y la necesidad de instituciones ms incluyentes que atiendan dicha demanda Condiciones socio-econmicas locales y globales - dentro de la cual opera la institucin- y sus tendencias. Mapa cambiante de reas de conocimiento y sus relaciones crecientes. Programas emergentes importantes, ventajas comparativas de la institucin, necesidades insatisfechas del entorno social. Tendencias en educacin: Evolucin de las competencias esperadas de los graduados, evolucin de las metodologas pedaggicas y uso de recursos tecnolgicos para su implementacin. Necesidades locales en investigacin vs tendencias globales Mecanismos nacionales e internacionales de la investigacin.

La insistencia de la palabra estratgico en la definicin de la visin, significa que para su desarrollo se requiere proyectar a la institucin a la totalidad del escenario futuro dentro

12

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

del cual se operar, lo cual conduce a escoger derroteros de largo plazo que le permitan a la institucin ser exitosa en el sentido de su misin y su entorno en dicho plazo. La visin insinuar decisiones complejas y giros institucionales, requerir medir riesgos y asumir algunos, implicar comprometer recursos y operaciones cuidadosas. Todo aquello a lo que se refiere una visin de largo plazo no coincide con la cotidianeidad y operacin presente, y de ah su naturaleza estratgica Ejercicio 1
Misin institucional: Seleccione tres conceptos clave de la misin de una institucin de educacin superior de su eleccin y tradzcalos en elementos orientadores para la organizacin de la docencia. Analice si permiten que los miembros de la institucin tengan una comprensin compartida acerca de los aspectos centrales de la docencia (tales como el tipo de alumno atendido, los propsitos buscados en la formacin, orientaciones curriculares y pedaggicas, valores, u otros semejantes). Cmo podra evaluar si estos componentes de la misin se estn cumpliendo en una unidad concreta (facultad, departamento, escuela)? Podra mejorarse la declaracin de misin? En qu forma? Visin: Hay una visin explcita en la institucin elegida? Puede hacer explcita la correspondencia entre misin y visin? La visin es un desarrollo especfico de la misin? Considera usted que la visin institucional es consistente con las caractersticas y perspectivas de la unidad o institucin que Ud. ha elegido? Por qu?

________________________________ A manera de sntesis de esta seccin podemos decir que las actividades de planificacin y gestin institucional, evaluacin y generacin de planes de mejoramiento, tienen por objeto llevar a la institucin de un tiempo presente con una misin bien establecida, a una institucin que se ajusta a una visin propuesta en un mediano o largo plazo. Esto debe ilustrar la importancia que tienen los planteamientos de misin y visin dentro de un proceso de gestin sistemtica de la calidad de una institucin educativa.

13

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

1.3 COMPONENTES DEL SISTEMA QUE CONSTITUYE UNA INSTITUCIN DE

EDUCACIN SUPERIOR (IES)


La IES son organizaciones complejas en las cuales pueden interactuar miles de estudiantes con cientos a miles de profesores alrededor de decenas de programas, operando con presupuestos que van de unas decenas de millones de dlares a miles de millones de dlares. Por ejemplo, el campus de una universidad moderna puede exceder en poblacin y actividad a una ciudad pequea, lo cual implica una administracin y logstica normalmente invisible pero compleja para quienes se encargan de la academia. Todo esto sumado obliga a que la gestin y planificacin de una IES requiera un intento de entender todos los componentes y relaciones que se dan en la institucin para, a partir de ellas plantear esquemas apropiados de gestin de la calidad. Dichos componentes deben ser vistos como parte de un sistema que involucra personas, procesos y recursos. A este sistema lo llamaremos el sistema de la IES. La aproximacin ms gruesa a una IES es la misma que se hara a cualquier organizacin humana orientada a un fin. Existen unas componentes nucleares que se ilustran en la Fig. 1. y unos componentes de gobierno y administracin. Los componentes de gobierno y administracin pueden cambiar sin que se altere la misin de la institucin, mientras que las nucleares son las que dan un carcter objetivo a la misin. Componentes nucleares: Actores. Son los protagonistas de la misin de la institucin. Es decir estudiantes y profesores (el personal de gobierno, administracin y apoyo ser relacionado enseguida) Procesos acadmicos. Aqu estn incluidos cuatro tipos de procesos.- en ocasiones relacionados. . Por ejemplo, en el caso de una universidad: o Procesos requeridos para la realizacin de los programas acadmicos formales que ofrece la universidad. o Procesos de apoyo y bienestar de los estudiantes. o Procesos asociados a la investigacin. o Procesos asociados a otros servicios de tipo educativo o profesional que la IES ofrece a la comunidad como la educacin continua o consultora especializada. Los procesos no operan por s solos; son operados por los actores (estudiantes y profesores) y actores de gobierno y administracin (siguiente aparte)
14

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Resultados acadmicos. Incluyen en su definicin ms simple el conjunto de los graduados, productos de investigacin y servicios. Sin embargo el graduado puede entenderse como un resultado final del proceso educativo, pero el proceso formativo del estudiante es una secuencia de resultados parciales que quisiramos incluir en los resultados acadmicos. Tambin incluimos dentro de los resultados acadmicos de una universidad el entorno cultural e intelectual que ella constituye, que la convierte en centro de pensamiento, debate, anlisis y exposicin cultural y artstica. Recursos fsicos, de informacin y financieros: Aqu incluimos los recursos de naturaleza fsica o informacin como infraestructura, laboratorios, bibliotecas, sistemas de informacin. Podra pensarse que los recursos, al igual que sistemas de gobiernos o administracin, no tendran por qu incluirse en los componentes nucleares, dado que no son ellos los que objetivan la misin. Sin embargo lo recursos son tan importantes en la discusin de la gestin de la calidad que queremos incluirlos en este puntos central de la descripcin del sistema que compone la IES. Los recursos financieros, si bien no componentes directos de procesos acadmicos, son los que permiten la adquisicin de los dems recursos y deben ser tenidos en cuenta en cualquier estudio de la operacin de una IES.

Fig. 1: Componentes de una IES La descripcin en estos trminos (actores, recursos, procesos, productos) puede resultar incomoda en los ambientes acadmicos, por considerarse casi una descripcin de insumo-producto de naturaleza industrial. Sin embargo en una segunda mirada es casi imposible pensar que una organizacin humana orientada a un fin no se pueda describir finalmente como la interaccin de personas en procesos que valindose de unos recursos se propone unos resultados. Por esta razn, sta ser la base sobre la que se desarrollar esta componente.
15

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Componentes de gobiernos y administracin: Procesos de gobierno institucional: Nos referimos aqu a la estructura de la cual dispone la IES para la toma de decisiones, desde la alta direccin de la institucin hasta la direccin de las unidades acadmicas que administran programas, proyectos y servicios. Procesos de administracin: La administracin, a diferencia del gobierno, significar en este trabajo todos los procesos asociados a la implementacin y articulacin de decisiones de gobierno Actores de gobiernos y administracin: son las personas que operan el sistema de gobierno y administracin

Factores de calidad y funcin de calidad Poner en evidencia las componentes que subyacen en la IES busca, dentro de este contexto, establecer una relacin con la gestin de la calidad y en particular con la definicin que se usa en este mdulo de ajuste a sus propsitos declarados, incluido el ajuste de los propsitos a las exigencias externas. Dicha relacin se puede plasmar en los siguientes enunciados bsicos que debern desarrollarse en mayor detalle: El ajuste a los propsitos la consistencia interna se debe traducir en que los resultados acadmicos de la IES sean consistentes con la misin y visin institucional. Aqu se est afirmando que propsitos es asimilable a resultados acadmicos esperados Fig. 2. El ajuste de los propsitos la consistencia externa tambin se traduce en la consistencia de los resultados acadmicos con las demandas que el medio externo, manifiesto en el mercado laboral, la comunidad acadmica y el entorno social (Fig. 2). Si se acepta la estructura de la organizacin propuesta en el aparte anterior, entonces los resultados acadmicos - o productos acadmicos son consecuencia de la debida articulacin de todos los componentes del sistema: estudiantes, profesores, procesos acadmicos, recursos, gobiernos y administracin. Es decir, que la calidad se mide en resultados consistentes pero, por supuesto, se logra con una estructura debidamente articulada y alineada. Cada uno de las componentes del sistema de la IES es un factor de calidad en s mismo. Ej.: si los profesores son de alta calidad redundar en la calidad de la
16

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

IES. Las relaciones entre las componentes tambin constituyen un factor de calidad ms sutil y difcil de ajustar Ej.: Podemos contar con excelentes estudiantes, profesores y programas, pero los resultados pueden ser deficientes como consecuencia de una falta de articulacin, producto de una administracin acadmica deficiente.

Fig. 2: Definicin de Calidad

Ejercicio 2 Identifique tres elementos provenientes del medio externo y tres elementos provenientes de la misin institucional, que condicionan la formacin ofrecida por la una unidad de educacin superior que usted conozca. A juicio suyo, de qu manera la consideracin de estos elementos contribuye a definir el concepto de calidad que se aplica a su institucin?

En este punto queremos introducir el concepto de factor de calidad que nos servir como instrumento de anlisis dentro del concepto de gestin de calidad.

17

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Factores de Calidad son atributos especiales de los componentes del sistema. Al actuar sobre los factores de calidad, es posible transformar los componentes del sistema en una direccin que afecta (positiva o negativamente) la calidad total de la IES. Las componentes nucleares (actores, recursos u procesos) y el gobierno y administracin son factores de calidad. Sin embargo, son factores muy gruesos. Lo ideal es poder reducir el problema de la gestin de la calidad a factores ms simples o bsicos sobre los cuales se puedan formular a su vez acciones bsicas.
Ejemplos de algunos conceptos que podran ser usados como factores de calidad: Competencias generales de lenguaje y matemticas de estudiantes admitidos Capacidad de trabajo autnomo de estudiantes admitidos Esquemas de estmulo a la actividad docente de los profesores Esquemas de promocin profesoral de la IES Asignacin docente de los profesores Familiaridad del profesor con la efectividad de diversas metodologas docentes. Relacin profesor estudiante en el aula Efectividad del trabajo fuera de aula Alineamiento entre esquemas de evaluacin y objetivos de aprendizaje de los programas de estudio Alineamiento entre contenidos curriculares y competencias propuestas Estmulos a la investigacin para profesores jvenes que inician su carrera profesoral Relacin entre actividades de investigacin y prioridades y/o fuentes de investigacin en el pas Capacidad de liderar procesos de cambio del gobierno institucional Fluidez de la relacin los estamentos de gobierno y el cuerpo profesoral Estructura de ingresos de la IES Capacidad de inversin de la IES

Si bien ya contamos con una definicin de calidad en trminos de la consistencia de los resultados de la IES con las exigencias impuestas por la misin - visin y la consistencia externa impuesta por el entorno, la comprensin de la gestin de calidad requiere dar ms claridad sobre la manera como se hacen manifiestas estas alineaciones o consistencias. La definicin de calidad en todos los apartes de este mdulo se debe poder descomponer en un conjunto amplio de resultados ms simples, que consultan la misin-visin y el entorno, los cuales llamamos resultados consistentes.
Ejemplos de algunos posibles resultados: Empleabilidad de los graduados Desarrollo de la carrera de los graduados en el mercado laboral

18

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria
Evaluacin de los empleadores de competencias generales y profesionales de los graduados Satisfaccin de los graduados Acceso y desarrollo de graduados en programas de posgrado de alto nivel Demanda por los programas ofrecidos por la IES Acreditacin nacional o internacional de los programas ofrecidos por las IES Estructura de ingresos para la financiacin de la investigacin (fuentes) Participacin de la IES en programas y proyectos de anlisis y formulacin de polticas publicas

Esta lista tan slo es un ejemplo posible, en ninguna medida se supone que estos sean los resultados consistentes apropiados para evaluar la calidad de una IES en particular; sin embargo, ste es el tipo de relaciones que estamos buscando. Las directivas de la IES y dems entes encargados de las gestin de calidad deben poder identificar los factores de calidad ms adecuados para construir lo que podramos llamar una funcin de la calidad, es decir una dependencia de la calidad de la institucin de sus factores determinantes, lo cual podamos expresar simblicamente como la relacin: Funcin de la calidad: interaccin de factores de calidad esperados de acuerdo a propsitos (resultados consistentes) resultados

No estamos pretendiendo que sta sea una funcin matemtica, sino una relacin conceptual y causal claramente entendida por los agentes de los procesos de gestin. La construccin de la relacin que llamamos funcin de la calidad es la pieza fundamental en la aproximacin a la gestin de la calidad que presentamos en este mdulo. Esta funcin podramos intentar desplegarla en una matriz en la cual las filas contengan los factores de calidad y las columnas los resultados consistentes. Las diversas posiciones de la matriz representan el efecto de un determinado factor de calidad sobre un resultado consistente. Sin embargo, las cadenas causales de la calidad en una IES suelen ser ms complejas y el despliegue mediante una matriz puede ser una sobre simplificacin de lo que est ocurriendo. Aun as, no debe perderse de vista para visualizar relaciones gruesas. Ejercicio 3
Identifique ejemplos de factores de calidad asociados a la calidad de los programas o a la calidad de la investigacin que se desarrolla en una institucin de educacin superior. Muestre de qu manera dichos factores debieran evolucionar para mejor la calidad de programas acadmicos o de investigacin.

La Fig. 3 ilustra de mejor manera lo que finalmente es una funcin de calidad:

19

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Fig. 3: Factores de calidad y funcin de calidad

Grupos pequeos de actores (A) se relacionan valindose de recursos (R) para poner en marcha un proceso (P). A, R y P forman un factor de calidad.
(Profesor y estudiantes en un aula generan una clase; profesor y estudiantes en un laboratorio ejecutan un experimento con fines de investigacin)

Existen muchas asociaciones pequeas de este estilo que interactan unas con otras para dar pie a procesos ms complejos. Estos agregados en s mismos son factores de calidad.

(La suma de clases es una asignatura completa que puede tener diversos profesores, diversos procesos como evaluaciones, prcticas, etc. Diversos cursos constituyen finalmente un programa que tiene graduados Diversos experimentos ocurren en un complejo de laboratorios apuntado a un mismo proyecto).

El escalamiento de procesos simples con interacciones limitadas de actores conduce a la construccin de todo el sistema IES, cuyos resultados ocurren en la mayora de los casos en el fin de la cadena de escalamiento de procesos.

Si bien los resultados relativos a la misin ocurren en el final de la cadena, sus caractersticas difcilmente podrn entenderse sin entender los eslabones, por pequeos
20

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

que sean. La gestin de calidad busca desenmaraar este escalamiento para actuar efectivamente en pro de la calidad.
Un ejemplo extremadamente sencillo pero que ilustra - de una gestin de calidad que slo observa los extremos del proceso y pierde toda capacidad de entender las razones de la calidad: Una IES tiene indicadores juiciosos del nmero de estudiantes por computador y pretende usar este nmero como indicador de calidad. Claramente, hasta no entender cmo se usan los computadores en la IES, este indicador no est diciendo nada acerca de la calidad de la institucin. Tenemos que ir a los eslabones pequeos para saber cul es el efecto de los recursos informticos en la calidad de la educacin.

Ejercicio 4 La carrera A de la institucin B ha verificado que sus estudiantes tardan en titularse casi siete aos, en circunstancias de que el plan de estudios est previsto para completarse en cuatro aos. Cmo definira usted el problema, y qu factores de calidad identificara para avanzar hacia una solucin?

Con esta breve descripcin de la funcin de calidad y la IES podemos motivar el resto de secciones de esta unidad: La seccin 1.4 busca ilustrar la diferencia entre hacer los nfasis en una gestin de calidad de recursos humanos y fsicos y una gestin de procesos , menos frecuente en la gestin en las IES La seccin 1.5 hace referencia a la estrategia bsica de gestin de calidad: el ciclo planificacin, evaluacin, planes de mejoramiento. Este ciclo busca alterar sistemticamente, y de manera iterativa (planes de mejoramiento), los factores que inciden en la calidad. La unidad 2 del mdulo se refiere a la evaluacin para el mejoramiento, es decir el mecanismo que da elementos para corregir trayectorias dentro del ciclo de gestin de la seccin 1.5.

21

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

1.4 GESTIN DE RECURSOS VS. GESTIN DE PROCESOS El propsito de esta seccin es llamar la atencin sobre el hecho de que hay dos grandes familias de procesos de gestin, que llamaremos de recursos y de procesos. Esta distincin no solo es til para entender la gestin de calidad misma, sino para entender la evolucin de procesos de evaluacin institucional, muy dependientes del estudio de los recursos hacia una evaluacin cada vez ms interesada en los procesos. Este giro, sin duda, hace la gestin y evaluacin ms compleja, lo cual no es en vano puesto que el estudio cuidadoso de los procesos, puede explicar entres otras, cules son los lmites del aporte real de recursos y actores. (En la siguiente referencia [Ross, 1999] que no hace referencia a la calidad educativa, sino mas en los sistemas productivos, ya se presenta una clara distincin entre la gerencia de recursos humanos y gerencia de procesos) En lo que hemos llamado el sistema que constituye la IES, podemos agrupar actores y recursos fsicos en un solo grupo que llamamos actores-recursos y lo diferenciamos de los procesos acadmicos, de gobierno y administracin. Entonces podemos visualizar dos tipos de gestin para la calidad: Gestin de actores-recursos Gestin de procesos

Para poder entender correctamente lo que queremos decir con esta distincin, es importante hacer una breve explicacin de cmo visualizamos a los actores y a su relacin con los procesos: Los procesos acadmicos y dems en una IES se basan exclusivamente en relaciones que se establecen entre los actores valindose de unos recursos. No hay procesos sin actores. Por lo tanto, una gestin de procesos no excluir de ninguna manera la presencia de las personas que conforman la IES. Sin embargo, la sola presencia de los llamados actores, que no sea a travs de sus interacciones, no determina el funcionamiento y por ende la calidad de la IES. Lo mismo podemos afirmar de los recursos fsicos. De lo anterior se sigue como ejemplo - que exhibir la calidad (o cantidad) de formacin de los profesores o recursos de una institucin no son una real garanta de su calidad como entidad educativa. Pero tambin podemos afirmar que profesores, estudiantes o directivas son un capital humano que se aporta al sistema, con unas condiciones de base previas a los procesos en las cuales se vern involucrados dentro de la IES y esas condiciones de base (nmero, calificacin, experiencia, etc.) son un determinante a considerar de manera independiente de los procesos en los cuales participen.
22

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Con esta explicacin podemos distinguir entonces las dos formas en las cuales dividimos la gestin: La gestin de actores-recursos est encaminada a garantizar que las condiciones de base del capital humano o fsico (actores-recursos) que conforma una IES son adecuados para su operacin. La gestin de procesos busca potenciar la manera en que las relaciones entre los diversos actores, aportan a la calidad de la IES a travs de procesos orientados a un fin. Una descripcin de lo que podra ser la evolucin de una IES nos puede ayudar a entender mas los roles que juega la gestin de recursos y procesos en la institucin:
Una IES empieza a operar con la oferta de unos cuantos programas que tienen currculos relativamente convencionales. Para ello conforma una base profesoral suficiente y razonablemente preparada. As mismo cuenta con dotaciones razonables en infraestructura, laboratorios, bibliotecas y recursos informticos. Aqu ya estamos en presencia de condiciones capaces de satisfacer una determinada misin institucional. Despus de unos pocos aos de operacin, la institucin se pregunta qu acciones debe emprender para mejorar su calidad e incrementar su posicin dentro de la oferta educativa. Pueden surgir respuestas casi inmediatas: Profesores mejor preparados son mejores profesores, lo cual es cierto dentro de ciertos lmites. Un mayor nmero de profesores permite reducir la carga docente, lo cual permite una mejor docencia y la posibilidad de mayor produccin en investigacin. Mejorar la infraestructura fsica y los recursos de aprendizaje permite contar con mejores laboratorios, expandir la biblioteca y proveer mejores servicios informticos. Durante varios aos y dependiendo de su capacidad de inversin y crecimiento, la institucin seguir con este programa, lo cual, en efecto, redundar en crecimiento sostenido de calidad.

Esta iniciacin y desarrollo de la institucin puede ser completamente acertada. Se basa en una premisa: si se tienen los profesores adecuados y los recursos adecuados, la IES operar adecuadamente. Adicionalmente, supone que incrementos en la calidad de estos dos factores - recursos fsicos y profesores - redundar en incrementos de calidad. A una gestin de la calidad basada escuetamente en estas premisas la podemos llamar gestin de recursos-actores. Asociado a este tipo de gestin se puede asociar una evaluacin institucional como evaluacin de recursos-actores y un proceso de planificacin estratgica entendida como una planificacin de los recursos humanos y fsicos. Esta estrategia de gestin no necesariamente ignora los procesos acadmicos asociados a la IES. Ms bien, supone que profesores bien preparados administran adecuadamente un plan de estudios y son capaces de adecuar las metodologas docentes y de transmitir un

23

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

ejemplo adecuado a sus estudiantes. Es decir, hay un supuesto implcito i de que un capital humano adecuado implementar procesos adecuados. Si todos los supuestos sobre la relacin entre calidad, recursos y capital humano fueran tan determinantes como los ejemplos que hemos expuesto, el problema de la gestin de la calidad quedara reducida a seleccionar adecuadamente el conjunto de personas que operan la IES. Sin embargo esto difcilmente es cierto si se espera un incremento sostenido de la calidad. La razn para esto es un principio similar a la ley de los incrementos decrecientes que usan los economistas para estudiar procesos productivos.

Los rendimientos decrecientes Los economistas afirman que en un sistema productivo, se obtendr menos produccin adicional cuando se aaden nuevas cantidades de un insumo mientras se mantienen los dems insumos constantes. A esto llaman la ley de los rendimientos decrecientes. Para un ingeniero que estudia ciertos sistemas fsicos en los cuales hay una seal de entrada y una de salida, es claro que hay un punto en el sistema en el cual, ante incrementos constantes en la intensidad de la seal de entrada, los incrementos en la intensidad de la seal de salida irn disminuyendo. A esto llaman los ingenieros una saturacin del sistema.

Fig. 4: Rendimientos de decrecientes La figura podra servir para ilustrar la ley de rendimientos decrecientes para los procesos productivos y la saturacin de ciertos dispositivos fsicos que manejan los ingenieros. El eje horizontal representa el insumo - o seal de entrada y el eje vertical representa la produccin o seal de salida - .

24

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

En nuestro caso, de manera abstracta el eje horizontal representara cualquier factor de calidad - si lo pudiramos cuantificar - y el eje vertical representa la calidad, tambin si la pudiramos cuantificar. Es decir, que esta grfica representa una porcin de la funcin de calidad sugerida en la seccin 1.3. Si hacemos esta interpretacin de los ejes, la grfica est insinuando que la calidad en una IES sufre un fenmeno de rendimientos decrecientes respecto a cualquier factor de calidad: Existe un punto de saturacin despus del cual los incrementos en dichos factores producen incrementos cada vez menores en la calidad. La figura 5 muestra dos lneas verticales que sealan dos puntos singulares de esta grafica: el umbral, que es un nivel por debajo del cual incrementos en los factores de calidad aportan muy poco al incremento en la calidad; y el segundo punto singular, que es el de saturacin, por encima del cual los incrementos en los factores de calidad nuevamente producen incrementos muy bajos en la calidad. En el vocabulario de esta grfica, la hiptesis fuerte de gestin de la calidad es que para ciertos factores de calidad del sistema de la IES existen puntos de saturacin ms all de los cuales los esfuerzos asociados a dichos factores no producen mejoras significativas en la calidad si no se alteran otros factores. La mayor dificultad para entender conceptos de gestin de la calidad en estos trminos (similar a lo que sucede con el concepto de funcin de la calidad), es que no es posible cuantificar ni la calidad ni los factores; por consiguiente, no podemos construir funciones reales, ni cuantificar los puntos de saturacin. Aun as, como referencia conceptual puede ser muy til para guiar discusiones y procesos de gestin y usaremos estos conceptos en el resto de esta parte de la unidad. La existencia de un umbral inferior de los factores de calidad, bajo el cual la calidad es baja y crece lentamente, tambin es un concepto importante. Sin embargo, debera suceder que una institucin con una buena disposicin y recursos razonables, podra superar dicho umbral en tiempo relativamente breve. Si esto no se logra, podra pensarse que existen problemas estructurales de fondo con la institucin. Un ejercicio mental rpido puede mostrarnos que cualquier factor de recursos o capital humano entendido como las condiciones de base - tiene un claro punto de saturacin. Algunos ejemplos de los conceptos de saturacin, unos muy ntidos, otros ms controversiales:
1. El incremento de los recursos de biblioteca y/o sistemas de informacin para los estudiantes de pregrado debiera traducirse en mejores condiciones para el estudio y mejores niveles de aprendizaje.

25

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria
Sin embargo, aumentar la dotacin ms all de una coleccin bsica o intermedia, hace que esta premisa comienza a ser falsa, puesto que pasar una de dos cosas: o la coleccin incrementada es redundante o est ms all del nivel de los estudiantes de pregrado. ste es un caso de saturacin casi trivial, pero bastante claro. El tamao de las clases en una IES depende del nmero de estudiantes y del nmero de profesores. Si se aumenta el nmero de profesores, manteniendo fijo el nmero de estudiantes, ser posible tener cursos (secciones) ms pequeas. A partir de condiciones iniciales en que la planta profesoral es pequea, el aumento en el nmero de profesores, redundar en una mejor docencia. Sin embargo, por debajo de un tamao de aula es posible que nuevas reducciones ya no consigan mayores efectos en la calidad docente a menos que se hagan cambios metodolgicos que aprovechen de manera especial un nmero bajo de estudiantes. En este ejemplo se puede ilustrar muy bien cmo el afectar otro factor de calidad (metodologas) puede repotenciar uno que ya ha llegado a su saturacin (estudiantes por profesor).

2.

3.

Un sistema de estmulos econmicos a los profesores por su produccin en investigacin muy probablemente incrementar dicha produccin. Tiene sentido incrementar el monto de dichos estmulos indefinidamente, manteniendo fijo el resto de las condiciones para la investigacin? Aparte del hecho de que no hay economa universitaria que pueda soportar incrementos indefinidos de estos estmulos (lo cual no es el objeto de este ejemplo), los estmulos no pueden suplir la ausencia de otros factores, (ambiente acadmico o pertinencia de la investigacin en el ambiente socio econmico) y, por tanto, llega un punto en que no tienen efectos significativos.
Unos de las relaciones ms importantes en la enseanza-aprendizaje es la que se establece entre profesor y estudiante en el aula. Esta relacin es difcil de calificar y mucho menos de cuantificar, a diferencia de lo que ocurre con el caso de los recursos fsicos o humanos. ste siempre ser el caso con los procesos. Aun as podemos establecer comparaciones. Podemos afirmar que las clases taller, en que el profesor es un facilitador de un proceso de aprendizaje autnomo, son un mejor caso de relacin profesor estudiante que la clase masiva magistral. Tambin podremos concluir que esta mejor relacin tiene efectos sobre la calidad educativa y tener una idea cualitativa en una grfica como la fig. 4 para sucesiones ordenadas de relaciones profesor-estudiante en el aula. Pero podemos suponer que muy posiblemente habr un lmite a la mejora de la docencia con base en mejoras de esta relacin nicamente.

4.

Ejercicio 5 Busque ejemplos en que el aumento de recursos humanos o fsicos no aportan mayormente a los incrementos en la calidad debido a que los procesos acadmicos son inadecuados. Describa una situacin en la cual una modificacin en los procesos acadmicos producira una mayor efectividad de recursos o personas asociadas a la institucin

La figura 5 ilustra una conclusin que puede derivarse de esta discusin y ejemplos de rendimientos decrecientes o saturados:

26

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Una estrategia de calidad basada estrictamente en una gestin de recursos puede llegar finalmente a una saturacin: los incrementos de calidad son muy bajos o nulos. Dicha situacin puede revertirse mediante la alteracin de otros factores de calidad clave. Usualmente, estos factores se refieren a los procesos, es decir al cmo se hacen las cosas. Esta mejora de procesos terminar por potenciar recursos ya existentes, obteniendo nuevos rendimientos en calidad.

Fig. 5: Saturacin de los factores de calidad


Ejercicio 6 Siguiendo el caso del ejercicio 4, proponga estrategias basadas en modificaciones en los recursos disponibles, o en modificaciones de los procesos. Discuta en qu condiciones estas estrategias pueden ser ms eficaces.

27

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

1.5 EFECTIVIDAD INSTITUCIONAL: EL CICLO PLANIFICACIN INSTITUCIONAL,

EVALUACIN, PLANES DE MEJORAMIENTO


El ciclo enunciado en el titulo describe el algoritmo bsico la forma de proceder - de gestin de calidad que proponemos en este mdulo. El material desarrollado hasta este punto nos servir para proveer las herramientas conceptuales que permiten la construccin de este ciclo. La racionalidad del ciclo de efectividad institucional es la siguiente: La misin y visin de 5 (10) aos de la institucin alimenta la construccin de un plan de la IES, que lleve del estado presente al propuesto en la visin. Para ello, la mejor herramienta de partida es la consideracin del sistema institucional y el anlisis de las acciones sobre cada componente que hagan posible,, conducir la institucin hacia el estado propuesto en la visin. Los sistemas de evaluacin que propondremos ms adelante ( unidad 2) siempre tendrn el carcter de tratar de entender relaciones causa-efecto: de qu manera unos factores determinan (o condicionan) unos resultados. Esto se desdobla en las evaluaciones de la calidad que perseguimos, como intentos de explicar la manera como los resultados de las IES se ajustan a los propsitos declarados (o evaluaciones macro) y evaluaciones micro (de factores) dentro de determinados procesos (ej. calidad docente) que posteriormente ser usada en las evaluaciones macro. En toda institucin existe un conjunto de informacin de base; sta constituye un insumo para la evaluacin. La formulacin de planes de mejoramiento debe hacerse con una periodicidad menor a la del plan institucional y de la visin, puesto que en el fondo las estrategias de mejoramiento son ajustes en todos los niveles macro y micro de los cursos que ha ido tomando el plan institucional. Los planes de mejoramiento deben alimentarse claramente de las llamadas evaluaciones causales, las cuales estn ms cerca de indicar los correctivos a seguir.

Dicho en trminos de la funcin de calidad presentada en la seccin 1.3: lo que hace el ciclo de efectividad institucional es cambiar los factores de calidad los argumentos de la funcin de calidad - de manera de lograr incrementos en la calidad. Los planes institucionales o planes de mejoramiento son las estrategias que llevan a este cambio

28

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

de argumentos de la funcin de calidad y las evaluaciones son guas para efectuar los cambios en los factores clave. El ciclo presentado remeda un procedimiento iterativo de optimizacin de un producto o proceso, en el cual la calidad es lo que se busca optimizar y los planes institucionales y de mejoramiento juegan la difcil labor de dar el paso en la direccin del ptimo. Las evaluaciones son el mecanismo de control del ciclo, que permite corregir la direccin del paso de avance en la secuencia de iteraciones. Estas ideas las resumimos en la figura 6.

Ciclo de efectividad institucional


: = 1 . .

= = (1 . . )

(1 . . ) ( 1 . . )

= = (1 . . )
: Fig. 6 Efectividad institucional

(1 . . ) ( 1 . . )

29

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Con estos elementos generales podemos presentar de manera un poco ms explcita lo que lo que mostramos de forma esquemtica en la Fig. 6 El esquema general que integra todos los elementos conceptuales presentados hasta este punto es el siguiente:
Nota: La numeracin romana I, II, III se seguir usando para referirse a los elementos del plan institucional, particularmente en el Anexo 1.

I. Plan institucional (5 aos) Misin - Visin 1. Planteamiento de una visin o revisin para los prximos 5 aos Anlisis general 2. Identificacin de las componentes del sistema y subsistemas de la IES y su relacin. Esto incluye una caracterizacin detallada de las componentes de los subsistemas en el presente y las esperadas en el escenario de la visin. 3. Identificacin de los factores de calidad y su relacin con la calidad institucional para la IES particular Anlisis y planes por subsistemas 4. Formulacin de un plan por cada subsistema: o Diseo de un programa para potenciar los actores, recursos y procesos (factor de calidad) de manera que se superen los problemas de umbrales mnimos y saturaciones y alcancen expectativas que se derivan de la visin (ver 1.4) o Viabilidad de los planes frente a la estructura de ingresos de la IES. Este programa debe tener en cuenta la evaluacin de resultados y las evaluaciones que producen el componente de evaluacin del ciclo Numeral II de este esquema. Integracin 5. Consideracin de interacciones constructivas y obstructivas entre subsistemas y acciones para aprovechar o mitigar dichas interacciones. 6. Determinacin de acciones de naturaleza institucional que se requieran para implementar los planes para los subsistemas.

30

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

II. Evaluacin ( unidad siguiente). III. Planes de mejoramiento Los planes de mejoramiento pueden entenderse como iteraciones con menor periodicidad y foco de los numerales 4 a 7 presentado en I. Plan Institucional, es decir, comprendiendo los anlisis, planes por subsistemas y labores de integracin. En el Anexo 1 se presenta el desarrollo de un ciclo de efectividad institucional para un IES figurada. Los anlisis no se hacen sobre la totalidad de componentes y factores que inciden en una IES, pero pueden ser suficientes para ilustrar todo el sentido de esta unidad.

31

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Mdulo "LA GESTIN INTERNA DE LA CALIDAD EN LAS INSTITUCIONES DE EDUCACIN SUPERIOR (Mdulo GIC)

Unidad 2 EVALUACIN PARA LA GESTIN INTERNA DE LA CALIDAD EN LAS INSTITUCIONES DE EDUCACIN SUPERIOR

32

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Unidad 2 EVALUACIN PARA LA GESTIN INTERNA DE LA CALIDAD EN LAS INSTITUCIONES DE EDUCACIN SUPERIOR
TABLA DE CONTENIDOS DE LA UNIDAD 2

INTRODUCCIN 2.1 EVALUACIN: INFORMACIN, CARACTERIZACIN DE ATRIBUTOS Y RELACIONES CAUSALES 2.1.1Informacin bsica y de salida 2.1.2 Relaciones causales 2.1.3 Caracterizacin de atributos complejos 2.1.4 Ejemplo: causas de la desercin 2.1.5 Ejemplo: calidad docente de los profesores 2.2 EVALUACIN PARA EFECTOS DE GESTIN INTERNA DE LA CALIDAD Y PLANIFICACIN 2.3 EVALUACIN Y LA COMUNIDAD ACADMICA Credibilidad Participacin de la comunidad 2.4 TRANSPARENCIA Y SOCIALIZACIN

33

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

INTRODUCCIN

Como se anunciara en la seccin 1.3de la unidad 1 de este mdulo, la evaluacin dentro de la gestin de calidad debe proveer argumentos para corregir trayectorias dentro del ciclo de efectividad institucional y es en este sentido que avanza la presente unidad, que ha sido organizada en cuatro secciones. En la primera seccin, la nmero 2.1, presentaremos una jerarqua de tipos de evidencia que pueden usarse en la gestin y planificacin y sobre la base de que es posible construir todos los elementos de dicha jerarqua nos concentraremos en 2.2 en la segunda seccin, en un conjunto significativo de elementos evaluativos necesarios para poder adelantar la gestin de calidad. Por ltimo, en las secciones 2.3 y 2.4 haremos consideraciones de naturaleza general sobre la manera de facilitar un proceso evaluativo en una comunidad acadmica.

34

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

2.1 EVALUACIN: INFORMACIN, CARACTERIZACIN DE ATRIBUTOS Y RELACIONES CAUSALES Una observacin preliminar importante para toda esta unidad: Un buen sistema de evaluacin debe lograr convertir un conjunto grande de informacin con bajo significado y estructura en un conjunto pequeo de informacin con alto significado y estructura. Algunas prcticas de gestin y evaluacin estn sobresaturadas de indicadores desestructurados, de los cuales no podemos extraer conjuntos de informacin de tamao razonable que den aproximaciones al qu y por qu de lo que ocurre en una IES. En la seccin 1.3 de launidad 1 del mdulo introdujimos el concepto de evaluacin de resultados que busca contrastar los resultados acadmicos de una IES con su misin y demandas externas y las evaluacin por factores que busca evaluar internamente como los factores de calidad afectan la calidad y/o los resultados. En esta seccin queremos dar una base conceptual de los elementos que debemos tener en cuenta para construir sistemas de evaluacin. Nos referiremos a tres categoras: Informacin bsica y de salida Caracterizacin de atributos complejos Determinacin de relaciones causales

Las evaluaciones que nos interesan, seccin 2.2, siempre tendrn el sentido de una relacin causal: Cules son las causas o razones que explican el por qu de un determinado efecto o resultado? La evaluacin no se limita a afirmar si determinado atributo es adecuado o no bueno o malo - . La evaluacin tiene por objeto entender por qu ocurre lo que ocurre. Slo de esta manera es til para efectos de mejoramiento, planificacin o gestin de calidad. Aqu relacin causal se entiende en un sentido exigente: no solamente queremos poder asociarle unas causas a un efecto dado, sino que queremos entender por qu sas son las causas, bajo el entendimiento de que no estamos ante efectos que ocurren al azar o fuera de toda comprensin posible. La construccin de dicha relacin causal, expresada de manera cuantitativa o cualitativa en 2.1, se constituye a partir de dos insumos: informacin bsica, 2.1.1 y/o caracterizacin de atributos ms complejos ilustrados en 2.1.3

35

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

2.1.1 Informacin bsica y de salida Nos referimos aqu a paquetes de informacin que caracterizan a la IES en sus diversos componentes. El significado de esta informacin es muy reducido y usualmente requiere ms elaboracin y contexto para que pueda tener carcter evaluativo Esta informacin suele presentarse en valores totales o normalizados: Ej. Nmero de profesores y nmero de estudiantes por profesor. Los totales dan una idea de tamao de la institucin, lo cual tiene mucho valor interno para clculos econmicos y algo para ciertas comparaciones. La informacin normalizada combina dos paquetes de informacin que usualmente dan un valor agregado a la misma. La Tabla 1 del Anexo 2 ilustra una aproximacin a lo que llamamos informacin de base. Parte de esta informacin es lo que usualmente llamamos indicadores. Es importante recordar que, como lo seala el uso corriente de la palabra, los indicadores slo indican. Ejercicio 7
Para los indicadores presentados en el anexo 2, seale cules son determinados de manera sistemtica y peridica en su institucin. Qu otros indicadores agregara a esta lista ?

Existen factores o atributos del sistema que puedan quedar plenamente caracterizados con la informacin bsica o de salida. Ej.: el tamao de la planta profesoral, los recursos informticos, nmero de graduados, numero de publicaciones Los indicadores hablan de las condiciones de base de los recursos y muy poco del desempeo o articulacin de ellos dentro del sistema que constituye la IES. Difcilmente un proceso queda caracterizado mediante informacin bsica. En cualquier caso, esta informacin bsica y de salida es el primer conjunto de evidencias que tenemos de la institucin. 2.1.2 Relaciones causales Lo anterior nos lleva a la necesidad de tener otras herramientas evaluativas ms complejas que buscan caracterizar atributos complejos del sistema, que no estn presentes de manera directa en la informacin de base - y salida- presentada en el aparte anterior.

36

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Tambin estamos interesados en entender ciertas relaciones causales (Angrist, 2009; [Morgan, 2007) que se dan dentro de la institucin, las cuales son fundamentales para proceder con un programa bien sustentado de gestin de la calidad. Dos ejemplos del tipo de accin evaluativa que nos interesa aqu: Caracterizacin de atributos complejos: Calidad docente de los profesores Relaciones causales: Causas de la desercin estudiantil

El valor de este tipo de elementos evaluativos se sobreentiende del resto del documento. En general, el problema que enfrentamos aqu es el de establecer relaciones causales o caracterizaciones estadsticamente significativas entre variables que provienen de una poblacin y sistema educativo en el cual estn ocurriendo procesos no controlados estadsticamente. = ( 1 , . , ; 1 , , )

En trminos simblicos, estamos tratando de establecer un relacin entre un resultado que denotamos y un conjunto de causas internas {1 , , } y causas externas {1 , , } . Esta distincin es importante, por cuanto la institucin tiene algn control respecto de las primeras, a travs de sus planes de mejoramiento; las segundas constituyen c ondiciones que es preciso tomar en cuenta, pero respecto de las cuales, en general, la institucin no tiene control.
Ej.: =Produccion en investigacin 1 = Trayectoria previa en investigacin (incluida formacin) de profesores 1 =Recursos externos 2 = Laboratorios de investgacion para la investgiacionEn muchas ocasiones los resultados son mltiples y estn relacionados entre s. Ej.: 1 =Calidad de programas doctorales Trayectoria previa en investigacin (incluida formacin) de profesores 2 = Laboratorios de investgacion 3 = Madurez academica de la institucin por grados doctorales = (1 , . , ; 1, 1 , , ) 1 = 1 (1 , . , ; , 1 , , ) 1 = 1 =Demanda

La Fig. 7 muestra este mismo tipo de relaciones de manera grfica, lo cual puede ser ms claro.

37

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

1 2

Fig. 7

Anlisis cuantitativo y cualitativo Sobre muchos de los factores de calidad, que llamamos variables en este numeral, se puede intentar una caracterizacin numrica ms o menos confiable, entendiendo por confiabilidad el grado de fidelidad con el cual la variable numrica representa el concepto o factor en cuestin.
Ej.: Las evaluaciones perceptuales de los estudiantes a sus profesores que terminan en escalas numricas difcilmente son caracterizaciones correctas de la calidad de los profesores (Aun as pueden formar parte de un conjunto extendido de variables que s caracterizan correctamente la calidad de un profesor) Ej. El resultado numrico de una prueba estandarizada para la medicin de competencias matemticas o de lectura muy posiblemente es una caracterizacin de alta confiabilidad para la medicin de las competencias referidas.

Una expresin como:


= (1 , . , ; 1, 1 , , ) 1 = 1 (1 , . , ; , 1 , , )

en la cual tenemos una poblacin que provee muestras estadsticamente significativas de todas las variables involucradas - causas y resultados automticamente sugiere la construccin de las funciones matemticas , 1 mediante tcnicas de regresin mltiple o ms generalmente tcnicas economtricas (Angrist, 2009; Morgan, 2007). Estas tcnicas han sido desarrolladas justamente para modelar relaciones entre variables que ocurren en experimentos no controlados cualquier evento real del sistema educativo (el desarrollo de las clase, los procesos de investigacin, las relacin entre gobierno y profesores) son experimentos no controlados - .
38

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Las ventajas inmediatas de un modelo cuantitativo confiable son, sobre todo, dos: Capacidad predictiva: podemos estimar los resultados en el sentido de las variables que los representan conocidos las causas. Capacidad de ponderar el peso de las distintas causas en la determinacin de los resultados (los coeficientes en la regresiones lineales y/o coeficientes de correlacin indican numricamente qu tan sensible es una variable resultado a cambios en la variable causa).

De los dos atributos de los modelos cuantitativos, el ms interesante para efectos de este documento es el segundo. sta es una clara funcin evaluativa: por ejemplo, nos est sealando dnde fijar ms la atencin al momento de potenciar factores de calidad, lo cual es fundamental en un proceso de gestin de calidad:
Ej. figurado: En la determinacin de la calidad de los programas doctorales es 3 veces ms significativa la trayectoria en investigacin de los profesores que la calidad de los equipos de laboratorio (en reas de ciencias)

Sin embargo, el poder ponderar las diversas causas en la determinacin de los resultados no necesariamente explica por qu existe dicha asociacin y mucho menos porque es ms o menos intensa como en el ejemplo anterior- . Algunos pueden argumentar que dichas explicaciones se pueden develar agregando modelos que expliquen la causas en trminos de nuevas variables ms bsicas. Sin bien esto puede ser cierto, tambin es cierto que la pregunta de los por qu abre la puerta a una indagacin de tipo cualitativo Los procesos que se viven en una IES esencialmente son procesos entre personas, misionalmente orientadas a un fin comn, pero por supuesto con experiencias, tradiciones, intereses, formas de actuar y valorar muy propios de cada cual. As mismo, la IES est inmersa dentro de una sociedad que tambin posee una historia, una tradicin educativa, unas condiciones socio-econmicas y un esquema valorativo propio. Todo este acervo social, educativo y personal de quienes interactan en la IES es el responsable ltimo del por qu determinados factores conducen a determinados resultados. Los llamados mtodos cualitativos buscan investigar todo este marco y sus consecuencias mediante un dilogo directo con los actores de los procesos fundamentales: los estudiantes, los profesores, las directivas, los empleadores. Este dilogo se lleva a cabo mediante entrevistas, grupos focales, talleres y en l puedan aflorar las historias que hay detrs de los procesos. A partir de esta actividad se construyen relatos que conducen a explicaciones y finalmente a causalidades. (Flick, 2007; Patton, 2002) En este documento no nos interesa entrar en la discusin de cul de los mtodos cualitativos o cuantitativos es ms valioso en la investigacin de organizaciones o
39

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

comunidades. La posicin aqu es ms pragmtica: ambas metodologas tienen ventajas y desventajas que son ms o menos evidentes de lo que hemos argumentado. Tampoco hay duda de que podemos orientar las investigaciones institucionales de manera que lo cualitativo y lo cuantitativo sean recursos complementarios y as lo estamos proponiendo en el resto de este mdulo. Ejercicio 8
Construya cadenas de relaciones causales que partan de calidad de estudiantes admitidos y calidad de la formacin disciplinar de los profesores para finalmente tratar de explicar calidad de los graduados. Qu otras variables de partida considera indispensable para construir las relaciones causales propuestas?

2.1.3 Caracterizacin de atributos complejos A diferencia de las relaciones causales, aqu no tratamos de encontrar una explicacin a un fenmeno dado, sino que queremos tener una descripcin satisfactoria de un atributo del sistema. Dicha descripcin normalmente tendr que darse en trminos de un conjunto extendido de otras variables ms simples que se interrelacionan en un funcin que da cuente de la manera cmo las variables simples caracterizan el atributo complejo - lo caracterizan, no lo causan-. = atributo a modelar {1 , . . , } = ( 1 , , )

La diferencia fundamental entre esta caracterizacin y las relaciones del aparte anterior es que no estamos buscando una causa, sino una descripcin. Ej.: Calidad del profesor. Este atributo lo podemos investigar de dos maneras: qu hace que un profesor sea bueno (relacin causal), o cules son las evidencias de que un profesor es bueno (as no lo explique) y qu peso le damos a cada evidencia. Es a esto ltimo a lo que nos referimos en esta seccin. Aqu, al igual que en la seccin anterior, tenemos que reconocer que pueden existir caracterizaciones cuantitativas como las que sugieren los prrafos anteriores o una caracterizacin cualitativa en la cual basado en herramientas de aproximacin a los actores se logra entender el atributo en consideracin.

40

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

2.1.4 Ejemplo: causas de la desercin (relacin causal)


Consideremos el ejemplo de causas de la desercin y veamos los primeros pasos en la construccin de un modelo causal que ayuda a la IES a entender este problema delicado de la educacin superior: Aqu consideraremos las siguientes etapas dentro del proceso a seguir: Restriccin del dominio de estudio: cualquier problema de la naturaleza de los que consideramos tiene manifestaciones dependiendo de la poblacin que se considera o ms generalmente el dominio de estudio Determinacin de variables pertinentes Formulacin de modelos

Aqu slo ilustraremos las dos primeras etapas y haremos unas pocas observaciones sobre la ltima: Restriccin del dominio: Debemos distinguir formas de desercin de una cohorte: Desercin total: Nmero de estudiantes admitidos en una cohorte que nunca se gradan. Desercin parcial: Nmero de estudiantes admitidos en una cohorte que abandonan los estudios en un periodo dado. Ej. primer ao.

En este ejemplo nos interesaremos en la desercin parcial de un ao, la cual en muchos casos explica un porcentaje muy alto de la desercin total y resulta desconcertante por lo rpido que ocurre. Dentro de la desercin parcial, podemos refinar aun ms el mbito de estudio distingendo dos tipos ms de desercin Causas de bajo desempeo acadmicos: El estudiante que abandona la IES tiene malos resultados acadmicos al momento del retiro o fue retirado de la IES por bajos resultados. Causas no asociadas al bajo desempeo: El estudiante que abandona NO tiene resultados acadmicos que justifiquen claramente el abandono.

Aqu escogeremos nicamente la desercin de estudiantes con bajos resultados acadmicos que pareciera la ms fcil de entender, puesto que el problema se reduce a entender el por qu de los bajos resultados. Por ltimo, es importante restringir la poblacin a una sola disciplina, puesto que ser evidente que las razones de bajo desempeo por disciplina son completamente distintas.

Aun as se puede tejer una red grande de relaciones alrededor del problema que tiende a ser sobre simplificada o por lo menos no estudiada. Variables internas y externas Internas

41

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria
= Desercin dentro del primer ao, para una cohorte de estudiantes, que tiene bajos resultados acadmicos al momento del retiro. Ahora podemos hacer una enumeracin de variables que suponemos que estn relacionadas con el bajo desempeo; internas y externas. 1 = Distribucin de calificaciones de los cursos con mayor repitencia del programa de estudios en el primer ao. 2 = Distribucin de calificaciones de los cursos en el resto de los cursos del programa de primer ao. 3 = [Distribucin de la] capacidad de aprendizaje autnomo de los estudiantes 4 = Capacidad del profesor de motivar el aprendizaje autnomo* de sus estudiantes en el aula

5 = Capacidad del profesor de desarrollar el aprendizaje autnomo* de sus estudiantes fuera del aula, basado en la naturaleza de los trabajos asignados 6 = [Distribucin del] motivacin acadmica de los estudiantes hacia las materias de alta repitencia

8 = [Distribucion del] compromiso, estimulo y programas de la universidad encaminados hacia la preparacin de sus profesores en metodologas ms efectivas de enseanza aprendizaje. Externas 1 = Distribucion de resultados en pruebas de estado en competencias o conocimientos asociados a cursos de alta repitencia (calidad de los colegios relativo a cursos de alta repitencia) Las formas autnomas de aprendizaje son aquellas en las cuales el estudiante es el principal agente de la formacin, la cual se logra con actividades que permitan las asociaciones y construcciones de conceptos propios y significativos del estudiante. (Zimmerman, 2002) En el otro extremo del aprendizaje autnomo est el que es puramente memorstico, de informacin o procedimientos. Aqu suponemos que el aprendizaje genuino es el autnomo y que el nivel de la educacin en una IES exige este tipo de aprendizaje, de manera tal que si esto no se logra, el estudiante necesariamente tendr problemas acadmicos.

7 = [Distribucion del] calidad del tiempo de estudio fuera de aula a los cursos de alta repitencia.

42

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Fig. 8
La Fig.8 ilustra un pre modelo para explicar el problema de la desercin. Es un grafo en el sentido de las matemticas en el cual los nodos son las variables escogidas, incluida la variable objetivo en este caso la desercin y las flechas representan relaciones causales. En 2.1.2 se aclara el tipo de usos cuantitativo y cuantitativo que se puede dar a este primer paso en la construccin de relaciones causales. La Fig.8 muestra cadenas causales obvias: Capacidades pedaggicas de los profesores Capacidades de aprendizaje autnomo de los estudiantes Buenos resultados de los estudiantes.

Hay cadenas ms interesantes:

Estas dos cadenas sirven para entender aspectos simples, pero profundos del desempeo de los estudiantes: Una cadena tiene como motor punto de partida el trabajo pedaggico del profesor. En la segunda, el motor es la motivacin del estudiante en el curso. Una tercera, asociable al concepto de buenos estudiantes que tiene que ver con las capacidades previas a entrar a la IES. Los tres motores de desempeo estn correlacionados entre s. Aun as, si en una primera mirada los vemos como independientes llevando a que la desercin depende de

Calidad del trabajo fuera de aula Compromiso Capacidades de aprendizaje autnomo de los estudiantes Buenos resultados Compromiso.

43

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria
La calidad de base de estudiante La motivacin intrnseca del estudiante en un curso La calidad docente.

Sin embargo, en ausencia de buenos modelos de desercin, descargamos el problema sobre la primera causal sin saber si el ltimo problema tiene una injerencia comparable a la primera. Una apreciacin de esta naturaleza puede hacer que el problema de desercin no tenga solucin posible para una poblacin dada. En realidad, la Fig. 8 muestra un conjunto de interacciones y retroalimentaciones ms complejo que debe ser develado mediante modelos relativamente complejos. Las observaciones ms simples sirven para entender los efectos gruesos que justifiquen o no estudios detallados De un modelo cuantitativo como el que se expresa en la fig. 8, que evidencia una descomposicin de relaciones causales para llegar a causas primeras, nos interesa ante todo una ponderacin que permita priorizar acciones. ste es el valor fundamental en un proceso de gestin de calidad de este tipo de estudios.

2.1.5 Ejemplo: calidad docente de los profesores La calidad docente de los profesores es un factor clave en la determinacin de la calidad institucional. Tambin es un factor ampliamente sobre-simplificado en su caracterizacin. Si nos referimos a las evidencias de que un profesor sea buen docente podramos mencionar: la evaluacin perceptual - de los estudiantes; la evaluacin de los estudiantes en pruebas estandarizados correspondientes a las reas de docencia del profesor; el tipo de relacin que se establece en el aula con sus estudiantes; el material que desarrolla para sus cursos. Sin duda, todos estos factores contribuyen a medicin de la calidad del profesor, pero ninguno por s solo la determina. Lo que se propone aqu es relativamente simple, pero menos simple que cualquiera de las variables presentadas arriba. Construimos una lista de atributos asociados a la docencia del profesor: 1 =Capacidad de incentivar el aprendizaje autnomo del estudiante fuera del aula, lo cual le genera capacidad de anlisis y capacidad de integrar formas diversas de conocimiento 2 = Capacidad de motivar al estudiante y generar compromiso dentro y fuera del aula 4 =Resultados de sus estudiantes en pruebas estandarizadas en su rea 6 =Percpecion de los estudiantes (evaluaciones docentes). 3 =Material docente generado que satisfaga los propsitos de las primeras variables

5 =Experiencia en investigacin que se ponga al servicio de la docencia. Ahora afirmamos que la calidad de la docencia es alguna funcin de estas variables, lo cual representamos simblicamente como Calidad docente = (1 , 2 , . . , 6 )

Ntese que esto no es una relacin causal, sino una definicin basada en evidencias de que es un buen docente. Como en el caso de las relaciones causales, podemos intentar aproximaciones cuantitativas. ste

44

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria
que pareciera ser un problema ms fcil, sin embargo es ms ambiguo. En el caso de las relaciones causales tenemos un conjunto de variables entrada y salida - que intentamos relacionar mediante mtodos estadsticos. En el caso que nos ocupa tenemos un atributo que intentamos definir mediante unas variables de entrada, pero no hay salida, puesto que la salida es lo que tratamos de definir. Desde el punto de vista cuantitativo, la primera aproximacin a estas definiciones no va ms all de una decisin de dar unos pesos relativos a cada una de las evidencias acorde con concepciones institucionales de lo que es buena docencia. Desde un punto de vista cualitativo, las n variables en realidad constituyen un dossier documental de la actividad del profesor, que permita hacer aseveraciones ms profundas acerca de la calidad docente. La Fig. 1 del Anexo1 muestra el despliegue de un curso intencionado al aprendizaje autnomo. De all podran obtenerse variables que evidencian una buena docencia.

Ejercicio 9
Cmo caracterizara usted el problema relativo al tiempo de titulacin de sus estudiantes? Qu atributos son importantes para dicha caracterizacin? De los factores de calidad identificados en un ejercicio anterior cules permiten establecer cadenas causales que faciliten la accin eficaz sobre el problema? Cmo podra usted identificar aquellos factores ms significativos?

45

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

2.2 EVALUACIN PARA EFECTOS DE GESTIN DE CALIDAD Y PLANEACIN En esta seccin nos referiremos al tema de la evaluacin para efectos de gestin institucional, mediante la exposicin de un componente grueso de la funcin institucional: la funcin docente. Podramos haber acometido igualmente la funcin de investigacin; sin embargo, el propsito aqu solamente es el de ilustrar conceptos y metodologas. Pensada la evaluacin como un intento de lograr una explicacin causal de unos determinados resultados, primero presentamos los que deberan ser insumos de dicha explicacin y seguidamente los resultados que intentamos explicar: La figura 9 muestra los factores gruesos que deben considerarse como insumos en la evaluacin de la funcin docente de una IES Condiciones de base de estudiantes y profesores y recursos fsicos para la docencia. Estos elementos no son suficientes para explicar directamente los resultados, sino como parmetros para los mdulos que siguen. Metodologas pedaggicas: Un sistema de gestin debe tener una caracterizacin adecuada de las metodologas pedaggicas, la cual parte de una caracterizacin de la calidad docente del profesor, sumada al uso efectivo de los recursos docentes. Un ejemplo de desglose de los factores determinantes de la calidad docente del profesor se da en la seccin 2.1.5. y en la fig. 1 del Anexo 1 se muestra un ejemplo del despliegue de lo que podramos llamar buenas prcticas docentes. Efectividad curricular: Los currculos usualmente se componen de planes de estudio, es decir, enumeraciones encadenadas de cursos. Los cursos, a su vez, se exponen como un plan de contenidos a tratar, enmarcados por objetivos de aprendizaje, enunciados en trminos de conocimientos a alcanzar y ms recientemente competencias. Los objetivos de aprendizaje solo incluyen los del curso aislado; sin embargo, todo curso finalmente apunta a unos objetivos ms generales e integradores que son los del programa mismo. Aqu entenderemos por objetivos de aprendizaje los locales al programa y los generales. Por ltimo consideramos los sistemas de evaluacin que son un determinante positivo o perverso del foco de intereses del estudiante: el estudiante promedio estudia lo que le ser evaluado. Dados estos elementos llamaremos efectividad curricular una caracterizacin de estos tres elementos y su coherencia: - Los planes de estudio de un curso responden a los objetivos particulares del curso (no es siempre obvio)

46

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Los planes de un curso y sus objetivos particulares responden a objetivos generales del programa (tampoco es obvio) Los sistemas evaluativos realmente evalan el logro de los objetivos particulares y/o generales propuestos (tampoco es obvio)

La efectividad curricular tiene una interaccin con las metodologas de enseanza: buenas metodologas permiten un mejor desarrollo del currculo y viceversa. As mismo, metodologas de enseanza-aprendizaje inadecuadas pueden dar al traste con un buen diseo curricular. La pieza que genera la articulacin entre estos grandes bloques son los profesores.

Fig. 9 Factores de calidad y evaluacin Ejercicio 10


Efecte un anlisis similar al desarrollado para la funcin docente, para la funcin de investigacin para llegar a un grafo similar al de las figuras 9,10 y 11.

A continuacin enumeramos elementos bsicos a considerar como resultados de programas acadmicos y, por ende, de la funcin docente de la IES. Sin embargo, esta enumeracin est sujeta a ajuste por elementos de la misin institucional y por consideraciones del entorno que permitan garantizar que el logro de los resultados
47

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

propuestos es evidencia del ajuste a los propsitos misionales y demandas del entorno particulares de la IES Registro en el mercado laboral: Es el registro bsico que se tiene del graduado en el mercado laboral. Empleabilidad, ingresos, trayectoria laboral de graduados. Si bien es fundamental para el graduado que estos objetivos se logren, no es suficiente para satisfacer las demandas misionales de una IES. Puede haber muchos factores que lleven a que una buena educacin no redunde en un buen resultado en el mercado laboral y viceversa. Por esta razn, a este conjunto de temes slo los llamamos registro en el mercado laboral. Calidades profesionales: Indaga ms las calidades profesionales medidas en trminos de conocimientos, competencias y desempeo laboral in situ.

Competencias generales: Este concepto todava es discutido en las IES, pero el beneficio de estas competencias es poco discutido por los empleadores y central en el desempeo de los profesionales dentro de un mercado profesional ms global, complejo e interdisciplinar. Posicionamiento de la IES: de manera independiente de los resultados particulares de una o varias cohortes de graduados, las IES alcanzan un posicionamiento. Dicho posicionamiento sin duda obedece en buena parte a la calidad histrica de sus estudiantes, pero puede obedecer a variables exgenas. Las razn de incluirla en esta lista no es tanto porque se pueda considerar el tipo de variable-resultado que correlacionamos con los procesos presentas de la IES, sino ms bien porque interfiere al momento de entender un buen registro laboral. Ej. : Los graduados tienen un buen registro laboral por la calidad del graduado o por su posicionamiento histrico?

Desercin: La desercin no necesariamente debe leerse como un fracaso de la IES, pero por lo menos es un resultado negativo, que as como los resultados positivos debe ser analizado y entendido, razn por la cual la incluimos en el conjunto de los que es una evaluacin institucional.

48

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

La evaluacin de resultados de los programas acadmicos se basa en las componentes que se ilustran en la figura 10.

Fig. 10: Resultados de la IES, Funcin Docente

Por ltimo, podemos presentar el sistema de evaluacin para fines de gestin: El grafo factores de calidad (nodos) y relaciones causales (enlaces) se ilustran en la figura 11. Cada enlace secuencias es una posible relacin entre recursos o procesos internos factores de calidad y un resultado. La evaluacin se centra en los enlaces relevantes.

Algunos enlaces a simple vista los podemos descartar, puesto que es evidente que dicha causalidad directa no existe. Existen enlaces entre resultados que marcamos con lnea punteada. Estos enlaces evidencian resultados que se dan como consecuencia de otro resultado o factor externo. Sin embargo, no podemos necesariamente correlacionarlos directamente- a eventos que ocurren dentro de la IES. Estos enlaces forman parte
49

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

importante de la evaluacin. (Si el posicionamiento de la IES no depende de la calidad educativa, no tendramos por qu pensar que estamos ante una institucin de alta calidad por el solo hecho de que est bien posicionada).

Para los enlaces que hayamos encontrado relevantes, debemos poder construir los siguientes elementos para completar una evaluacin institucional satisfactoria: o Relacin cualitativa entre nodo-factor y el nodo-resultado. Este tipo de relacin busca indagar los cmo y porqu de esta relacin a travs de los actores que la generan como se esbozo en 2.1.2. o Si se tienen las herramientas cuantitativas adecuadas (formas cuantitativas de medir factores y resultados de manera confiable, lo cual es vlido para algunos nodos en la fig. 11), se debe poder establecer modelos cuantitativos (regresiones mltiples) que logren cuantificar el peso de un factor dado en la determinacin de un resultado. o Uso de las condiciones de base de recursos y actores, las cuales no estn conectadas directamente a los resultados: Esta informacin slo se usa para la caracterizacin de los mdulos conectados a dicha informacin (en este caso, metodologas docentes). Mediante un ejemplo extremo podemos explicar por qu hacemos esto as: No intentaremos explicar las competencias profesionales como consecuencia de que la IES tienen muchos recursos computacionales. Solamente si logramos demostrar que dichos recursos son importantes en la docencia (metodologas pedaggicas), podemos conceptualizar sobre el rol de los recursos informticos. Esto lo logramos a travs del factor metodologas enseanzaaprendizaje en la fig. 9. Lo mismo podramos decir de la calidad de la formacin acadmica de los profesores. Los dos apartes anteriores son el ncleo del sistema de evaluacin, el cual si est correctamente formulado debe ser til de manera inmediata en la formulacin de planes institucionales o de mejoramiento.

50

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Fig. 11. Evaluacin funcin docente

Ejercicio 11
Construya un grafo equivalente relativo al tema del tiempo de titulacin de los estudiantes de su carrera.

El Anexo 2 presenta un indicativo general de los tres conjuntos de informacin o conceptos que hemos usado hasta este punto en el mdulo: Informacin de base, factores de calidad y resultados misinales. Quizs el ms universal de todos los conjuntos es la llamada informacin de base, al cual usualmente se le llama indicadores. Un mensaje importante a transmitir en este punto es que el slo conocimiento de la informacin de base no es ni una medida de calidad de una IES, ni un elemento suficiente para entender de qu depende la calidad en una IES. La siguiente referencia es interesante como especfica para procesos de evaluacin de procesos educativos en sus diversas componentes (Fitzpatrick, 2004)

51

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

2.3 EVALUACIN Y LA COMUNIDAD ACADMICA En las secciones anteriores de esta unidad hemos presentado lo que entendemos por evaluar (2.1), lo cual hemos ampliado sobre una funcionalidad gruesa de la IES la docente - en la seccin 2.2. En la unidad 3 expondremos cules son el tipo de unidades tcnicas necesarias para llevar a cabo un proceso evaluativo como se propone aqu. Sin embargo, no hemos considerado el hecho de que la evaluacin de una IES en el fondo evala procesos que involucran a personas y sus acciones. Muy posiblemente termina sugiriendo cambios en la manera como se definen los roles de las personas. Tambin puede derivar en cambios en la estructura organizacional de la IES e incluso en los modelos de gobierno. Estas observaciones hacen evidente que un proceso de evaluacin requiere una preparacin especial de la comunidad acadmica y de gobierno evaluada. En esta seccin revisaremos los siguientes aspectos a considerar en los procesos de evaluacin institucional: Credibilidad Participacin de la comunidad Anlisis institucional (que se ver en la unidad 3) Transparencia y Socializacin (que es la seccin 2.4 de esta unidad).

2.3.1 Credibilidad Los procesos de evaluacin para la gestin y/o planificacin estn inscritos dentro de lo que hemos llamado un ciclo de efectividad institucional (1.3) (planificacin institucional evaluacin planes de mejoramiento), lo cual quiere decir que la evaluacin no es un evento aislado, sino que es un instrumento de cambio, mejora y desarrollo. La credibilidad de la evaluacin dentro de la comunidad acadmica y administrativa es, entonces, una funcin de que en efecto la IES est inscrita en este ciclo y de que la evaluacin sea usada de manera efectiva y transparente dentro de ella. Lo anterior supone un claro compromiso del gobierno institucional con los procedimientos de efectividad institucional como los instrumentos idneos de planificacin y desarrollo de la IES. Si bien esto pareciera obvio, no lo es. La planificacin sistemtica acompaada de evaluacin sistemtica es una cultura que se ha desarrollado lentamente en las IES, inmersas hoy en dinmicas mas agiles y ambientes de competencia ms intensa, pero provenientes de una cultura de avance inercial.
52

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

La planificacin y evaluacin sistemtica presupone un gobierno menos intuitivo y en un extremo menos autocrtico o en otro menos anrquico: Los fines, as como los caminos para alcanzar estos fines, se estudian y se evalan acorde con metodologas profesionales, lo cual hace que podamos hablar de un gobierno basado en la evidencia, lo cual no tiene por que restar creatividad, iniciativa y debate, pero dentro de un marco juicioso de estudio. Todo esto puede hacer que las primeras experiencias de las IES con metodologas exigentes de planificacin y evaluacin hayan sido externas a su propio llamado, lo cual debe ser contrastado rpidamente con una apropiacin certera y autntica que transmita a la comunidad acadmica una cultura de efectividad institucional, la cual con toda seguridad les ser ajena en un primer encuentro en la mayora de los casos . Concluyendo, la credibilidad de los procesos de evaluacin depende, en primer lugar, de que los gobiernos mismos de las IES crean en ellos y los usen para transformar realidades y no para cumplir formalismos. Segundo, de que dicha actitud, compromiso y accin sea transmitida a la comunidad que compone la IES. Lo segundo se relaciona con la siguiente seccin. 2.3.2 Participacin de la comunidad La comunidad, como la hemos descrito en la unidad 1 est compuesta por Gobierno y administracin de las IES Profesores Estudiantes Investigacin (anlisis) institucional

A este ltimo componente, que podramos haberlo i incluido en la administracin de la IES, hemos querido distinguirlo aqu por el rol que juega en los procesos evaluativos. Los cuatro grandes actores del proceso evaluativo tienen intereses distintos y en ocasiones encontrados dentro del proceso: El gobierno, en general, es el responsable de impulsar los grandes cambios - los dados por la visin institucional a los cuales se asocian las grandes inversiones y decisiones de mayor calibre. Dichos grandes cambios tocan de manera distinta a las unidades acadmicas donde laboran los profesores. Para unas unidades el foco de la visin pasa por el centro de su actividad, en otras le es completamente perifrico. Aqu ya encontramos una asimetra entre las perspectivas del gobierno y las de las unidades acadmicas.

53

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Una IES es una suma de pequeas empresas de conocimiento y educacin, con un gobierno y ojal una visin comn. Dentro de este contexto, siempre existir una situacin de recursos escasos y consecuentemente un conflicto de intereses en la asignacin de esos recursos. Muy posiblemente el gobierno quiera aprovisionar el mximo de recursos para adelantar su plan estratgico y las unidades quieran apalancar sus operaciones domsticas. Este escenario de perspectivas dispares, recursos escasos y prioridades distintas hace que los procesos evaluativos de alguna manera entren a mediar y dar argumentos en una u otra direccin dentro de este enjambre de intereses. Veamos estrictamente desde el punto de vista de los procesos de planificacin y evaluacin presentados aqu, cul es la participacin que esperamos que tengan los distintos actores: Los profesores son los protagonistas en una IES. Si se quiere, los resultados misionales de una IES dependen en buena medida de ellos. Lo cual no quiere decir que los problemas que surjan de lo que los profesores hacen sea de su completa responsabilidad. El gobierno y administracin pueden tener una cuota alta de responsabilidad en los resultados, positivos y negativos. o En la seccin 1.5, cuando se describe el plan institucional, incluimos el numeral I.3 denominado Identificacin de los factores de calidad y su relacin con la calidad institucional para la IES. Como se sigue de las secciones 1.3 -1.5, el Anexo 1 y la unidad 2, sta es la pieza fundamental del ciclo de efectividad institucional y de evaluacin. Los llamados factores de calidad y la racionalidad que los une a la calidad misma son esenciales. Los profesores deben estar ampliamente involucrados en la determinacin de los factores de calidad de su unidad y de la IES en general. Por supuesto que las unidades involucradas de la evaluacin institucional tendrn que depurar estos insumos, pero siendo muy respetuosos de las ideas bsicas que surgen en la comunidad, incluidos los profesores. o El numeral I.4 de la seccin 1.3, formulacin de un plan por cada subsistema, como se explica en 1.3, pretende dar una primera aproximacin al plan institucional en una forma desde la base (bottom-up), consistente con la misin-visin. Estos micro planes surgen de las unidades acadmicas que estn constituidas por profesores. ste es un aporte valiossimo e irremplazable del profesor. Sin embargo, un plan institucional en su versin final no puede ser una suma desarticulada de pequeos propsitos. La iteracin desde la base
54

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

(bottom-up) ir acompaada de una desde el nivel central (top-down), que refina, prioriza y articula, la cual tambin tiene que ser comprendida y apropiada por el profesor. o Los profesores son los actores de procesos esenciales que son evaluados. Aqu debe entenderse que lo que se evala es el proceso y no al profesor. Se evala su interaccin con sus estudiantes, el uso de recursos, su interaccin con otros docentes, su participacin en el desarrollo de su unidad. La evaluacin cualitativa de procesos contribuye enormemente a que el profesor sienta que su punto de vista cuenta en la evaluacin y en la construccin de una mejor alternativa. Que l no es un objeto de evaluacin, sino un actor crucial del mejoramiento de una institucin. Los estudiantes son en parte receptores de un servicio aun cuando esta posicin es muy mal vista por los estudiantes del cual no son expertos. Sin embargo, son los coprotagonistas de un proceso educativo. Son ellos quienes asisten a las clases, quienes reciben las asignaciones fuera de aula, quienes asisten a las prcticas de laboratorios, quienes emplean las TIC, quienes asisten y realizan parte de la investigacin. Su testimonio y sus anlisis son invaluables en una investigacin cualitativa de lo que ocurre en una IES. Es imposible saber lo que ocurre en una IES sin saber lo que le pasa a los estudiantes de voz de los estudiantes. El gobierno y la administracin es el gran articulador de todo el proceso de evaluacin. Aqu debe entenderse que la palabra gobierno supone el gobierno central y el gobierno en las unidades. Todas las responsabilidades que consideramos enseguida son necesarias en ambos niveles. Los roles que consideramos son: o Garantizar la credibilidad del proceso, como se mencion anteriormente. o Administrar el proceso: asignar recursos, responsabilidades, tiempos. o Liderar todo el proceso de planificacin institucional, del cual la evaluacin slo es una parte. o Asumir una posicin proactiva de frente a las recomendaciones de las evaluaciones y dentro del marco del plan institucional. Anlisis institucional e investigacin pedaggica: El rol de estas unidades ser descrito extensamente en la siguiente unidad. Aqu lo podemos resumir diciendo que estas unidades proveen un sustento basado en la evidencia y capacidad profesional de estudio de procesos, que permite hacer de la evaluacin institucional un conjunto slido de conocimiento sobre la IES.
55

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Ejercicio 12
De qu manera se puede involucrar a los distintos actores de la comunidad universitaria en la definicin del problema, y la identificacin y ponderacin de los factores de calidad asociados al excesivo tiempo de titulacin de los estudiantes de la carrera? Identifique al menos dos acciones relativas a: - Autoridades del gobierno central - Autoridades de la facultad de la carrera - Docentes - Estudiantes - Otros que considere relevantes

56

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

2.4 TRANSPARENCIA Y SOCIALIZACIN Las estrategias de socializacin forman parte de las conductas que generan o no credibilidad en los procesos de evaluacin y planificacin. Pero adicionalmente pueden hacer o no que el proceso sea tcnicamente posible. Aqu nos referiremos a dos puntos: Transparencia Socializacin como instrumento para la efectividad

Transparencia Bajo la premisa de que en los procesos de evaluacin o planificacin institucional, son los procesos los que se evalan y no las personas individualmente, la evaluacin institucional debe permitir el conocimiento de todas las herramientas de evaluacin a los miembros de la comunidad, recogidos en un manual conceptual que expone qu, por qu y cmo se evala, adems de su uso dentro de procesos de gestin de calidad y planeacin institucional. Nuevamente bajo la premisa de que se evalan proceso y no personas, tambin deben ser de conocimiento - por unidades- los resultados de las diversas evaluaciones que se efecten. Si estos dos elementos de transparencia no estn presentes, ser difcil que los miembros de la comunidad, como se describe en 3.2, hagan parte efectiva del proceso. Socializacin como instrumento para la efectividad Una parte sustancial de los procedimientos de evaluacin son de naturaleza cualitativa y valorativa entre los actores mismos de los procesos de la IES. Para que un proceso de esta naturaleza sea posible, se requiere una socializacin permanente del trabajo entre directivas, profesores y estudiantes. Si bien la socializacin como medio hacia la transparencia es importante como marco general de la evaluacin, tambin lo es por razones tcnicas. La evaluacin, como hemos visto, implica un sinnmero de elementos y procedimientos; sin embargo, como hemos dicho antes hay tres elementos de informacin que deben ser socializados: Informacin de base Factores de calidad (qu y por qu y para qu) Resultados misionales
57

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Para efectos de socializacin de la evaluacin y desarrollo de la misma, los llamados factores de calidad sobre los cuales se centra todo el trabajo deben ser ampliamente divulgados (a ms de ser construidos por la comunidad misma) y discutidos, como se argument en 2.3.2. Los resultados misionales, ms all de la misin en su versin sinttica, deben ser compartidos por todos los miembros de la comunidad. Siendo la IES un complejo escalamiento de objetivos educativos y de investigacin, es difcil que un profesor desde la individualidad de su labor se sienta participe de dicho escalamiento. Por esta razn, la llamada misin extendida presentada en 1.1 debe ser familiar al profesor, de manera que su compromiso no solo sea con aspectos micro de su labor, sino con la misin en su versin ms amplia. En sntesis, la socializacin apropiada de los procesos evaluativos no slo es una exigencia de transparencia institucional, sino un requisito indispensable de operacin de los procesos evaluativos como se conciben aqu.

58

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Mdulo "LA GESTIN INTERNA DE LA CALIDAD EN LAS INSTITUCIONES DE EDUCACIN SUPERIOR (Mdulo GIC)

Unidad 3
UNIDADES DE INVESTIGACIN E INFORMACIN PARA LA GESTIN INTERNA DE LA CALIDAD EN LAS INSTITUCIONES DE EDUCACIN SUPERIOR

59

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Unidad 3 UNIDADES DE INVESTIGACIN E INFORMACIN PARA LA GESTIN INTERNA DE LA CALIDAD EN LAS INSTITUCIONES DE EDUCACIN SUPERIOR

TABLA DE CONTENIDOS DE LA UNIDAD 3

INTRODUCCIN
3.3 ACOPIO Y MANEJO DE INFORMACIN 3.4 ANLISIS INSTITUCIONAL 3.5 INVESTIGACIN Y DESARROLLO PEDAGGICO

60

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

INTRODUCCIN

Vamos a llamar anlisis institucional a las actividades encaminadas a comprender mejor el conjunto de procesos acadmico-administrativos que se dan en una IES a travs de procedimientos basados en la evidencia. El sistema de evaluacin propuesto en el punto 2.2 de la unidad 2 es un proceso de investigacin institucional basado en la evidencia. El propsito de esta seccin es dar pautas sobre el tipo de organizacin requerida para lograr este propsito. De las dos unidades anteriores se sigue que un sistema moderno de gestin de calidad debe contar con un soporte profesional y tcnico importante, capaz de realizar las siguientes tareas: Acopio y manejo de informacin Investigacin de procesos que permita construir sistemas de evaluacin como lo propuesto en la unidad anterior. Esta labor se desdobla en tres perfiles: o Investigacin cualitativa de procesos acadmicos o Investigacin cuantitativa de procesos acadmicos o Investigacin y desarrollo pedaggico

Las diversas tareas corresponden a perfiles profesionales muy distintos, lo cual puede corresponder a unidades diversas dentro de la organizacin. Describiremos las funciones y perfiles en cada categora y haremos una recomendacin de las unidades asociadas.

61

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

3.1 ACOPIO Y MANEJO DE INFORMACIN


La informacin bruta que se requiere para efectos de evaluacin es un subconjunto de la informacin que cualquier IES requiere para su operacin. Los sistemas de informacin tpicos de una IES son: Registro acadmico: o Registro histrico de cada curso (profesor, estudiantes, calificaciones) o Historia acadmica de cada estudiante. o Informacin personal del estudiante: Proveniencia, condicin socio-econmica, colegio, pruebas de estado. Recursos humanos: o Historia laboral, profesional y acadmica del cuerpo profesoral. Puede residir en una unidad de recursos humanos o en las unidades acadmicas. Inventario de recursos fsicos Sistemas financieros.

Los tres primeros sistemas son los fundamentales para las actividades de anlisis institucional y el ltimo es un sistema de apoyo. Las plataformas de software profesional usadas para este propsito en las universidades usualmente tienen capacidad de comunicarse entre ellas, lo cual significa, finalmente, que se puede cruzar con facilidad informacin de varias bases de datos. Los tres sistemas de informacin (registro acadmico, recursos humanos, inventario de recursos) por s solos satisfacen lo que llamamos acopio general de informacin. Para efectos de anlisis institucional se requieren herramientas que usualmente se conocen como de inteligencia de negocios cuya funcionalidad pertinente es la siguiente: Capacidad de extraer subconjuntos de informacin de una base de datos bajo una gama muy amplia de criterios y cruzarla con otros subconjuntos de otras base de datos. Ejemplo: Primer conjunto: Estudiantes con calificaciones inferiores a 6/10 en los cursos de Microeconoma en los ltimos 5 aos. Segundo conjunto: Estudiantes que abandonan la carrera de economa en los ltimos 5 aos.

62

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria Tercer Conjunto: Evaluaciones (por estudiantes) de docentes de microeconoma en los ltimos 5 aos. Una informacin como sta es un insumo clave en el anlisis institucional de causas de desercin y la influencia de ciertos cursos y/o profesores en dicho problema.

Por acopio de informacin entenderemos los sistemas de informacin expuestos: Registro, Recursos Humanos (profesores), Inventarios de recursos. Por manejo entenderemos la capacidad de extraer y contrastar subconjuntos especficos de informacin de estas bases de datos con el fin de alimentar procesos de anlisis institucional Aqu no suponemos manejo estadstico de la informacin ms all de estadstica descriptiva bsica que puede ser realizada en cualquier base de datos y se trata de la funcionalidad de acopio y manejo de informacin que puede ser atendida en una IES en una unidad de tecnologas de informacin por ingenieros informticos con acceso a los tres grandes sistemas de informacin.

63

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria 3.2 ANLISIS INSTITUCIONAL Como se mencion anteriormente, el anlisis institucional es la labor profesional dedicada prioritariamente a la construccin de evaluaciones para la gestin como los descritos en 2.2. Sus funciones principales las podemos resumir en: Levantamiento y caracterizacin de procesos acadmico-administrativos, lo cual contribuye directamente a lo que hemos llamado caracterizacin de atributos complejos 2.1.3 y relaciones causales 2.1.2 y, por ende, a los procesos de evaluacin para la gestin, planificacin y administracin de la IES. El anlisis institucional requiere de capacidad profesional en: Investigacin cualitativa de procesos, que se involucre directamente con el hacer de los actores de la IES: profesores, estudiante, administrativos. Los profesionales adecuados para esta labor tienen formaciones variadas en psicologa organizacional o administracin de empresas, con un foco fuerte en estudio y desarrollo de organizaciones (2.1.4). Investigacin cuantitativa, la cual debe acercarse mediante herramientas de naturaleza estadstica en la construccin de modelos que buscan aproximar relaciones causa-efecto dentro de los procesos acadmico-administrativos. Los perfiles profesionales para este tipo de cargos son ingenieros, administradores y economistas expertos en modelaje estadstico-matemtico de procesos.

Tanto la investigacin cualitativa como cuantitativa debe concentrarse por lo menos en el estudio de: Calidad docente de profesores o Entre otros aspectos, desarrollo de evaluacin de profesores por estudiantes (debe anotarse que sta no puede ser la nica herramienta para evaluar calidad docente, como es evidente en 2.1.5) Efectividad de procesos de docencia aprendizaje Efectividad de recursos fsicos en determinacin de la calidad docente

Condiciones de trabajo de profesores y su relacin con la efectividad en labores docentes. Caracterizacin acadmica y socio econmica de los estudiantes que entran a la universidad y su relacin con el desempeo acadmico.

64

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria Todos estos elementos claramente son insumos para los procesos de evaluacin en 2.2, pero NO constituyen la evaluacin en s misma.

65

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

3.3 INVESTIGACIN Y DESARROLLO PEDAGGICO


La comprensin profunda de la efectividad docente de una IES no se puede lograr sin conocimientos profesionales en educacin, los cuales tienden a ser hechos a un lado por los profesores universitarios, quienes consideran - en muchos casos- que la buena docencia es una consecuencia nica de la formacin disciplinar y talentos innatos del profesor. Una unidad de investigacin y desarrollo pedaggico cumple dos roles: uno evaluativo, muy afn a los fines sealados en el numeral anterior pero desde una perspectiva puramente pedaggica y uno ms propositivo. En su rol evaluativo, debe poder estudiar desde la perspectiva de las teoras educativas aspectos tales como los siguientes: Evaluacin de la efectividad educativa dentro y fuera del aula. Evaluacin profesoral basada - sobre todo- en el tem anterior y no solo en evaluaciones perceptuales de los estudiantes. Evaluacin curricular buscando identificar la coherencia entre objetivos de aprendizaje y el plan de estudios.

Algunos de estos temes se duplican con los presentados en la seccin anterior. Con esto lo que queremos decir es que estos problemas complejos en su naturaleza requieren mltiples miradas, de las cuales no puede estar excluida la de los educadores. Adicionalmente, las unidades de desarrollo pedaggico deben poder proceder de manera propositiva en actividades como: Programas de formacin pedaggica de profesores jvenes, lo cual podra incluir colaboracin en el diseo de las estrategias pedaggicas de las primeras experiencias docentes de estos profesores. Asesora permanente para la mejora de prcticas pedaggicas de profesores de la IES en cualquier nivel. Esquemas educativos que detonan el aprendizaje autnomo. Uso de tecnologas de informacin en el incremento de la efectividad educativa.

Los profesionales que integran una unidad de stas deben tener grados avanzados en educacin, pero idealmente deben estar involucrados en docencia regular dentro de la IES en las diversas disciplinas. Los tres sistema de investigacin cualitativa, cuantitativa y pedaggica pueden operar en una sola unidad y lo ideal es que sea as; de lo contrario, se forma una rivalidad de competencias y no una sinergia de competencias, que sera lo que dara toda la fortaleza a una unidad de esta naturaleza . La Fig. 12 ilustra todo el sistema de anlisis institucional y pedaggico.

66

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Fig. 12 Anlisis institucional


Ejercicio 13 Cmo cubren en su institucin las labores equivalentes al anlisis institucional presentado en esta seccin? Qu utilizacin se da a los resultados de anlisis institucional en su institucin?

67

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Mdulo "LA GESTIN INTERNA DE LA CALIDAD EN LAS INSTITUCIONES DE EDUCACIN SUPERIOR (Mdulo GIC)

Unidad 4
EVALUACIN EXTERNA Y GESTIN INTERNA DE LA CALIDAD

68

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Unidad 4

EVALUACIN EXTERNA Y GESTIN INTERNA DE LA CALIDAD

TABLA DE CONTENIDOS DE LA UNIDAD 4

INTRODUCCIN 4.1 EJEMPLOS DE PROCESOS DE ACREDITACIN INSTITUCIONAL 4.1.1 SACS: Southern Association of Colleges and Schools, EU, 2010-2011 [SACS, 2010] 4.1.2 CNA Comisin Nacional de Acreditacin de Chile Operacionalizacin criterios de evaluacin en procesos de acreditacin [CNA-Chile, 2010] 4.1.3 CNA Consejo Nacional de Acreditacin, Ministerio de Educacin de Colombia, [CNA-Colombia, 2006] 4.2 CARACTERSTICAS GENERALES DE LAS EVALUACIONES EXTERNAS 4.3 AUTOEVALUACIN E INFORME DE AUTOEVALUACIN 4.4 VISITA DE PARES

ANEXOS
Anexo I: EJEMPLO DE DESARROLLO DE UN CICLO DE EFECTIVIDAD INSTITUCIONAL Anexo 2: INFORMACIN DE BASE, FACTORES DE CALIDAD Y RESULTADOS MISIONALES Anexo 3. TAREAS QUE ACOMPAAN EL USO DEL MDULO DE GESTIN DE LA CALIDAD

69

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

INTRODUCCIN

Las evaluaciones externas y/o procesos de acreditacin se han usado en los sistemas de educacin superior por una de dos razones: Como parte de un proceso de acreditacin para operacin o como parte de una acreditacin de calidad nacional o internacional. Sin duda que los propsitos de acreditar para operacin o acreditar la calidad son muy distintos dentro del espectro de lo que podran llamarse evaluaciones externas En este caso, para efectos de la gestin interna de la calidad conviene aspirar a obtener, mantener y desarrollar un nivel de calidad que no se conforme con los mnimos. En la seccin 4.1 presentaremos esquemticamente ejemplos de sistemas de acreditacin, independientes entre s, los cuales muestran rasgos importantes en comn que nos sirven para dos fines: confirmar o ilustrar acciones de gestin institucional como los presentados en este mdulo y dar guas en torno a la preparacin de una IES para evaluacin externa. Un proceso de evaluacin externo puede resultar tan ajeno a la operacin de la IES que todo el ejercicio puede resultar artificial. En el otro extremos, cierta sintona entre esquemas de evaluacin y procedimientos internos de gestin de calidad pueden hacer que la evaluacin externa sea un informe a un tercero, con fines de retroalimentacin y perspectiva, de algo que juiciosamente se lleva a cabo dentro de la IES. En esta unidad mostraremos cmo los planteamientos de Gestin de Calidad presentados aqu son muy consonantes con algunos modelos de evaluacin, lo cual facilita enormemente los procedimientos asociados a la acreditacin externa. La unidad ha sido organizada en cuatro secciones. . La primera presenta tres ejemplos de procesos de acreditacin institucional: de la SACS de los estados unidos de Amrica), de la CNA de Chile, y del NA de Colombia. La segunda seccin analiza caractersticas generales de las evaluaciones externas, destacando sus elementos principales, mientras que las secciones 3 y 4 examinan la autoevaluacin y el informe producto de ella, y la visita de pares, respectivamente.

70

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

4.1 EJEMPLOS DE PROCESOS DE ACREDITACIN INSTITUCIONAL 4.1.1 SACS: Southern Association of Colleges and Schools, EU, 2010-2011 [SACS, 2010] A continuacin enumeramos las componentes fundamentales de una acreditacin institucional de esta agencia norteamericana: I. Requisitos generales asociados a la IES - core requirements: Los requisitos generales son requisitos fundacionales, bsicos y de amplio espectro que deben ser alcanzados para la acreditacin con SACS. Establecen el rango entre una institucin solicitando acreditacin y su acreditacin continua. Reflejan las expectativas bsicas que la Comisin tiene de una institucin candidata. Alcanzar los requisitos generales no es suficiente para la acreditacin. Las instituciones acreditadas tambin deben alcanzar los Estndares Comprensivos. Los requisitos generales son (Ver [SACS, 2010] Modelo de gobierno Misin institucional Programas y su duracin Contenidos de programas y requisitos de grado Exigencias de educacin general Cuerpo profesoral Recursos y servicios para el aprendizaje Unidades de apoyo a estudiantes Recursos fsicos Recursos financieros

Estndares comprensivos - comprehensive standards Los estndares comprensivos se desarrollan en las siguientes reas 1. 2. 3. 4. Misin, gobierno y efectividad institucional Programas Recursos Responsabilidad con polticas de la Comisin

Los Estndares Comprensivos son ms especficos a la operacin de la institucin representando buenas prcticas en educacin superior y mostrando el nivel de desempeo esperado de todos los miembros - de SACS - . Si se considera que el logro de una institucin

71

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

esta significativamente por debajo de las expectativas de los Estndares Comprensivos su acreditacin ser negada El numeral ms interesante de resear de los Estndares Comprensivos es el concerniente a efectividad institucional: Efectividad institucional: La institucin identifica los resultados esperados, evala en qu medida se satisfacen y evidencia mejoras basadas en el anlisis de resultados en las siguientes reas: Programas educativos incluyendo resultados de aprendizaje de estudiantesServicios de soporte administrativo Sistemas de soporte educativo Investigacin y servicios comunitarios si forman parte de la misin.

La institucin debe tener un Plan de Mejora (Quality Enhancement Plan (QEP)) previo a la visita, escrito en los siguientes trminos (ver [SACS, 2010]): El QEP, entregado 6 semanas previo a la visita de la Comisin en campus, es un documento desarrollado por la institucin que: Incluye un procedimiento de identificacin de aspectos clave que surgen de la [auto] evaluacin. Se enfoca en resultados de procesos de aprendizaje y/o ambientes que apoyan el aprendizaje de los estudiantes y el cumplimiento de la misin de la institucin. Demuestra capacidad institucional para la iniciacin, implementacin y conclusin del QEP Supone una participacin amplia de los estamentos de la universidad en el desarrollo e implementacin del QEP. Identifica metas y un plan para evaluar sus logros. El QEP debe ser sucinto y focalizado.

Si observamos los llamados requisitos generales, podramos pensar que esta evaluacin externa es una exposicin ante un tercero de todas las componentes en el sentido de este mdulo - de la IES, con unos estndares mnimos que pueden leerse en The Principles for Accreditation. Sin embargo, la componente de efectividad institucional, fuertemente enfatizada por la agencia SACS, hace una diferencia sustancial en el proceso de acreditacin.

72

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Acreditarse no consiste en exhibir la IES ante un sistema de pares externos para que ste juzgue la calidad, sino estar en la capacidad de demostrar que se posee un proceso de mejoramiento basado en la evidencia, al cual SACS llama efectividad institucional. El hecho de que los resultados de aprendizaje aparezcan de manera explcita tambin es una exigencia interesante: la calidad de la educacin no se agota en la calidad de recursos, profesorado y programas. Tiene que ser evidenciada en los resultados de aprendizaje de los estudiantes.

4.1.2 CNA Comisin Nacional de Acreditacin de Chile Operacionalizacin criterios de evaluacin en procesos de acreditacin [CNA-Chile, 2010]

La acreditacin CNA-Chile resume en el documento [CNA-Chile] la operacionalizacin del proceso de acreditacin. Se distinguen unas reas obligatorias de evaluacin: Gestin institucional Docencia pregrado

Areas electivas de acreditacin: Investigacin Postgrado Vinculacin con el medio.

Para todos los criterios se contemplan tramos de asignacin de aos de acreditacin en la siguiente forma: Primer tramo : hasta 3 aos Satisfactorios Segundo tramo : hasta 5 aos - Adecuado Tercer tramo : hasta 7 aos ptimo

La componente de gestin institucional las podemos resumir en las siguientes matrices basadas en el documento [CNA-Chile]:

73

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Gestin institucional

Propsitos y fines y

Polticas mecanismos

Resultados

Autorregulacin

Estructura organizacin Sistemas de gobierno Gestin de RRHH

Gestin de recursos materiales y financieros Diagnostico, planificacin y ajuste Anlisis Institucional

La componente de Pregrado la resumimos en esta matriz: Pregrado


Diseo y provisin de programas Procesos de enseanza Dotacin acadmica Estudiantes Utilizacin de procesos o investigacin en mejoramiento docente Propsitos fines y Polticas mecanismos y Resultados Autorregulacin

En estas dos matrices, que resumen el sistema de acreditacin chileno, observamos varios componentes importantes comunes con la acreditacin SACS, resumidos en la importancia que se da a la capacidad y/o exigencia - de gestionar calidad mediante procesos que incluyen: Autorregulacin: mecanismos de autorregulacin formalizados; adecuada capacidad de realizar ajustes y cambios necesarios. La capacidad de autorregulacin es una exigencia transversal a todas las componentes del sistema las filas de las dos matrices Diagnstico, planificacin y ajuste : Dentro de los elementos constitutivos del sistema de gestin institucional existe una componente de Diagnostico, planificacin y ajuste que puede interpretarse como una componente encargada de la llamada efectividad institucional en este mdulo y en el documento [SACS]

74

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Anlisis institucional: El cual hemos descrito en el captulo 3 como fundamental para adelantar procesos adecuados de evaluacin institucional y gestin.

Las filas como tal de las dos matrices constituyen las usuales componentes del sistema en la terminologa de este mdulo solo que enunciados como procesos de gestin y de programas de pregrado, postgrado, investigacin, vinculacin con el medio.

4.1.3 CNA Consejo Nacional de Acreditacin, Ministerio de Educacin de Colombia [CNA-Colombia, 2006] El documento de CNA-Colombia contiene dos captulos centrales que nos dan ideas importantes sobre el proceso de acreditacin en Colombia: Un primer captulo sobre Criterios de la Acreditacin de Institucional y un segundo sobre Factores de Evaluacin de la Calidad Institucional Sobre los criterios de acreditacin institucional afirma: Puesto que la instituciones de educacin superior es una organizacin social que cumple funciones esenciales para la sociedad en la cual est inscrita no es posible establecer una separacin tajante entre las consideraciones de tipo tcnico y las de tipo tico. Los siguientes criterios, adems de guiar el anlisis y servir de pautas orientadoras del proceso de acreditacin institucional, son pautas axiolgicas de calidad y han sido tenidos en cuenta en la formulacin en la formulacin de los aspectos que se consideran a propsitos de los distintos temas relativos al proceso de evaluacin. Los criterios enumerados son: Idoneidad Pertinencia Responsabilidad Integridad Equidad Coherencia Universalidad Transparencia Eficacia Eficiencia

75

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Aqu nuevamente estn pesando criterios de coherencia o efectividad institucional. Veamos lo exigido en el documento relativo a coherencia y eficacia: Coherencia: [...] Es tambin la adecuacin a los propsitos institucionales de las polticas y de los medios institucionales. As mismo alude al grado de correlacin existente entre lo que la institucin dice que es y lo efectivamente realiza. Eficacia: Es el grado de correspondencia entre los propsitos formulados y los logros obtenidos por la institucin.

Los factores a considerar en la acreditacin son tpicos de cualquier proceso de acreditacin (ver SACS): Misin y proyecto institucional Estudiantes y profesores Procesos acadmicos Investigacin Pertinencia e impacto social Autoevaluacin y autorregulacin Bienestar estudiantil Organizacin, gestin y administracin Recursos de apoyo acadmico y planta fsica Recursos financieros ______________________ En la siguiente seccin presentaremos unas caractersticas generales de las evaluaciones externas que nos guiarn en torno a la preparacin para este tipo de procesos.

76

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

4.2 CARACTERSTICAS GENERALES DE LAS EVALUACIONES EXTERNAS Las evaluaciones procesos de acreditacin de calidad presentada en la seccin anterior presentan por lo menos dos etapas conceptualmente distintas. Una primera etapa en la cual la IES debe dar una caracterizacin fidedigna para la entidad evaluadora de todas sus componentes en el vocabulario de este mdulo (1.3) incluyendo gobierno, administracin y soporte, profesores y estudiantes; recursos fsicos y financieros; procesos acadmicos (programas acadmicos, de investigacin y servicios). Una segunda etapa ms concentrada en evidenciar la capacidad de la IES para gestionar sus propios procesos de cambio en procura de una mayor calidad. Efectividad institucional, auto regulacin, eficacia, son conceptos presentes en los ejemplos mostrados que revelan la naturaleza de esta segunda etapa en procesos de acreditacin y/o evaluacin.

A la primera etapa la podemos llamar una evaluacin de estado, puesto que trata de registrar el estado presente de la institucin y a partir de ste, dentro de unos estndares de la entidad evaluadora, emitir un concepto de calidad. La evaluacin de estado alcanza su versin ms simple en una verificacin de que los recursos humanos y fsicos son adecuados. Se ampla hacia una evaluacin de recursos y procesos acadmicos, administrativos y de gobierno. Una evaluacin que incluya la segunda etapa la podemos llamar evaluacin dinmica en el sentido de que no slo verifica el estado actual de la IES versus unos estndares, sino que busca medir la capacidad de la institucin para cambiar en la direccin del mejoramiento. Ntese que en una evaluacin de estado, una institucin que ha llegado a un alto nivel de calidad podra ser permanentemente acreditada sin accin distinta de sostener sus condiciones. En una evaluacin dinmica no necesariamente sera el caso, puesto que a menos que muestre una disposicin y accin hacia el mejoramiento, no lograra satisfacer exigencias de efectividad institucional. De otra parte, una institucin que no tenga condiciones ptimas, si logra trascender umbrales mnimos y es acreditada, la evaluacin dinmica necesariamente la lleva a un mejoramiento continuo si espera ser re acreditada. El desarrollo de evaluaciones de estado basadas en recursos humanos y fsicos hacia evaluaciones que incluyen procesos, para finalmente llegar a lo que llamamos
77

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

evaluaciones dinmicas, no slo es el recorrido de complejidad conceptual de los sistemas de evaluacin, sino que es el recorrido de desarrollo histrico de los sistemas de acreditacin. Este mdulo ha sido orientado por una visin de la gestin interna de la calidad que se acomoda a las evaluaciones externas que hemos llamado dinmicas. Entonces, valindonos del desarrollo del mdulo encontraremos que las componentes de una evaluacin externa se ajustan convenientemente a las del modelo de gestin de calidad aqu expuesta. Evaluacin externa y el ciclo de efectividad institucional El planteamiento de un Ciclo de Efectividad Institucional como se propone en este mdulo es la pieza fundamental para prepararse para una evaluacin externa. En algunos casos se exige explcitamente, pero de no ser as, elaborar dicho ciclo es lo ms recomendable a hacer, como se ver enseguida. Si revisamos el plan institucional modelo propuesto en 1.5, los numerales I.1 y I.2 del plan, Misin - Visin e identificacin de componentes del sistema y subsistema - lo cual incluira las componentes descritas en 1.3 tendramos cubierto esencialmente la parte descriptiva de la evaluacin o la evaluacin de estado qu es la IES en el momento presente - . Los numerales I.4, I.5, I.6 del plan institucional - identificacin de factores de calidad, planes por subsistemas, interaccin entre subsistemas y acciones institucionales - son orientados claramente al mejoramiento dinmico de la calidad - o la efectividad institucional. Si a esto sumamos el sistema de evaluacin institucional - propuesto en 1.5 y desarrollado en 2 y los ciclos cortos de planes de mejoramiento, tendremos todos los elementos que componen lo que hemos llamado una evaluacin dinmica, ms cercana a la tendencia presente en sistemas de acreditacin o evaluacin externa. Concluimos entonces de manera muy conveniente: El desarrollo de un ciclo de efectividad institucional como se presenta en este mdulo en las secciones 1.5 y 2 debe ser herramienta suficiente para la preparacin con miras a una evaluacin externa institucional de la IES

78

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

4.3 AUTOEVALUACIN E INFORME DE AUTOEVALUACIN La autoevaluacin para fines de evaluacin externa no tiene por qu diferir en sus contenidos y conclusiones de la evaluacin para propsitos internos descrita en 2, incluidas las observaciones presentadas en el numeral 2.3 sobre evaluacin y la comunidad acadmica y socializacin. Esto refuerza la conclusin de la seccin anterior de la congruencia que debe existir entre el ciclo de efectividad institucional de la IES y los procesos de evaluacin externa. La descripcin precisa del estado presente de la IES corresponde a lo que llamamos evaluacin de estado. Y la descripcin de todo el sistema de gestin de calidad y/o efectividad institucional corresponde a la componente dinmica de la evaluacin. Si bien el informe de autoevaluacin muy seguramente debe entregarse en un formato establecido por la agencia evaluadora, lo nico genrico que podemos afirmar es que su funcin es recoger de manera fiel y precisa el proceso de evaluacin descrito en el captulo 2. Las palabras fiel y precisa tienen un significado claramente establecido en este contexto: La informacin que se presente en los informes de autoevaluacin y en la visita de pares debe provenir de las mismas fuentes que proveen la informacin para fines operativos de la IES: los sistemas de informacin descritos en 3.1 La autoevaluacin unidad 2 menciona que existen dos formas de investigacin para fines de evaluacin: cuantitativa y cualitativa. Los informes de autoevaluacin deben respetar protocolos rigurosos de presentacin de hallazgos cualitativos. Los hallazgos cualitativos de todas formas son basados en la evidencia y as debe quedar claro en los informes de autoevaluacin.

Los hallazgos cualitativos tienen limitaciones dadas por los alcances de las tcnicas de modelaje, las cuales deben ser perfectamente evidentes en el documento de autoevaluacin.

79

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

4.4 VISITA DE PARES La razn de la visita de pares es doble: constatar in situ informacin concerniente a la IES y entrevistarse con los diversos actores de la comunidad con el fin de refinar las apreciaciones que surgen del informe de autoevaluacin. Con esos objetivos en mente la IES debe preparar varios frentes para la visita acordes con la seccin anterior: La prioridad desde el punto de vista de la IES de la visita de pares es transmitir de la manera ms clara a los pares evaluadores dnde est las IES y para dnde va. La disposicin de la informacin, la preparacin de los directivos para la visita y, por supuesto, la elaboracin del documento de autoevaluacin deben lograr este propsito. Las secciones anteriores se han referido a estas caractersticas de los procesos evaluativos - el estado y la dinmica- . Puede ser ms difcil transmitir la claridad sobre el dnde est la IES y el para dnde va en una visita que en un documento. La visita involucra decenas de personas con grados de compromiso e informacin muy distintos, lo cual hace ms difcil transmitir los mensajes y la informacin de manera consistente. Por otra parte, esta visin compartida que puede aparecer menos coherente que la indicada en el informe escrito puede ser ms realista (siempre que la visita haga una buena seleccin y asegure una buena cobertura de informantes). Disponibilidad en los sistemas de informacin de la IES de la informacin presentada en el informe de autoevaluacin: ste no es un requisito trivial. Las IES suelen tener informacin dispersa, no almacenada correctamente y no formalizada. La visita de pares es una oportunidad para organizar y formalizar informacin, con el mximo de transparencia y precisin. La visita de pares busca constatar informacin, pero tambin busca entrevistas con los diversos estamentos de la IES. Una visita de evaluacin trasciende la informacin para entrar en el terreno de la percepcin y la opinin sustentada. La IES debe prepararse para este tipo de entrevistas; de ninguna manera para ocultar opiniones o percepciones, pero s debe establecer claramente quienes llevan la vocera oficial de la institucin con toda la informacin institucional a
80

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

su disposicin y quienes opinan desde su perspectiva y percepcin personal. La posibilidad de que los pares puedan - y con toda seguridad lo exigirn interactuar con diversos estamentos de la IES no es ms que una extensin a la evaluacin externa de lo que hemos llamado evaluacin cualitativa, solo que en este caso est ocurriendo para efectos del procedimiento externo. Las visitas de pares no se circunscriben a profesores, estudiantes y administracin. Usualmente incluyen graduados y empleadores. Esta componente no siempre es fcil de preparar, particularmente la de empleadores.

Algunos procedimientos de acreditacin incluyen ms de una visita de pares para un solo concepto de acreditacin, en razn a que el proceso se divide en un concepto de elegibilidad y uno de acreditacin.

81

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

REFERENCIAS BIBLIOGRFICAS
Angrist, J.D. & Pischke , J.S. (2009) Mostly Harmless Econometrics: An Empiricist's Companion USA, Princeton Press.

CNA (Comisin Nacional de Acreditacion, Chile (2010) Operacionalizacin criterios de evaluacin en procesos de acreditacin, 2010. Disponible en: http://www.cnachile.cl/wp-content/uploads/2010/10/Op-CriteriosAcreditacin.pdf

CNA (Consejo Nacional de Acreditacin, Colombia), Lineamientos para la acreditacin institucional, 2006. Disponible en: http://www.cna.gov.co/1741/articles-186359_lineamientos_3.pdf Fitzpatrick, J.L.,Sanders,J.R., Whorton, B.R. (2004) Programm Evaluation, Pearson.

Flick (2007). The SAGE Qualitative Research Kit, Editado Uwe Flick , SAGE Publications. Incluye: Designing qualitative research, Flick Doing Interviews , Kvale Doing entongraphical and observational research, Angrosino Doing focus groups, Barbour Using visual data en qualitative research, Gibbs Doing conversation, discourse and document analysis, Rapley Managing quality in qualitative research, Flick

Morgan, Winship (2007). Counterfactuals and Causal Effects, Cambridge Press Nelson, Kuh, Shoup (2005)., Measuring Deep Approaches to Learning Using the National Survey of Student Engagement, presentado Annual Meeting of the Association for Institutional Research , 2005 NSSE (National Survey of Student Engagement ), Experiencies tha Matter: Enhancing Student Learning and Success, Annual Report , 2007,Disponible en: http://nsse.iub.edu/NSSE_2007_Annual_Report/ Patton (2002). Qualitative Research and Evaluative Methods, SAGE. Ross (1999). Total Quality Management, St Lucie Press. SACS (Southern Association of Colleges and Schools) (2010)., The Principles of Accreditation: Foundations for Quality Enhancement.Disponible en: http://sacscoc.org/pdf/2010principlesofacreditation.pdf Zimmerman (2002). Becoming a Self Regulated Learner: An Overview, Theory and Practice, Vol 41, #2, 2002. 82

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

ANEXOS
Anexo I: EJEMPLO DE DESARROLLO DE UN CICLO DE EFECTIVIDAD INSTITUCIONAL
Si bien la seccin 1.5 representa el esquema general de gestin de calidad, basado en el llamado ciclo de efectividad institucional y dicho esquema est escrito enteramente en trminos de conceptos desarrollados en secciones anteriores, esta descripcin es bastante sinttica y la aplicacin prctica de conceptos presentados puede ser compleja. Para aliviar esta dificultad vamos a presentar un ejemplo basado en un IES figurada, en el cual podemos ilustrar todo el esquema de gestin basado en los conceptos construidos a lo largo de todo el documento. El recorrido ser necesariamente simplificado pues el objeto no es mostrar un ejercicio real, sino ilustrar conceptos. Todo lo que sigue en esta seccin solo corresponde a un ejemplo figurado. Cada institucin puede dar su propio desarrollo a los diversos numerales del ciclo de efectividad institucional presentados en el 1.5
0. Misin: No vamos a escribir una misin como se escriben misiones, sino dar los elementos fundamentales que la componen: - Alta calidad profesional de sus graduados en el nivel nacional e internacional - Educacin en competencias generales comunicativas, pensamiento crtico y formacin tica y trabajo en grupo. - Educacin basada en el aprendizaje autnomo*, efectivo, incluyente y apropiado para la educacin a lo largo de la vida. - Programas de pregrado altamente flexibles que reflejan la dinmica altamente articulada entre diversas reas del saber. - Ambiente acadmico que permite a los profesores desarrollo de una carrera acadmica y profesional de alto nivel, lo cual implica el compromiso con una actividad de investigacin significativa en el nivel internacional.

*Las formas autnomas de aprendizaje son aquellas en las cuales el estudiante es el principal agente de la formacin, la cual se logra con actividades que permitan la construccin y asociacin de conceptos propios y significativos del estudiante y el profesor hace un rol de dinamizador de dicho proceso En el otro extremo del aprendizaje autnomo est el que es puramente memorstico de informacin o procedimientos. Si bien la misin plantea un rol en educacin y otro en investigacin concentraremos el ejemplo en la componente puramente educativa, principalmente de pregrado. Las referencias a investigacin se harn sobre todo en la medida a que es una actividad importante de la misin que comparte o compite por

83

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria
recursos con la actividad docente, lo cual implica estrategias finas para que dicha relacin opere fluidamente. I.1 Visin La universidad se compromete en 5 aos a transformar sus prcticas pedaggicas en aquellas que garanticen que el aprendizaje fuera del aula de todos los estudiantes es altamente significativo y eficiente. La universidad se compromete a reducir sus tasas de desercin a menos del 10% para la misma poblacin de ingreso y la misma calidad de sus graduados. La universidad desea convertirse en un referente en el nivel de pregrado, maestra y doctorado en su entorno regional como pas - , logrando que la poblacin de estudiantes de postgrado de origen distinto al pas supere el 30%.

I.2 Identificacin de componentes del sistema y subsistemas Nuestra IES-ejemplo se organiza por departamentos disciplinares los cuales se agrupan en facultades (ej. facultad de ciencias, departamentos de biologa, fsica y qumica). Usaremos las facultades como subsistemas de la IES incluyendo en cada facultad las componentes descritas en 1.3: Estudiantes y profesores, recursos, procesos acadmicos, resultados acadmicos. La caracterizacin detallada de la facultad incluye los siguientes elementos Estudiantes: o Poblacin de pregrado y postgrados desagregada por semestres de estudio dentro de cada programa. o Caracterizacin del desempeo acadmico de los estudiantes que entran a cada programa a travs de pruebas estandarizadas como exmenes de estado - u otros en competencias de lenguaje, matemticas y capacidad de trabajo autnomo Profesores: o Nmero de profesores tiempo completo y medio tiempo asociados a cada departamento de la facultad. o Nmero de profesores de tiempo completo equivalente que ensean con un pago por horas de enseanza. o Distribucin de los profesores por niveles de formacin acadmica o Condiciones de trabajo de los profesores: Polticas de remuneracin Remuneracin dentro del mercado Asignaciones docentes Evaluacin profesoral Reglas de promocin profesoral Bienestar profesoral o Familiaridad de los profesores a las metodologas pedaggicas y sus diferencias de efectividad. o Familiaridad con diseos curriculares ms flexibles e interdisciplinarios

84

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Programas ofrecidos: Para cada programa de pregrado o Caracterizacin por ciclos. Cada ciclo tiene unos objetivos de aprendizaje propios de todo el conjunto. Por objetivos de aprendizaje entenderemos aqu la suma de conocimientos disciplinares y competencias propias del ciclo. Ciclo bsico para la profesin: herramientas bsicas sobre las cuales se sustenta el conocimiento profesional (ej. : formacin en matemticas y ciencias naturales para ingenieros o mdicos). Se espera evidenciar una alineacin de los cursos que los componen con los objetivo de aprendizaje del ciclo mismo. Ciclo de educacin general : desarrollo de competencias generales comunicativas, pensamiento crtico y formacin tica. Se espera evidenciar una alineacin de los cursos que los componen con los objetivo de aprendizaje del ciclo mismo. Ciclo profesional: formacin que desarrolla plenamente las competencias y conocimientos profesionales. Se espera evidenciar una alineacin de los cursos que los componen con los objetivo de aprendizaje del ciclo mismo. Ciclo profesional complementario: encargado de exponer al estudiante a disciplinas complementarias a las de su programa en una etapa avanzada del plan de estudios. Se espera evidenciar una alineacin de los cursos que lo componen con los objetivo de aprendizaje del ciclo mismo.

La caracterizacin por ciclos debe contener por lo menos el tamao del ciclo medido como un porcentaje del total de crditos que conforma el programa; efectividad medida como el porcentaje del ciclo que es de naturaleza electiva; interdisciplinaridad como porcentaje de cursos o crditos del ciclo que deben tomarse en una facultad distinta de aquella que ofrece el programa. o Prcticas pedaggicas: Caracterizacin de las formas de cmo se da el proceso enseanza-aprendizaje: Enseanza basada en clases magistrales y apoyo externos a clases. Enseanza basada en talleres con alta participacin del estudiante Formas de estudio y dedicacin fuera del aula Formas de evaluacin del aprendizaje y alineacin con los objetivos del curso y/o del ciclo

Programas de apoyo bienestar a estudiantes: Recursos : La enumeracin de recursos fsicos en una IES puede ser bastante larga aqu nos concentraremos brevemente en 3: Laboratorios, biblioteca, recursos informticos, infraestructura para docencia y recursos econmicos en su relacin con la docencia o Laboratorios para docencia:

85

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria
Caracterizacin de las prcticas de laboratorio desde el punto de vista pedaggico: Las prcticas son demostrativas nicamente o tienen una componente de indagacin para el estudiante. Los equipos son propios para la docencia o se comparten con funciones de investigacin. Disponibilidad de equipos en las sesiones de laboratorio y fuera de ella. Personas encargadas de la docencia en las prcticas.

Biblioteca: Metodologas desarrolladas para garantizar cubrimiento temtico adecuado de las colecciones en pregrado y postgrado . Idoneidad de mecanismos para seleccionar nuevas adquisiciones Redundancia para libros de alta demanda Bases de datos de revistas peridicas especializadas y libros electrnicos. Recursos de planta fsica e informticos para consulta en sala Calidad de catlogos virtuales de la biblioteca Infraestructura para la docencia : Aqu nos referimos exclusivamente al inventario y sobre todo las caractersticas de la infraestructura de salones de la IES Recursos informticos: Calidad de la red informtica, puntos de acceso dentro del campus, salas de cmputo. Software especializado en la intranet (software de apoyo a la docencia, software estadstico, matemtico y anlisis numrico, grafico, artes) Calidad del acceso a bases de datos en intranet. Acceso fuera del campus a recursos informticos Recursos econmicos: Estructura de ingresos de la IES : Cules son sus fuentes y cules son las polticas de asignacin de recursos Costos del cuerpo profesoral Costos administrativos, de apoyo e inversin, centrales y de las facultades, frente costos profesorales

Resultados: Aqu nos concentraremos en los resultados misionales asociados a los programas profesionales y no a los resultados de investigacin como se advirti al principio de esta seccin. Los resultados los dividiremos en tres: uno terminal que es el graduado del programa, un resultado intermedio que es el alcance de ciertos objetivos y naturaleza de aprendizaje dentro del proceso educativo y un tercero institucional que es la manera como la institucin da cuenta a la sociedad de sus resultados. o El graduado: Aqu nos interesan distintos aspectos que relacionan el resultado con la misin institucional y con el entorno (M:Mision, E:Entorno) Empleabilidad de los graduados (M/E) Desempeo profesional y tico en las empresas determinado a travs de los empleadores (M/E)

86

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria
Competencias comunicativas, de trabajo en grupo y pensamiento crtico desplegadas en su trabajo en los primeros 5 aos de vida laboral, lograda a travs de empleadores (M) Carreras de largo plazo de los graduados (M) Acceso a escuelas de postgrado de alto nivel (M) Desempeo en estudios de postgrado y en carrera de investigacin dentro y fuera del pas. (M) Resultados intermedios: Seguimiento a los objetivos de aprendizaje de cada ciclo educativo del programa propuesto arriba basado en cursos integradores o cursos proyectos (capiton curses) diseados para evidenciar el logro de dichos objetivos de aprendizaje (Por lo menos un curso integrador por ciclo) Desercin parcial y acumulada en los programas ofrecidos Resultados institucionales: El sistema educativo en el cual situamos este ejemplo tiene exmenes de estado profesionales. El resultado de dichos exmenes se interpreta ante todo como una evaluacin de la institucin. El sistema educativo del pas cuenta con un programa de acreditacin institucional y de programas realizada por pares que da cuenta del mismo tipo de consistencias que este mdulo propone.

Gobierno y administracin acadmica Aqu nos restringiremos a tres tipos de funciones: o Gobiernos y toma de decisiones acadmicas o o Administracin de los recursos econmicos Administracin del cuerpo profesoral

I.3 Identificacin de los factores de calidad pertinentes En sentido estricto, cualquiera de las variables, conceptos y componentes enumeradas en la caracterizacin anterior, es un factor de calidad. Para efectos de este ejercicio, que solo desea ilustrar las ideas y procedimientos presentados en captulos anteriores nos limitaremos a dos aspectos de la misin y a algunos factores de calidad asociados: Educacin basada en el aprendizaje autnomo Programas de pregrado altamente flexibles que reflejan la dinmica altamente articulada entre diversas reas del saber.

Los factores de calidad que consideraremos como claves para el estudio de la calidad, reflejada en los puntos misionales destacados, se sealan en el numeral I.2 en negrillas. La razn de destacarlos no resta, en trminos generales, importancia a los dems. Lo que se est diciendo es que para el ejercicio propuesto y para los aspectos misionales a estudiar, los sealados son los importantes.

87

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria
Veamos ahora la causalidad que debe poderse encontrar entre los factores de calidad y lo propsitos destacados de la misin. Esta causalidad se hace explicita cuando se deja claro por qu un factor de calidad lo es. Las explicaciones propuestas no deben exceder unos cuantos prrafos y deben poderse sintetizar en un enunciado corto y preciso. Las explicaciones que se dan ac son ilustrativas y pueden no tener relacin con una IES particular. I.3.1 Estudiantes: Calidad de los estudiantes admitidos: Podemos considerar dos tipos de IES : unas que tienen la capacidad de ser muy selectivas y pueden escoger los mejores estudiantes. Para ellos la calidad de los estudiantes ya se satur: no se puede incrementar. Otras IES reciben estudiantes promedios, pero en nuestro ejemplo supondremos que no hay posibilidad de atraer mejores estudiantes, de manera que este factor - la calidad del estudiantes admitido deja de ser una factor de calidad puesto que no podemos actuar sobre l. Nos interesan los incrementos en calidad que no dependan solamente de aquellos que se pueden lograr por un incremento en la calidad de los estudiantes admitidos. I.3.2 Profesores: Una buena parte del esfuerzo de gestin de calidad de nuestras IES est en mejorar el nmero y formacin de los profesores. As mismo este esfuerzo puede consumir buena parte de los recursos de inversin y operacin. Sin embargo esta gestin de recursos es quizs la que requiere menor elaboracin conceptual y por lo tanto menos importante en el desarrollo del mdulo. Por esta razn consideremos que la IES del ejemplo tiene los recursos profesorales en cantidad y calidad y aun as no logra alcanzar los niveles propuestos de calidad en los apartes de la misin que estamos estudiando. Al igual que en el caso de los estudiantes declarar saturados ciertos factores calidad y cantidad nos pone ante un escenario ms desafiante, que no podemos contestar simplemente diciendo que se necesitan mejores profesores, lo cual en ltimas puede ser un problema crudo de recursos y no de gestin de la calidad. Para este ejemplo, nos interesa analizar los incrementos en la calidad que no dependan solamente de un incremento en nmero y formacin de los profesores. Esto nos deja con otros factores importantes a considerar: Polticas de remuneracin, reglas de promocin profesoral, evaluacin profesoral y asignacin docente : El encadenamiento de estos factores en torno a los propsitos de calidad es relativamente simple: Los temas que nos ataen desde el punto de vista de resultados son completamente curriculares y docentes. Si la IES considera que estos temas son una prioridad importante, pero los sistemas de promocin no reflejan dicha prioridad - y/o las polticas de remuneracin - entonces los profesores no aportaran efectivamente al logro de la calidad en los aspectos misionales propuestos. Los intereses de los profesores estarn donde estn los estmulos y los reconocimientos acadmicos y/o econmicos. Profesores y metodologas pedaggicas: Nuestra IES ejemplo est interesada en las formas autnomas de aprendizaje por las razones que la misin hace explicitas. Este es uno de los mejores ejemplo de que recursos o actores ptimos - profesores con

88

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria
preparacin disciplinar optima - no podrn contribuir a la calidad, entendida en el sentido de promover el aprendizaje autnomo, a menos que otros procesos sean comprendidos, y estimulados entre los profesores. Se debe motivar al cuerpo profesoral a admitir que las formas pedaggicas evolucionan hacia unas de mayor efectividad, entre las cuales aquellas que privilegian el aprendizaje autnomo son muy relevantes, razn por la cual la IES se compromete en su misin con ellas. Profesores y diseos curriculares Nuestra IES espera que los programas profesionales estn delimitados por fronteras ms tenues; que las opciones del estudiante de explorar diversas reas de conocimiento sean mltiples. En sntesis una flexibilidad curricular. Aqu nuevamente podemos encontrarnos con que profesores muy capacitados encuentren propuestas curriculares de esta naturaleza inconvenientes y faltas de rigor. El peso de las tradiciones y las experiencias previas del docente operan en contra de un aporte positivo a la iniciativa de nuestra IES. Las dinmicas de conocimiento exigen mayor flexibilidad en el diseo de planes de estudio por lo cual es necesario contar con el compromiso de los profesores con dichos diseos, sin que ello signifique que se pierda rigor en los programas ofrecidos. Rigor no es enciclopedismo. I.3.3 Programas ofrecidos Alineacin de cursos de los ciclos curriculares con los objetivos de aprendizaje del mismo Los ciclos curriculares ponen en evidencia un aprendizaje orientado a un fin ms integrador que el de un curso aislado. Esto terminar por permitir una concepcin ms amplia de la profesin como lo exige la misin. Estas alineaciones difcilmente se dan puesto que los cursos no han sido pensados como parte de un ciclo con objetivos cuidadosamente diseados. Entonces podemos encontrarnos con problemas como los siguientes: Para un ingeniero el ciclo de matemticas y ciencias dispone que el propsito de los cursos de clculo, algebra lineal y ecuaciones diferenciales es el de permitir formular modelos matemticos de problemas fsicos y de ingeniera. Sin embargo este alineamiento no necesariamente existe. El estudiante puede aprender paquetes de conocimiento matemtico, sin que logre entrever las posibilidades de construir modelos aplicados, que trasciendan los conocimientos puros y desagregados. Cualquier estudiante en su ciclo de Estudios Generales formacin socio humanstica - es obligado a desarrollar un bagaje en conocimiento histrico local y mundial. Sin embargo cada curso de historia se agota en s mismo, sin lograr que dicho conocimiento le permita al estudiante desarrollar un pensamiento crtico de su propia realidad socio econmica. Realizar modelos matemticos de problemas fsicos, o desarrollar un pensamiento crtico de las realidades sociales de un pas, son formas altamente integradas de conocimiento, las cuales no se alcanzan si los cursos que tibiamente apuntan en esa direccin no estn alineados claramente con los objetivos superiores que persiguen. Los cursos que conforman cualquier programa o ciclo tambin deben garantizar el cumplimiento de objetivos de aprendizaje de mayor jerarqua que los del curso mismo. Ningn curso debe ser entendido aisladamente de un ciclo que tiene objetivos integradores.

89

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria
Practicas pedaggicas Nuestra IES identifica 4 formas pedaggicas: Clases magistrales y trabajo fuera de aula individual; clases magistrales con apoyo en sesiones ms pequeas; clases taller en las cuales los estudiantes trabajan en grupos coordinados por el profesor; cursos proyectos en los cuales trabajan independientemente o en grupos, en un problema a lo largo del periodo acadmico, con asesoras peridicas del profesor o profesores. Puede haber cursos que combinan las diversas metodologas. La IES tiene claro que se debe migrar de manera significativa hacia clases taller o adaptaciones de esta modalidad, apropiadas a los propsitos de aprendizaje autnomo. Tambin se ha identificado que los procesos de evaluacin en los cursos son los mayores determinantes de la manera como el estudiante determina sus prioridades de estudio: el estudiante promedio se interesa en aquello que le ser examinado. Si los mecanismos de evaluacin solo se orientan a objetivos muy puntuales, no se lograra que los estudiantes alcancen dichos objetivos ms generales. No puede ocultarse en esta reflexin que cualquier intento de moverse hacia metodologas ms participativas y activas implicaran un incremento en el costo de los recursos en algn sentido que debe evidenciarse. La enseanza magistral no garantiza el aprendizaje autnomo lo cual implica una revisin de las metodologas pedaggicas a usar. De otra parte los esquemas de evaluacin deben revisarse de manera que se orienten al desarrollo de los objetivos de aprendizaje de ciclo y no solamente garantizar conocimientos instrumentales locales el curso. I.3.4 Recursos Naturaleza de las prcticas de laboratorio En los cursos de ciencias o ingenieras los laboratorios pueden usarse como un espacio de aprendizaje usado para demostrar al estudiante la evidencia emprica de lo que aprende en el aula. En el otro extremo el laboratorio puede usarse como un espacio de descubrimiento previo al trabajo terico. Esto ayudara a que el estudiante recorra el camino inductivo de la ciencia como modelo de construccin de conocimiento. Si las prcticas de laboratorio son pensadas as, no necesariamente pueden seguir recayendo en profesores de baja de experiencia o en asistentes docentes. Este pensamiento es consonante con el espritu general de aprendizaje autnomo. Las practicas de laboratorios deben ser espacios de descubrimiento y no solo demostrativos. Infraestructura para la docencia: aulas El diseo de aulas depende directamente del tipo de enseanza que ocurre en ellas. Las clases magistrales ocurren en aulas tipo auditorio. Las metodologas participativas como las requeridas para el aprendizaje autnomo ocurren en salones completamente distintos y en general ms ineficientes en cuanto el uso del espacio Recursos informticos Las formas de aprendizaje que se propone la misin requieren mayores formas efectivas de trabajo individual del estudiante fuera y dentro del aula. Esto implica mayor acceso a informacin acadmica,

90

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria
mejores formas de interaccin del estudiante con su profesor u otros estudiantes de manera directa o asincrnica. Acceso a herramientas que incrementan la comprensin de contenidos como simuladores, dispositivos de realidad virtual entre otros. Todo lo anterior se materializa hoy en da en recursos informticos: buenas redes informticas, dotadas de buen software educativo y personas expertas en su utilizacin eficaz. Recursos econmicos Sobre los recursos econmicos siempre escasos en una universidad que evoluciona nuestra IES afronta tres preguntas: Como incrementar los ingresos y como incrementar o diversificar las fuentes. Por ejemplo una menor dependencia de matriculas. Para propsito del ejemplo ignoraremos esta posibilidad y trabajaremos con el escenario ms difcil. Lograr los propsitos con ingresos muy similares. Entonces nos queda la tercera pregunta: Cul debe ser la poltica de asignacin de recursos interna. Aqu la premisa es directa: El dinero debe estar donde estn los propsitos ms profundos de la universidad. Si no es as, una cosas son los propsitos declarados y otros los realmente promovidos, lo cual sera la falta ms grave contra un esquemas de gestin de calidad y de gobierno institucional.

I.3.5 Gobiernos y toma de decisiones El gobierno debe tener la posibilidad de cuestionar cualquier forma de statu quo queimpida avanzar en la direccin de la visin propuesta. Esto debe lograrse por la calidad de los planes institucionales propuestos a la comunidad. Aqu se parte de la premisa de que la comunidad universitaria correctamente motivada e involucrada en planes bien justificados, terminara ella misma contribuyendo a desbloquear factores que estancan la institucin. I.4 Formulacin de planes por subsistemas Un micro plan a manera de ejemplo La identificacin de factores de calidad es unos procesos en cierta forma secuencial y lineal, una vez identificados aquellos elementos del sistema que consideramos factores pertinentes. De cada factor se debe poder esbozar un argumento o lnea causal que establezca la relacin entre dicho factor y la calidad. Ese fue el motivo de la seccin I.3. La formulacin de planes no es secuencial ni lineal. Los planes son el producto de articular y relacionar los conceptos derivados del anlisis de factores de calidad, en acciones. Un plan finalmente es un proceso que como los otros procesos descritos en este mdulo giran alrededor de actores, recursos y relacin con otros procesos. Un esquema como la figura 1, muestra el despliegue que esperamos de las acciones propuestas para avanzar en el desarrollo del aprendizaje autnomo en nuestra universidad ejemplo. Este diagrama, que representa una pequea porcin del plan institucional, muestra la manera esquemtica como deberan poderse expresar todas las acciones de la totalidad del plan. Si se quiere, el plan institucional es una suma de diagramas de este estilo y la necesaria interaccin de unos con otros.

91

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria
Plan orientado al incremento de la capacidad de aprendizaje autnomo de los estudiantes

Fig. 1

El diagrama debe poder explicar brevemente: El propsito de este (micro) plan es incrementar el aprendizaje autnomo de sus estudiantes. Las clases en la IES se dictan en un formato de 3 horas de clase magistrales a la semana. Para un conjunto importante de cursos se redefinir el formato de docencia a clases con 1.5 horas de sesiones magistrales y 1.5 horas de secciones de taller o trabajo individual dirigido. Las clases magistrales ocurren despus de las secciones de taller o trabajo individual de manera que la clase magistral tenga un carcter integrador de conceptos. El profesor es responsable de la labor de generar el material docente que alimentara lo talleres en aula o virtuales. Esto conformara un repositorio de recursos educativos que permiten que el estudiante encuentre abundantes elementos que alimenten y estimulen sus procesos de aprendizaje. Los recursos educativos y parcialmente el trabajo de aula, operar con asistentes docentes estudiantes de postgrado si es posible-. El repositorio de recursos educativos estar montado sobre una plataforma informtica robusta que permita interacciones y accesos y transacciones muy agiles. Si bien el diseo conceptual del material educativo es una responsabilidad del profesor, la traduccin a herramientas informticas es una responsabilidad de una unidad experta en TIC aplicadas a la educacin. El gobierno de la IES ha decidido efectuar este cambio radical en los formatos de educacin en la cual el profesor ha pasado de ser un catedrtico a un diseador y articulador de un conjunto de recursos y procesos que conforman la clase. En consecuencia con esto el profesor en su proceso de evaluacin y por ende de promocin tendr que ser evaluado por su capacidad de poner en marcha este pequeo aparato

92

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria
educativo, ms que por la calidad de sus clases magistrales y/o la percepcin que los estudiantes tienen de ella. Evaluacin El tema de evaluacin es un tema fundamental dentro de todo el ciclo de efectividad institucional y constituye la unidad 2 de este modulo. 1.5/6 Consideracin de interacciones constructivas y obstructivas La consideracin de interacciones constructivas y obstructivas es el producto de un anlisis completo de un plan y tiene que ver por supuesto con las interacciones entre subsistemas o sus componentes. Si bien no se puede enunciar como un principio general la siguiente afirmacin puede tener un valor bastante amplio: Las interacciones obstructivas tienen que ver con un recurso escaso que debe ser compartido por varios subsistemas, actores o procesos. Las interacciones constructivas tienen que ver con el uso eficiente y/o sinrgico de recursos o actores entres varios subsistemas y procesos. Para efectos de este ejemplo claramente tenemos una interaccin que puede ser obstructiva, pero la cual puede convertirse en constructiva. El tiempo de los profesores es el recurso ms escaso en una IES. La IES necesariamente debe entender sus funciones docentes y de investigacin, la cual en trminos generales es muy relevante en la hoja de vida de los profesores. En sntesis el tiempo del profesor se divide entre docencia e investigacin, pero probablemente los estmulos estn desequilibrados entre una y otra actividad. Mas grave aun: es ms fcil que los sistemas de evaluacin docentes sean insensibles a la docencia mediocre que los de investigacin, lo cual sesga ms los intereses del profesor hacia las tareas de investigacin. Para efecto del plan enunciado en 1.5, solamente si los mecanismos de evaluacin de la docencia son lo suficientemente rigurosos y objetivos y el gobierno institucional se compromete con la importancia en los mecanismos de promocin profesoral, se podr lograr un inters balanceado del profesor entre el modelo en 1.5 y su tarea de investigacin.

93

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Anexo 2: INFORMACIN DE BASE, FACTORES DE CALIDAD Y RESULTADOS MISIONALES


Tabla 1
Informacin de base Estudiantes

Poblacin desglosada por unidades Poblacin desglosada por niveles de avance Estratos socio econmicos Pruebas de estado: competencias bsicas Composicin por regiones Colegios de proveniencia

Profesores

Numero tiempo completo Numero TCE de tiempo parcial Numero TCE de docencia por horas Niveles de formacin Estructura de remuneracin Carga docente en horas semanales Produccin en investigacin Acorde con categorizacin de productos m2 Laboratorios docentes m2 Laboratorios investigacin m2 Espacios de estudio independiente Laboratorios Biblioteca Dotacin docente (difcil de caracterizar) Dotacin envs. (Difcil de caracterizar) Tomos por niveles bsico, medio , alto Volmenes por niveles Nmero de ttulos revistas indexadas Nmero de ttulos de revista no indexadas Bases de dato de consulta bibliogrfica m2 de espacio de estudio Visitas y transacciones por da Otros medios: msica, pelculas TIC Velocidad intranet Puntos de red Servicio inalmbrico Nmero de salas no especializadas Numero de comput por estud no espcializ. Software especializado

Recursos

Infraestructura fsica

94

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Tabla 2.1
Factores de calidad Metodologas de enseanza
Calidad docente Formacin docentes disciplinar de

Formacin pedaggica Efectividad del trabajo dentro del aula Compromiso del estudiante Efectividad del trabajo fuera del aula Compromiso del estudiante Condiciones de trabajo del profesor Carga docente Estimulo a la docencia Percepcin de estudiante Vinculo de la investigacin a la docencia Efectividad de los recursos docente Generacin de recursos para la Dedicacin del profesor a esta docencia labor Empleo de TIC para generar Materiales didctico Interacciones Esta - Prof. Efectividad docente prcticas de Lab. de Simuladores

Efectividad curricular
Planes de estudios programas de cursos y Objetos de aprendizaje por cursos Objetos de aprendizaje integradores Efectivos en la evaluacin de objetivos de curso y de ciclo

Diseo por ciclos

Sistemas de evaluacin

95

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Tabla 2.2
Investigacin
Preparacin de profesor para invest. Estmulos a la investig Disponibilidad para investig Recursos internos para investig Recursos externos para investig Relaciones con sector externo en investig Programas orientados la investig (Doct) Participacin en redes de investig Nivel de internacionalizacin de la IES

Gobierno
Esquema decisiones de toma de Nivel universidad Nivel unidad acadmica Fuentes de ingresos de la IES Modelo interno de asignacin de recursos

Administracin acadmica
Esquemas de remuneracin Esquemas de promocin Estmulos fuera de salario Asignacin de labores profesor Alineados con la misin de la U Alineados con la misin de la U del Alineados con la misin de la U

96

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Tabla 3
Resultados Misionales Funcin Docente
Registro en el mercado Empleabilidad Remuneracin Trayectoria labora de mediano plazo Competencias profesionales Competencias generales En el trabajo Pruebas de estado Comunicativas Analticas Trabajo en grupo Formacin tica Desercin Posicionamiento de la IES en mercado laboral Por cohortes Parciales

Investigacin

Generacin de conocimiento Patentes Volumen de proyectos Relacin con medio externo Participacin en redes internacionales Programas doctorales

Publicaciones

Nmero de produccin

estudiantes

Extensin y servicio

Educacin continua Servicios profesionales culturales a la comunidad

97

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Anexo 3. TAREAS QUE ACOMPAAN EL USO DEL MDULO DE GESTIN DE LA CALIDAD


El mdulo de gestin de calidad que hemos presentado aqu tiene dos tipos de componentes: unas asociadas al anlisis de los procesos que ocurren en la IES con miras a mejoras en la calidad y otras asociadas a la implementacin de las acciones que puedan surgir de los anlisis. Esta ayuda pretende guiar al usuario al tipo de preguntas y anlisis que surgen en esta metodologa de gestin de calidad. Este ejercicio suscitar acciones, cuyo esbozo preliminar a cualquier implementacin tambin se considera parte de la gua. 1. Dominio de anlisis Aqu se sugiere que el dominio de anlisis sea una unidad acadmica de la IES y no la totalidad. Por ejemplo, un departamento, facultad o escuela que conduzca a ttulos profesionales. El grupo de trabajo debera incluir un grupo significativo de los profesores de dicha unidad. Concentraremos los ejercicios en la funcin docente que es comn a cualquier IES , mientras que las funciones de investigacin o extensin a la comunidad pueden tener mayor o menor relevancia dependiendo de la institucin. 2. Problemas de estudio Hemos escogido tres problemas. Los dos ltimos, siempre presentes en las IES, difciles de caracterizar y entender Misin Visin Calidad docente Efectividad curricular

El tema Misin Visin, ms que un problema es un instante de reflexin acerca de la globalidad de la institucin de cara a la particularidad de la unidad acadmica, constituyndose en una buena introduccin a cualquier proceso de gestin de calidad. Los dos ltimos temas son problemas locales a las unidades. 2.1Misin Visin Suponemos en este punto que la institucin tiene una misin institucional y una visin a 5 o 10 aos. Sin embargo, como se ha explicado en el mdulo, seccin 1.1, las misiones usualmente no estn escritas para ser usadas. Entonces, el propsito de este ejercicio es descomponerla para entenderla y poderla usar para propsitos de evaluacin y gestin:
98

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

El grupo de trabajo debe aislar los conceptos fundamentales de la misin y efectuar una reflexin acerca del significado particular que tiene dicho mandato misional para la IES. Ej. Qu significa excelencia acadmica. Sobre el mismo conjunto de mandatos, se puede ahora hacer la pregunta ms local de qu significa dicho mandato para la unidad particular. No todo lo que es importante para la unidad es importante para la IES y viceversa. Dado que la calidad en este mdulo se define como la consistencia entre la misin y los resultados de la IES, el grupo debe intentar contestar en qu medida la unidad produce resultados consistentes con cada uno de los elementos de la misin. Esto, en general, no es fcil de hacer ms all de una apreciacin. Sin embargo se pueden proponer elementos objetivos a considerar que permitan realizar una evaluacin que supere el nivel de apreciacin. La visin suele estar descrita en trminos muy directos. Aqu lo que se espera del grupo es que evale en qu medida la visin s refleja las aspiraciones del la unidad. Es decir, la visin de la IES s contiene la visin de la unidad. Por ltimo, resulta interesante que la unidad juzgue si la visin propuesta por la IES es consistente con la misin de la institucin y si no lo es, en qu aspectos falla dicha consistencia.

2.2 Calidad docente ste es un problema largamente subestimado en muchas IES. La docencia procede para muchos profesores por imitacin de lo que fue la enseanza para ellos como estudiantes. Dicho patrn ha sido la clase magistral de manera casi incuestionada, adems de ser el ms eficiente econmicamente. El ejercicio que se propone aqu no es el de proponer alternativas a la clase magistral lo cual es muy deseable y estudiado sino el de poder medir o caracterizar la calidad de un modo magistral de enseanza, de manera que una IES que hace uso de esta modalidad de enseanza seguramente sern las ms y en la mayora de los cursos tengan la manera de identificar problemas, buenas prcticas y generar planes de mejoramiento. Definimos una clase magistral como aquella en la cual: La clase ocurre sustancialmente en una modalidad de conferencia, con escasa participacin por parte de los estudiantes. El dilogo de los estudiantes con el profesor est limitado a preguntas espordicas. Los tamaos pueden fluctuar de 30 estudiantes a ms de 100.
99

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Pueden existir sesiones adicionales con asistentes docentes para realizar sesiones de problemas, talleres o laboratorios. Suponemos que una clase magistral tiene una asignacin de labores de 1 hora de clase por dos horas de trabajo del estudiante fuera de aula.

Las acciones que proponemos no buscan evaluar al profesor, sino conocer su prctica para retroalimentarla positivamente. Con estas definiciones en mente, que pueden ser ajustadas a cada realidad particular, se proponen las siguientes variables a estudiar: Qu es una buena conferencia? El grupo encargado de llevar a cabo este ejercicio debe efectuar una discusin sobre este punto que los lleve a una definicin sencilla, pero con la cual se sientan cmodos. Aqu se proponen tres elementos constitutivos de una buena conferencia o Presentacin clara y ajustada a los objetivos de los contenidos de la conferencia. o Presentacin motivante para el estudiante. o Consistencia con niveles de aprendizaje ( ver numeral sobre calidad y cantidad de trabajo fuera de aula ) Estas variables son difciles de medir por un mtodo distinto a la percepcin de un tercero. Por lo cual se propone que para la poblacin de estudio se hagan dos medidas perceptuales a cargo de profesores pares del profesor a cargo y por parte de los estudiantes. En un estudio de esta naturaleza no basta hacer esta medicin en una clase una vez en el periodo. Debe hacerse en varias sesiones distribuidas en el periodo. Para efectos de recoger la impresin de profesores pares y estudiantes se debe disear un pequeo instrumento dirigido a registrar la claridad de exposicin y naturaleza motivante de las presentaciones. Efectividad de corto plazo de la conferencia: Aqu se pretende medir la atencin y retencin del estudiante durante la clase. Se pueden usar dos herramientas: una que se vale de cierta tecnologa y una segunda muy simple. o Herramientas tecnolgicas tipo Respondus que permite hacer encuestas o mini exmenes al estudiante permanentemente durante la clase. El estudiante no requiere ms que un telfono celular para contestar las preguntas del profesor. Esta informacin es recogida y procesada en un computador para el profesor de manera inmediata. De esta manera el profesor detecta en lnea los
100

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

problemas que puedan existir, ya sea en la manera impartir su clase o de la form deapropiacin de los estudiantes. o Sin necesidad de herramientas tecnolgicas, el profesor puede impartir, al final de la clase y de manera aleatoria, pequeas pruebas que miden algo parecido a lo que se logra con sistemas del tipo Respondus Este tipo de medicin se acerca ms a ser una medicin cuantitativa, mientras que la anterior es de tipo cualitativa o perceptual. Cantidad y calidad del trabajo fuera de aula: Si suponemos que por cada hora de clase el estudiante emplea dos horas de trabajo fuera del aula, entonces debemos estar seguros que dicho trabajo est siendo efectivo. La responsabilidad de que eso ocurra es del profesor: o El problema de cantidad: Debemos poder construir un registro del tiempo promedio que los estudiantes estn trabajando fuera del aula. Desviaciones grandes por encima o debajo ameritan una reconsideracin de la definicin de esta componente de la clase. Es interesante leer el reporte [NSSE, 2007] acerca de la manera de lograr que la cantidad de trabajo sea significativa para el estudiante. o El problema de la calidad: sin duda que la cantidad de trabajo sin calidad es inocua o incluso contraproducente. Aqu proponemos una escala de aprendizaje [Nelson, 2005] El grupo responsable del ejercicio puede considerar esta escala de aprendizaje u otras ms clsicas - de muchas posibles- bajo la hiptesis dura de que el aprendizaje toma su impronta final en el trabajo fuera de aula: Aprendizaje procedimental y memorstico Aprendizaje de alto nivel: Sintetiza y organiza ideas, informacin y experiencias en interpretaciones y relaciones nuevas y complejas. Efecta juicios bien fundados acerca del valor de informacin, argumentos y mtodos que se le presentan. Aplica teoras o conceptos a la solucin de nuevos problemas Aprendizaje integrador: Ensambla argumentos con ideas provenientes de diversos campos de conocimiento Aprendizaje reflexivo: Aprende de problemas que no tienen soluciones nicas. Aprende en el proceso de escuchar las posiciones de sus contradictores. Capaz de criticar y cuestionar sus propias posiciones .
101

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Los diversos cursos de un programa alcanzan distintos niveles dentro de esta escala: para un programa de educacin superior seguramente muy pocos se quedan a nivel de sus propsitos pero no necesariamente de sus logros en el nivel procedimental. La mayora de los cursos deben alcanzar hasta el nivel de aprendizaje de alto nivel. Y un nmero ms reducido alcanza los dos ltimos niveles. El grupo responsable del ejercicio puede considerar esta escala de aprendizaje u otras ms clsicas y basada en ellas clasificar con el profesor responsable el nivel que su curso debe alcanzar. El ejercicio a realizar ahora es el cruce entre el trabajo fuera de aula y los niveles de aprendizaje a los cuales apunta. Esto no solo mide la consistencia del trabajo fuera de aula con la naturaleza del aprendizaje, sino la calidad del material docente para los propsitos buscado en el curso. Este ejercicio puede realizarse con el profesor responsable y pares acadmicos que deseen colaborar en el ejercicio. Si se quiere,ste es el evento evaluativo de la calidad docente ms importante de todos los mencionados. Ntese que el profesor no est en la escena, pero es el director de la escena. Sin su contribucin es imposible que esta coherencia niveles de aprendizaje logrados trabajo fuera de aula se pueda lograr adecuadamente. o La clase magistral y la consistencia con niveles aprendizaje: Con referencia a los niveles de aprendizaje presentados en el numeral anterior es de esperar que en la clase magistral el profesor debe exhibir niveles de exposicin de conocimientos o competencias que sean correspondientes con los del curso. No esperaramos que un curso que espere alcanzar niveles superiores de anlisis de sus estudiantes este construido con clases puramente procedimentales. Luego este un parmetro que debe registrarse en el conjunto que evalan una clase magistral . Sin embargo no debe sobrestimarse su valor : Para un profesor bien preparado acadmicamente, es de esperarse que pueda exhibir altas capacidades de anlisis, sntesis o integracin de conocimientos de reas distintas. Sin embargo, el objetivo de la educacin no es que l tenga esas capacidades, sino que sus estudiantes las puedan

102

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

desarrollar, lo cual depende de un conjunto ms amplio de experiencias que trascienden escuchar a su profesor. Efectividad de la evaluacin dentro del proceso de aprendizaje: El profesor es quien disea la forma de evaluar el aprendizaje de los estudiantes y no hay nada que dirija ms la atencin y el inters del estudiante que la forma en que ser evaluado. Por lo tanto, la calidad o efectividad de las evaluaciones es un factor que debe ser tenido en cuenta en la caracterizacin de la calidad docente. Sin embargo, este punto lo presentaremos en un contexto ms amplio adelante, en el cual podemos presentar de manera ms precisa qu entendemos por efectividad de la evaluacin ( unidad 2). Secuencias de cursos: algunos cursos de un programa estn construidos en secuencias en las cuales unos son requisitos de otros. Se ha usado evaluar la efectividad de la docencia de un profesor por el desempeo de sus estudiantes en cursos que siguen la secuencia. Esta prueba puede ser controvertible de muchas formas pero no deja de ser interesante tenerla en cuenta. Una variante ms apropiada de esta prueba es el caso en el cual un curso tiene varias secciones dictadas por varios profesores y los estudiantes son examinados con una misma prueba. Los resultados comparados hablan en cierta medida de la calidad docente relativa del profesor. El cuerpo de procedimientos sugeridos atrs permite construir un dossier de una determinada clase dictada por un profesor lo cual debe animar al profesor, al grupo de anlisis y un grupo pedaggico a proponer un plan de trabajo en uno varios frentes: Rediseo de las conferencias en la forma o en los contenidos mismos Diseo o rediseo de material docente Implementacin de sesiones de apoyo a cargo de asistentes docentes. Rediseo del sistema evaluativo

Peridicamente debe actualizarse el dossier para construir nuevos planes de mejoramiento.

2.3 Efectividad curricular

103

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Simplificando, un programa profesional se construye de una secuencia de cursos ms o menos obvia y los cursos se construyen de unos contenidos tambin obvios. Pero la manera lgica, pero menos simple de construir un programa, es partir de unos objetivos de aprendizaje profesionales (conocimientos y competencias) y unas competencias generales y de all devolverse a disear familias de cursos que van construyendo progresivamente dichos objetivos de aprendizaje. As mismo cada curso posee unos objetivos de aprendizaje que inducen el programa del curso en trminos de las actividades a realizar. Lo que se busca en esta porcin de la gua es el diseo de un ejercicio que logre evidenciar: La consistencia macro que debe existir entre objetivos del programa y el conjunto de cursos. La consistencia micro que debe existir entre las actividades del curso y los objetivos de aprendizaje del mismo.

Este ejercicio debe ser adelantado por todo el conjunto de profesores de la unidad profesores de reas de servicios y en lo posible contar con empleadores de la profesin. Este, ms que ser una ejercicio de medicin es un ejercicio de discusin, anlisis y reflexin. Para adelantar este ejercicio es conveniente dividir el programa por ciclos: dos (ciclo bsico y ciclo avanzado) o tres (ciclo bsico, intermedio y avanzado). Esta particin ayuda a no tener que cruzar cursos muy bsicos con objetivos muy profesionales. Adems permite tener ms resolucin en el estudio de las consistencias. Admitiendo una particin en tres ciclos, debemos formular objetivos de aprendizaje para cada ciclo, siendo los del nivel profesional los objetivos terminales. Para cada ciclo:Construimos una matriz en la cual las columnas representan los objetivos de aprendizaje clasificados por reas de conocimiento y competencias (habr situaciones ambiguas) y las filas los cursos del ciclo. Para cada fila (curso) intentamos justificar a qu conocimientos generales o competencias apunta el curso (columna). Si tenemos filas vacas o dbilmente justificadas, tenemos cursos intiles y si tenemos columnas vacas no estamos logrando alcanzar todos los objetivos del programa. Para los profesores ser muy difcil encontrar columnas de conocimiento vacas los programas han sido histricamente diseados en base a conocimientos - . Para los empleadores ser fcil encontrar columnas de competencias vacas.
104

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Un segundo anlisis puede ser interesante: Los profesores se cuidan de que los programas no sean inconsistentes por defecto: faltan cosas. Particularmente conocimientos. Quin se cuida que los programas sean inconsistentes por exceso? Sobran cosas. Para cada curso en cada ciclo debemos realizar una matriz con la siguiente descripcin: Columnas, objetivos generales de los cursos y objetivos generales del ciclo. Filas: programa del curso. Nuevamente nos preguntamos por las filas vacas : porciones del curso que no apuntan a ningn objetivo general. Columnas vacas: objetivos generales del curso que no se alcanzan en el mismo - deficiencias del curso- u objetivos de ciclo que no tienen ninguna relacin con el curso -irrelevancia curricular del cursoPara cada curso de un ciclo y para cada evaluacin mayor realizada nos interesa saber, de qu manera el xito o fracaso en dicha evaluacin est demostrando el logro o no de los objetivos del curso y del ciclo. Para estudiar esto podemos clasificar cada objetivo de aprendizaje en uno de los niveles de aprendizaje presentados arriba. Ahora debemos valorar si la naturaleza de la prueba o examen que se hace al estudiante para verificar el logro de dicho objetivo, es consecuente con el nivel de aprendizaje previsto. Por ejemplo, si esperamos que se den niveles de aprendizaje del tipo construccin e interpretacin de relaciones nuevas y complejas (aprendizaje alto nivel), pero las pruebas son de naturaleza procedimental o memorstica, el estudiante promedio slo encauzar sus esfuerzos hacia lo procedimental y se ser su aprendizaje final. Esta valoracin del sistema de evaluacin puede ser muy reveladora de problemas de aprendizaje a lo largo de la carrera. En trminos generales, podemos decir que el nivel de las evaluaciones determina el nivel de aprendizaje del estudiante promedio, cualquiera que sea la pretensin del curso o del profesor en el resto de las actividades.

Todo el anlisis sugerido en esta seccin de efectividad curricular puede ser fcilmente trivializado. Siempre podremos ajustar cursos, programas de cursos y evaluaciones a objetivos pre-establecidos. Sin embargo, si el ejercicio se realiza de manera desprevenida y con sentido autocrtico puede derivar en una variedad de acciones interesante que incluyen: Revisin de la manera como se evala a los estudiantes Ajustes en los contenidos y nfasis de los cursos
105

Proyecto ALFA Nro. DCI-ALA/2008/42 Aseguramiento de la Calidad: polticas pblicas y gestin universitaria

Reconsideracin de la existencia de ciertos cursos Ajustes curriculares menores o profundos.

____________________________________

106

You might also like