La acreditacin de posgrados: la experiencia de la CONEAU.
Victoria Guerrini Equipo Tcnico CONEAU Taller sobre Acreditacin de Posgrados Agosto /Septiembre de 2001 Introduccin: En este informe se ha intentado reflejar de manera ms o menos suscinta las cuestiones centrales referidas a los procesos de acreditacin de posgrados de la CONEAU que han formado parte de la agenda de los principales actores del sistema el Consejo Interuniversitario Nacional, el Consejo de Rectores de las Universidades Privadas- y tambin aquellas, de ndole ms especializada, surgidas de los aportes del informe de consultora realizado por el IIPE-UNESCO 1 para la CONEAU. Con el objetivo de contextualizar adecuadamente las observaciones y aportes hemos comenzado por una breve descripcin de la experiencia de la CONEAU en esta cuestin. Luego, se sintetizan los principales aportes del informe IIPE que se realiz cuando la tercer etapa de acreditacin ya estaba lanzada y para la cual el equipo tcnico y la CONEAU ya haban producido un rediseo total de los procesos y de los instrumentos (a los que la autora accedi como borradores y a los que hace referencia positivamente en su informe, aunque todava no haban sido probados en la prctica de las evaluaciones que comenzaron en Agosto de 2000, fecha de entrega del informe de consultora mencionado). Por consiguiente, en este breve informe resumir los cambios producidos en el mencionado rediseo y posteriormente se researn los aportes del informe de consultora del IIPE que consideramos absolutamente vigentes y que ameritan a nuestro entender especial consideracin para su implementacin en prximas convocatorias. Finalmente, se resean las cuestiones centrales planteadas en los documentos del CIN y del CRUP. 2 La experiencia de la CONEAU: La acreditacin de posgrados fue una de las primeras funciones que la CONEAU puso en marcha a pleno y cuya complejidad asumi en condiciones institucionales y de contexto muy diferentes a las actuales. Hoy, la agencia se encuentra haciendo un anlisis y replanteo de cuestiones centrales de la acreditacin luego de cuatro aos de experiencia acumulada y un largo camino recorrido de marchas y contramarchas producto del propio aprendizaje institucional, las observaciones crticas y los aportes recibidos de diversos actores del sistema universitario. La primera convocatoria a acreditacin de posgrados recin se est dando por finalizada en el 2001, denominndose los sucesivos llamados Etapas de esa primera convocatoria. Las dos primeras etapas fueron ciertamente las de mayor masividad en cuanto a la
1 IIPE Buenos Aires, Sede Regional del Instituto Internacional de Planeamiento de la Educacin. Anlisis de los dictmenes de acreditacin de posgrados en la CONEAU, realizado por Ana Garca de Fanelli, Agosto de 2000. 2 Consejo Interuniversitario Nacional, Actas de las reuniones mantenidas por la Comisin de Posgrado los das 18 de junio, 20 de agosto, 24 de septiembre, 15 de noviembre de 1999 y 4 de abril de 2000. Consejo de Rectores de las Universidades Privadas: Documento de 1997 y Documento del Comit de Propuestas e iniciativas de septiembre de 2000. 2 cantidad de carreras que se presentaron para su acreditacin y representaron al mismo tiempo las que mayor presin efectuaron sobre el organismo en trminos de produccin de resultados en plazos perentorios 3 . Por lo tanto, factores de complejidad externos 4 y tambin internos 5 han hecho que estos procesos tuvieran una dinmica muy particular por la cual, en la interaccin permanente entre el equipo tcnico, la subcomisin de posgrados y la comisin en pleno, se fueran detectando graves problemas 6 , y, al mismo tiempo que se deba producir hacia fuera, se deban realizar los ajustes necesarios 7 para intentar solucionarlos. Esto hace que muchos de los sealamientos acertados del documento crtico de la UBA y tambin muchos del informe de consultora del IIPE al momento en que llegaron a la CONEAU, ya haban sido observados internamente y varias estrategias ya haban sido puestas en marcha para abordarlos. Tal como sealramos en el Taller sobre acreditacin de carreras de posgrado realizado por la CONEAU el 23 de mayo de 2000 y se recoge en el informe IIPE, la calidad del resultado final dictamen del comit de pares/resolucin CONEAU- remite necesariamente al complejo proceso que se inicia con el establecimiento de los estndares de acreditacin en la resolucin 1168, y contina con su aplicacin por parte de la CONEAU, lo que implica: La actuacin de los comits de pares. El trabajo del equipo tcnico en relacin con los pares y La subcomisin de posgrados y la CONEAU en su totalidad El diseo y utilizacin de instrumentos de evaluacin: el formulario de recoleccin de informacin de las carreras de posgrado, los perfiles de categorizacin, la gua de evaluacin de los pares, el informe tcnico, el informe de visita, segn la siguiente secuencia: 1. Entrada de la solicitud de Acreditacin a la CONEAU 2. Informe Tcnico 3. Visitas
3 No slo estaba la necesidad de la CONEAU de responder eficientemente a la demanda del sistema que se acoga a los procesos evaluativos resultados de una normativa nueva y no totalmente legitimada, para la cual tampoco las instituciones universitarias tenan experiencia, sino que tambin otros programas de financiamiento de la entonces SPU como el FOMEC- exigan a la agencia la produccin de resultados en plazos relativamente cortos. 4 Adems de los mencionados en la nota 1, pueden mencionarse la falta de experiencia y recursos en las universidades para producir la informacin solicitada sobre los posgrados con la calidad y en los plazos demandados por la CONEAU. 5 Un equipo tcnico reducido en relacin con el volumen de carreras a evaluar y con poca experiencia en la materia, cambios sucesivos de estructura organizacional en la CONEAU (Director/es Ejecutivo/s sucesivos- Coordinacin de Area- Direcciones de Evaluacin y Acreditacin), dificultades de articulacin entre el trabajo del equipo tcnico y la CONEAU. 6 Algunos de ellos inherentes a la metodologa de evaluacin por pares pero muchos otros producto de las condiciones en que se encar la tarea y que dieron como resultado visible dictmenes de pares muy escuetos, sin adecuada fundamentacin, enunciados muy descriptivos y poco evaluativos y hasta a veces con graves contradicciones e inconsistencias no detectadas y mucho menos corregidas en el momento de actuacin de los comits. 7 En trminos de diseo de procesos que implican la puesta en marcha de la evaluacin por pares, la organizacin del equipo tcnico, su seleccin y entrenamiento y la articulacin de su trabajo en la compleja estructura de la CONEAU-, metodologas e instrumentos de evaluacin. 3 4. Armado de los comits/recusacin de pares/reunin de los pares (utilizacin de guas, coordinacin tcnica). 5. Redaccin de dictmenes: pares, equipo tcnico, subcomisin de posgrados. 6. Comunicacin a la universidad: vistas y reconsideraciones. Para la tercera etapa de la primer convocatoria se produjeron cambios en todos los momentos de esta secuencia con: la definicin analtica de los perfiles de categorizacin A y C, el rediseo del formulario de recoleccin de informacin programado en soporte informtico, incluyendo etapas de autocontrol, con el objeto de superar dificultades detectadas en las presentaciones previas. 8 la realizacin de un trabajo de anlisis tcnico profundo previo a la evaluacin del comit de pares, junto con la cumplimentacin de una etapa de reclamo de informacin faltante. 9 la reformulacin de los instrumentos de evaluacin: - Informe de visita de constatacin: es un informe estandarizado que deben llenar todos los consultores que realizan las visitas tcnicas centradas en la observacin de la infraestructura, el equipamiento y las bibliotecas de todos los posgrados. - Gua de Evaluacin para el trabajo de los Comits de Pares. el ajuste de los mecanismos de seleccin de pares 10 y la posibilidad de su recusacin por parte de las universidades. la ampliacin de los plazos correspondientes y valoracin de las instancias de vista del informe de los pares y la reconsideracin de la resolucin como oportunidades propicias para detectar y minimizar las posibles arbitrariedades o sesgos de los evaluadores. Con el fin de orientar a los evaluadores en el abordaje de la informacin provista por las universidades para cada posgrado en la aplicacin de los criterios de la resolucin 1168/97 y tambin para acotar de algn modo los mrgenes de discrecionalidad posiblemente existentes en los comits, se reelabor la Gua de Evaluacin 11 cuyo diseo posibilita y estimula el anlisis integrado de las dimensiones y adems ofrece orientaciones claras acerca del peso relativo que adquiere cada dimensin para la definicin del juicio evaluativo final en funcin del tipo de posgrado (especializacin, maestra o doctorado), el ao de inicio de la carrera (lo que determina si se trata de un proyecto, carrera nueva o consolidada) y el rea disciplinaria a la que pertenece.
8 Ver Procedimientos, Criterios y Solicitud para la Acreditacin de proyectos y carreras de Especializacin, Maestra y Doctorado, octubre 1999. 9 Durante las dos primeras etapas la informacin llegaba al comit de pares sin ningn tipo de trabajo tcnico previo, lo cual gener innumerables inconvenientes en la evaluacin. 10 Se han constituido comits de pares ms acotados en cuanto al nmero de carreras a evaluar y ms especficos desde el punto de vista disciplinar. 11 Anteriormente, la Gua contaba con tablas de ponderacin que indicaban el peso relativo de cada una de las dimensiones a las que haba que asignarle puntajes (en una escala del 1-10, donde 1-5 era no acreditado). Todas las areas disciplinarias contaron con su correspondiente tabla elaborada por el equipo tcnico y las comisiones asesoras (Medicina, Ciencias Sociales y Humanas, Ciencias Jurdicas, Ciencias Bsicas y Aplicadas, Ingeniera), pero su aplicacin prctica nunca pudo prescindir de cierto carcter ritual y formal que las vaci del sentido para la cual haban sido diseadas. 4 Esta reelaboracin se origin en la necesidad de contar con informes evaluativos en los que existiera un fundamento explcito y claro acerca de los criterios especficos utilizados dada la gran variabilidad que estos presentan en los diferentes campos disciplinarios. Se les solicita a los pares explcitamente que realicen la fundamentacin de su juicio a partir de la consideracin del peso relativo de cada una de las dimensiones en funcin de las especificidades propias de la disciplina y su grado de desarrollo. Con esto se intent obtener juicios evaluativos debidamente fundamentados en los que los parmetros utilizados sobre los que podra haber desacuerdos al interior de un campo disciplinario, estaran al menos explicitados en forma coherente con los resultados propuestos 12 . Sin embargo, ms all de los esfuerzos de ndole metodolgica que puedan hacerse en el trabajo interno de la CONEAU, esta cuestin remite necesariamente al tema de la aplicacin de la resolucin 1168 y la falta de estndares especficos por rea/s disciplinaria/s. Asimismo, cabe sealar que las etapas procedimentales estipuladas de vista del informe de evaluacin 13 y posteriormente de reconsideracin de la resolucin de no acreditacin son instancias en las que las instituciones pueden sealar la existencia de arbitrariedades, sesgos, interpretaciones errneas y dems elementos cuestionables que condujeron a la decisin final 14 . La evaluacin por pares y la CONEAU: roles y alcances de las recomendaciones de los comits: 15 Otra cuestin que valdra la pena mencionar, que se ha presentado reiteradas veces y a la que la agencia no ha dado una respuesta nica a lo largo de todos estos aos es lo que podramos llamar el alcance de la soberana de los pares. Es decir, hasta qu punto la CONEAU puede apartarse de las decisiones que proponen los comits de pares especialmente en aquellos casos en los que la agencia cuenta con los elementos de juicio necesario para hacerlo. Podra sostenerse que, si lo que realizan los pares para la CONEAU son recomendaciones es porque asumimos que la agencia tiene un margen para actuar tomando el juicio del CP como elemento central pero no necesariamente suficiente para decidir sobre la acreditacin positiva o negativa de una o ms carreras.
12 En reas disciplinarias en las que no hay an consensos acerca del carcter de determinado tipo de formacin de posgrados, estos textos funcionan como excelentes reflejos de las discusiones que se estn dando actualmente en determinados campos (por ejemplo, en administracin de empresas y negocios), pero fundamentalmente permiten a la CONEAU tomar las recomendaciones de los pares dentro de un contexto ms claramente definido intentando reducir as la posibilidad de arbitrariedades. 13 Se trata del informe de evaluacin que realizan los pares a la CONEAU cuando recomiendan la no acreditacin de una carrera. Antes de dictar resolucin de no acreditacin, la institucin puede producir los descargos y aclaraciones pertinentes ante la vista del informe. 14 En algunos casos, cuando se reconoci la existencia de un fuerte sesgo del comit de pares actuante o su impertinencia desde el punto de vista de la orientacin disciplinaria de la carrera, la CONEAU tom la decisin de llamar a otro comit de pares, intentando de este modo minimizar la posibilidad de la toma de decisiones basadas en juicios altamente sesgados por intereses no directamente vinculados a la calidad intrnseca de las instituciones evaluadas. En otros casos, estas instancias sirvieron tambin para que las instituciones tuvieran la posibilidad de plantear ajustes y reformulaciones de corto y mediano plazo que pudieran revertir el juicio de calidad realizado y contar as con la posibilidad de no sesgar de cuajo iniciativas que tienen posibilidades estructurales de desarrollo futuro. 15 Las opiniones vertidas en este apartado son de exclusiva responsabilidad de la autora... 5 En este sentido, cabe destacar que es la CONEAU la que tiene la visin general del sistema en su conjunto y el comit de pares tiene una visin particularizada de la calidad intrnseca de la o las carreras y esta diferencia de perspectiva es la que muchas veces permite a la agencia tener ms elementos de juicio para valorar la conveniencia de la acreditacin o no acreditacin de un posgrado. 16 Esta perspectiva ms amplia tiene dos vertientes: una, de ndole disciplinaria vinculada a la creciente capacidad de la agencia evaluadora de reunir gran cantidad de informacin acerca del estado de situacin de cada rea disciplinaria 17 . En otras palabras, se cuenta crecientemente con una mayor cantidad de elementos de juicio de orden disciplinario que configuran una suerte de capacidad tcnica propia de la institucin que puede ser utilizada en esta instancia. En esta vertiente se colocan los numerosos problemas surgidos a partir de la presentacin de carreras de tipo interdisciplinario: stas son las que ms ponen en jaque la metodologa tradicional de evaluacin por pares y plantean desafos a la agencia evaluadora. Los desarrollos actuales del conocimiento van por senderos que escapan a las tradicionales divisiones de disciplinas en compartimientos estancos, especialmente en la formacin de posgrado, que crecientemente se organiza a partir de problemas para cuyo estudio se requiere el particular concurso de varias disciplinas. La segunda vertiente la llamaramos de ndole institucional, una perpectiva que necesariamente corta transversalmente a varios posgrados al mismo tiempo y tambin muchas veces involucra a ms de una universidad, por ejemplo en el caso de carreras interinstitucionales. Esta perspectiva institucional puede ser reconstruida desde la CONEAU de varias maneras: con una lectura simultnea de los posgrados presentados por la misma institucin desde esta especfica perspectiva 18 y tambin en el contexto de las otras funciones de la agencia como son las acreditaciones de grado y las evaluaciones externas. 19 Esta posibilidad de una mirada ms abarcadora que excede a los comits de pares tal como se los constituye en la actualidad, incluye ms y mejores elementos para el anlisis de la calidad del posgrado y sus posibilidades de viabilidad y sustentabilidad. En este punto surge entonces el problema de la legitimidad de las resoluciones de la CONEAU, y cabra preguntarse, en este sentido, cules son los puntos de apoyo de esa legitimidad, a qu actores involucra 20 , qu roles le cabe a cada uno y cules seran los mejores procedimientos que la sustentaran.
16 Esto se ve con claridad en algunos casos en los que es imprescindible tener la perspectiva de la institucin (o instituciones) que promueven las propuestas para calibrar sus condiciones de sustentabilidad en el corto, mediano y largo plazo. Esta perspectiva amplia la tiene la agencia y no necesariamente el comit de pares. 17 Surgida de los aportes sucesivos (y tambin simultneos) de los comits de pares y del sistema en cada rea respecto del sentido comn de cada disciplina. 18 Podramos citar como ejemplo las vistas cursadas en los casos de las carreras de doctorado y maestra en Tecnologa de Alimentos, algunas del rea de administracin. 19 Esta segunda opcin implica la cuestin de la articulacin de las funciones de la COMISIN. 20 Solamente a los comits de pares, qu tipo de comits de pares, qu otros insumos pueden contribuir a la toma de decisiones de acreditacin o no acreditacin en trminos de informacin y anlisis en el margen abierto entre la actuacin del CP y la decisin CONEAU? Esto remite necesariamente al rol de la CONEAU como agencia experta, su capacidad tcnica, el involucramiento de otros actores y otras instancias y los comits de pares. 6 Los aportes del informe de consultora del IIPE-UNESCO: El diagnstico del cual parte la CONEAU para solicitar el informe de consultora tiene que ver con una notable insatisfaccin con los resultados obtenidos en las dos primeras convocatorias en trminos de calidad de los dictmenes producidos por los comits actuantes. Se estim entonces que haba que dotar a los comits de pares de herramientas novedosas para mejorar su accionar y elevar su experticia en cuestiones especficas vinculadas a la actividad de la evaluacin. Se manej incluso como hiptesis la necesidad de disear actividades de entrenamiento de los pares evaluadores con anterioridad a su actuacin en los comits. Posteriormente volveremos sobre este punto al considerar las conclusiones a las que se arriba en el informe IIPE. I. La actuacin del Consejo de Universidades: la resolucin 1168/97 El supuesto del cual se parte es que el resultado que se plasma en ltima instancia en los dictmenes elaborados por los Comits de Pares responde a una larga cadena de decisiones y de circulacin de informacin que afecta el resultado final, y que comienza con la resolucin 1168. Dicha resolucin es un marco general cuya principal caracterstica es que permite la posibilidad de comprender distintas tipologas de posgrados y esto hace que no exista una clara demarcacin definida por un conjunto de condiciones necesarias y suficientes que deben ser cubiertas por un posgrado si quiere ser acreditado. Lo mismo ocurre con las categoras A y B ya que claramente no hay una nica tipologa de A an dentro de un mismo tipo de carrera o grupo de disciplinas. Esta suerte de indeterminacin de la resolucin 1168 es en cierta medida coherente con la metodologa elegida: la evaluacin por pares disciplinarios, que tiene ventajas comparativas respecto de otros mtodos de tipo burocrtico o paramtrico ya que es la nica que asegura un enfoque integral, que toma en cuenta el conjunto de la informacin presentada y no se gua por el resultado de uno o ms indicadores aisladamente. Las desventajas de la evaluacin por pares estn vinculadas a: a.los componentes de subjetividad determinados por intereses, afiliaciones y lealtades particulares y b.a su carcter conservador, ya que generalmente suelen reaccionar crticamente frente a las innovaciones y a la diversidad. Los problemas derivados de los factores a y b tienen posibilidad de ser corregidos actualmente a travs de numerosos mecanismos, fundamentalmente a travs de la instancia de recusacin de los comits de pares anterior a la reunin de los CP y las instancias ex post de vista y reconsideracin. En el informe IIPE no se profundiza sobre este momento del proceso evaluativo y, en mi opinin, este es un espacio que habra que abrir, reformular y pautar de alguna manera teniendo en cuenta lo sealado anteriormente respecto de la soberana del comit de pares y el rol de la CONEAU. El Informe IIPE seala claramente que el peer review es un instrumento continuamente perfectible a travs de: los procesos de designacin de los comits de pares 7 la calidad de la informacin provista por los programas los instructivos que los guan la elaboracin de indicadores cuantitativos y cualitativos el trabajo del equipo tcnico De todos modos, se seala, nunca se arribar a una total consistencia entre los juicios formulados para acreditar o categorizar las carreras de una misma disciplina o, dicho de otra manera, la pretensin de homogeneidad que subyace en muchos sealamientos realizados a las resoluciones CONEAU no tiene sustento en el contexto de las metodologas empleadas de evaluacin por pares. Como limitaciones de la resolucin 1168 se sealan en el informe la falta de especificacin de indicadores, a excepcin de la carga horaria y la excesiva indeterminacin en la definicin de los rasgos del cuerpo docente. La definicin de docente estable permite un juego de interpretacin demasiado amplio a los comits de pares que, en consecuencia, se han expedido de maneras absolutamente dismiles en torno a esta cuestin central de las carreras de posgrado. II. La actuacin de la CONEAU: En cuanto a la etapa de actuacin de la CONEAU se observan aspectos a mejorar en torno a: 1. La solicitud de acreditacin e instructivos: se sealan algunas inconsistencias entre el instructivo y los perfiles de categorizacin que podran ser fcilmente subsanables en una prxima revisin. 2. Estndares sobre el financiamiento: son necesarios para el anlisis de viabilidad financiera de la carrera. La informacin que se solicita ha sido perfeccionada en los sucesivos formularios, pero el problema que subsiste es que se deja a los pares la construccin de los indicadores, quienes al no tener la experticia necesaria para hacerlo, terminan pronuncindose descriptivamente o haciendo apreciaciones subjetivas acerca de si los aranceles son altos o bajos, cuestiones que en definitiva no constituyen un juicio evaluativo sobre las posibilidades de sustentabilidad de una carrera de posgrado desde el punto de vista financiero. Se propone que se solicite informacin ms detallada sobre el financiamiento de las carreras, aranceles y becas con la finalidad de construir indicadores confiables y, adems, que la construccin de esos indicadores est en manos del equipo tcnico sobre la base de informacin confiable y con la suficiente anterioridad a la reunin de los comits de pares. 3. La referencia a la necesaria participacin de los alumnos en las actividades de investigacin y en prcticas o pasantas no est suficientemente reflejada en los instrumentos de evaluacin, especialmente en los perfiles de categorizacin. Se considera que este tema es de crucial importancia en el nivel de posgrado y no est adecuadamente contemplado en las guas y perfiles 4. Perfiles C y A: a partir de un minucioso anlisis comparativo de las definiciones de los perfiles A y C de categorizacin se llega a la conclusin de que existe un problema 8 metodolgico en su diseo. Se observa que no existe un paralelismo en la definicin de las dimensiones y sus correspondientes tems y subtems con lo cual se dificulta an la comparabilidad de los resultados. Se seala que la diferencia entre las categoras debe ser una cuestin de grado de satisfaccin de un mismo criterio (expresado en tems y subtems) y no de cumplimiento de criterios diferentes. Se pregunta entonces: para qu disear por separado estos perfiles en forma tan minuciosa, cuando se llega a los mismos, en forma ms coherente, analizando los sub tems y su escala interna de satisfaccin , desde excelente a no rene los requisitos? Lo mejor sera slo especificar claramente los requisitos de acreditacin o mnimos suficientes y necesarios (dentro de cada tipo de posgrado y campo disciplinario) para que un posgrado sea acreditado y que la categorizacin surja de la calificacin que, sobre la base de cada tem, realicen los pares evaluadores. En las nuevas versiones de los perfiles de categorizacin este tipo de problemas subsisten ya que los subtems definidos para cada dimensin no implican una diferencia de grado entre A y C sino que corresponden a dimensiones diferentes. Se propone en principio que la diferencia entre una categora y otra debera estar dada por una escala gradual de satisfaccin de un mismo criterio y no la cumplimentacin de criterios de distinto orden. 5. La construccin de indicadores cuantitativos: el tema no se plantea en trminos de si es o no necesario el uso de indicadores cuantitativos, ya que se parte del supuesto de que el concepto de calidad con el que se trabaja es multidimensional con la seleccin de determinados componentes y el establecimiento de indicadores para cada componente, el anlisis siempre es integrado y relacional. Lo que se puntualiza es que en este momento se estn utilizando indicadores cuantitativos pero el problema central es que esto se realiza en forma casi artesanal, Es decir, se les pide actualmente, en forma implcita a los pares que construyan indicadores acerca de: egresados/ingresantes, publicaciones/docentes, publicaciones con referato/total de publicaciones de los docentes, cantidad de tesistas/ directores de tesis, masa crtica de alumnos, alumnos con becas/total de alumnos, alumnos/docentes, docentes estables/total docentes. Los pares lo hacen con diverso grado de eficiencia y esto conduce a errores e inconsistencias en los dictmenes. Se sugiere que lo ms adecuado sera que estos indicadores fueran provistos en las fichas tcnicas, cuando la informacin disponible sea confiable. II. Resultados del anlisis de una muestra de dictmenes: A partir del anlisis de una muestra representativa de dictmenes se llega a la siguiente caracterizacin crtica de dichos textos: Se expresan juicios evaluativos escuetos, especialmente en lo concerniente a financiamiento. Son excesivamente descriptivos. Dificultad en la formulacin de las recomendaciones: se definen con un alto nivel de generalidad. Se expresan opiniones personales de los pares no fundamentadas en la prctica disciplinaria (observaciones de detalle sobre el plan de estudios, por ejemplo). 9 Presentan problemas en la formulacin de juicios evaluativos bien fundamentados especialmente en los siguientes temas: - La calidad y dedicacin del cuerpo docente: es muy importante fundamentar con indicadores cualitativos y cuantitativos. El indicador de docentes estables sobre total de docentes o la relacin entre estables y visitantes carece de sentido si se lo evala en trminos absolutos. La dedicacin siempre vara de disciplina a disciplina y es un concepto multidimensional que como tal debe ser calibrado. - Las actividades de investigacin en el mbito del programa de posgrado: se formula similar observacin a la expresada en el punto anterior: no puede ser tomado en trminos absolutos y es muy variable de una disciplina a otra. - Los alumnos: se nota en los dictmenes una gran variabilidad respecto de los requisitos de admisin. Es en este punto donde se nota evidentemente la necesidad de que cada campo disciplinario lo establezca como estndar especfico con anterioridad a la opinin del comit de pares. Conclusiones: Se sintetizan en las conclusiones los aspectos susceptibles de mejora: 1. Solicitudes, instructivos, informes tcnicos, informes de evaluacin: deberan realizarse los ajustes sealados con la finalidad de conformar un conjunto lo ms claro y coherente posible. 2. La calidad de la informacin: se seala la importancia crucial que tiene la calidad de la informacin provista por las carreras ( se observaba que no se deberan aceptar solicitudes incompletas y esto ya se hace en la CONEAU, pero vale la atencin sobre esta cuestin que siempre es perfectible). 3. Confeccin de indicadores cuantitativos en manos de los tcnicos con anterioridad a la reunin de pares teniendo en cuenta la calidad de la informacin presentada por las carreras (si esto se deja a los pares, se cometen muchos errores, y se pierde mucho tiempo). Los estndares e indicadores ms apropiados a establecer y/o construir deberan corresponder a: - becas - insercin de los alumnos en las actividades de investigacin y profesionales - insercin laboral de los graduados - proceso de admisin - relacin entre profesores estables e invitados: en este caso se debera intentar suplantar el indicador existente por otro que mida la relacin entre el tiempo destinado por los docentes a sus actividades de enseanza, supervisin e investigacin en el programa respecto del total de alumnos y segn el grado de complejidad del nexo entre enseanza-aprendizaje-investigacin propio de cada disciplina. 2. Perfiles A, B y C: en lugar de definir criterios diferentes para delimitar los perfiles mnimo y mximo, lo ms adecuado sera que cada tem y subtem siguiera una escala gradual, desde una calificacin de Bueno a Excelente. Sin embargo, se plantea que, para evitar el exceso de pedidos de reconsideracin de los dictmenes por disconformidad con la categora, se sugiere el otorgamiento de slo dos calificaciones: acreditado y acreditado con distincin. 10 3. La labor de los pares. Se sugiere: - mejorar las guas de pares y todos los instrumentos de evaluacin con los que trabajan. - Finalmente, slo resta profundizar en la labor de seguimiento de los tcnicos de modo tal de evitar la redaccin de dictmenes descriptivos, escuetos y las opiniones personales. Se concluye entonces que la mejor forma de llevar adelante la regulacin de la calidad es apelar a la evaluacin realizada por la comunidad acadmica. Sin embargo, recurrir a los pares tiene las limitaciones subrayadas con abundancia en la literatura: el carcter subjetivo de los juicios y la existencia inevitable del reflejo de intereses acadmicos o profesionales slo compartidos parcialmente por la comunidad. Por lo tanto, se destaca la importancia del proceso de seleccin de pares, el aseguramiento de la calidad de la informacin suministrada por las universidades y fundamentalmente, la valorizacin del rol del equipo tcnico: son los facilitadores de la tarea del comit a travs de las fichas tcnicas, la construccin de indicadores, la gua de evaluacin y el permanente asesoramiento que brindan en el mbito de funcionamiento del comit. Y finaliza: En la medida en que las prcticas de acreditacin y evaluacin se vayan consolidando, los tcnicos irn adquiriendo tambin una experiencia muy valiosa que seguramente redundar en un perfeccionamiento creciente del proceso. La agenda de la acreditacin de posgrados en el sistema universitario argentino: los aportes del CIN y del CRUP. A travs de los documentos de los principales actores del sistema universitario pblico y privado podemos reconstruir la agenda de la acreditacin de posgrados de los ltimos tres aos. En las observaciones del CIN aparecen dos tipos de cuestiones: unas vinculadas al problema del conjunto de las polticas orientadas al mejoramiento del sistema de posgrados y otras referidas al sistema de posgrados como tal y con relacin a l, la acreditacin. En cuanto a este primer plano de debate en torno a las polticas se seala: 1. La creciente necesidad de articulacin de la acreditacin de posgrados con polticas de otorgamiento de becas y apoyo a la investigacin (SeCyT, SES, Agencia, CONICET). Se reclama la existencia de fondos para impulsar y apoyar la realizacin de tesis en los posgrados. 2. La necesidad de coordinacin de las convocatorias a acreditacin con los otros programas existentes en el ministerio: unificacin de los formularios de recoleccin de informacin, coordinacin de las fechas de las distintas convocatorias. 3. La falta de consideracin de los aspectos regionales y contextuales en las evaluaciones de la calidad de los posgrados y la necesidad de un anlisis del contexto de desarrollo del posgrado. En cuanto a la tarea de acreditacin de posgrados llevada adelante por CONEAU se seala: 11 1. El problema de la profundizacin de la discusin en torno a la distincin clara entre maestras acadmicas y profesionales. 2. Revisin de la res. 1168 en relacin con los sistemas de cursos a distancia y de modalidad semipresencial. 3. Necesidad de asesoramiento tcnico a las universidades. 4. Se critica: - Diferencias de criterio en un mismo comit para acreditar y no acreditar una carrera. - Demoras en recibir los resultados en las universidades - Publicidad de resultados no firmes (categoras en proceso de revisin). - Desconocimiento de las pautas especficas asignadas a los evaluadores y definidas entre stos en las evaluaciones para acreditar o no acreditar y para asignar las categoras. El CRUP: Se presentaron a la CONEAU dos documentos: uno que data de 1997 en el que predomina fundamentalmente un enfoque jurdico de los problemas de la acreditacin de posgrados y otro del ao 2000 que tiene un carcter de aporte tcnico. En el primero se abordan las siguientes cuestiones: 1. La situacin de las carreras de posgrado que no obtuvieron la acreditacin: se defiende la posibilidad de que ellas se puedan continuar dictando, emitiendo los ttulos nacionales mientras la institucin subsane las deficiencias encontradas. 2. La CONEAU omite la seccin II sobre Pautas de Organizacin de la resolucin 1168: se afecta el conocimiento del debido proceso legal, la previsin de que entrevistas y visitas de los pares acreditadores a las sedes de los programas de posgrado son complementarias a la presentacin y con idntica jerarqua que sta 21 ; desaparece el rgimen de apertura permanente de las actuaciones regulado en beneficio de la institucin peticionante y o las reconsideraciones preventivas de eventuales resoluciones adversas. 3. La CONEAU se ha extralimitado al definir los perfiles de categorizacin A y C de categorizacin. 4. No deberan realizarse convocatorias con fechas topes. 5. La acreditacin debe realizarse dentro y no fuera del estado de derecho, lo cual significa garantizar la defensa en juicio por parte de la agencia respecto de la institucin universitaria. 6. Los pares tienen que actuar como tales, con razonabilidad y no como jueces punitivos. 7. Se seala que la CONEAU ha omitido la posibilidad de contemplar para otorgar la acreditacin el programa alternativo de mejoramiento y los cursos de accin encaminados a salvar las deficiencias encontradas. 22 8. Derogacin del artculo 15 del decreto 173/96 quitando el prrafo que dice que los pares aplicarn en cada caso los criterios, estndares y procedimientos aprobados por la CONEAU.
21 Esto no lo dice el B2. 22 Podra afirmarse que, de hecho, en las etapas de vista y reconsideracin se han considerado planes de mejora de corto y mediano plazo para otorgar la acreditacin. 12 El documento ms reciente, elaborado por el Comit de Propuestas e iniciativas del CRUP ha sealado: 1. La inexistencia de procesos de capacitacin para el ejercicio de la funcin de par evaluador. 2. Las diferencias de criterio entre las evaluaciones de los distintos CP: por ejemplo, el caso de la evaluacin final de carcter integrador exigida en la 1168: algunos consideran a esto la tesina, otros no. Se propone la unificacin de criterios en reas afines y por regiones 23 . Se solicita a la CONEAU que fije la interpretacin de la evaluacin de carcter integrador. 3. La falta de difusin de los estndares especficos utilizados por los CP. 4. Conformacin de los CP: se da para la recusacin el listado de posibles pares (que, por razones operativas de la CONEAU, generalmente excede el nmero definitivo de pares que realmente se renen). 5. Se marca el carcter punitivo del proceso de acreditacin y se seala que no est presente el carcter de proceso paulatino de mejora de la calidad. 6. Escaso impacto de las respuestas a la vista y los informes de comits de pares cuando stos recomiendan la no acreditacin. 24
23 Esto remite a la discusin sobre estndares especficos por rea por una parte, y por otra, a la consideracin del contexto local y regional. 24 Se observa concretamente que las respuestas a las vistas de los informes de evaluacin no logran revertir las decisiones iniciales de no acreditacin.