223 Viguera Editores SL 2009.

EDUC MED 2009; 12 (4): 223-229

Objetivo. Proporcionar una visin global de los aspec-
tos ms relevantes a tener en cuenta en un sistema de
evaluacin. Desarrollo. Se proponen dos modelos funda-
mentales como marco de referencia de los procesos de
evaluacin. Se describen las caractersticas principales de
cualquier sistema de evaluacin. Finalmente, se apuntan
los retos a los que se enfrenta en la actualidad el amplio
campo de la evaluacin en educacin mdica.
Palabras clave. Competencia profesional. Educacin mdica. Eva-
luacin.
Evaluation in medical education. Basic principles
Aim. To provide a global vision of the most relevant aspects
to take into account of an evaluation system. Development.
The article also proposes two dierent fundamental models
as frameworks for the evaluation process. The main charac-
teristics applicable to any evaluation system are described.
Finally the paper points the challenges that evaluation in
medical education is facing for the near future.
Key words. Evaluation. Medical education. Professional competence..
Introduccin
La evaluacin en educacin mdica es un cam-
po realmente amplio. Desde la evaluacin de los
aprendizajes a los sistemas de calidad educativa y
evaluacin de polticas educativas, existen mul-
titud de aspectos que se deben tener en cuenta
en los proyectos formativos. Este artculo tratar
especialmente la evaluacin de los aprendizajes
y, en defnitiva, versar sobre uno de los temas
de ms relevancia en la actualidad: la evaluacin
de la competencia profesional.
En el mdulo 2 de este programa de forma-
cin, Pals [1] defne el concepto de competencia
y describe su complejidad. Introduce el concepto
de educacin basada en resultados de aprendi-
zaje. Este enfoque lleva implcita la evaluacin.
Los resultados de aprendizaje son competencias
comprobadas, es decir, evaluadas. Este aborda-
je refuerza la idea de que la evaluacin es una
parte integrante de un programa o proceso de
formacin. Debe pensarse en la evaluacin des-
de el inicio, desde la planifcacin del proceso
formativo.
Qu? y para qu?
La planificacin del sistema de evaluacin a
utilizar incluye muchas preguntas a plantearse:
qu?, para qu?, cmo?, cundo?, quin?,
etc. Todas ellas deben clarifcarse en algn mo-
mento u otro; sin embargo, las dos ms funda-
mentales que deben iniciar todo el proceso son
las dos primeras: qu? y para qu? Las respues-
tas a estas dos preguntas determina el abanico de
posibilidades de las restantes.
Qu?
Ya se ha comentado la amplitud de los aspectos
susceptibles de ser evaluados. Para no confun-
dirse a la hora de responder a las otras preguntas
La evaluacin en educacin mdica. Principios bsicos
M. Nolla-Domenj
Revisin en Formacin
Mdica Continuada
Fundaci Doctor Robert.
Universitat Autnoma
de Barcelona.
Barcelona, Espaa.
Correspondencia
Dra. Maria Nolla
Domenj. Fundaci
Doctor Robert. Sant
Antoni M. Claret, 171.
E-08041 Barcelona.
E-mail
maria.nolla@uab.es
Cuestionario
de acreditacin
www.educmed.net
224
M. Nolla-Domenj
Viguera Editores SL 2009. EDUC MED 2009; 12 (4): 223-229
es fundamental haber escogido y defnido los as-
pectos que se quieren evaluar.
La utilizacin de modelos tericos puede
ayudar en la defnicin del objeto de evalua-
cin. Existen diversos modelos, pero en aras a la
brevedad y utilidad del presente artculo, se han
escogido dos de los ms utilizados por los edu-
cadores en general y, en concreto, por los educa-
dores en ciencias de la salud. Como se ver ms
adelante, ambos modelos son compatibles en el
planteamiento de los sistemas de evaluacin.
Kirkpatrick [2,3] ha aportado al mundo de la
educacin un esquema breve y claro en el que
basar los procesos de evaluacin. Su modelo se
centra en cuatro niveles a tener en cuenta, espe-
cialmente para los programes de posgrado y de-
sarrollo profesional continuo (Tabla I):
Nivel 1: reaccin. Lo que se evala es la reac-
cin de los participantes en el programa de
formacin, en otras palabras, se busca infor-
macin sobre el grado de satisfaccin de los
estudiantes.
Nivel 2: aprendizaje. Este nivel se centra de
pleno en la evaluacin de las competencias
adquiridas.
Nivel 3: conducta. Se evala la transferencia
de los aprendizajes al lugar de trabajo. La di-
fcultad de este nivel estriba en los mltiples
factores que infuyen en la calidad del desem-
peo laboral, adems de la competencia pro-
fesional, y que hacen ms complejo relacionar
unvocamente, de forma causal, los cambios o
no de comportamiento con el grado de efca-
cia del programa de formacin.
Nivel 4: resultados. Lo que se pretende evaluar
en este nivel es el impacto en la poblacin o
sociedad. Si el nivel anterior tena sus difcul-
tades en poder atribuir cambios en la conduc-
ta profesional a los programas de formacin,
averiguar su impacto en la sociedad es an un
reto mayor.
En el mbito de la educacin mdica, y en con-
creto en la evaluacin de la competencia profe-
sional, el esquema ms difundido y utilizado es
el ideado por Miller [4] en 1990. Al fnal de su
carrera, Miller invirti sus ltimos aos en el
reto an vigente de la evaluacin de la compe-
tencia profesional. Conceptualiz cuatro niveles
de competencia profesional que plasm en forma
de pirmide, y que ha pasado a conocerse ms
comnmente como pirmide de Miller. Relacio-
nando este modelo con el expuesto con anterio-
ridad, se puede decir que el modelo de Miller se
centra en los niveles 2 y 3 de Kirkpatrick.
Los niveles de la pirmide de Miller, de la base
al vrtice, son los siguientes (Fig. 1):
Miller adjudica la base de la pirmide a los
conocimientos en abstracto y la denomina
saber (knows-knowledge).
El segundo nivel, saber cmo ( knows how-
competence), tambin hace referencia a la parte
cognitiva de la competencia, pero este saber es
ahora contextualizado e incluye habilidades del
tipo toma de decisiones y razonamiento clnico.
El tercer nivel, demostrar cmo ( shows how-
performance) da un salto cualitativo muy im-
portante en la evaluacin de la competencia
clnica, ya que incluye el comportamiento
(habilidades). No obstante, el contexto de
aplicacin de las competencias no es real. Es
un nivel de competencia que se muestra en
entornos simulados aunque contextualizados.
Miller reserva el vrtice de la pirmide para
el hacer (does-action). Se trata de la compe-
tencia demostrada en situaciones o contextos
profesionales reales. Una vez ms, subrayar
que este nivel constituye el reto actual al que
se enfrentan los educadores y, en especial, los
especialistas en evaluacin de la competencia
profesional.
Para qu?
Una vez se ha defnido el objeto de evaluacin se
debe clarifcar el propsito. Existen diferentes ob-
jetivos de la evaluacin para los distintos objetos
seleccionados [5,6]. Dado que el artculo se cen-
tra en la evaluacin del aprendizaje profesional se
citan algunas posibilidades en la tabla II.
Tabla I. Niveles del modelo de Kirkpatrick.
Nivel 1: evaluacin de la reaccin (satisfaccin)
Nivel 2: evaluacin del aprendizaje (competencia)
Nivel 3: evaluacin de la conducta (transferencia)
Nivel 4: evaluacin de los resultados (impacto)
225
La evaluacin en educacin mdica
Viguera Editores SL 2009. EDUC MED 2009; 12 (4): 223-229
1. Las dos preguntas fundamentales sobre el sistema de
evaluacin que se deben plantear desde el inicio son:
o a) qu? y cmo?
o b) cmo? y cundo?
o c) qu? y para qu?
o d) para qu? y para quin?
o e) qu? y cundo?
2. Cul de los siguientes aspectos a evaluar no forma
parte de los niveles del modelo de Donald Kirkpatrick?:
o a) impacto
o b) reaccin
o c) aprendizaje
o d) calidad
o e) resultados
3. Los niveles de la pirmide de Miller son todos
los siguientes excepto uno. Indique cul es el falso:
o a) querer
o b) saber
o c) hacer
o d) demostrar cmo
o e) saber cmo
4. Cul de las siguientes caractersticas no
es fundamental en un sistema de evaluacin?:
o a) validez
o b) abilidad
o c) conanza
o d) transparencia
o e) factibilidad
5. En la actualidad, cul es la principal dicultad
de la evaluacin de la competencia clnica?:
o a) la aceptacin por parte de los profesionales
o b) el coste del sistema de evaluacin
o c) la carencia de medidas correctoras para
los que no cumplen los mnimos requeridos
o d) la imposibilidad de medirla de forma directa
o e) la contextualizacin necesaria de los instrumentos
6. Cul de las siguientes evaluaciones supone el
mayor reto en la actualidad en educacin mdica?:
o a) la evaluacin de los conocimientos
o b) la evaluacin de la prctica profesional
o c) la evaluacin de las habilidades quirrgicas bsicas
o d) la evaluacin de la satisfaccin de los estudiantes
o e) la evaluacin de la calidad docente
7. Cul de los niveles de la pirmide de Miller
se evala mediante las evaluaciones clnicas
objetivas estructuradas (ECOE)?:
o a) primero
o b) segundo
o c) tercero
o d) cuarto
o e) todos los niveles
8. Cul de los siguientes instrumentos evala ms
adecuadamente el cuarto nivel de la pirmide de Miller?:
o a) ECOE
o b) pruebas escritas basadas en contextos clnicos
o c) pacientes simulados
o d) observacin directa
o e) pruebas escritas descontextualizadas
9. Cul de las siguientes deniciones se reere al concepto
de validez de un instrumento de evaluacin?:
o a) grado en que un instrumento mide de
forma consistente lo que se pretende medir
o b) conocimiento, por todas las partes
implicadas, de las reglas del juego
o c) posibilidad de utilizarlo
o d) grado en que un instrumento
mide lo que se quiere medir
o e) grado en que los candidatos aceptan
la evaluacin porque la consideran adecuada
10. Sealar la proposicin incorrecta:
o a) una evaluacin formativa tiene como objetivo
fundamental proporcionar a los estudiantes
feedback sobre su aprendizaje
o b) una evaluacin sumativa es la base de la toma
de decisiones sobre el nivel de competencia
profesional del candidato
o c) una evaluacin sumativa no puede ser en
ningn caso formativa, de manera simultnea
o d) la decisin de emplear una forma de evaluacin
sumativa guiar la utilizacin de los resultados
de la evaluacin
o e) la evaluacin gua el aprendizaje
Programa de Formacin Mdica Acreditada en Educacin Mdica
Artculo: La evaluacin en educacin mdica. Principios bsicos
Autores: M. Nolla-Domenj
Revista: Educ Med 2009; 12: 223-9
Nombre y apellidos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . DNI . . . . . . . . . . . . . . . . . . . . . . . . . . .
Direccin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Cdigo postal . . . . . . . . . . . . . . . . .
Localidad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Provincia/pas . . . . . . . . . . . . . . . . . . . . . . . . . .
Telfono . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . E-mail . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Encontrar este cuestionario en la web de la revista: www.educmed.net
226
M. Nolla-Domenj
Viguera Editores SL 2009. EDUC MED 2009; 12 (4): 223-229
Sin embargo, a un nivel ms general, adems
de clarifcar el objetivo de la evaluacin debe
decidirse qu tipo de enfoque se va a dar y qu
consecuencias van a tener los resultados de la
evaluacin.
La evaluacin puede ser formativa o sumati-
va [7]. Se dice que una evaluacin tiene fnalida-
des formativas cuando su objetivo fundamental
consiste en proporcionar a los estudiantes feed-
back sobre su aprendizaje y facilitar la refexin
sobre su progreso. Una evaluacin tiene fnali-
dades sumativas cuando los resultados son la
base para la toma de decisiones sobre el nivel
de competencia profesional (aprobado/suspen-
so, obtencin de un ttulo, obtencin de una
acreditacin, etc.). No obstante, un sistema de
evaluacin sumativo puede contener un compo-
nente formativo cuando tambin se proporciona
feedback a los estudiantes sobre sus fortalezas y
sus debilidades.
La decisin de emplear una forma de evalua-
cin sumativa, formativa o una combinacin de
ambas, guiar la seleccin de instrumentos, la
manera en que se realizar la evaluacin, la can-
tidad de recursos humanos necesarios, la inter-
pretacin de los resultados y la utilizacin de los
resultados de la evaluacin [8].
Instrumentos de evaluacin
Una vez se han respondido las preguntas qu? y
para qu?, se puede pasar al cmo?, a la selec-
cin de los instrumentos.
La cantidad de instrumentos desarrollados y
la fnalidad de visin global del presente mdulo
hacen del todo imposible su descripcin detalla-
da, as como poder citar todas las herramientas
disponibles. Un esquema global basado en la pir-
mide de Miller fue presentado por van der Vleu-
ten [9] en el marco de la 9th International Ottawa
Conference on Medical Education (Fig. 2):
La base de la pirmide (saber) se relaciona
bsicamente con pruebas escritas sobre cono-
cimientos abstractos, es decir, descontextua-
lizados.
En el segundo nivel (saber cmo) se realizan
tambin pruebas escritas basadas en contex-
tos clnicos, en casos concretos, y se pueden
valorar competencias de razonamiento clni-
co y toma de decisiones.
El tercer nivel de la pirmide (demostrar) se
relaciona con las pruebas basadas en simula-
ciones, de ah que van der Vleuten las englobe
Tabla II. Propsitos de la evaluacin
del aprendizaje.
Asegurar que se cubren las necesidades de aprendizaje
Identicar puntos dbiles en la docencia
Aprobar programas docentes
Proporcionar feedback a los docentes y a la organizacin
Seleccionar los mejores candidatos
Etc.
Figura 1. Pirmide de Miller (adaptado de [4]).
227
La evaluacin en educacin mdica
Viguera Editores SL 2009. EDUC MED 2009; 12 (4): 223-229
en la expresin evaluacin de la prctica in vi-
tro. A este nivel se encuentran los maniques,
los pacientes simulados y las evaluaciones
objetivas clnicas estructuradas (ECOE). Las
ECOE suponen la combinacin de diversos
instrumentos para la evaluacin de la compe-
tencia clnica.
El vrtice de la pirmide (hacer) incluye los
instrumentos que permiten evaluar la prcti-
ca real, la evaluacin de la prctica in vivo.
La observacin (directa o videograbada), el
portafolio, la evaluacin de registros clnicos
y la utilizacin de pacientes simulados ocultos
son algunos de los ms utilizados.
A pesar de la aparicin constante de nuevos ins-
trumentos no hay que olvidar que no existe nin-
guno que, por s slo, pueda dar informacin
sobre todos los componentes de la competen-
cia profesional. La evaluacin de la competencia
global de un profesional siempre debe combinar
distintos instrumentos.
Caractersticas fundamentales
de un sistema de evaluacin
Cuando se consideran los instrumentos de eva-
luacin aparecen nuevas preguntas a formular-
se. Las caractersticas fundamentales a estudiar
y defnir son: validez, fabilidad, transparencia,
aceptacin, factibilidad e impacto educativo [6].
Validez
La validez es el grado en que un instrumento
mide lo que se quiere medir. Una cinta mtrica
es vlida para medir una longitud, pero no para
medir el peso. Aunque parezca una obviedad
resulta extremadamente importante asegurar
la coherencia entre lo que se quiere evaluar y el
procedimiento seleccionado para ello [10].
Hay diferentes tipos de validez, pero las tres
categoras principales son: validez de contenido,
validez de criterio y validez de constructo [11].
La validez de contenido da informacin sobre en
qu medida el instrumento mide el rea de cono-
cimiento que se pretende evaluar. La validez de
criterio se refere a la comparacin de la medida
con un valor conocido (criterio de referencia). La
validez de constructo informa de en qu medida
el instrumento mide un constructo hipottico
(p. ej., la inteligencia, la empata, la competencia
profesional) que no es fcilmente observable.
Fiabilidad
La fabilidad o precisin es el grado en que un
instrumento mide de forma consistente lo que se
Figura 2. Relacin entre nivel de competencia segn la pirmide de Miller y los instrumentos susceptibles de ser utilizados
(adaptado de [9]).
228
M. Nolla-Domenj
Viguera Editores SL 2009. EDUC MED 2009; 12 (4): 223-229
pretende medir. Tiene que ver con la repeticin
de la medida En el ejemplo anterior de la cinta
mtrica, es fable en la medida en que cada vez
que se mide un mismo objeto, el resultado es el
mismo o muy similar.
La fabilidad generalmente se mide como un
coefciente de correlacin, siendo 1,0 una corre-
lacin perfecta, y 0,0, una no correlacin total.
Los valores superiores a 0,7 se consideran indi-
cativos de que el instrumento es fable.
La fabilidad entre evaluadores se refere al
grado de acuerdo entre evaluadores diferentes e
independientes del mismo candidato.
Transparencia
La transparencia en un sistema de evaluacin
tiene relacin con el conocimiento por parte de
todas las partes implicadas de las reglas del juego
(tipo de prueba, criterios de evaluacin, etc.).
Aceptacin
La aceptacin es el grado en que los candidatos
aceptan la evaluacin porque la consideran ade-
cuada. A mayor validez y fabilidad contrastadas
y documentadas, mayor aceptacin por parte de
los candidatos. La transparencia del proceso de
evaluacin tambin contribuye a la aceptacin
de la prueba.
Factibilidad
En la seleccin de un instrumento es de capital
importancia comprobar que ser posible (facti-
ble) utilizarlo. Esto implica calcular el coste de la
evaluacin en trminos de recursos (humanos y
materiales) y de tiempo.
El coste debe incluir la puesta en marcha y
los cursos necesarios para el desarrollo e imple-
mentacin. El coste de un sistema de evaluacin
tambin debera considerarse en relacin al be-
nefcio para la docencia y el aprendizaje.
Impacto educativo
En el diseo de los sistemas de evaluacin a me-
nudo no se considera el impacto que puede tener
sobre el estudiante. Sin embargo, hace tiempo que
se ha observado que los procesos de evaluacin
dirigen el aprendizaje [12,13]. El tipo de evalua-
cin determina cmo estudian los candidatos.
En 1977, Miller, en su participacin en el II
Simposio Mdico Internacional en Roma, ya
asever que cambiar el sistema de evaluacin sin
modifcar el programa de enseanza ha tenido
una mayor repercusin sobre la naturaleza y la
calidad del aprendizaje, que si se hubiera modif-
cado el programa sin tocar los exmenes.
Van der Vleuten [14] describi al menos cua-
tro vas por las que el sistema de evaluacin di-
rige el aprendizaje: su contenido, su estructura
o formato, lo que se pregunta (p. ej., la informa-
cin que se proporciona), y la frecuencia, hora-
rio y nmero de evaluaciones repetidas.
Retos actuales de la evaluacin
en educacin mdica
Tomando como marco de referencia la pirmide
de Miller, el mayor reto actual se sita en su parte
superior. La evaluacin de la competencia profe-
sional en entornos simulados y, ms an, la eva-
luacin de la prctica profesional real suponen
un gran desafo porque son conceptos complejos
que no se pueden medir de manera directa.
Shumway y Harden [11] consideran que hay
que tender a evaluar lo que los aprendices hacen
en la prctica y cmo aplican sus conocimientos
en ciencias bsicas y clnicas para el cuidado de
los pacientes. Mientras que muchas facultades de
medicina se han decantado por la evaluacin de la
competencia en situaciones simuladas, slo unas
pocas han puesto un nfasis mayor en la evalua-
cin de la actuacin en la prctica clnica a travs
de abordajes de observacin directa o mediante el
uso de medidas indirectas como los portafolios.
Segn Brailovsky [15], la capacidad refexiva
y el razonamiento en la resolucin de problemas
clnicos representan el ncleo fundamental de
la competencia clnica, y el desarrollo de instru-
mentos de evaluacin que hagan posible la va-
loracin de estos dos elementos cruciales, poco
accesibles por los instrumentos de medicin em-
pleados tradicionalmente, se ha convertido en
un complejo desafo.
Epstein [7] plantea otros retos adems de los
ya citados. Recientemente han aparecido nuevos
dominios de evaluacin, en especial debido a la
necesidad de evaluar la competencia y la prctica
profesional: trabajo en equipo, profesionalismo,
comunicacin, entre otros... Otro reto actual es
229
La evaluacin en educacin mdica
Viguera Editores SL 2009. EDUC MED 2009; 12 (4): 223-229
el desarrollo de sistemas de evaluacin adecua-
dos a las caractersticas especiales de los profe-
sionales con aos de experiencia.
Norcross et al [16] concluyen que el futuro de
un sistema comprehensivo de evaluacin de los
mdicos asistenciales depende del desarrollo y
estandarizacin de instrumentos, tcnicas y pro-
cedimientos para la evaluacin de la competencia
y la actuacin profesional, incluyendo medidas
de la prctica, de programas de evaluacin de co-
laboracin en red, del control de costes, y del de-
sarrollo continuo de medidas correctoras que se
correspondan con los hallazgos en la evaluacin.
Bibliografa
1. Pals J. Planifcar un curriculum o un programa forma-
tivo. Educ Med 2006; 9: 59-65.
2. Kirkpatrick DL. Evaluacin de acciones formativas. Bar-
celona: Gestin; 2000.
3. Kirkpatrick DL. Avaluaci daccions formatives: els qua-
tre nivells. Barcelona: Epise Gestin; 2000.
4. Miller G. Te assessment of clinical skills/competence/
performance. Acad Med 1990; 65: S63-7.
5. Wall D. Evaluation: improving practice, influencing
policy. Edinburgh: Association for the Study of Medical
Education; 2007.
6. Morrison J. Evaluation. Br Med J 2003; 326: 385-7.
7. Epstein RM. Assessment in medical education. N Engl J
Med 2007; 356: 387-96.
8. Dent JA, Harden RM. A practical guide for medical
teachers. Edinburgh: Elsevier; 2005.
9. Van der Vleuten CPM. A paradigm shif in education:
how to proceed with assessment? 9th International Ot-
tawa Conference on Medical Education. Cape Town, 28
February-3 March 2000. URL: http://www.educ.unimaas.
nl/ottawa.
10. Villa A, Poblete M. Aprendizaje basado en competen-
cias. Bilbao: Universidad de Deusto; 2008.
11. Shumway JM, Harden RM. AMEE Guide no. 25: Te
assessment of learning outcomes for the competent and
refective physician. Med Teach 2003; 25: 569-84.
12. Newble DI, Jaeger K. Te efect of assessments and ex-
aminations on the learning of medical students. Med
Educ 1983; 17: 165-71.
13. Wood D. Formative assessment. Edinburgh: Association
for the Study of Medical Education; 2007.
14. Van der Vleuten CPM. Te assessment of professional
competence: developments, research and practical im-
plications, Adv Health Sci Educ 1996; 1: 41-67.
15. Brailovsky CA. Educacin mdica, evaluacin de las
competencias. In OPS/OMS, eds. Aportes para un cam-
bio curricular en Argentina. Buenos Aires: University
Press; 2001. p. 103-20.
16. Norcross WA, Henzel TR, Freeman K, Milner-Mares J,
Hawkins RE. Toward meeting the challenge of physician
competence assessment: the University of California,
San Diego Physician Assessment and Clinical Education
(PACE) Program. Acad Med 2009; 84: 1008-14.