Professional Documents
Culture Documents
Introduccin
Mucho se ha hablado y existe consenso generalizado, acerca de la importancia de las mediciones para apreciar los
progresos y sentar las bases de futuras mejoras en la forma de gestionar proyectos. Sin embargo, en la prctica las
organizaciones encuentran dificultades para llevar adelante programas de medicin de manera consistente y
sostenible. Se invierten importantes esfuerzos en definir, recolectar y explotar datos que no siempre representan
indicadores tiles para caracterizar, predecir, evaluar y mejorar los resultados.
Frente a una situacin similar presentada unos aos atrs en la industria del Software, se formularon metodologas
que sistematizan el proceso de definicin hasta llegar a la formulacin de un Plan de Mtricas. Son reconocidos los
aportes metodolgicos de: Goal-Question-(Indicator) Metrics [GQ(I)M] y Practical Software and System
Measurement: A Foundation For Objetive Project Management (PSM ). sta ltima es ms elaborada y refleja las
buenas prcticas recogidas y consolidadas por destacadas empresas durante varios aos de experiencia en la
industria y el gobierno.
El objetivo principal de nuestro trabajo es presentar parte de un caso prctico y ensayar su aplicacin en la direccin
de programas y proyectos. Se describen de modo muy general los 10 pasos del procedimiento GQ(I)M y se muestra
un caso de aplicacin que llega hasta el paso en que se generan indicadores. Queda fuera del alcance del presente
trabajo la identificacin de fuentes de datos, especificacin detallada de los procedimientos e implantacin de las
mediciones. El ejercicio se realiza desde el punto de vista de la Oficina de Proyectos y con foco en la mejora de los
resultados de la organizacin.
En las conclusiones se destacan los beneficios y dificultades observados.
medido por
% de proyectos que alcanzan las expectativas (en tiempo, dentro del presupuestoy alcanzando los
requerimientos ponderados por importancia)
Metodologa
El objetivo es definir un conjunto de mtricas tiles, relevantes e implementables. Buscamos un modelo eficaz para
decidir qu medir y elegimos el enfoque Goal-Queston-Metric (GQM) por su orientacin a las metas. Tambin se
podra haber elegido el enfoque PSM citado anteriormente. Posteriormente estudiamos la variante propuesta por
Parker (Park, 1996) de Goal-Question-(Indicator)-Metric y la encontramos adecuada para nuestro caso porque ayuda
a llegar desde objetivos informales a estructuras de medicin ejecutables.
Una caracterstica interesante es que este mtodo se puede aplicar a nivel estratgico de la organizacin, del
proyecto o de ambos simultneamente, ya que puede arrancar desde cualquier nivel que tenga metas
razonablemente definidas. En primer lugar se busca desarrollar mtricas genricas, tiles para todos los
proyectos, de modo de alimentar los archivos histricos de la organizacin (oficina de proyectos) y poder
realizar comparaciones que permitan mejorar el desempeo de la organizacin en futuros proyectos.
Complementariamente el director de proyecto puede utilizar mtricas propias, que se agreguen pero nunca
sustituyan ni modifiquen las adoptadas por la empresa. Importa lograr que la informacin obtenida se exprese de
modo de poder compararla con otras organizaciones, habilitando benchmarking y facilitar la aplicacin de modelos
de madurez.
Las mtricas resultantes corresponden a las necesidades de negocio y a la madurez organizacional de un momento
dado. Como stas cambian permanentemente, es necesario plantear la medicin como un proceso (Hill, 2004).
Basili y sus colegas (Basili, 1989) presentan un proceso de 6 pasos para aplicar la metodologa en de Goal
Question Metric (GQM):
1. Desarrollar un conjunto de metas de productividad y calidad, con sus mtricas asociadas, aplicables a
objetivos corporativos, divisionales y de proyectos del negocio.
2. Generar preguntas basadas en modelos- que definan dichos objetivos lo ms completamente posible, de
manera cuantitativa.
3. Especificar las mtricas necesarias para responder a dichas preguntas y realizar los seguimientos de
cumplimiento (conformidad) de las metas fijadas para los procesos y productos.
4. Desarrollar mecanismos de recoleccin de datos.
5. Recolectar, validar y analizar los datos en tiempo real para proporcionar retroalimentacin que genere
acciones correctivas en los proyectos.
6. Anlisis post mortem de los datos para evaluar la conformidad con los objetivos y realizar
recomendaciones para futuros desarrollos.
Posteriormente se desarrolla una versin mejorada por Park (Park,, 1996) y se formula la metodologa GoalQuestion-(Indicator)-Measure en 10 pasos: que se representa en Figura 1.
1. Identificar los objetivos de negocio.
2. Identificar qu desea conocer o aprender.
3. Identificar submetas.
4. Identificar entidades y atributos relacionados con dichas submetas.
5. Formalizar los objetivos de las mtricas.
6. Identificar preguntas cuantificables y los correspondientes indicadores a usar para alcanzar los objetivos
de las mediciones.
7. Identificar los elementos de datos que debern recolectarse para construir dichos indicadores.
8. Definir las mtricas a usar y las definiciones operativas
Lo que
debemos
cumplir
Meta 2
(Goal)
3.- Submetas
Preguntas para
comprender
Pregunta 1
(Question)
Pregunta 2
(Question)
Pregunta 3
(Question)
7.- Mtricas
8.- Definiciones
Mtrica 1
Mtrica 2
Mtrica 3
Medidas para
responder las
preguntas
10.-Implantacin
M1
M2
M3
M4
Qu queremos mejorar?
2006, Cristina Zerpa
3
Originally published as a part of 2006 PMI Global Congress Proceedings Santiago, Chile
De esta forma se identifica informacin cuantitativa relevante para caracterizar, predecir, evaluar y mejorar los
resultados y la forma en que los logramos.
En la tabla 2 vemos las preguntas generadas en este paso fueron:
Paso 2.- qu necesito conocer para satisfacer metas de paso 1?
M2
M3
M1
M4
9. .
Tabla 2.- preguntas o implicancias obtenidas en Paso 2 y asociadas a las metas identificadas en Paso 1
En este paso no nos preocupamos por precisar el contenido de las preguntas, ya que su formulacin se ajustar ms
adelante.
Grupo de
preguntas
1.
2.
3.
4.
6.
7.
8.
9.
10. Los integrantes del equipo de trabajo ven cubiertas sus expectativas?
Tabla 3.- Preguntas o implicancias obtenidas en Paso 2, agrupadas por elementos de los proyectos
Luego estos 6 grupos se transforman en submetas (ver tabla 4). En este proceso la asignacin de grupos no es
determinstica, ya que una pregunta puede estar asociada a ms de un grupo y esta asignacin es opinable. Notamos
que esta circunstancia no deteriora el proceso y que lo ms importante es no perder objetivos entre un paso y otro.
Grupos de preguntas
Tabla 4.- Submetas del Paso 3, derivadas de los grupos de implicancias del Paso 2
Entidad
Plan
Atributo
Desvo en plazo
Desvo en costo
Cobertura del alcance del proyecto
Cantidad de fallos encontrados
luego de entregado
Tabla 5.- submetas identificadas en Paso 3 con entidades y atributos asociados durante Paso 4
Las submetas identificadas en este ejercicio son del tipo activas ya que estn orientadas a mejorar ms que a
conocer o evaluar.
A cada fila de la tabla que sale del Paso 4 (submeta, entidad, atributo) le asociamos una medicin. Luego a
cada medicin le asociamos un propsito, perspectivas y comentarios relevantes de entorno y restricciones.
en el PLAN del Proyecto
Medimos:
bajo la
Perspectiva del:
en el entorno de:
Desvo en plazo
Mejorar capacidad de
planificar apoyados en
capacidad real (1)
Cliente
la ejecucin del
proyecto, de acuerdo al
compromiso original y
a lnea base vigente
Proyecto
la ejecucin del
proyecto, de acuerdo al
compromiso original y
a lnea base vigente
bajo la
Perspectiva del:
en el entorno de:
Proyecto
Desvo en costo
Mejorar capacidad de
planificar apoyados en
capacidad real (1)
en el Plan de Comunicaciones
Medimos :
Retroalimentacin recibida
Mejorar las
comunicaciones (3)
Tabla 6.- Mtricas asociadas a objetos, propsito (segn Paso 4), perspectiva, entorno y restricciones
Recordamos que se parte de la base de que en todos los proyectos existen los documentos bsicos de Constitucin,
Definicin de Alcance y Plan de Proyecto con sus planes subsidiarios, as como la informacin correspondiente a
las instancias formales de seguimiento.
Para describir los indicadores, se formula la tabla 7 de la siguiente manera:
Definicin del Indicador
XXX
en el objeto
Medimos:
el atributo
bajo la
Perspectiva del:
en el entorno de:
stakeholder
las actividades
correspondientes al
rea
El indicador XXX
sirve para analizar el objeto,
enfocados en el atributo,
con el propsito de {mejorar, conocer, asegurar, },
desde el punto de vista del stakeholder y
en el entorno de las actividades correspondientes al rea.
.
2006, Cristina Zerpa
6
Originally published as a part of 2006 PMI Global Congress Proceedings Santiago, Chile
bajo la
Perspectiva del:
en el entorno de:
Desvo en plazo
Mejorar capacidad de
planificar apoyados en
capacidad real (1)
Cliente
la ejecucin del
proyecto, de acuerdo al
compromiso original y
a lnea base vigente
Analizar el Plan del Proyecto enfocados en el nivel de desvos en plazo, con el propsito de mejorar la capacidad de
planificar apoyados en capacidad real desde el punto de vista del cliente y en el entorno de la ejecucin del proyecto
(de acuerdo al compromiso original y a la lnea base vigente).
Los desvos se pueden cuantificar utilizando la tcnica del Valor Ganado (Earned Value) y representar con una
grfica de lneas. El indicador adecuado para los desvos en plazo es el de performance de cronograma (SPI).
La forma de aplicar esta tcnica aparece explicada en el PMBOK y sirve tanto para detectar desvos en calendario
como en costo, as como para realizar proyecciones de plazo y costo final del proyecto (o fase).
En proyectos de desarrollo de software se puede aplicar a unidades de trabajo finalizadas y probadas. La ndole de
estas unidades vara segn la etapa del proyecto. En la primera parte del relevamiento pueden ser reas a relevar del
negocio (contable, comercial, personal, ..), luego pueden ser casos de uso a especificar y disear, ms tarde
programas, puntos de funcin o puntos de objetos a construir y probar, finalmente pueden ser sectores de la
organizacin con el sistema implantado.
Esta misma representacin sirve para desvo en costo, utilizando el indicador de performance en costo (CPI) del
mtodo de valor ganado.
El valor ms interesante de este paso es la visualizacin de la presentacin de los indicadores, la que acta como
prototipo til para validar los requerimientos de gestin antes de entrar en la construccin e implementacin de los
mecanismos.
Queda fuera del alcance de este trabajo la formulacin de todas las preguntas de todos los indicadores, por lo que en
la Figura 2 presentamos una muestra de posibles visualizaciones.
exitosos
p ro d u c id o
cancelados
fuera de plazo
120
100
80
60
40
20
0
40
30
20
10
0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
fuera de
presupuesto
20
preventivas
10
correctivas
horas de retrabajo
50%
otros
100%
30
40
30
20
10
0
falla s oft.
de base
TOTAL
PROCESOS
semanas
causas de no conformidades
trimestre 1 de 2006
falla de
c om unic
ac in
usan metodol.
A B C D E F G H I
0%
A B C D E F G H I
Estas representaciones se validan con los responsables de la gestin de las diferentes reas de informtica, de modo
de asegurar su utilidad. Encontramos conveniente aprovechar esta instancia para priorizar los indicadores, de modo
de justificar la inversin asociada a las correspondientes mediciones.
Conclusiones
La aplicacin de un proceso de obtencin de mtricas enfocado y guiado por los objetivos tiene como gran ventaja el
asegurar la utilidad estratgica de las mtricas definidas. Este aspecto es particularmente relevante si consideramos
que las principales causas de fracaso de los programas de medicin estn relacionadas con cuestiones culturales,
carencias en uso y compromiso de involucrados.
El mtodo usado es totalmente trazable desde la identificacin de las metas estratgicas hasta las definiciones
operativas y viceversa. El mecanismo de elaboracin gradual contiene frecuentes puntos de control para asegurar
revisiones y facilita todas las vueltas a pasos anteriores necesarias para comprender y acordar todas las definiciones
intermedias.
2006, Cristina Zerpa
8
Originally published as a part of 2006 PMI Global Congress Proceedings Santiago, Chile
Resulta un mtodo muy apropiado para comenzar con un programa de mtricas o renovarlo en aquellas
organizaciones cuya implantacin no fue exitosa.
La flexibilidad del enfoque permite aplicarlo de manera total o parcial a diferentes niveles; empresa, rea, procesos o
proyectos. Esta caracterstica facilita las implantaciones incrementales y evolutivas.
Otra ventaja es que es compatible y constituye un buen complemento de otros modelos y metodologas actualmente
muy difundidos en la industria de informtica, como COBIT, ITIL, PMI, CMMI.
El resultado final es una lista plana de indicadores y operativa asociada, donde hay prioridad, pero no estructura
de agregacin. Esto evidencia una debilidad consistente en no plantear formas de agregacin de conceptos y el
desglose en subconceptos que suele ser necesaria en la evaluacin de productos. Entendemos que podra
complementarse con modelos ms fuertes en los fundamentos del dominio de mtricas e indicadores.
Otro aspecto a mejorar en el procedimiento descrito en la bibliografa de CMMI (Parder,1996) es el desarrollo
formal y documentado de diferentes escenarios de obtencin, recoleccin y anlisis de datos, como sustento de la
eleccin de las mtricas, del plan de implantacin y sus futuras mejoras.
Referencias
Basili, V. R. Second Annual SEPG Workshop, Using Measurement for Quality Control and Process Improvement,
Software Engineering Institute,June 21-22, 1989, Carnegie Mellon University, Pittsburgh, Pa
Goethert, G, Hayes, B. (2001),Experiences in Implementing Measurement Programs, November 2001,Software
Engineering Measurement and Analysis Initiative, accedido el 27 de Agosto de 2006 en
http://www.sei.cmu.edu/pub/documents/01.reports/pdf/01tn026.pdf#search=%22%5BWolfhart%20%26%20Ha
yes%202001%5D%2CExperiences%20in%20Implementing%20Measurement%20Programs%22
Goethert, W., Siviy, J. (2004), Applications of the Indicator Template for Measurement and Analysis, Technical
Note CMU/SEI-2004-TN-024, accedido el 27 de Agosto de 2006 en
http://www.sei.cmu.edu/pub/documents/04.reports/pdf/04tn024.pdf#search=%22Applications%20of%20the%2
0Indicator%20Template%20for%20Measurement%20and%20Analysis%2C%20Technical%20Note%20CMU
%2FSEI-2004-TN-024%22
Hill, G. M. (2004), The Complete Project Management Office Handbook, Auerbach Publications
ITGI (2005) Objetivos de control de informacin y tecnologas relacionadas, ITGI, accedido el 27 de Agosto en
http://www.isaca.org/Template.cfm?Section=Home&CONTENTID=25514&TEMPLATE=/ContentManageme
nt/ContentDisplay.cfm
Kerzner H. (2003) Project Management: A Systems Approach to Planning, Scheduling and Controlling, Ed. 8va,
Wyley, USA
Niessink F, Hansvan V. 1999, Measurements Should Generate Value, Rather Than Data, Division of Mathematics
Proceedings of The Sixth International Software Metrics Symposium, November 4-6, 1999, Bocaraton, Florida,
USA, pp31-38
Park, R., Goethert, W, Florac, A.(1996), CMU/SEI-96-HB-002 August 1996, Goal-Driven Software
Measurement A Guidebook, accedida el 27 de Agosto de 2006 en
http://www.sei.cmu.edu/pub/documents/96.reports/pdf/hb002.96.pdf#search=%22CMU%2FSEI-96-HB002%20August%201996%2C%20GoalDriven%20Software%20Measurement%20%E2%80%94A%20%20Guidebook%22
Project Management Institute (2004) A Guide to the Project Management Body of Knowledge (PMBOK Guide).
Third Edition. Newtown Square, PA: Project Management Institute
PSM (2005), Measurements for DoD Projects, accedido el 22 de Agosto en http://www.psmsc.com/Products.asp