Professional Documents
Culture Documents
Michel Flament
25-27 setiembre 2007 25 Darscht & Snoeck
Thomas L. Saaty
Es un matemtico nord-americano docente en la Universidad de Pittsburgh, donde ensea en la Escuela de Negocios Joseph M. Katz. Es el inventor, arquitecto y terico del Proceso Analtico Jerrquico (Analytic Hierarchy Process), un entorno para la toma de decisiones aplicado en entornos multi-agentes y complejos, multi-criteria decision analysis, y del Proceso Analtico en Red (Analytic Network Process) que es una generalizacin del problema de decisiones con dependencia y retroalimentacin.
DECISIONES ESTRATGICAS
Las decisiones estratgicas se inscriben dentro de un proceso (el PLAN ESTRATGICO) que debe tomar en cuenta: Objetivos Generales Objetivos Especficos Actividades Recursos varios El objetivo de la Planificacin Estratgica es el de seleccionar las acciones/actividades/escenarios que mejor se adecuan a los objetivos en funcin de recursos limitados: FINANCIEROS HUMANOS TCNICOS INSTITUCIONALES
Recursos
DECISIONES ESTRATGICAS CUAL ES LA MANERA DE TRATAR RACIONALMENTE EL PROBLEMA DE SELECCIN DE ACCIONES ESTRATGICAS ? EN TRMINOS GENERALES, EL PROBLEMA DE TOMA DE DECISIONES RACIONALES CONSISTE EN ELEGIR LAS MEJORES ALTERNATIVAS QUE PERMITAN RESOLVER UN PROBLEMA. DE HECHO, DADO UN CONJUNTO DE POSIBLES ALTERNATIVAS (ESCENARIOS / PROYECTOS / ACTIVIDADES) FACTIBLES, EL ENTORNO DE DECISIN PUEDE CONSISTIR EN: CLASIFICAR ALTERNATIVAS EN GRUPOS EQUIVALENTES SELECCIONAR UNA O MAS ALTERNATIVAS PRIORIZAR ALTERNATIVAS
CLASIFICAR (SORTING)
SELECCIONAR (CHOOSING)
PRIORIZAR (RANKING)
ESTRUCTURACION DE PROBLEMAS
En relacin a un conjunto de alternativas, es necesario definir en que trminos se va a plantear el problema, las llamadas problemticas de referencia SELECCIN CLASIFICACION ORDENAMIENTO DESCRIPCION
1. AHP divide los criterios en componentes manejables. 2. Permite estimar magnitudes relativas y derivar prioridades como escalas de razn. 3. Es posible organizar, priorizar y sintetizar temas complejos dentro de un marco racional.
-Trataremos primero el problema de la Seleccin del Gerente General de la empresa Pinkerton (Ejemplo 1); - Luego ampliaremos el tema con otro ejemplo, el caso de una Pyme que debe seleccionar un proyecto de inversin (Ejemplo 2); - Plantearemos un ejercicio a realizar por Uds. - Generalizaremos el tema de las decisiones racionales con una exposicin de las axiomticas subyacentes en los mtodos multicriterio; - Finalmente presentaremos otras estructuras jerrquicas en el marco del software EXPERT CHOICE.
EJEMPLO 1
10
SELECCIN DE UN GERENTE GENERAL PARA LA AGENCIA PINKERTON DADA LA INMINENTE JUBILACION DEL GERENTE GENERAL DE LA AGENCIA DE DETECTIVES PINKERTON, EL DIRECTORIO HA DECIDIDO LLAMAR A CONCURSO ABIERTO INTERNACIONAL PARA SELECCIONAR UN REEMPLAZANTE. LUEGO DE LA CONVOCATORIA, EN LA QUE SE PRESENT GRAN CANTIDAD DE POSTULANTES, EL DIRECTORIO RETUVO LA SIGUIENTE LISTA CORTA DE CANDIDATOS: PEPE CARVALHO ISIDRO PARODI EUGENE VIDOCQ PHILIP MARLOWE
11
12
1. Una vez construida la estructura jerrquica, en este caso muy simple, el comit de seleccin debe proceder primero a determinar la importancia de los criterios mediante su comparacin por pares respecto al objetivo principal (Goal). 2. Se utiliza a tal efecto la escala propuesta por Saaty (1 a 9). 3. Cuando dos elementos son de la misma importancia (respecto del criterio inmediato) se les adjudica el valor 1. 4. Cuando un elemento es extremadamente mas importante que otra (respecto del criterio inmediato), se le adjudica el valor 9. 5. En funcin del grado de importancia o de dominacin de un elemento respecto de otro, se utilizan valores intermedios.
ESCALA DE SAATY En definitiva, los valores de la escala de Saaty son utilizados para comparar dos elementos a y b, respecto de un criterio C inmediatamente superior. Entre estos elementos pueden darse las siguientes intensidades: 1
3 5 7 9 a es de la misma importancia que b a es levemente ms importante que b a es fuertemente ms importante que b a es enormemente ms importante que b a es absolutamente ms importante que b
13
1 3 5
1/3 1 4
1/5 1
Experiencia
Un procedimiento manual posible consiste en obtener las sumas por filas y luego un porcentaje. Este porcentaje representa a las prioridades aproximadas de los criterios.
Seleccin de gerente Formacin Organizacin Experiencia Suma por filas
Formacin Organizacin
1 3 5
1/3 1 4
1/5 1
Experiencia
15,783
1,000
14
Los elementos de la diagonal principal tienen todos valor 1, ya que cada elemento es igualmente importante con si mismo. Los elementos por debajo de la diagonal principal son la inversa de los elementos simtricos situados por encima de la diagonal principal: en efecto, si a es 2 veces mas importante que b respecto de un criterio, entonces b es dos veces menos importante que a respecto de ese criterio. En el mtodo de Saaty debe verificarse la consistencia lgica de las comparaciones: a preferido a b, y b preferido a c a preferido a c
Las prioridades de los criterios, luego de los clculos manuales efectuados, resultan ser las siguientes: FORMACIN ORGANIZACIN EXPERIENCIA 0.0971 0.2693 0.6336
15
A B C
EN ESTE EJEMPLO SE OBSERVA QUE LA OBTENCION DE PRIORIDADES MEDIANTE LA MEDIA GEOMTRICA ES SUPERIOR AL PROMEDIO POR FILAS, YA QUE LA SOLUCION EXACTA ES, PRECISAMENTE, LA QUE DIO LA MEDIA GEOMTRICA
16
CONSISTE EN OBTENER POTENCIAS SUCESIVAS DE LA MATRIZ DE COMPARACIONES, HASTA QUE LA VARIACIN DE LOS RESULTADOS (CADA UNO DE LOS ELEMENTOS DE LA MATRIZ RESULTANTE) SEA MENOR QUE UN NMERO PREFIJADO. LA MATRIZ NORMALMENTE CONVERGE LUEGO DE UNAS CUANTAS ITERACIONES
lim A n para n
Una vez realizada la comparacin de criterios, el procedimiento de Saaty consiste en bajar al nivel inferior siguiente. En este caso se trata ahora de comparar los candidatos (alternativas) respecto de cada uno de los 3 criterios establecidos previamente
17
Comparacin de candidatos respecto al criterio Formacin Formacin Carvalho Marlowe Parodi Carvalho Marlowe Parodi
Vidocq Vidocq
1 1/1 1/ 1 1/ 2
1 1 1/ 2 1/2
1 2 1 1/1
2 2 1 1
1 1/1 1/ 2 2
1 1 1/ 2 2
2 2 1 2
18
1 2 1/ 1 2
1/2 1 1/2 2
1 2 1 2
Las comparaciones realizadas permiten obtener una priorizacin de los candidatos, primero respecto al criterio inmediato superior y luego respecto al objetivo general (goal).
En cada caso la priorizacin es un puntaje entre 0 (cero) y 1 (uno) En este caso particular, las priorizaciones obtenidas para el criterio Formacin son las siguientes: Marlowe Carvalho Parodi Vidocq 0.343 0.285 0.200 0.171
19
Las prioridades obtenidas en cada uno de los tres criterios son las siguientes:
CRITERIOS / CANDIDATOS FORMACIN (0.0971) CAPAC. ORGANIZACIN (0.2693) EXPERIENCIA (0.6336)
VIDOCQ MARLOWE
CARVALHO PARODI
0.358 0.287
0.196 0.158
EL CANDIDATO SELECCIONADO ES VIDOCQ, YA VIDOCQ, QUE POSEE LA PRIORIDAD GLOBAL MAS ELEVADA
20
PARODI
CARVALHO
MARLOWE
VIDOCQ
21
TAMBIEN FUE UN MODELO PARA EUGENE SUE Y PARA EDGAR ALLAN POE EN EL PERSONAJE DEL DETECTIVE AUGUSTE DUPIN. PERO FUE BALZAC QUIEN LE DIO UN CARCTER MAS DEFINIDO EN LA COMEDIA HUMANA EN EL PERSONAJE DE VAUTRIN, ABATE HERRERA O TROMPE-LA-MORT. EN ESPLENDORES Y MISERIAS DE LAS CORTESANAS, BALZAC DESCRIBE EL ARRESTO DE VAUTRIN, Y EN UNA PIEZA ANTOLGICA, DESNUDA EL SISTEMA JUDICIAL (EL INTERROGATORIO DE VAUTRIN POR EL JUEZ DE INSTRUCCIN ) Y LA OFERTA OFICIAL PARA SU INCORPORACIN AL SISTEMA POLICIAL DEL IMPERIO.
VIDOCQ EN EL CINE
Grard Depardieu asumi el personaje de Vidocq en el film homnimo realizado en 2001. Hubo muchas otras versiones flmicas, y series de TV sobre Vidocq, en aos tan tempranos como 1909, 1910, 1911, 1922, 1938, 1967, 1971..
22
LOS RESTANTES PERSONAJES (CANDIDATOS) SON DE FICCIN: PEPE CARVALHO ES DEL ESPAOL MANUEL VAZQUEZ MONTALBN ISIDRO PARODI ES DE LOS ARGENTINOS BUSTOS DOMECQ PHILIP MARLOW ES DEL AMERICANO RAYMOND CHANDLER
23
Seleccin de Proyectos
Una Pyme ha generado excedentes de caja que le permite elegir un proyecto de inversin entre tres que se encuentran en lista de espera. Estos 3 proyectos A, B y C tienen un nivel de formulacin avanzado, lo que permiti elaborar algunos indicadores financieros clsicos, como la TIR y el Pay Back. Sin embargo, la direccin de la empresa desea tomar en cuenta otros aspectos tales como 1) el costo inicial de inversin, 2) los posibles riesgos asociados a los proyectos y 3) las dimensiones financieras.
Seleccin de Proyectos
Estos puntos de vista (o tambin dimensiones o criterios) pueden ser debidamente estructurados dentro de un esquema jerrquico tal como el AHP. En definitiva el esquema de seleccin de proyectos va a estar compuesto por criterios objetivos y por criterios subjetivos.
24
Seleccin de Proyectos
TIR CRITERIOS OBJETIVOS Pay Back Inversin inicial Nivel de riesgo CRITERIOS SUBJETIVOS Nivel de dificultad en la obtencin de financiamiento (*)
* Incluye los esfuerzos en desplazamientos, reuniones, y en tiempo para preparar y discutir los Formularios, los trmites, los complementos de informacin, las garantas, etc.
Seleccin de Proyectos
Los consultores elaboraron en consecuencia la siguiente matriz de impactos (matriz de decisin o matriz de resultados en la jerga MCDM)
25
EJEMPLO DE SELECCIN DE CARTERAS DE PROYECTOS CON AHP CUADRO 1 MATRIZ DE DECISION - PUNTAJES ORIGINALES
ALTERNATIVAS A0 A1 B0 B1 C0 C1
RENT 16 18 15 20 12 15
PERI 5 4 2 1 3 2
FINA 0 2 0 1 0 3
A TOMAR EN CUENTA
EN EL PROBLEMA DE PINKERTON TANTO LOS CRITERIOS COMO LAS ALTERNATIVAS FUERON COMPARADAS POR PARES PARA LAS ALTERNATIVAS (CANDIDATOS) NO SE DISPONA DE PUNTUACIONES INDIVIDUALES RESPECTO A SUS MRITOS EN EL CASO PRESENTE DE SELECCIN DE PROYECTOS, LOS CRITERIOS NO POSEEN PUNTUACIONES INDIVIDUALES, Y DEBERN SER EVALUADOS DE ACUERDO AL PROCEDIMIENTO DE SAATY. LAS ALTERNATIVAS, EN CAMBIO, TIENEN PUNTUACIONES INDIVIDUALES (OBJETIVAS O SUBJETIVAS, NUMRICAS O SEMNTICAS) QUE VAN A PERMITIR QUE SE EVITE LA COMPARACIN PORPARES
26
Seleccin de Proyectos
COMENTARIOS Los proyectos finalmente retenidos para ser evaluados son 6. A cada uno de los proyectos originales A, B y C se le asocia su alternativa con financiamiento. En consecuencia las alternativas A0, B0 Y C0 no tienen financiamiento, y los proyectos A1, B1 y C1 tienen un 50 % de financiamiento sobre la inversin inicial. Se adoptaron 4 niveles de dificultad de financiamiento (0,1,2 y 3). El nivel 0 corresponde a un financiamiento nulo, es decir que no hay dificultad asociada al proyecto. Los niveles de riesgo han asumido tres valores (alto medio y bajo) y fueron determinados por la direccin de la Pyme. Es importante determinar el sentido de preferencia de los criterios para no cometer errores en el proceso de comparacin y/o evaluacin.
EJEMPLO DE SELECCIN DE CARTERAS DE PROYECTOS CON AHP CUADRO 1 MATRIZ DE DECISION - PUNTAJES ORIGINALES
ALTERNATIVAS A0 A1 B0 B1 C0 C1
RENT 16 18 15 20 12 15
PERI 5 4 2 1 3 2
FINA 0 2 0 1 0 3
27
CRITERIOS GOAL
ALTERNATIVAS
28
LA RENTABILIDAD Y EL PERODO DE REPAGO (PAY BACK) SON LOS CRITERIOS MAS IMPORTANTES PARA LA DIRECCIN (66%)
A B C
A 1 1/3 1/2
B 3 1 1/2
C 2 2 1
EN ESTE EJEMPLO EL COEFICIENTE DE INCONSISTENCIA CALCULADO POR EXPERT CHOICE ES DEL 13%, ES DECIR SE IMPONE UNA REVISION DE LAS COMPARACIONES.
29
Contrariamente al caso del ejemplo 1, las alternativas del problema presente ya fueron calificadas de acuerdo a valores de referencia (objetivos o subjetivos), que en la terminologa de Saaty se denominan valores absolutos. No hay inconvenientes en colocar los valores, numricos o verbales, directamente dentro del esquema de priorizacin. Sin embargo puede ocurrir que en las escalas utilizadas para las calificaciones de las alternativas, el analista o el directorio no desee aplicar transformaciones lineales. Por ejemplo cuando se trata de la rentabilidad de los proyectos, puede ocurrir que la diferencia entre una TIR del 12% al 18% no quede reflejada en una apreciacin proporcional a ese cambio, sino que al pasar del 12% al 18% el incremento sea valorado de manera exponencial, con una mayor cuantificacin de beneficios con la ltima tasa. En este caso debe utilizarse el mecanismo de los Ratings
30
CON LOS RATINGS LAS ESCALAS SON PREVIAMENTE COMPARADAS POR PARES
LA COLUMNA TOTAL REFLEJA LA PRIORIZACIN GLOBAL DE LAS ALTERNATIVAS, TOMANDO EN CUENTA LOS VALORES NUMRICOS OBTENIDOS CON LOS RATINGS
31
FUNCION DE VALOR
1,00 0,90 0,80 0,70 0,60 0,50 0,40 0,30 0,20 0,10 0,00
1,000
0,563
NIVEL DE RIESGO
1,00
FUNCION DE VALOR
N3
N2
N1
N0
ESCALA FINANCIAMIENTO
32
1,00 0,90 FUNCION DE VALOR 0,80 0,70 0,60 0,50 0,40 0,30 0,20 0,10 1
1,000
0,510
CLARAMENTE EL PROYECTO CON MAS ALTO PUNTAJE ES EL B1 , Y LUEGO EL B0 , DE ACUERDO AL PUNTAJE GLOBAL OBTENIDO
33
LOS PROBLEMAS DE REVERSION DE RANGOS PUEDEN PRODUCIRSE: POR NORMALIZACION DE LAS ESCALAS POR INTRODUCCION DE OTRAS ALTERNATIVAS
A1 A2 W
C1 9 1 0,4
C2 3 8 0,6
34
PROBLEMA DE REVERSIN DE ORDEN DEBIDO A LA NORMALIZACION La normalizacin de la matriz de decisin como fraccin del mximo de cada elemento da los siguientes resultados:
A1 A2 W
wi * ri 0,625 0,644
PROBLEMA DE REVERSIN DE ORDEN DEBIDO A LA NORMALIZACION En cambio la normalizacin de la matriz de decisin como fraccin de la suma de cada elemento da otros resultados:
A1 A2 W
wi * ri 0,524 0,476
35
2. Evaluacin segn el atributo Q A B Q A 1 3 B 1/3 1 Las prioridades sintticas son: WA = 0,542 WB = 0,458 Conclusin: A es preferido a B
PROBLEMA DE REVERSIN DE ORDEN - EJEMPLO CON UNA ALTERNATIVA ADICIONAL (se mantienen las valoraciones entre A y B del caso anterior)
1. Evaluacin segn el atributo P A B P A 1 5 B 1/5 1 C 1 5 C 1 1/5 1 Prioridades 0,455 0,090 0,455
2. Evaluacin segn el atributo Q A B Q A 1 1/3 B 3 1 C 1/2 1/6 Las prioridades sintticas son: WA = 0,338 WB = 0,379 WC = 0,283
C 2 6 1
36
En el AHP hay una manera de permitir que el orden cambie: (1) Puede permitirse la inversin de orden usando el modo distributivo del enfoque de medida relativa del AHP
Y hay dos maneras para preservar el orden de las alternativas: (2) En caso de alternativas irrelevantes, usando el modo ideal del enfoque de medida relativa del AHP (3) Usando el modo de medida absoluta del AHP
INDICE DE DESARROLLO HUMANO LA CALIFICACION DE EMPLEADOS PARA AUMENTOS SALARIALES LA GUERRA COMERCIAL DE USA CON CHINA POR LOS DERECHOS DE PROPIEDAD INTELECTUAL EL PROGRAMA DE ASISTENCIA A ENFERMOS TERMINALES (HOSPICE PROBLEM) EL DESARROLLO DE UNA AREA METROPOLITANA
37
Desde 1990/1991 el PNUD viene elaborando un estudio anual sobre la situacin social de varios pases, en el que se analiza el comportamiento del llamado Indice de Desarrollo Humano (IDH Human Development Index), que arroja informacin relevante sobre varias caractersticas y diferencias sociales por pases y por regiones.
38
OTRO EJEMPLO
39
Experience (0.048) >15 years (0.61) 6-15 years (0.25) 3-5 years (0.10) 1-2 years (0.04)
Quality (0.360) Excellent (0.64) Very Good (0.21) Good (0.11) Poor (0.04)
Attitude (0.082) Enthused (0.63) Above Avg. (0.23) Average (0.10) Negative (0.04)
Leadership (0.235) Outstanding (0.54) Above Avg. (0.23) Average (0.14) Below Avg. (0.06) Unsatisfactory (0.03)
Masters
(0.25).25/.59 =.43
The total score is the sum of the weighted scores of the ratings. The money for raises is allocated according to the normalized total score. In practice different jobs need different hierarchies.
40
WASHINGTON, D.C., U.S.A., 1996 FEB 21 (NB) Por segunda vez la Software Publishers Association (SPA) identific a China y Rusia como pases dnde la piratera es muy alta, a tal punto que una sola copia legtima de software poda satisfacer las demandas de todo el pas. SPA estimaba que mas del 90 % de las aplicaciones de negocios utilizadas en China y Rusia en 1995 eran ilegales, siguindoles de cerca Korea del Sur y Grecia con una estimacin del 80 porciento. Las prdidas de los desarrolladores de software americano ocasionadas por esos pases se estimaba superar a los US$ 700 millones. Esta circunstancia llev a SPA a contactar al US Trade Representative (USTR) Mickey Kantor a efectos de tomar medidas contra China sobre la base de la Section 306 del Trade Act de 1974 por carencias en el reforzamiento de los derechos de propiedad intelectual en programas de computacin. En 1994, China fue clasificada como "Priority Foreign Country,.Esta clasificacin determin la imposicin de sanciones monetarias de cerca de un billn de US$ en sanciones comerciales contra China. El da anterior a la efectividad de las sanciones China finalmente acept alinearse con los acuerdos de la PI.
41
COSTS
$ Billion Tariffs make Chinese products more expensive (0.094) Retaliation (0.280) Being locked out of big infrastructure buying: power stations, airports (0.626)
Yes 0.787
No 0.213
RISKS
Long Term negative competition (0.683) Effect on human rights and other issues (0.200) Harder to justify China joining WTO (0.117)
Result:
YES
= 1.55
NO
= 3.16
42
OTRO EJEMPLO
43
ATENCION A ENFERMOS TERMINALES Aproximacin al Problema En este problema la pregunta es si los beneficios justifican a los costos. Para ello usamos 2 jerarquias a efectos de realizar una eleccin, elaborando los ratios de las prioridades de cada una de las alternativas (beneficios bi/costos ci). Uno se pregunta cual es la mejor alternativa en la jerarquia de beneficio (Figura 1) y cual es la mas costosa en la jerarquia correspondiente (Figura 2). Si los beneficios no justifican los costos, solamente los costos determinarn la mejor alternativa aquella que es menos costosa. En un problema con riesgo debe determinarse una tercera jerarquia que se emplear para determinar la alternativa mas deseada respecto de las tres instancias: beneficios, costos, y riesgos. En este problema particular hemos asumido que los riesgos son iguales para todas las contingencias.
44
ATENCIN ENFERMOS TERMINALES : ESTRUCTURA DE COSTOS (Figura 2) En la jerarqua de costos haba tambin tres mayores intereses en el segundo nivel, que podan ocasionar costos o dolor: la comunidad, la institucin, y la sociedad. En este arbol los costos incurridos por el paciente no fueron incluidos como factor separado. El paciente y su familia podan ser considerados como parte de la comunidad. Se decidi que la descomposicin era necesaria solamente para los costos institucionales. Se incluyeron 5 de estos costos en el tercer nivel: costos de capital, costos operativos, costos educacionales, costos de endeudamiento, y costos de reclutamiento. Dado que ambas estructuras conciernen a la misma decisin, fueron incluidas las mismas alternativas en los niveles inferiores de las dos jerarquas, an cuando la estructura de costos tiene menos niveles.
FIGURA 1
45
FIGURA 2
Modelo I
Modelo II
Modelo III
La alternativa seleccionada es el Modelo II debido a su mayor relacin beneficio-costo (2,14) frente a las restantes (0,6 para el Modelo I y 0,73 para el Modelo III). Por otra parte tiene el mejor ratio marginal o incremental con 33 puntos.
46
OTRO EJEMPLO
PROBLEMA DEL CRECIMIENTO METROPOLITANO En las figuras siguientes se analizan 9 alternativas en trminos de sus beneficios, costos y riesgos, cuyo propsito es contribuir al crecimiento metropolitano. Nuevamente la pregunta aqu es cual de ellas es mas riesgosa y al final del proceso se dividen los cocientes o ratios beneficio-costo por la prioridad global en riesgo de cada alternativa. Las alternativas son: Construir infraestructura (para caminos, telecomunicaciones, bancos, etc.), Mejorar la calidad de vida, Reducir impuestos, Entregar terrenos para expansin, Favorecer el aumento en el turismo, Ampliar el puerto, Apoyar industriar, Mejorar las conecciones regionales y Mantener el status quo (no hacer nada), Se aplic el modo distributivo para sintetizar las prioridades de las alternativas. No se brindan las matrices de comparacin por pares para ahorrar espacio
47
48
Industry
Port
Infra
Region
Life
Tax
Tourism
Land
Status
De acuerdo a la relacin B/C, se seleccionara Tax (1,7) siguiendo luego Land (1,4) Con la relacin B/CR se seleccionara otra vez Tax (39,0) y luego Life (22 ,7) Finalmente, con la relacin incremental B/C, se obtendra primero Land (1,8) y luego Status (1,2)
RESUMIENDO.. RESUMIENDO..
EL METODO DE SAATY ES UNA METODOLOGIA DE ABORDAJE DE PROBLEMAS COMPLEJOS MEDIANTE DOS TIPOS DE HERRAMIENTAS CON NIVEL CRECIENTE DE COMPLEJIDAD: EL METODO ANALITICO JERARQUICO (ANALYTICAL HIERARCHY PROCESS AHP) Y EL METODO ANALTICO EN RED (ANALYTICAL NETWORK PROCESS ANP) AMBOS ELABORADOS POR THOMAS SAATY
49
50
51