Competencias Al finalizar el tema, el estudiante deberd ser capaz de.... * Modelar una situacin real con una red bayesiana Redes bayesianas Nodos, enlaces, parametros Judea Pearl Entender el significado e importancia de las condiciones de independencia condicional Aplicar algoritmos de propagacion y aprendizaje basicos Predecir la evolucién de las probabilidades en la red conforme se adquiere nueva evidencia Manejar herramientas de implementacién de redes bayesianas (GENIE) Redes bayesianas indice Repaso de conceptos basicos de probabilidad Presentacion intuitiva Definicion formal de red bayesiana Teorema fundamental Modelado con redes bayesianas Algoritmo de propagacion de probabilidades en arbolesRepaso de probabilidad (I) * Definicién de probabilidad condicionada: P(X/Y) = P(X,Y)/P(Y) * Dos variables X e Y son independientes si se tiene que P(X/Y) = P(X) Caracterizacion de la independencia X e Y son independientes si y solo si P(X,Y) = P(X)-P(Y) * Dos variables X e Y son condicionalmente independientes dado una tercera variable Z si se tiene que P(X/Y,Z) = P(X/Y) Caracterizacién de la independencia condicional: Xe Y son independientes dado Z si y sdlo si P(x,Y/Z) = P(X/Z)P(Y/Z) También se dice que Z separa condicionalmente a X e Y Repaso de probabilidad (II) * Teorema de Bayes (teorema de inversién) PO X)P(X) Pixyy)= COT ¢ Ley de probabilidad total Sean Yj, ..., ¥, un conjunto de variables exhaustivo y excluyente. Entonces: PUX)= DPesnre) *Generalizacién de la ley de probabilidad total P(Y,/Y,) = ¥ P(Y,/X, Y,) P(X/Y,)Repaso de probabilidad (III) Calculo de di conjunta ibucién marginal a partir de la distribucién Dado un conjunto de variables aleatorias X,,...,X,, y sea p(X,,....X,) Su distribucién de probabilidad conjunta. La distribucién marginal de X; se calcula mediante: 2 P(X;=x)) = P(X my Xp) X; X, Método probabilistico clasico Trdlviduos Edad Obesidad | Hernia | indigestion | Vornitos TndividuoT | _ Mayor_50 0 70 no no Tndividuo 2 | — Mayar_50 m0 no no no Tndividuo’3 | _ Mayor_50 no no no no Tndividuo 4 | Mayor_50 no no no no TndividuoS | Mayor_50 no st no 7 Tndividuo 6 | _ Mayor_50 si st no st Tndividuo 7 | Mayor_50 si sf no sf Tndividuo 8 | Mayor_50 a st no Fl Tndividuo 9 | _Menor_50 70 no no no Tndividuo 10] Menor_50 no no no no Tndividuo 1] _Menor_50 70 no no ne Tndividuo 12) Menor_50 70 no no no Tndividuo 13] Menor_50 no no no no Tndividuo 14] Menor_50 70 ne no ne Tndividuo 15] Menor_s0 70 no no no Tndividuo 16] _Menor_50 no no no no Tndividuo 17] _Menor_50 no no si si Tndividuo 14] Menor_s0 = no no st Tndividuo 19] _Menor_50 Fl no Fl st Tndividuo 20] Menor_50 a no no noMétodo probabilistico clasico Se pide, a) Calcular la distripucién conjunta de las variables b) A partir de la distribucién conjunta calcula = Las distribuciones marginales P(Edad = Mayor_50) y P(Edad = Mayor_50, Hernia= si) = P(Hernia=si/Vomitos=si) (diagndéstico) = P(Vémitos=si/Obesidad=si, Hernia=si) Redes bayesianas indice = Presentacion intuitivaPresentacion intuitiva En una red bayesiana, cada nodo corresponde a una variable, que a su vez representa una entidad del mundo real Notacion: e X, variable o nodo ° x, valor (+x=si, +x=no) Los arcos que unen los nodos representan relaciones de influencia causal Presentacion intuitiva: ejemplo 1 Paludismo Gota Gruesa So \ P(+x) = 0.003 P(+y,/+x)= 0.992 P(+y,/>x)= 0.0006 Informacion cualitativa ° Nodos (variables) e Enlaces (relaciones de influencia causal) Informaci6n cuantitativa: ¢ La probabilidad a priori de los nodos que no tienen padres. ° La probabilidad condicionada de los nodos con padres.Presentacion intuitiva: significado de los parametros Paludismo Gota Gruesa (x) —_v Pl+y,/4x)= 0.992 P(+x) = 0.003 P(+y,/>x)= 0.0006 Enfermedad © P(+x) = 0.003 prevalencia Test © P(+y,/4x) = 0.992 sensibilidad © P(-y,/+x) = 0.008 falsos negativos © P(+y,/-x) = 0.0006 falsos positivos © P(-y,/-x) = 0.9994 especificidad En medicina siempre se buscan las pruebas con mayor grado de sensibilidad y especificidad Presentacion intuitiva: inferencias Inferencias a partir de los datos * La probabilidad a priori de Y,, P(+y,) = P(ty,/+x) P(+x) + P(+y,/7x) P(>x) = 0.00357 P(-y,) = P(=y,/+X) P(+x) + P(>y,/>x) P(>x) = 0.99643 . Las probabilidades a posteriori dada una evidencia observada e, P*(x) = P(x/e). Supongamos que el test de la gota gruesa ha dado positivo: P#(4x) = Pl+x/ty,) = Plt) Pl+yy/ +x) _0.003-0.992 _ 9 363 P(+y;) 0.00357 P*(>x) = P(>x/ty,) = P(-») P(ty)/-9) 9.997 :0.0006 _ 9 16937 P(4y)) 0.00357Presentacion intuitiva: inferencias La expresion general del teorema de Bayes que hemos utilizado es: p(x) = Pix/y)= Ply /XIPIX) Que podemos reescribir como; Y) P*(x) = a P(x) A(x) Donde a = [Ply) }? y A (x) = P(y/x). Utilizando esta nueva expresi6n: P*(+x) =e 0.003 0.992 = 0.00298 a P*(-x) = 0.997 0.0006 = 0.000598 « Y normalizando obtenemos el mismo resultado que antes. Presentacion intuitiva: ejemplo 2 (X) Pex) = 0.003 ae ww Y,= fiebre @ ) P(+y,/+x)= 0.992 P(tyy/+x)= 0. P(+y,/7x)= 0.0006 P(ty2/7x)= 0.017 Inferencias a) e = {ty,} P*(4x) = P(+x/+y,) = a 0.003 0.98 = 0.00294 a =0.148 P¥*(-x) = P(>x/ty,) =a 0.997 0.0017 = 0.016949 a =0.852Presentacion intuitiva: ejemplo 2 b) e = {ty,, ty2} Pty) =Poely, yo) = POE POLS P(y¥_/x) = Ply,/x) Ply,/x) MX) = Ay lX) Ay AX) Y entonces: P*(x) = at P(x) A(x) Presentacion intuitiva: ejemplo 2 Si seguimos con los calculos: P#(+x) = 0.9663 P*(=x) = 0.0337 Ejercicio propuesto: Utilizando esta formulaci6n, hallar P*(x) si e ={-y,, ty,} c) Seae= {ty,}. éCual sera el resultado del test? P*(y,) = Plys/v_) = >, Ply,/s; Va) Plx/y,) = >, Ply/x) PlXY,)P(Vn) Sea ay,(x) = P(x, y,) = P(x) Ply,/x) a= [Ply,) 4Presentacion intuitiva: ejemplo 2 Entonces P*(y,) = a S Ply,/x) a(x) Y finalmente: P*(+y,) = ot [ty (+x) P(+y,/+x)+ aty,(4x) P(+y,/>x)] = 0.14715 P¥(-y,) = oF [7%y,(+x) P(>y,/4%)+ my4(>x) P(>y,/>%)] = 0.85285 Conclusiones Las redes bayesianas permiten hacer inferencias: ¢ Abductivas: éctal es el diagndstico que mejor explica los hallazgos? Predictivas: écual es la probabilidad de obtener cierto resultado en el futuro? Razonamiento en rr.bb: ejemplo Red Asia Asia Abduccién Tuberculosis Bronquitis | PredicciénRedes bayesianas indice = Definicién formal de red bayesiana Definicién formal de red bayesiana Una red bayesiana es: e Unconjunto de variables proposicionales V; e Un conjunto de relaciones binarias definida sobre las variables de V, E: e Una distribucién de probabilidad conjunta P sobre las variables de V, tales que: e (V,E) forman un grafo aciclico, conexo y dirigido G. e (G, P) cumplen las hipotesis de independencia condicional, también llamadas de separaci6n direccional 20Definicidn formal de red bayesiana Definicién de variable proposicional Una variable proposicional es una variable aleatoria que toma un conjunto exhaustivo y excluyente de valores. Definicién: hipdtesis de independencia condicional Un grafo aciclico conexo y dirigido G = (V, E) y una distribucién de probabilidad conjunta P definida sobre las variables del grafo se dice que cumplen las hipdtesis de independencia condicional o separacion direccional, si VXEV y WY EV- {XUde(X) Upa(x)} se tiene que X es independiente de Y dado pa(X) Ejercicio. Comprobar si una red es o no bayesiana 21 Definicién formal de red bayesiana: Ejercicios Ejercicio 1: Comprobar qué relaciones de independencia condicional deben darse para todas las posibles estructuras de redes con tres nodos Colaconcola Cabezaconcabeza Cabeza con cola 22Definicién formal de red bayesiana: Ejercicio 2 éQué independencias implica la red? tuacién >) 7 laboral_ 7 S NZ Stasis >) a) economica oe a 23 Redes bayesianas Indice = Repaso de conceptos basicos de probabilidad = Presentaci6n intuitiva = Definicion formal de red bayesiana = Teorema fundamental = Modelado con redes bayesianas = Algoritmo de propagacidn de probabilidades en arboles 24Teorema fundamental (Factorizacion de la probabilidad) Dada una red bayesiana, su distribucidn de probabilidad puede expresarse como: PU y oy Xp) = TT Pl pax) Demostraci6n: x Sea {X,, ..., X,} una ordenaci6n de las variables en la que los padres de cada nodo aparezcan siempre después de el. Entonces: Ply wor Ke) =T] POLS ar Ma) Pero por la forma de escoger la ordenacién, el conjunto {X,,,, .... X,} incluye a todos los padres de X, y, en consecuencia, la separacion direccional nos dice que PUX:/X ig yeeoX,) = P(x/palx,)) Teorema fundamental: Importancia del teorema Nos permite describir una red bayesiana a partir de las probabilidades condicionadas de cada nodo dados sus padres en lugar de a partir de la probabilidad conjunta, que: © requiere un numero de pardmetros exponencial en el numero de nodos. * plantea el problema de verificar la independencia condicional 25 26Ejemplo En un sistema de diagndstico médico, supongamos que tenemos la siguiente informacién: + Metéstasis (IM) causa tumor cerebral (T) e incremento en los niveles de calcio (I). * Tumor cerebral causa coma (C). * Incremento en nivel de calcio causa coma. * Tumor cerebral causa fuertes jaquecas (J) Metastasis> C ~ CCalcio Cumor) Calcio) _¢ a a Gaquecas) (Coma) 27 Ejemplo Se pide: * Qué independencias/dependencias entre las variables de la red implican las hipétesis de independencia condicional? * Si suponemos ciertas las hipstesis de independencia condicional, écudntas probabilidades seria necesario especificar?. Dar estos valores de una forma coherente con el sentido comin. * Sino podemos suponer las hipétesis de independencia condicional, équé probabilidades deberiamos pedir al experto? éCudntos valores son, en total? * éCémo podemos calcular la probabilidad conjunta a partir de las condicionadas?. Aplicando el teorema de factorizacién, indica cémo se calcularia la probabilidad de que el paciente tenga metastasis dado que esta en coma 28Redes bayesianas Indice = Repaso de conceptos basicos de probabilidad = Presentacion intuitiva = Definicion formal de red bayesiana = Teorema fundamental = Modelado con redes bayesianas = Algoritmo de propagacion de probabilidades en arboles 29 Modelado con redes bayesianas El matrimonio es la principal causa de divorcio (Groucho Marx) El proceso de modelado consta de: * Modelado cualitativo —Nodos o Variables (deben tomar un conjunto EXHAUSTIVO y EXCLUYENTE de valores). — Relaciones (deben ser de influencia causal) * Modelado cuantitativo — Pardmetros: — Probabilidad condicionada de cada nodo dados sus padres — Probabilidad a priori de los nodos sin padre 30Modelado con redes bayesianas Ejemplo 1: un problema de diagnéstico Considera la siguiente situacién: Los padres de Luisito, que acaba de cumplir un afio, deciden llevarlo al pediatra porque vomita con cierta frecuencia. Con el pediatra sostienen la siguiente conversacion: Pediatra -. Denme toda la informacién que consideren que puede ser relevante. Mamé-. El otro dia Luisito estaba resfriado. Vomité el biberén de la noche, creo que por culpa de los mocos, ya que habia muchos en el vémito, Otras veces parece que vornita por una pequefia indigestién. Papé-. Ademds creo que debe saber que mi hermano es celfaco (Aclaracién: la celiaquia es una intolerancia al gluten, que poco a poco hace que se destruya el vello intestinal. Los vémitos son uno de sus sintomas mds relevantes. Se cree que tiene cierta componente hereditaria). Pediatra-. é¥ la dieta de Luisito incluye gluten? Ambos-. Si, desde hace unos meses. Plantea este problema de diagnéstico mediante una red bayesiana 31 Modelado con redes bayesianas Ejemplo 2: Luis va de visita Una tarde, Luis va a visitar a su compafiero de oficina Antonio, y de repente comienza a estornudar. Luis piensa que se ha resfriado. Pero de repente observa que los muebles de Antonio estan arafiados, de forma que se le ocurre que quizas su amigo tenga un gato y sus estornudos se deban a una crisis producida por una rinitis alérgica. 32Modelado con redes bayesianas Ejemplo 3: un problema de clasificacién En el planeta Zyx se pueden encontrar varias clases de animales, llamemos a estas clases Wurros, Hobexas y Wackas. Todos tienen un tamajio muy pequefio, y sus pieles son o bien escamosas o bien estén cubiertas de suave pelo. Ademis, una observacién atenta ha permitido deducir lo siguiente: + Todos los Wurros tienen 5 6 6 patas. Su color es rojizo, y tienen la piel peluda y suave. + Elntimero de patas de las Hobexas es un entero que varia uniformemente entre 4y 6, ambos inclusive. Su piel es escamosa. + En cuanto a las Wackas, tienen 4 6 5 patas, y ofrecen a la vista una tonalidad casi siempre azul, pero a veces (20% de los casos) rojiza * Los animales que tienen un nuimero impar de patas cojean siempre. Los animales que tienen un ntimero par de patas cojean sdlo cuando tienen alguna anomalia (malformacién congénita, heridas, etc.), lo cual ocurre en el 10% de los casos para los animales de 4 patas, y en el 20% para los de seis. Plantea el problema de la clasificacién de animales de Zyx mediante una red bayesiana 33 Mas sobre modelado: Identificacion de las variables: Por ejemplo,en problemas de diagnéstico * éCual es la situacion/problema que se plantea? * éQué posibles causas pueden explicar esta situacion? * éQué otros factores pueden hacer que los problemas o causas ocurran, 0 impedir que ocurran? * éDe qué evidencia se dispone para soportar dichas causas, problemas o factores? 34Mas sobre modelado Tipo variable _| Breve descripcién Objetivo Modelan objetos de interés. No observables directamente. Observacién |Modelan la forma de medir variables objetivo. Pueden ser observadas directamente Factor Modelan fenémenos que afectan a otras variables del modelo Promotor _|La variable afectada es mas probable cuando estan presentes. La variable afectada es menos probable cuando estan presentes. Inhibidor | Sino entra en accidn, no ocurre la variable afectada. Si entra en accién, no ocurre la variable afectada. Requerido Preventivo Auxiliares | Usadas por conveniencia (para simplificar el modelo) 35 Mas sobre modelado Dos tipos de relaciones: Relacién causal Regla de diagnéstico 36Mas sobre modelado Si definimos los enlaces de forma que modelen la relacién causal, el modelo obtenido es mas sencillo de entender y menos complejo en cuanto a parametros y relaciones. 37 Mas sobre modelado Ejemplo: el problema del estornudo p(alergia) = 0.2 p(arafiazos/gato) = 0.95 Cato) p(alergia) = 0.45 p(arafiazos/~gato) = 0.15 2 p(rintis/aleraia.qato) = 0.99 p(rintis/alergia,~gato) = 0.1 or 4% p(rinitis/~alergia,gato) = 0.15 P(rintie/~alergia,~gato) ~ 0.005 Estornudo’ . p(estornudo/res friado,rinitis) = 0.99 Con relaciones de = p(estornudo/~restriado,rinttis) = 0.9 influencia causal p(estornudo/resfriado,~rinttis) = 0.85 p(estornudo/~res triado,~rinitis) = 0.01 38Mas sobre modelado El problema del estornudo: p(gato/arafiazos,rinitis) = 0.920198 p(gato/arafiazos,~rinttis) = 0.446214 p(gato/~arafiazos, rinitis) = 0.0967387 p(gato/~arafiazos,~rintis) = 0.00742816 Alergia Con reglas de diagnéstico 39 Mas sobre modelado No siempre sera facil: 22? 40Mas sobre modelado Pero asi son las cosas: ELPAIS.COM Version para imprimir == TRIBUNA MANUEL LLORIS| Anorexia: cansa 0 efecto. = 92 quelos expe ad Personas Srorisias en panera chia into par mmaey para inn aes gpa niqwinrs shan aq atenaren 2 profeora Tuber ema la faeza "el oo de afectadas son mujeres porque dts et lida] de beleca que inponela sociedad’ Redueconismo que i ‘stante padre de aolescenteanoréic, lend de cua (so haba sabido educa) ala vez ealivio ues ahora todala fam, de consuno dia ala ‘ct un icesante fuego graneado con ol fn de aracar desu concencia ete factor soil No soy medico le insist al padre-peroinformese usted bed 0 ‘ayaa sr que graven utedor Io que pretenden sana. Se despidis mabino, mis dolidoy conaso que antes. Leis sats et Fal el san da inv Sele ofr del Coates Sve Tbut La ae nf ot Como ln snoresia produce delgadec extrema, pero no efermedad, sno sista, “egordar loa pacientes ea secundarioysuponetaponr el problema’. Uno pasar pare rg ane yd tlre yarn gsecaliadagite riper ‘Spain, se quad on lot haan pero sin dao lreverstble pars ngatisme, Viana, nerales, aminadciosyaismo consume eergitica, Adit que ‘no conoaco el dato, pero falta de mis informacion, no me parece versio que sabemos todo es quela delgader de a anoréxica no esunfenémeno ontolad ¥aueporlo tanto de proloars cierto empo puede dear ecusas reversible de distitagravedad, La dasnutrcin, ino ela ver efecto ¥ causa? Pero alg: no es enferinedad sino istoma as! nolo entenda Zeus, Pero sintoma de qué. cDe una disfuncion metablica? Eso, no es una enfermedad? Teo fllo deadpan a medio si bie podria aducine andemeni, geen aoe de gti ol fall el med, ncpat de aaptare lindo 41 Mas sobre modelado: En cuanto a los parametros: ° Especificacién directa de los parametros (con ayuda de expertos, costoso) * Aprendizaje (si existen bases de datos) — Aprendizaje de pardmetros (si se dispone de la estructura); — Aprendizaje estructural (se aprende tanto la estructura como los parametros) * Combinaciones de los dos anteriores (iterativamente) 42Mas sobre modelado (parametros) Si es necesario la especificacién directa: En ausencia de informacion, se suele suponer equiprobabilidad En muchos casos, se podran utilizar relaciones tipo AND u OR, con su correspondiente ruido 43 Algunos trucos utiles: verificacién Verificar las independencias del modelo: (comprobar si las relaciones entre las variables reflejan adecuadamente las dependencias e independencias). Modelo A ModeloB \ / « Enel modelo A, Fiebre y Tos son dependientes a priori pero independientes dado gripe En el modelo B, Fiebre y Tos son independientes a priori pero dependientes dado gripe (explaining-away) 44Algunos trucos utiles: estructura Introducir nodos intermedios Es una buena idea para reducir la complejidad oy 45 Algunos trucos utiles: estructura Si agrupamos nodos obtenemos un modelo mas legible y menos complejo (en pardametros y en tiempo de ejecucidn de los algoritmos de propagacion). 46Algunos trucos utiles: parametros Utilizar modelos canénicos Son modelos que ayudan a simplificar la especificacién de las tablas de probabilidades condicionadas, para ciertos tipos de relacién causal entre variables. * Los mas utilizados son los modelos NOISY-OR y NOISY ADDER. 47 Algunos trucos utiles: parametros Modelo canénico: la puerta OR Hipotesis 1. Cada una de las causas, por si misma, puede producir el efecto y basta con que una de ellas esté presente para que el efecto ocurra; 2. Cuando todas las causas estan ausentes, el efecto esta ausente; 3. No hay interaccidn entre las causas. 48Algunos trucos utiles: parametros Ejemplos Factores que son causa de Fiebre: Factores que tienen influencia causal en HTA: Si pueden modelarse con No pueden modelarse con puerta OR puerta OR 49 Algunos trucos utiles: parametros Si se cumplen las hipotesis de la puerta OR: Sea c,= Prob. de que causa x provoque el efecto A partir de las c, podemos calcular las probabilidades condicionadas Veamos un ejemplo. Consideremos el modelo 50Algunos trucos utiles: parametros Supongamos por ejemplo: c, = P(+f/+g)=0.8 c, = P(+f/+0)=0.6 Entonces, las probabilidades condicionadas se pueden calcular asi: P(+f/+g, +0)= 0.8 + 0.2*0.6 = 0,92 P(+f/=g, +0)= 0.6 P(+f/+g, -0)= 0.8 P(+f/ -g, -0)= 0 51 Algunos trucos utiles: parametros Modelo NOISY-OR (puerta OR ruidosa) Supongamos que en el modelo queremos incluir que es posible que otras causas no determinadas provoquen también fiebre. Entonces necesitamos los siguientes parametros: * Las probabilidades de que cada causa provoque el efecto por separado c, = P(+f/+g, 70, >r)=0.8 Cy = P(+f/-g, +0, -r)=0.6 * Un factor de ruido r= p(+f/-g, -0)=0.01 52Algunos trucos utiles: parametros Veamos como a partir de c, c, yr, se determinan las probabilidades necesarias para el modelo © P(+f/+g,+0) P(+f/-g,+0) © P(+f/+g, 0) + P(+f/-g, -0) 53 Algunos trucos utiles: parametros Por las hipotesis 1 y 2: P(+f/+g,+0,-1)= P(+f/+g,-0,-r) + P(-f/+g, ~0, =r)P(+f/-g,+0,--r)= 0.8+0.2*0.6 =0,92 Por la hipdtesis 3: P(+f/-g, 70, =r) =0 Las otras probabilidades se calculan mediante: P(+f/+g,+0)= P(+f/+g,+0,-1)+P(-f/+g,+0,-1)P(+f/-g,-0)=0,92+0,08*0.01 = 0,9208 P(-+f/+g,-0)= P(+f/-+g,-0, 91) + P(-f/+8,-0,-1)P(+/-g,-0) = 0,8 + 0.2*0.01 = 0,802 P(Hf/-g, +0)= P(+f/-8,40,-r) + Pl-f/-8,+0,-1)P(+f/-g,-0) = 0,6 + 0.4*0.01 = 0,604 ~~ Ea 54Algunos trucos utiles: parametros La puerta OR para mas de dos variables En general, si en un modelo tenemos un efecto X y U,,...,U, son las causas posibles, si denotamos por c¢, a la probabilidad que tiene cada causa de producir el efecto por separado y por q,a la probabilidad complementaria (q,= 1-c), entonces: P(7X/Uj;, «2-4, Un) = [a donde Tu = conjunto de causas de X que estan presentes. Como en el caso anterior, el modelo se puede generalizar al caso de que haya cierto ruido (practica 2) 55 Redes bayesianas Indice = Repaso de conceptos basicos de probabilidad = Presentaci6n intuitiva = Definicion formal de red bayesiana = Teorema fundamental = Modelado con redes bayesianas = Algoritmo de propagacién de probabilidades en arboles 56Algoritmo de propagacion de probabilidades (para redes con forma de arbol) Se desarrolla en dos fases: Fase de inicializacién En esta fase se obtienen las probabilidades a priori de todos los nodos de la red, obteniendo un estado inicial de la red que denotaremos por So Fase de actualizacion Cuando una variable se instancia, se actualiza el estado de la red, obteniéndose las probabilidades a posteriori de las variables de la red basadas en la evidencia considerada, adoptando la red un estado que denotaremos por S, Este paso se repite cada vez que una variable se instancia, obteniéndose los sucesivos estados de la red Algoritmo de propagacion de probabilidades (para redes con forma de arbol) Idea principal: Cada vez que una variable se instancia, informa a sus nodos vecinos mediante el paso de lo que llamaremos mensajes, de la siguiente forma: © La variable envia a su padre un mensaje, que llamaremos el A-mensaje, para informarle de que ha cambiado su valor. En base a este mensaje, se calcula un A- valor para el nodo que lo recibe * La variable envia a todos sus hijos un mensaje, que llamaremos el x-mensaje, para informarlos de que ha cambiado su valor. En base a este mensaje, se calcula un x valor para el nodo que lo recibe Las probabilidades a posteriori de cada nodo se obtienen multiplicando los A- valores por los x-valores y normalizando Asi, la informacion se va propagando por la red tanto en sentido ascendente como descendente 57 58Algoritmo de propagacion: formulas ®—_® © A-mensaje de B aA Agla) = DPle/a)r(b,) ( si Ano ha sido instanciada(*) @ xmensajedeAaB 7,(a) = siA=a, 0 siAza, [ Ye {b,) sino hasido instanciada © A-valor de B Mb) = 1 siB=b, 0 siBeb, © x-valor de B nib) = ,P(b/a,) nla) © Probabilidad de B: — P*(b,) = a A(b,) a(b,) 50 Algoritmo de propagacion (II): Etapas Etapa 1. Inicializacion A. Inicializar todos los A-mensajes y A-valores a 1 B. Sila raiz A tiene m posibles valores, entonces: paraj=1,..,m, (a, = P(a,) C. Para todos los hijos B de la raiz A, hacer Enviar un nuevo x-mensaje a B usando la formula 2 (En el momento que una variable recibe un 1-mensaje comenzara un flujo de propagacién debido al procedimiento de actualizacion C) 60Algoritmo de propagacion: etapa de actualizacién A. Si una variable B se instancia a un valor b, entonces A.L. Inicializar P*(b,) = 1 y P*(b) = 0, para todo ij A.2. Calcular 2(B) usando la formula 3 A.3. Enviar un nuevo A-mensaje al padre de B usando la formula 1 A.4. Enviar nuevos x-mensajes a los hijos de B usando la formula 2 B. Si una variable B recibe un nuevo A-mensaje de uno de sus hijos y la variable B no ha sido instanciada todavia, entonces, B.1. Calcular el nuevo valor de 4(B) usando la formula 3 B.2. Calcular el nuevo valor de P*(B) usando la formula 5 B.3. Enviar un nuevo A-mensaje al padre de B usando la formula 1 B.4, Enviar nuevos x-mensajes a los otros hijos de B usando form. 2 C. Si una variable B recibe un nuevo a-mensaje de su padre y la variable B no ha sido instanciada todavia, entonces: C.1. Calcular el nuevo valor de (8) usando la formula 4 €.2. Calcular el nuevo valor de P*(B) usando la formula 5 C.3. Enviar nuevos 1-mensajes a los hijos de B usando la formula 2 él Ejemplo Supongamos que un sefior piensa que su esposa le esta siendo infiel. La red bayesiana que se construye para evaluar esta posibilidad es la siguiente: ro {A} Pla) =0.1 Plbi /a)= 0.7 ¢ () Pibi /an)=0.2 S (di /ai}= 0.8 P(dh /a)= 0.4 A= la esposa engafia al marido B= la esposa cena con otro C= la esposa es vista cenando con otro D = en el domicilio se reciben llamadas Pici/b P(ci /b2] telefénicas sospechosas 62Ejemplo: Calculo probabilidades a priori A. Ponemos todos los A-mensajes y A-valores a 1 B. Hacemos (a) = P(a,), para j = 1,2. (A)= (0.1, 0.9) C. A envia un mensaje a su hijo, B, 2(a,)Aq(a,) = 0.9 B toma entonces nuevos -valores; afb,) = Plb,/a,) 2,a,) + Plb,/a,) xa,) =0.7 0.1 + 0.20.9 = 0.25 at{b,) = P(b,/a,) ,(,) + P(b,/a,) ,(a,) =0.75 Y con ellos y con los A-valores de B, se obtienen las probabilidades: P(b,) = 0.25 1=0.25; P(b,) = 40.75 1=0.75 Ahora, C recibe un a-mensaje por ser hijo de B: e{b,) = a(b,) = 0.25 5 (bx) = a{b,) = 0.75 Y actualiza su 1-valor: alc,) = Plc,/b,) 7{b,) + Plc,/d,) {b,) = 0.4 0.25 + 0.001 0.75 = 0.10075 alc,) = Plc,fb,) mlb,) + P(C,/b,) m(b,) =0.89925 A partir de ellos, calculamos las probabilidades de C, multiplicando por los A-valores y normalizando: P(c,) = 0.10075; P(c,) = 0.89925 04) = a10,)agla,) = 63 Students learn. * 10% of what they read; * 20% of what they hear; * 30% of what they see; * 50% of what they both see and hear; * 70% of what they discuss with people whose opinions they value; * 80% of what they personally experience; and * 90% of what they teach to other people. Treichler, D.G. (1967). Are you missing the boat in training aids? Audio- visual communications. New York: United Business Publications 64Estado inicial S, Repitiendo el mismo procedimiento para D, obtenemos el estado inicial S,: AA) = (1,1) )) aA) = (0.1,0.9) Pa) = 0.10.9) 7 9) AOD fu lo \ee (0.1,0.9) 4-0) AnlA= HO, H - 4D) = (1) 15) (BN 8) = (0250.78) (>) (D) mo) = (0.440.5) Pe) 028075) € ) NPD) = (0.44,0.56) e(B)=(0.25,0.75) you HO) = (sl) | Estado S, de la red 10) = (0.10075,0.89925) P(C) = (0.10075,0.89925) 65 Propagacion de evidencia (I) Supongamos ahora que nos informan de que B = b, Actualizacion de B: A.1 Calculamos ahora la probabilidad a posteriori de B, conocido que ha tomado el valor b,, que evidentemente sera: P*(b,)=1 P*(b, A.2. Calculamos A(B); Ab, =1 A{b,) = 0 A.3. Enviamos un A-mensaje al padre de B, A A,,a,) = P(b,/a,)A(b,) + P(b,/a,)Mb,) = 0.7 1+ 0.3 0=0.7 Alay) = 0.2 A.4. Enviamos un z-mensaje al hijo de B, C 11,(C,) = 1 puesto que B ha sido instanciada a b, 1,{C,) = 0 puesto que B ha sido instanciada a b, 66Propagacion de evidencia (I) Actualizaci6n de C Al recibir C un t-mensaje, se dispara el procedimiento de actualizacién G C.1, El -valor de C cambia, H( C4) = P(c,/b,) (bj) + P(c,/b,) Ae{b,) = 0.4 x (c,) = 0.6 C.2. Calculamos la nueva probabilidad de C P*(c,)=0.4a=0.4 P*(c,) = 0.6 a = 0.6 C.3. No es necesario puesto que C no tiene hijos 67 Propagacion de evidencia (II) Actualizacién de A Al recibir A un 4-mensaje, se dispara el procedimiento de actualizacién 8; B.1. Actualizamos el A-valor A(a,) = A,(a,) Ag(a,) = 0.7 A(a,) = A,(a,) Ag(a,) = 0.2 B.2. En base al A-valor, calculamos la probabilidad a posteriori; P#(a,) = a 0.7 0.1=0.07 a= 0.28 P¥(a,) = ct 0.20.9 = 0.18 a= 0.72 B.3. A no tiene padre B.4. A envia un 1-mensaje a su hijo, D, Ap(a,) = (a,) Ag(a1, 68Propagacion de evidencia (II) Actualizacion de D: La variable D ha recibido un a-mensaje y por tanto debe actualizar su probabilidad. Aplicamos el procedimiento de actualizacion C: C.1. El a-valor de D cambia, x( d,) = 0.128 x (d,) = 0.122 C.2. Calculamos la nueva probabilidad de D P*(d,) = 0.512 P*(d,) = 0.488 C.3. No es necesario puesto que D no tiene hijos 69 Estado S, Asi, tras la instanciacion de B a b,, la red queda: (0.70.2) (0.1,0.9) POA) = (0.28,0.72) 7%,(A)=(0.1,0.9) %(A)=(0.07,0.18) 4) =(1.l) \ PB) = (1,0) >) (D) "w= 01280.122 — Sy SPD) = (0512,0.488) 7c(B)=(1,0) 4eBJ=(1,1) Estado S, de la red P(C) = (04.0.6) 70Otra actualizacioén Supongamos ahora que la nueva evidencia es e={D = d,} = Denviara un A-mensaje a su padre, A, = A enviara un x-mensaje a su hijo, B B es un extremo muerto donde la propagacién se para (en el caso de la propagacién en arboles) Terminar como problema propuesto 71 Evolucion de las probabilidades Estado inicial Estado S, Estado S, P(a,)=0,1 P*(a,)=0,28 P*(a,)=0,1148 P(b,)=0,25 P*(b,)=1 P*(b,)=1 P(c,)=0,10075 |P(*c,)=0,4 P*(c,)=0,4 P(d,)=0,44 P*(d,)=0,512 P*(d,)=0 72