Primer Parcial -> Tema 1 Minera de Datos Universidad del Cauca

Enfoque

probabilstico al aprendizaje

Competitivo:

las hiptesis compiten entre si, venciendo la que tenga mayor probabilidad necesitamos conocer la clase de los ejemplos para estimar la probabilidad a posteriori de las observaciones

Supervisado:

Supone que
Las

hiptesis estn gobernadas por una distribucin de probabilidad posible tomar decisiones ptimas razonando con estas probabilidades y las observaciones

Es

 Algunos

mtodos bayesianos se encuentran entre los ms eficientes interpretar el funcionamiento de otros mtodos en trminos probabilsticos cuando no son aplicables, proporcionan un estndar de toma de decisin ptima, frente al que comparar otros mtodos

Permiten

Incluso

 Dado

un conjunto de entrenamiento D, ms conocimiento a priori de la probabilidad de las distintas hiptesis de H, Cul es la hiptesis ms probable?

P(h|D)es la probabilidad a posteriori de h Probabilidad de que h sea cierta despus de observar D P(D|h) es la probabilidad a posteriori de D Es la probabilidad de observar el conjunto de entrenamiento D en un universo donde se verifica la hiptesis h. P(h) es la probabilidad a priori de la hiptesis h Probabilidad de h sin ninguna observacin

P(D)es la probabilidad a priori de D Probabilidad de observar D, sin saber que hiptesis se verifica

 Hiptesis
Si

hMAP: mxima posteriori

queremos clasificar un nuevo caso (a1,an) y la variable clase C tiene k posibles categoras C={c1,,ck}, lo que nos interesa es identificar la ms probable y devolverla como clasificacin Hay que trabajar con la distribucin conjunta y eso normalmente es inmanejable

Problema:

 Dado

espacio de hiptesis H y las observaciones D Cul es la hiptesis h Hms probable?

 1.

Para cada hiptesis calcular la probabilidad a posteriori

2.

Devolver la hiptesis hMAP con la mxima probabilidad a posteriori

 Es

el modelo de red bayesiana orientada a clasificacin ms simple Supone que todos los atributos son independientes conocida la variable clase.

 En

un Nave Bayes (NB) la hiptesis MAP queda como:

pesar de la suposicin poco realista realizada en el NB, este algoritmo se considera un estndar y sus resultados son competitivos con la mayora de los clasificadores

Se basa en frecuencia de aparicin que obtendremos en la base de datos. as n(Xi,Pa(Xi)) es el numero de registros en la BD en que la variable Xi toma el valor Xi y los padres de Xi (Pa(Xi)). Estimacin por mxima verisimilitud (EMV). el nmero de veces que aparece Xi en la BD dividido por el numero de casos totales.

Suavizando por la correccin de Laplace: nmero de casos favorables mas uno dividido por el numero de casos totales mas el numero de valores posibles.

 P(x|ci)

se estima mediante una funcin de densidad gaussiana. Se asume que los valores numricos siguen una distribucin normal, es decir, para cada categora de la variable clase se estima una distribucin normal (de media y desviacin estndar )

Aprendizaje_Bayesiano_Naive(instancia) Para cada posible valor del resultado vj Obtener estimacin p(vj) de la probabilidad p(vj) Para cada valor ai de cada atributo a Obtener estimacin p(ai/vj) de la probabilidad P(ai/vj) Clasificar instancia(x)
devolver

 <soleado,

fra, alta, cierto>

p'(jugar=si) = 9/14 = 0,64 (ver) p'(jugar=no) = 5/14 = 0,36 (ver) p'(Cielo=soleado / jugar=si) = 2/9 = 0,22 (ver) p'(Cielo=soleado / jugar=no) = 3/5 = 0,6 (ver) p'(Temp=fra / jugar=si) = 3/9 = 0,33 (ver) p'(Temp=fra / jugar=no) = 1/5 = 0,2 (ver) p'(Humedad=alta / jugar=si) = 3/9 = 0,33 (ver) p'(humedad=alta / jugar=no) = 4/5 = 0,8 (ver) p'(Viento=cierto / jugar=si) = 3/9 = 0,33 (ver) p'(Viento=cierto / jugar=no) = 3/5 = 0,6 (ver)

0,64

0,22

0,33

0,33

0,33

 Uno

de los algoritmos de aprendizaje ms prcticos, junto a rboles, redes de neuronas y K-NN Condiciones de uso Conjunto de entrenamiento grande Atributos razonablemente independientes Aplicaciones Diagnosis Clasificacin de texto

Ventajas: Es fcil de implementar Obtiene buenos resultados en gran parte de los casos Desventajas: Asumir que las variables tienen independencia condicional respecto a la clase lleva a una falta de precisin

En la prctica, existen dependencias entre las variables. ejemplo.: en datos hospitalarios: Perfil: edad, historia familiar, etc. Sntomas: fiebre, tos, etc. Enfermedad: cncer de pulmn, diabetes, etc. Con un clasificador Nave Bayes no se pueden modelar estas dependencias

Solucin: Redes de creencia bayesianas, que combinan razonamiento bayesiano con relaciones causales entre los atributos

 Ejemplo:

Diseo de un Clasificador para Iris Problema simple muy conocido: clasificacin de lirios. Tres clases de lirios: setosa, versicolor y virginica. Cuatro atributos: longitud y anchura de ptalo y spalo, respectivamente. 150 ejemplos, 50 de cada clase. Disponible en: http://archive.ics.uci.edu/ml/datasets/Iris

Setosa

Versicolor

virginica

volver

volver

volver

volver

volver

volver

volver

volver

volver

volver