You are on page 1of 12

Tcnicas de inteligencia artificial

Aprendizaje
Clasificadores bayesianos
Aprendizaje bayesiano

Basado en el teorema de Bayes

Permite combinar los datos de ejemplo con


conocimiento a priori

Usado como clasificador, puede obtener


probabilidades de pertenecer a cada clase

Posibilidad de construir representaciones ms


complejas (Modelos de ocultos de Markov, redes
bayesianas, etc).
Fundamentos. Teorema de Bayes
Aprendizaje bayesiano: buscar la hiptesis h (de entre todas las
H posibles) ms probable si hemos observado una serie de datos
D (mximo a posteriori o MAP)
Base: Teorema de Bayes
h
MAP
argmax PhD
P hD=
P Dh P h
P D
Fundamentos. MAP y ML
ya que P(D) cte.
independiente de h
Si adems suponemos P(h)=cte
(a priori, todas las hiptesis son igualmente probables), entonces
(maximum likelihood)
h
MAP
argmax P(hD)
h
MAP
=argmax
hH
P Dh P h
P D
h
MAP
=argmax
hH
P Dh Ph
h
ML
=argmax
hH
P(Dh)
(mximo a posteriori o MAP)
Clasificador bayesiano

Las hiptesis son las clases a las que puede pertenecer un


ejemplo

Suponemos ejemplos caracterizados como tuplas de


atributos <a
1,
a
2,
... a
n
>
C
MAP
argmax
c
i
C
Pc
i
a
1,
a
2
... a
n

C
MAP
argmax
c
i
C
Pa
1,
a
2
a
n
c
i
Pc
i

P a
1,
a
2
a
n

C
MAP
argmax
c
i
C
P a
1,
a
2
a
n
c
i
P c
i

stimar las probabilidades

Necesitamos
n demasiado pequeo
(estimacin inadecuada)
Simplificacin: suponemos que los valores de los atributos son
condicionalmente independientes para una clase dada
(naive bayes classifier)
C
MAP
argmax
c
i
C
P a
1,
a
2
a
n
c
i
P c
i

n deejemplos delaclase i
n total deejemplos
n deejemplos con atributos a
1,
a
2
a
n
n deejemplos dela clase i
P(a
1,
a
2
a
n
c
i
)

j =1
n
P(a
j
c
i
)
jemplo! predicci"n del tiempo
jemplo de clasificador bayesiano

Prediccin del tiempo para


<presin=estable, cielo=claro>
C
Naive Baes
= argmax
c
i

{
sol ! lluvia ! nieve
}
P( c
i
)

j
P( a
j
c
i
)
arg max
c
i

{
sol ! lluvia ! nieve
}
P( c
i
)P( presion=establec
i
) P(cielo=claroc
i
)
c
i
=sol 5/10 2/5 4/5 = 0.16
c
i
=lluvia
3/10 1/3 1/3 = 0.0333
c
i
=nieve 2/10 0 0 = 0
jemplo #! clasificador de te$tos

Clasificar un texto en una categora predefinida,


dados:

El conjunto de palabras del texto (atributos)


En un lugar de la Mancha, de cuyo nombre no quiero acordarme, no ha
mucho tiempo que viva un hidalgo de los de lanza en astillero, adarga
antigua, rocn flaco y galgo corredor
a
1
=en, a
2
=un a
32
=corredor

El conjunto de posibles categoras C


c
1
=interesante, c
2
=no-interesante
%implificaciones

Clasificador bayesiano naive: independencia de los


atributos

No importa la posicin de las palabras en el texto,


solo si estn presentes
P( a
1
! a
2
a
n
c
i
)=

i=1
n
P( a
1
c
i
)
Sustituimos P( a
j
c
i
) por P( "
j
c
i
)
P( a
31
=galgo interesante )P(galgo interesante )
Fase &! Aprendizaje

Tomar un conjunto de ejemplos x


i
X etiquetados con las
clases a las que pertenecen

Voc = conjunto de palabras en X (sin considerar preposiciones,


artculos, etc.)

Para cada clase c


j
calcular P(c
j
), P(w
k
| c
j
) como sigue:
Calcular docs
j
, documentos de la clase c
j
Calcular prob. a priori de la clase c
j

Calcular
text
j
, concatenacin de todos los docs. de docs
j
n, nmero de posiciones en text
j

n
k
, nmero de veces que aparece w
k
en text
j

Calcular
P( c
j
)=
docs
j

#
P( "
$
c
j
)=
n
$
+ 1
n+%oc
Fase # ' Clasificaci"n
Dado un documento x=w
1
,w
2
,...,w
n

Quedarnos con pos, posiciones de palabras que estn


contenidas en Voc (el resto se ignora)

Devolver la estimacin MAP


c
MAP
=argmax
c
j
C
P( c
j
)

$ pos
P( "
$
c
j
)

You might also like