Arbol de Decisión ID3 Ejemplo Fukl

FUNDACIÓN UNIVERSITARIA KONRAD LORENZ
FACULTAD DE MATEMÁTICAS E INGENIERÍAS

PROGRAMA DE INGENIERÍA DE SISTEMAS
CURSO DE SISTEMAS BASADOS EN EL CONOCIMIENTO
BOGOTÁ- COLOMBIA
EJEMPLO APRENDIZAJE DE ÁRBOLES DE DECISI

ALGORITMO ID3 DE QUINLAN
REALIZADO POR : PERVYS RENGIFO RENGIFO
El aprendizaje de árboles de decisión es un método de funciones de valores discretos

en el cual la función aprendida es representada por un árbol de decisión. Los árboles
aprendidos pueden ser re-representados como conjuntos de reglas si... Entonces...
con el fin de mejorar su comprensión y legibilidad.
Estos métodos de aprendizaje están entre los más populares algoritmos de inferencia
inductiva y ha sido aplicado exitosamente a un amplia variedad de tareas desde el
aprendizaje del diagnóstico de casos médicos hasta la evaluación de riesgo de crédito
de empresas prestamistas.
PATRON AMBIENTE TEMPERATURA HUMEDAD viento

1 soleado caliente alta débil
2 soleado caliente alta fuerte
3 nublado caliente alta débil
4 lluvioso moderada alta débil
5 lluvioso fría Normal débil
6 lluvioso fría Normal fuerte
7 nublado fría Normal fuerte
8 soleado moderada alta débil
9 soleado fría Normal débil
10 lluvioso moderada Normal débil
11 soleado moderada Normal fuerte
12 nublado moderada alta fuerte
13 nublado caliente Normal débil
14 lluvioso moderada alta fuerte
Se desea construir un árbol de decisión que permita determinar si se juega o no tenis,a partir del valor de los
|
1) DECIDIR CUAL ES EL ATRIBUTO RAIZ, ES DECIR EL ATRIBUTO QUE

VARIABLE DE DECISIÓN(JUGAR TENIS)
CALCULO DE LA ENTROPÍA DEL SISTEMA
Para todos los cálculos, a partir de la tabla anterior podríamos aplicar filtros convenientes, con el fin de obten
Una forma, más cómoda de obtener la información necesaria es construir una tabla dinámicas, que se puede
para ir obteniendo los valores necesarios:
Se ilustrará el proceso de construcción de la tabla dinámica en excel 2007
Ubique la celda activa en una de las celdas dela tablas que utilizará como fuente de los patrones
celda
activa
Haga clic en la opción insertar del menú prinicpal de excel
Luego saldrá la siguiente pantalla
Haga clic aquí para seleccionar un conj

diferentes
Como se puede apreciar, excel selecciona automáticamente la tabla, en caso de no ubicar la celda activa en
de tabla dinámica, debe elegir manualmente la tabla correspondiente, haciendo clic donde se indica en la fig
Al darle clic en aceptar se crea una nueva hoja de cálculo, que se ve, como se muestra a continuación
Campo de los datos de origen

filtro) en un informe de tabla
considerarse como un campo
resumidos para ambiente=so
Campo de datos Campo

se van a resumir. Por ejemp
variable de respuesta,"jugar
Para los tipos de datos de or
datos (por ejemplo, por sum
resumir números pero tamb
el número de veces que apa
Sí o No) en un campo.
Campo de columna Cam

asigna a una orientación d
dinámica., para que se det
con esos campos de colum
datos. Por ejemplo, si en e
dos valores) en el campo d
tenis(cuenta del número d
columna "ambiente",(3 va
tendrá básicamente 2(val
ambiente), el encabezado
"ambiente", y las etiqueta
tenis". En la celda s-solead
que tiene ambiente=solea
Campo de columna Cam
asigna a una orientación d
dinámica., para que se det
con esos campos de colum
datos. Por ejemplo, si en e
dos valores) en el campo d
tenis(cuenta del número d
columna "ambiente",(3 va
tendrá básicamente 2(val
ambiente), el encabezado
Lista de campos de la
Campo de fila Campo de los datos de "ambiente", y las etiqueta
tabla dinámica
origen que se asigna a una orientación de tenis". En la celda s-solead
fila en un informe de tabla dinámica. Por que tiene ambiente=solea
ejemplo. Como necesitamos saber
cuantos "jugar tenis" = n o s, para cada
atributo, entonces, juagar tenis podría
considerarse como un campo fila
Ahora podemos arrastrar los atributos, de acuerdo a nuestras necesidades, ya sea directamente a la tabla di
o podemos arrastrarlos a la lista de campos de la tabla dinámica, que aparece en el cuadro señalado con el
Si usted selecciona uno o varios de estos campos excel asumirá automáticamente que son campos de fila
Para diseñar la tabla, lo que necesitamos saber inicialmente es cuantos patrones tiene "jugar tenis"=s y cuán
entonces, una opción podría ser colocar como campo fila a "jugar tenis", y como campo de datos: "cuenta jug
Para hacer esto, se arrastra el campo "jugar tenis", desde la lista de campos, hasta el campo de filas de la ta
Luego arrastre "jugar tenis" al campo de datos
Con lo cual, la tabla dinámica se verá de la siguiente forma:

Lo cual indica que hay 5 patrones con "jugar tenis=n" y 9 patrones con "jugar tenis=s"
La entropía es el número promedio de bits requeridos para codificar la variable de decisión del sistema
es también una medida de la heterogeneidad de los datos
n(S)=14 n(s)=Número de patrones con variables de decisión=Sí
n(s)=9 n(n)=Número de patrones con variables de decisión=No
n(n)=5 n(S)=Número de patrones de en sistema
n( s )  n( s )  n( n )  n( n ) 
Entropia( S ) = − log 2   − log 2  
n( S )  n ( S )  n ( S )  n( S ) 
9 9  5 5 
Entropia (S ) = − log 2   − log 2   = 0.940
14  14  14  14 
CALCULO DE LA GANANCIA DE INFORMACIÓN PARA CADA ATRIBUTO

ATRIBUTO AMBIENTE
Entropía esperada del sistema, luego de conocer el valor del atributo AMBIENTE
Entropía Ambiente=soleado
PATRONES CON AMBIENTE=SOLEADO
PATRON AMBIENTE TEMPERATURA HUMEDAD
1 soleado caliente alta
8 soleado moderada alta
9 soleado fría Normal
11 soleado moderada Normal
La tabla anterior fue obtenida mediante un filtro a la tabla original, pero podría obtenerse media
como filtro, el atributo ambiente
Con lo cual se obtendrá, una apariencia así:
Ahora haga clic en la lista desplegable de Ambiente y se selecciona soleado

Luego de hacer esto, la aparciencia de la pantalla será la siguiente:
n(So)=5 n(So)=Número de patrones con Ambiente=soleado

n(s/So)=2 n(s/So)=Número de con Ambiente= soleado y variable de decisión= Sí
n(n/So)=3 n(n/So)=Número de con Ambiente= soleado y variable de decisión= No
n( s / So)  n( s / So)  n(n / So)  n(n / So) 

Entropia( Soleado) = − log 2   − log 2  
n( So)  n( So)  n( So)  n( So) 
2 2 3 3
Entropia ( Soleado) = − log 2   − log 2   = 0.970950594
5 5 5 5
Entropía Ambiente= nublado
PATRONES CON AMBIENTE=NUBLADO

3 nublado caliente alta
7 nublado fría Normal
12 nublado moderada alta
13 nublado caliente Normal
Si en la tabla dinámica se seleccióna Ambiente-nublado, obtiene lo siguiente
AMBIENTE nublado
Count - Jugar tenis

Jugar tenis
s 4
Total Result 4
Esto indica, que si se sabe que el AMBIENTE=nublado, entonces, jugar tenis=s, y no se requie
n(Nu)=4 n(Nu)=Número de patrones con Ambiente=nublado
n(s/Nu)=4 n(s/Nu)=Número de con Ambiente= nublado y variable de decisión= Sí
n(n/Nu)=0 n(n/Nu)=Número de con Ambiente= nublado y variable de decisión= No
n(s/Nu)  n(s/Nu) n(n/Nu)  n(n/Nu) 

Entropia (Nublado ) = − log   − log  
n(Nu) 2  n(Nu)  n(Nu) 2  n(Nu) 
n(s/Nu)  n(s/Nu) n(n/Nu)  n(n/Nu) 
Entropia (Nublado ) = − log  − log  
n(Nu) 2  n(Nu)  n(Nu) 2  n(Nu) 
4 4 0 0
Entropia( Nublado) = − log 2   − log 2   = 0 Este valor de entropía confirma esto
4  
4 4 4
Entropía Ambiente= lluvioso
PATRONES CON AMBIENTE=LLUVIOSO

4 lluvioso moderada alta
5 lluvioso fría Normal
10 lluvioso moderada Normal
Si en la tabla dinámica se seleccióna Ambiente-lluvioso, obtiene lo siguiente

AMBIENTE lluvioso
Count - Jugar tenis

Jugar tenis
n 2
s 3
Total Result 5
n(Llu)=5 n(Llu)=Número de patrones con Ambiente=Lluvioso

n(s/Llu)=3 n(s/Llu)=Número de con Ambiente= Lluvioso y variable de decisión= Sí
n(n/Llu)=2 n(n/Llu)=Número de con Ambiente= Lluvioso y variable de decisión= No
n(s/Llu)  n(s/Llu)  n(n/Llu)  n(n/Llu) 

Entropia (Lluvioso) = − log   − log  
n(Llu) 2  n(Llu)  n(Llu) 2  n(Llu) 
3 3 2 2
Entropia (Lluvioso ) = − log   − log   = 0.970950594
5 2 5  5 2 5 
CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE EL AMBIENTE

Entropia(S/Ambiente) Entropia esperada
n(So) n(Nu) n(Llu)

Entropia (S/ Ambiente ) = Entropia(s oleado) + Entropia(n ublado) + Entropia(l lu
n(S) n(S) n(S)
5 4 5
Entropia (S, Ambiente ) = 0.970950594 + 0 + 0.970950594 = 0.693536139
14 14 14
GANANCIA DE INFORMACIÓN EN EL SISTEMA AL CONOCER EL AMBIENTE
G(S, Ambiente)
Ganancia(S, Ambiente ) = Entropia( S ) − Entropía( S / Ambiente)
Ganancia(S, Ambiente ) = 0.940285959 − 0.693536139 = 0.24674982

ATRIBUTO HUMEDAD
Entropía esperada luego de conocer el valor del atributo HUMEDAD
Entropía Humedad= Alta
PATRONES CON HUMEDAD=ALTA

En la tabla dinámica se puede arrastar el atibuto HUMEDAD, desde la lista de campos de la tab
hasta los campos de filtro de la tabla(debajo de ambiente) Como se necesita conocer el compo
de los patrones para cada valor de humedad sin restricciones adicionales, entonces se fija AMB
para obtener los patrones correspondientes a este tipo de humedad. La tabla se verá así
AMBIENTE - all -
HUMEDAD alta
Count - Jugar tenis

Jugar tenis
n 4
s 3
Total Result 7
n(Al)=7 n(Al)=Número de patrones con Humedad=Alta

n(s/Al)=3 n(s/Al)=Número de con Humedad= Alta y variable de decisión= Sí
n(n/Al)=4 n(n/Al)=Número de con Humedad= Alta y variable de decisión= No
n( s / Al)  n( s / Al)  n(n / Al)  n(n / Al) 

Entropia(alta) = − log 2   − log 2  
n( Al)  n( Al)  n( Al)  n( Al) 
3 3 4 4
Entropia(alta) = − log 2   − log 2   = 0.985228136
7  
7 7 7
Entropía Humedad=Normal
PATRONES CON HUMEDAD=NORMAL

Se fija Humedad=Normal
AMBIENTE - all -
HUMEDAD Normal
Count - Jugar tenis

Jugar tenis
n 1
s 6
Total Result 7
n(No)=7 n(No)=Número de patrones con Humedad=Normal

n(s/No)=1 n(s/No)=Número de con Humedad=Normal y variable de decisión= Sí
n(n/No)=6 n(n/No)=Número de con Humedad= Normal y variable de decisión= No
n( s / No)  n( s / No)  n(n / No)  n( n / No) 

Entropia(normal) = − log 2   − log 2  
n( No)  n ( No )  n ( No )  n( No) 
6 6 1 1
Entropia( nomal ) = − log 2   − log 2   = 0.591672779
7 7
  7 7
CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE LA HUMEDAD

Entropia(S,Humedad) Entropia esperada
n(Al) n(No)
Entropia (S, Humedad ) = Entropia(a lta) + Entropia(n ormal)
n(S) n(S)
7 7
Entropia (S, Humedad ) = 0.985228136 + 0.591672779 = 0.788450457
14 14
GANANCIA DE INFORMACIÓN EN EL SISTEMA AL CONOCER LA HUMEDAD
G(S, Humedad)
Ganancia(S, Humedad ) = Entropia( S ) − Entropía( S / Humedad)
Ganancia(S, Humedad ) = 0.940285959 − 0.788450457 = 0.151835501
ATRIBUTO VIENTO
Entropía esperada luego de conocer el valor del atributo viento
Entropía Viento=Fuerte
PATRONES CON VIENTO=FUERTE

En la tabla dinámica se puede arrastar el atibuto VIENTO, desde la lista de campos de la tabla(
hasta los campos de filtro de la tabla(debajo de AMBIENTE Y HUMEDAD) Como se necesita c
HUMEDAD a Todas, y VIENTO=fuerte, para obtener los patrones correspondientes a este tipo
AMBIENTE - all -
HUMEDAD - all -
viento fuerte
Count - Jugar tenis

Jugar tenis
n 3
s 3
Total Result 6
n(Fu)=6 n(Fu)=Número de patrones con Viento=Fuerte

n(s/Fu)=3 n(s/Fu)=Número de con Viento=Fuerte y variable de decisión= Sí
n(n/Fu)=3 n(n/Fu)=Número de con Viento=Débil y variable de decisión= No
n( s / Fu)  n( s / Fu)  n(n / Fu)  n(n / Fu) 

Entropia( fuerte) = − log 2   − log 2  
n( Fu)  n( Fu)  n( Fu)  n( Fu) 
3 3 3 3
Entropia( fuerte ) = − log 2   − log 2   = 1.0
6 6 6 6
Entropía Viento=Débil
PATRONES CON VIENTO=DEBIL

Se fija Viento= débil, en a tabla dinámica

AMBIENTE - all -
HUMEDAD - all -
viento fuerte
Count - Jugar tenis

Jugar tenis
n 3
s 3
Total Result 6
n(De)=8 n(De)=Número de patrones con Viento=Débil

n(s/De)=6 n(s/De)=Número de con Viento=Débil y variable de decisión= Sí
n(n/De)=2 n(n/De)=Número de con Viento=Débil y variable de decisión= No
n( s / De)  n( s / De)  n(n / De)  n(n / De) 
Entropia( débil) = − log 2   − log 2  
n( De)  n( De)  n( De)  n( De) 
6 6 2 2 0.81

Entropia(débil) = − log 2   − log 2   = 0.811278124
8 8
  8 8
CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE EL ATRIBUTO VIEN
n(Fu) n(De)
Entropia (S/Viento) = Entropia(f uerte) + Entropia(d ebil)
n(S) n(S)
6 8
Entropia (S/Viento ) = 1.0 + 0.811278124 = 0.892158928
14 14
GANANCIA DE INFORMACIÓN AL CONOCER EL VIENTO
Ganancia(S, Viento ) = Entropia( S ) − Entropía( S / Viento)
Ganancia(S, Viento ) = 0.940285959 − 0.892158928 = 0.048127031
ATRIBUTO TEMPERATURA
Entropía esperada luego de conocer el valor del atributo TEMPERATURA
Entropía Temperatura=Caliente
PATRONES CON TEMPERATURA=CALIENTE

En la tabla dinámica se puede arrastar el atibuto TEMPERATURA, desde la lista de campos de

hasta los campos de filtro de la tabla(debajo de AMBIENTE,HUMEDAD Y VIENTO) Como se n
HUMEDAD a Todas, VIENTO=Todas y TEMPERATURA = caliente, para obtener los patrones
a este tipo de temperatura. La tabla se verá así
AMBIENTE - all -
HUMEDAD - all -
viento - all -
TEMPERATURA caliente
Count - Jugar tenis

Jugar tenis
n 2
s 2
Total Result 4
n(Ca)=4 n(Ca)=Número de patrones con Temperatura=caliente

n(s/Ca)=2 n(s/Ca)=Número de con Temperatura=caliente y variable de decisión=
n(n/Ca)=2 n(n/Ca)=Número de con Temperratura=caliente y variable de decisión=
n( s / Ca )  n( s / Ca )  n(n / Ca )  n(n / Ca ) 
Entropia(caliente) = − log 2   − log 2  
n(Ca )  n(Ca )  n(Ca )  n(Ca ) 
2 2 2 2
Entropia(caliente) = − log 2   − log 2   = 1.0
4 4 4 4
Entropía Temperatura=Fría
PATRONES CON TEMPERATURA=FRIA

Se fija TEMPERATURA=fría, en la tabla dinámica

AMBIENTE - all -
HUMEDAD - all -
viento - all -
TEMPERATURA fría
Count - Jugar tenis

Jugar tenis
n 1
s 3
Total Result 4
n(Fr)=4 n(Fr)=Número de patrones con Temperatura=Fría

n(s/Fr)=3 n(s/Fr)=Número de con Temperatura=Fría y variable de decisión= Sí
n(n/Fr)=1 n(n/Fr)=Número de con Temperratura=Fría y variable de decisión= No
n( s / Fr)  n( s / Fr)  n(n / Fr)  n(n / Fr) 

Entropia( fria) = − log 2   − log 2  
n( Fr)  n( Fr)  n( Fr)  n( Fr) 
3 3 1 1
Entropia( fria ) = − log 2   − log 2   = 0.81127812
4 4
  4 4
Entropía Temperatura=Moderada
PATRONES CON TEMPERATURA=MODERADA

Se fija TEMPERATURA=Moderada, en la tabla dinámica

AMBIENTE - all -
HUMEDAD - all -
viento - all -
TEMPERATURA moderada
Count - Jugar tenis

Jugar tenis
n 2
s 4
Total Result 6
n(Mo)=6 n(Mo)=Número de patrones con Temperatura=Moderada

n(s/Mo)=4 n(s/Mo)=Número de con Temperatura=Moderada y variable de decisión
n(n/Mo)=2 n(n/Mo)=Número de con Temperratura=Moderada y variable de decisió
n( s / Mo)  n( s / Mo)  n(n / Mo)  n(n / Mo) 

Entropia(mod erada) = − log 2   − log 2  
n( Mo)  n( Mo)  n( Mo)  n( Mo) 
4 4 2 2
Entropia(mod erada) = − log 2   − log 2   = 0.91829583
6 6
  6 6
CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE EL ATRIBUTO TEMP
Entropia(S,Temperatura) Entropia esperada
n(Ca) n(Fr) n(Mo)

Entropia (S/Tempera tura) = Entropia(c aliente) + Entropia(f ría) + Entropia(m ode
n(S) n(S) n(S)
4 4 6
Entropia (S, Temperatura ) = 1.0 + 0.81127812+ 0.91829583 = 0.91106339
14 14 14
GANANCIA DE INFORMACIÓN AL CONOCER LA TEMPERATURA
G(S, Temperatura)
Ganancia(S, Temperatura ) = Entropia( S ) − Entropía( S / Temperatura )
Ganancia(S, Temperatura ) = 0.940285959 − 0.91106339 = 0.02922257
RESUMEN DE RESULTADOS SOBRE LA GANANCIA DEL SISTE

ATRIBUTO GANANCIA
AMBIENTE 0.25 ATRIBUTO GANADOR
HUMEDAD 0.15
VIENTO 0.05
TEMPERATURA 0.03
Lo anterior indica que el atributo que más información proporciona para tomar la decisión de jugar o no tenis
AMBIENTE
Soleado N Lluvioso
u
b
l
3 patrones con respuesta n 4 patrones
a con 2 patrones con respue
2 patrones con respuesta s respuesta
d s 3 patrrones con respue
o
Ahora se debe decidir para cada uno de los valores del atributo AMBIENTE,
RAMA SOLEADO
AMBIENTE =SOLEADO
Conociendo que el ambiente es soleado. Cuál es el atributo que proporciona mayor información?
En este caso el sistema se restringe a todos los patrones con AMBIENTE=SOLEADO
Por lo tanto la entropia del sistema restringido es igual a la entropía de soleado
Entropía(Sistema/Soleado)=Entropía(soleado)= 0.97

Se evalúa la ganancia de información para cada uno de los otros atributos: TEMPERATURA, HUMEDAD, VI
Entropia(Caliente/Ambiente=soleado)
PATRONES CON AMBIENTE=SOLEADO Y TEMPERATURA = CALIENTE

En este caso se debe fijar AMBIENTE=soleado y TEMPERATURA=caliente
AMBIENTE soleado
HUMEDAD - all -
viento - all -
Count - Jugar tenis

Jugar tenis
n 2
Total Result 2
n(So y Ca)=2 n(So y Ca)=Número de patrones con Ambiente=soleado y Temperatura
n(s/So y Ca)=0 n(s/So y Ca)=Número de patrones con Ambiente=soleado y Temperatu
n(n/So y Ca)=2 n(n/So y Ca)=Número de patrones con Ambiente=soleado y Temperatu
n( s / So y Ca )  n( s / So y Ca )  n( n / So y Ca )  n( n / So y Ca ) 
Entropia(caliente / soleado) = − log 2   − log 2  
n( So y Ca )  n( So y Ca )  n( So y Ca )  n( So y Ca ) 
0 0 2 2
Entropia(caliente / soleado) = − log 2   − log 2   = 0
2 2
  2 2
Entropia(Fría/Ambiente=soleado)
PATRONES CON AMBIENTE=SOLEADO Y TEMPERATURA = FRIA

Se fija TEMPERATURA=fría
AMBIENTE soleado
HUMEDAD - all -
viento - all -
TEMPERATURA fría
Count - Jugar tenis

Jugar tenis
s 1
Total Result 1
n(So y Fr)=1 n(So y Fr)=Número de patrones con Ambiente=soleado y Temperatura=

n(s/So y Fr)=1 n(s/So y Fr)=Número de patrones con Ambiente=soleado y Temperatur
n(n/So y Fr)=0 n(n/So y Fr)=Número de patrones con Ambiente=soleado y Temperatur
n( s / So y Fr)  n( s / So y Fr)  n( n / So y Fr)  n( n / So y Fr) 

Entropia( Fría / soleado) = − log 2   − log 2  
n( So y Fr)  n( So y Fr)  n( So y Fr)  n( So y Fr) 
1 1  0 0
Entropia( Fría / soleado) = − log 2   − log 2   = 0
1  
1 1 1
Entropia(Moderada/Ambiente=soleado)
PATRONES CON AMBIENTE=SOLEADO Y TEMPERATURA = MODERADA

Se fija TEMPERATURA=moderada
AMBIENTE soleado
HUMEDAD - all -
viento - all -
Count - Jugar tenis

Jugar tenis
n 1
s 1
Total Result 2
n(So y Mo)=2 n(So y Mo)=Número de patrones con Ambiente=soleado y Temperatura

n(s/So y Mo)=1 n(s/So y Mo)=Número de patrones con Ambiente=soleado y Temperatu
n(n/So y Mo)=1 n(n/So y Mo)=Número de patrones con Ambiente=soleado y Temperatu
n( s / So y Mo)  n( s / So y Mo)  n( n / So y Mo)  n(n / So y Mo) 

Entropia( Moderada / soleado) = − log 2   − log 2  
n( So y Mo)  n ( So y Mo )  n ( So y Mo)  n( So y Mo) 
1 1 1 1
Entropia( Moderada / soleado) = − log 2   − log 2   = 1.0
2 2 2 2 -1
CALCULO DE LA ENTROPÍA DE SOLEADO DADO QUE SE CONOCE EL ATRIBUTO TEMPERATURA
n(Ca) n(Fr) n(Mo)

Entropia (Soleado/T emperatura ) = Entropia(c aliente/soleado) + Entropia(f ría/solead o) + Entrop
n(So) n(So) n(So)
2 1 2
Entropia (Soleado/Temperatura) = 0 + 0 + 1.0 = 0.4
5 5 5
GANANCIA DE INFORMACIÓN EN SOLEADO AL CONOCER LA TEMPERATURA
Ganancia(Soleado, Temperatura ) = Entropia( Soleado) − Entropía( Soleado / Temperatura )
Ganancia(Soleado, Humedad ) = 0.970950594 − 0.4 = 0.570950594
ATRIBUTO HUMEDAD
Entropia(alta/Ambiente=soleado)
PATRONES CON AMBIENTE=SOLEADO Y HUMEDAD=ALTA

En este caso se debe fijar AMBIENTE=soleado y HUMEDAD=alta
AMBIENTE soleado
HUMEDAD alta
viento - all -
TEMPERATURA - all -
Count - Jugar tenis

Jugar tenis
n 3
Total Result 3
n(So y Al)=3 n(So y Al)=Número de patrones con Ambiente=soleado y Humedad=Alt
n(s/So y Al)=0 n(s/So y Al)=Número de patrones con Ambiente=soleado y Humedad=A
n(n/So y Al)=3 n(n/So y Al)=Número de patrones con Ambiente=soleado y Humedad=A
n( s / So y Al)  n( s / So y Al)  n( n / So y Al)  n(n / So y Al) 

Entropia(alta / soleado) = − log 2   − log 2  
n( So y Al)  n( So y Al)  n( So y Al)  n( So y Al) 
0 0 3 3
Entropia( alta / soleado) = − log 2   − log 2   = 0
3 3 3 3
Entropia(Normal/Ambiente=soleado)
PATRONES CON AMBIENTE=SOLEADO Y HUMEDAD=NORMAL

En este caso se debe fijar AMBIENTE=soleado y HUMEDAD=Normal
AMBIENTE soleado
HUMEDAD Normal
viento - all -
TEMPERATURA - all -
Count - Jugar tenis

Jugar tenis
s 2
Total Result 2
n(So y No)=2 n(So y No)=Número de patrones con Ambiente=soleado y Humedad=N

n(s/So y No)=2 n(s/So y No)=Número de patrones con Ambiente=soleado y Humedad=
n(n/So y No)=0 n(n/So y No)=Número de patrones con Ambiente=soleado y Humedad=
n( s / So y No)  n( s / So y No )  n( n / So y No)  n( n / So y No) 

Entropia( Normal / soleado) = − log 2   − log 2  
n( So y No)  n ( So y No )  n ( So y No )  n( So y No) 
2 2 0 0
Entropia( Normal / soleado) = − log 2   − log 2   = 0
2 2 2 2
CALCULO DE LA ENTROPÍA DE SOLEADO DADO QUE SE CONOCE EL ATRIBUTO HUMEDAD
n(Al) n(No)
Entropia (Soleado/H umedad) = Entropia(a lta/soleado) + Entropia(n ormal/sole ado)
n(So) n(So)
3 2 SI SE SABE QUE EL AMBIENTE ES SOLEADO, EL ATRIB

Entropia (Soleado/Humedad) = 0+ 0=0
5 5 CON RESPECTO A LA VARIABLE DE DECISIÓN(JUGAR
GANANCIA DE INFORMACIÓN EN SOLEADO AL CONOCER LA HUMEDAD

Ganancia(Soleado, Humedad ) = Entropia( Soleado) − Entropía( Soleado / Humedad)
Ganancia(Soleado, Humedad ) = 0.970950594 − 0 = 0.970950594
ATRIBUTO VIENTO
Entropia(fuerte/Ambiente=soleado)
PATRONES CON AMBIENTE=SOLEADO Y VIENTO=FUERTE

En este caso se debe fijar AMBIENTE=soleado y VIENTO=Fuerte
AMBIENTE soleado
HUMEDAD - all -
viento fuerte
TEMPERATURA - all -
Count - Jugar tenis

Jugar tenis
n 1
s 1
Total Result 2
n(So y Fu)=2 n(So y Fu)=Número de patrones con Ambiente=soleado y Viento=Fuert

n(s/So y Fu)=1 n(s/So y Fu)=Número de patrones con Ambiente=soleado y Viento=Fue
n(n/So y Fu)=1 n(n/So y Fu)=Número de patrones con Ambiente=soleado y Viento=Fue
n( s / So y Fu)  n( s / So y Fu)  n( n / So y Fu)  n( n / So y Fu) 

Entropia( f uerte / soleado) = − log 2   − log 2  
n( So y Fu)  n ( So y Fu )  n ( So y Fu)  n( So y Fu) 
1 1 1 1
Entropia( fuerte / soleado) = − log 2   − log 2   = 1.0
2 2 2 2
Entropia(débil/Ambiente=soleado)
PATRONES CON AMBIENTE=SOLEADO Y VIENTO=DEBIL

En este caso se debe fijar AMBIENTE=soleado y VIENTO=débil
AMBIENTE soleado
HUMEDAD - all -
viento débil
TEMPERATURA - all -
Count - Jugar tenis

Jugar tenis
n 2
s 1
Total Result 3
n(So y De)=3 n(So y De)=Número de patrones con Ambiente=soleado y Viento=Débi

n(s/So y De)=1 n(s/So y De)=Número de patrones con Ambiente=soleado y Viento=Dé
n(n/So y De)=2 n(n/So y De)=Número de patrones con Ambiente=soleado y Viento=Dé
n( s / So y De)  n( s / So y De)  n( n / So y De)  n( n / So y De) 

Entropia( débil / soleado) = − log 2   − log 2  
n( So y De)  n( So y De)  n( So y De)  n( So y De) 
1 1 2 2
Entropia( débil / soleado) = − log 2   − log 2   = 0.91829583
3 3
  3 3
CALCULO DE LA ENTROPÍA DE SOLEADO DADO QUE SE CONOCE EL ATRIBUTO VIENTO
n(Fu) n(De)
Entropia (Soleado/V iento) = Entropia(f uerte/soleado) + Entropia(d ébil/solea do)
n(So) n(So)
2 3
Entropia (Soleado/Viento) = 1.0 + 0.91829583 = 0.9509775
5 5
GANANCIA DE INFORMACIÓN EN SOLEADO AL CONOCER LA HUMEDAD
Ganancia(Soleado, Viento ) = Entropia( Soleado) − Entropía( Soleado / Viento)
Ganancia(Soleado, Temperatura ) = 0.970950594 − 0.9509775 = 0.01997309
RESUMEN DE RESULTADOS DE LA GANANCIA DE INFORMACIÓN EN SOLEADO CON RESPECTO A C
ATRIBUTO GANANCIA
TEMPERATURA 0.57
HUMEDAD 0.97 ATRIBUTO GANADOR
VIENTO 0.02
ES DECIR QUE UNA VEZ SE SEPA QUE EL AMBIENTE ES SOLEADO, EL ATRIBUTO QUE
LA HUMEDAD
COMO EL ATRIBUTO GANADOR FUE LA HUMEDAD Y LA ENTROPÍA(SOLEADO/HUMEDA
DECIR QUE LA INCERTIDUMBRE SE HA ELIMINADO Y EL ARBOL NO PROSIGUE POR ES
COMO SE PUEDE OBSERVAR EN LA TABLA SIGUIENTE, TODOS LOS PATRONES CON A
CORRESPONDE A "NO JUGAR TENIS" Y TODOS LOS PATRONES CON AMBIENTE=SOLE
SI JUGAR TENIS", ES DECIR UNA VEZ CONOCIDO QUE EL AMBIENTE ES SOLEADO, EL
HUMEDAD PERMITE DECIDIR SI SE JUEGA O NO TENIS
CON ESTAS PRECISIONES EL ÁRBOL QUEDARÍA PARCIALMENTE COMO SIGUE
AMBIENTE
Soleado Nublado Lluvioso
HUMEDAD 4 patrones con respuesta s
Alta Normal
No Si
RAMA NUBLADO
En este caso el sistema se restringe a todos los patrones con AMBIENTE=NUBLADO

Por lo tanto la entropia del sistema restringido es igual a la entropía de soleado
Entropía(Sistema/Nublado)=Entropía(Nublado)= 0
COMO LA ENTROPÍA=0, ENTONCES ESTA RAMA NO PROSIGUE
ESTO INDICA QUE UNA VEZ SE SEPA QUE EL ATRIBUTO AMBIENTE ES NUBLADO, YA S
ESTO SE PUEDE EVIDENCIAR EN LA SIGUIENTE TABLA
PATRONES CON AMBIENTE=NUBLADO

COMO SE PUEDE APRECIAR, TODOS LOS PATRONES CON AMBIENTE=NUBLADO, COR

ESTO QUIERE DECIR QUE UNA VEZ SE SEPA QUE EL AMBIENTE=NUBLADO, SE SABRÁ
CON ESTAS PRECISIONES EL ÁRBOL QUEDA PARCIALMENTE SE LA SIGUIENTE FORMA
AMBIENTE
Soleado Nublado
Soleado Nublado
Si
HUMEDAD
Alta Normal
No Si
RAMA LLUVIOSO
En este caso el sistema se restringe a todos los patrones con AMBIENTE=LLUVIOSO

Por lo tanto la entropia del sistema restringido es igual a la entropía de lluvioso
Entropía(Sistema/Lluvioso)=Entropía(Lluvioso)= 0.97
PATRONES CON AMBIENTE=LLUVIOSO

Entropia(Caliente/Ambiente=Lluvioso)
En este caso se debe fijar AMBIENTE=lluvioso y TEMPERATURA=Caliente
AMBIENTE lluvioso
HUMEDAD - all -
viento - all -
Count - Jugar tenis
Como no hay patrones con Ambiente =Lluvioso y Temperatura=Caliente

entonces no se toma en cuenta
Entropia(Fría/Ambiente=lluvioso)
PATRONES CON AMBIENTE=LLUVIOSO Y TEMPERATURA=FRÍA

En este caso se debe fijar AMBIENTE=lluvioso y TEMPERATURA=fría
AMBIENTE lluvioso
HUMEDAD - all -
viento - all -
TEMPERATURA fría
Count - Jugar tenis

Jugar tenis
n 1
s 1
Total Result 2
n(LLu y Fr)=2 n(LLu y Fr)=Número de patrones con Ambiente=Lluvioso y

n(s/LLu y Fr)=1 n(s/LLu y Fr)=Número de patrones con Ambiente=Lluvioso
n(n/LLu y Fr)=1 n(n/LLu y Fr)=Número de patrones con Ambiente=Lluvioso
n( s / Llu y Fr)  n( s / Llu y Fr)  n(n / Llu y Fr)  n(n / Llu y

Entropia( Fría / lluvioso) = − log 2   − log 2 
n( Llu y Fr)  n( Llu y Fr)  n( Llu y Fr)  n( Llu y F
1 1 1 1
Entropia( Fría / lluvioso) = − log 2   − log 2   = 1.0
2 2 2 2
Entropia(Moderada/Ambiente=lluvioso)
PATRONES CON AMBIENTE=LLUVIOSO Y TEMPERATURA=MODERADA

En este caso se debe fijar AMBIENTE=lluvioso y TEMPERATURA=moderada
AMBIENTE lluvioso
HUMEDAD - all -
viento - all -
Count - Jugar tenis

Jugar tenis
n 1
s 2
Total Result 3
n(LLu y Mo)=3 n(LLu y Mo)=Número de patrones con Ambiente=Lluvioso y

n(s/LLu y Mo)=2 n(s/LLu y Mo)=Número de patrones con Ambiente=Lluvioso
n(n/LLu y Mo)=1 n(n/LLu y Mo)=Número de patrones con Ambiente=Lluvioso
n( s / Llu y Mo)  n( s / Llu y Mo)  n(n / Llu y Mo)  n(n

Entropia( Moderada / lluvioso) = − log 2   − log 2 
n( Llu y Mo)  n ( Llu y Mo )  n ( Llu y Mo)  n(
n( s / Llu y Mo)  n( s / Llu y Mo)  n(n / Llu y Mo)  n(n
Entropia( Moderada / lluvioso) = − log 2   − log 2 
n( Llu y Mo)  n( Llu y Mo)  n( Llu y Mo)  n(
2 2 1 1
Entropia( Moderada / lluvioso) = − log 2   − log 2   = 0.91829583
3  
3 3 3
CALCULO DE LA ENTROPÍA DE LLUVIOSO QUE SE CONOCE EL ATRIBUTO TEMPERAT

Entropia(Lluvioso/Temperatura)
n(Ca) n(Fr)
Entropia (Lluvioso/ Temperatur a) = Entropia(c aliente/ll uvioso) + Entropia(f ría/lluvio so
n(So) n(So)
2 3
Entropia (Lluvioso/Temperatura) = 0 + 1.0 + 0.91829583 = 0.950977498
5 5
GANANCIA DE INFORMACIÓN EN LLUVIOSO AL CONOCER LA TEMPERATURA

Ganancia(Lluvioso,Tempertura)
Ganancia(Lluvioso, Temperatura ) = Entropia(Lluvioso) − Entropía(Lluvioso / Temperatura )
Ganancia(Lluvioso, Temperatura ) = 0.970950594 − 0.950977498 = 0.0199731
ATRIBUTO HUMEDAD
Entropia(alta/Ambiente=lluvioso)
PATRONES CON AMBIENTE=LLUVIOSO Y HUMEDAD=ALTA

En este caso se debe fijar AMBIENTE=lluvioso y HUMEDAD=alta
AMBIENTE lluvioso
HUMEDAD alta
viento - all -
TEMPERATURA - all -
Count - Jugar tenis

Jugar tenis
n 1
s 1
Total Result 2
n(LLu y Al)=2 n(LLu y Al)=Número de patrones con Ambiente=Lluvioso y H

n(s/LLu y Al)=1 n(s/LLu y Al)=Número de patrones con Ambiente=Lluvioso y
n(n/LLu y Al)=1 n(n/LLu y Al)=Número de patrones con Ambiente=Lluvioso
n( s / Llu y Al)  n( s / Llu y Al)  n(n / Llu y Al)  n(n / Llu y A

Entropia(alta / lluvioso) = − log 2   − log 2 
n( Llu y Al)  n( Llu y Al)  n( Llu y Al)  n( Llu y Al)
1 1 1 1
Entropia(alta / lluvioso) = − log 2   − log 2   = 1.0
2 2 2 2
1 1 1 1
Entropia(alta / lluvioso) = − log 2   − log 2   = 1.0
2 2 2 2
Entropia(Normal/Ambiente=lluvioso)
PATRONES CON AMBIENTE=LLUVIOSO Y HUMEDAD=NORMAL

En este caso se debe fijar AMBIENTE=lluvioso y HUMEDAD=Normal
AMBIENTE lluvioso
HUMEDAD Normal
viento - all -
TEMPERATURA - all -
Count - Jugar tenis

Jugar tenis
n 1
s 2
Total Result 3
n(LLu y No)=3 n(LLu y No)=Número de patrones con Ambiente=Lluvioso y

n(s/LLu y No)=2 n(s/LLu yNo)=Número de patrones con Ambiente=Lluvioso
n(n/LLu y No)=1 n(n/LLu y No)=Número de patrones con Ambiente=Lluvioso
n( s / Llu y No)  n( s / Llu y No)  n(n / Llu y No)  n( n / L

Entropia( Normal / lluvioso) = − log 2   − log 2 
n( Llu y No)  n( Llu y No)  n( Llu y No)  n( Llu
2 2 1 1
Entropia( Normal / lluvioso) = − log 2   − log 2   = 0.91829583
3 3 3 3
Entropia(Lluvioso/Humedad)
n(Al) n(No)
Entropia (Lluvioso/ Humedad) = Entropia(a lta/lluvio so) + Entropia(n ormal/lluv ioso)
n(So) n(So)
2 3
Entropia (Lluvioso/Humedad) = 1.0 + 0.91829583 = 0.950977498
5 5
Ganancia(Lluvioso,Humedad)
Ganancia(Lluvioso, Humedad ) = Entropia(Lluvioso) − Entropía(Lluvioso / Humedad)
Ganancia(Lluvioso, Humedad ) = 0.970950594 − 0.950977498 = 0.0199731
ATRIBUTO VIENTO
Entropia(fuerte/Ambiente=lluvioso)
PATRONES CON AMBIENTE=LLUVIOSO Y VIENTO=FUERTE

En este caso se debe fijar AMBIENTE=lluvioso y VIENTO=Fuerte
AMBIENTE lluvioso
HUMEDAD - all -
viento fuerte
TEMPERATURA - all -
Count - Jugar tenis

Jugar tenis
n 2
Total Result 2
n(LLu y Fu)=2 n(LLu y Fu)=Número de patrones con Ambiente=Lluvioso y

n(s/LLu y Fu)=0 n(s/LLu y Fu)=Número de patrones con Ambiente=Lluvioso
n(n/LLu y Fu)=2 n(n/LLu y Fu)=Número de patrones con Ambiente=Lluvioso
n( s / Llu y Fu)  n( s / Llu y Fu)  n(n / Llu y Fu)  n(n / Llu

Entropia( fuerte / lluvioso) = − log 2   − log 2 
n( Llu y Fu)  n( Llu y Fu)  n( Llu y Fu)  n( Llu y
0 0 2 2
Entropia( fuerte / lluvioso) = − log 2   − log 2   = 0
2 2
  2 2
Entropia(débil/Ambiente=lluvioso)
PATRONES CON AMBIENTE=LLUVIOSO Y VIENTO=DEBIL

En este caso se debe fijar AMBIENTE=lluvioso y VIENTO=débil
AMBIENTE lluvioso
HUMEDAD - all -
viento débil
TEMPERATURA - all -
Count - Jugar tenis

Jugar tenis
s 3
Total Result 3
n(LLu y De)=3 n(LLu y De)=Número de patrones con Ambiente=Lluvioso y

n(s/LLu y De)=3 n(s/LLu y De)=Número de patrones con Ambiente=Lluvioso
n(n/LLu y De)=0 n(n/LLu y De)=Número de patrones con Ambiente=Lluvioso
n( s / Llu y De)  n( s / Llu y De)  n(n / Llu y De)  n(n / Llu y
Entropia(débil / lluvioso) = − log 2   − log 2 
n( Llu y De)  n( Llu y De)  n( Llu y De)  n( Llu y
3 3 0 0
Entropia(débil / lluvioso) = − log 2   − log 2   = 0
3 3
  3 3
Entropia(Lluvioso/Viento)
n(Fu) n(De)
Entropia (Lluvioso/ Viento) = Entropia(f uerte/Lluv ioso) + Entropia(d ébil/Lluvi oso)
n(So) n(So)
2 3
Entropia (Lluvioso/Viento) = 0+ 0 =0
5 5
Ganancia(Lluvioso,Viento)
Ganancia(Lluvioso, Viento ) = Entropia( Lluvioso) − Entropía( Lluvioso/ Viento)
Ganancia(Lluvioso, Temperatura ) = 0.970950594 − 0 = 0.970950594
RESUMIENDO LAS GANANCIAS DE INFORMACIÓN DE CADA ATRIB
ATRIBUTO GANANCIA
TEMPERATURA 0.02
HUMEDAD 0.02
VIENTO 0.97 ATRIBUTO GANADOR
ES DECIR QUE UNA VEZ SE SEPA QUE EL AMBIENTE ES LLUVIOSO EL ATRIBUTO QUE
VIENTO
COMO EL ATRIBUTO GANADOR FUE EL VIENTO Y LA ENTROPÍA(SOLEADO/VIENTO)=0,
DECIR QUE LA INCERTIDUMBRE SE HA ELIMINADO Y EL ARBOL NO PROSIGUE POR ES
COMO SE PUEDE OBSERVAR EN LA TABLA SIGUIENTE, TODOS LOS PATRONES CON A
CORRESPONDE A "NO JUGAR TENIS" Y TODOS LOS PATRONES CON AMBIENTE=LLUV
SI JUGAR TENIS", ES DECIR UNA VEZ CONOCIDO QUE EL AMBIENTE ES LLUVIOSO, EL
VIENTO PERMITE DECIDIR SI SE JUEGA O NO TENIS

Soleado
Soleado
HUMEDAD
Alta Normal
No Si
LAS REGLAS ASOCIADAS A ESE ARBOL SON:

1) SI AMBIENTE =SOLEADO Y HUMEDAD=ALTA, ENTONCES NO JUGAR TENIS
2) SI AMBIENTE =SOLEADO Y HUMEDAD=NORMAL, ENTONCES SI JUGAR TENIS
3) SI AMBIENTE =NUBLADO, ENTONCES SI JUGAR TENIS
4) SI AMBIENTE =LLUVIOSO Y VIENTO=FUERTE, ENTONCES NO JUGAR TENIS
5) SI AMBIENTE =LLUVIOSO Y VIENTO=DEBIL, ENTONCES SI JUGAR TENIS
LOS 14 PATRONES INICIALES SE HAN REDUCIDO A 6 REGLAS, ESTO INDICA QUE SE H

LOGRÁNDOSE UN FACTOR DE COMPRESIÓN DE 14:6= 2.33
AD LORENZ
GENIERÍAS
SISTEMAS
CONOCIMIENTO
BOLES DE DECISIÓN
ores discretos
. Los árboles
Entonces...
de inferencia
sgo de crédito
VARIABLE DE DECISION
Jugar tenis
n
n
s
s
s
n
s
n
s
s
s
s
s
n
ga o no tenis,a partir del valor de los atributos: Ambiente, Temperatura, Humedad y Viento
ECIR EL ATRIBUTO QUE PROPORCIONA MÁS INFORMACIÓN CON RESPECTO A LA
ros convenientes, con el fin de obtener los valores

ir una tabla dinámicas, que se puede modificar
mo fuente de los patrones
aquí para seleccionar un conjunto de datos
caso de no ubicar la celda activa en la tabla antes de seleccionar la opción

aciendo clic donde se indica en la figura anterior
mo se muestra a continuación
Campo de los datos de origen que se asigna a una orientación de página (o

filtro) en un informe de tabla dinámica. Por ejemplo, Ambiente puede
considerarse como un campo de filtro, si se quiere mostrar los datos
resumidos para ambiente=soleado, ambiente=lluvioso. o ambiente =nublado
Campo de datos Campo de los datos de origen que contiene los valores que
se van a resumir. Por ejemplo, en este caso el número de "n" y de "s" en la
variable de respuesta,"jugar tenis" un campo de datos.
Para los tipos de datos de origen, se puede elegir cómo se van a resumir los
datos (por ejemplo, por suma, promedio o recuento). Un campo de datos suele
resumir números pero también puede resumir texto. Por ejemplo, puede contar
el número de veces que aparece una entrada de texto específica (por ejemplo,
Sí o No) en un campo.
Campo de columna Campo de los datos de origen que se

asigna a una orientación de columna en un informe de tabla
dinámica., para que se detalle cada campo de fila, de acuerdo
con esos campos de columna, teniendo como base el campo de
datos. Por ejemplo, si en el campo de fila se tiene jugar tenis(con
dos valores) en el campo de datos se tiene cuenta Jugar
tenis(cuenta del número de cada valos "s" y "n"), y como campo
columna "ambiente",(3 valores) entonces , el campo de datos
tendrá básicamente 2(valores en jugar tenis)x 3(valroes en
ambiente), el encabezado de las columnas serán los valores de
"ambiente", y las etiquetas de las filas serán los valores de "jugar
tenis". En la celda s-soleado, se mostrará, el número de patrones
que tiene ambiente=soleado y corresponden a "jugar tenis"=n
Campo de columna Campo de los datos de origen que se
asigna a una orientación de columna en un informe de tabla
dinámica., para que se detalle cada campo de fila, de acuerdo
con esos campos de columna, teniendo como base el campo de
datos. Por ejemplo, si en el campo de fila se tiene jugar tenis(con
dos valores) en el campo de datos se tiene cuenta Jugar
tenis(cuenta del número de cada valos "s" y "n"), y como campo
columna "ambiente",(3 valores) entonces , el campo de datos
tendrá básicamente 2(valores en jugar tenis)x 3(valroes en
ambiente), el encabezado de las columnas serán los valores de
"ambiente", y las etiquetas de las filas serán los valores de "jugar
tenis". En la celda s-soleado, se mostrará, el número de patrones
que tiene ambiente=soleado y corresponden a "jugar tenis"=n
des, ya sea directamente a la tabla dinámica

parece en el cuadro señalado con el rectángulo rojo
áticamente que son campos de fila
patrones tiene "jugar tenis"=s y cuántos tienen "jugar tenis"=n

y como campo de datos: "cuenta jugar tenis"
mpos, hasta el campo de filas de la tabla dinámica
ugar tenis=s"
ariable de decisión del sistema
ables de decisión=Sí
ables de decisión=No
PARA CADA ATRIBUTO
del atributo AMBIENTE
VOLVER
ENTE=SOLEADO
viento Jugar tenis
débil n
fuerte n
débil n
débil s
fuerte s
original, pero podría obtenerse mediante la tabla dinámica, adicionando
elecciona soleado
mbiente=soleado
= soleado y variable de decisión= Sí
= soleado y variable de decisión= No
 n(n / So) 
og 2  
 n( So) 
ENTE=NUBLADO VOLVER
viento Jugar tenis
débil s
fuerte s
fuerte s
débil s
btiene lo siguiente
ntonces, jugar tenis=s, y no se requiere información adicional

mbiente=nublado
= nublado y variable de decisión= Sí
= nublado y variable de decisión= No
 n(n/Nu) 
g  
2  n(Nu) 
 n(n/Nu) 
g  
2  n(Nu) 
te valor de entropía confirma esto
NTE=LLUVIOSO VOLVER
viento Jugar tenis
débil s
débil s
fuerte n
débil s
fuerte n
btiene lo siguiente
mbiente=Lluvioso
= Lluvioso y variable de decisión= Sí
= Lluvioso y variable de decisión= No
 n(n/Llu) 
og  
2  n(Llu) 
E SE CONOCE EL AMBIENTE
n(Llu)
ntropia(n ublado) + Entropia(l luvioso)
n(S)
50594 = 0.693536139
NOCER EL AMBIENTE
MEDAD=ALTA
viento Jugar tenis
débil n
fuerte n
débil s
débil s
débil n
fuerte s
fuerte n
D, desde la lista de campos de la tabla(a la derecha de la pantalla)

Como se necesita conocer el comportamiento
nes adicionales, entonces se fija AMBIENTE a Todas y a HUMEDAD= alta
humedad. La tabla se verá así
Alta y variable de decisión= Sí

Alta y variable de decisión= No
EDAD=NORMAL
viento Jugar tenis
débil s
fuerte n
fuerte s
débil s
débil s
fuerte s
débil s
umedad=Normal
=Normal y variable de decisión= Sí
= Normal y variable de decisión= No
 n( n / No) 
og 2  
 n( No) 
E SE CONOCE LA HUMEDAD
= 0.788450457
NOCER LA HUMEDAD
0.151835501
NTO=FUERTE
viento Jugar tenis
fuerte n
fuerte n
fuerte s
fuerte s
fuerte s
fuerte n
desde la lista de campos de la tabla(a la derecha de la pantalla)

E Y HUMEDAD) Como se necesita conocer el comportamiento
nes adicionales, entonces se fija AMBIENTE a Todas ,
atrones correspondientes a este tipo de viento. La tabla se verá así
erte y variable de decisión= Sí

ébil y variable de decisión= No
 n(n / Fu) 
og 2  
 n( Fu) 
ENTO=DEBIL
viento Jugar tenis
débil n
débil s
débil s
débil s
débil n
débil s
débil s
débil s
ébil y variable de decisión= Sí

ébil y variable de decisión= No
 n(n / De) 
2  
 n( De) 
E SE CONOCE EL ATRIBUTO VIENTO
892158928
= 0.048127031
EMPERATURA
ATURA=CALIENTE
viento Jugar tenis
débil n
fuerte n
débil s
débil s
ATURA, desde la lista de campos de la tabla(a la derecha de la pantalla)

E,HUMEDAD Y VIENTO) Como se necesita conocer el comportamiento
nes adicionales, entonces se fija AMBIENTE a Todas ,
= caliente, para obtener los patrones correspondientes
mperatura=caliente
ura=caliente y variable de decisión= Sí
tura=caliente y variable de decisión= No
 n(n / Ca ) 
og 2  
 n(Ca ) 
ERATURA=FRIA
viento Jugar tenis
débil s
fuerte n
fuerte s
débil s
mperatura=Fría
ra=Fría y variable de decisión= Sí
ura=Fría y variable de decisión= No
ATURA=MODERADA
viento Jugar tenis
débil s
débil n
débil s
fuerte s
fuerte s
fuerte n
emperatura=Moderada
ura=Moderada y variable de decisión= Sí
tura=Moderada y variable de decisión= No
Mo)  n(n / Mo) 

log 2  
o)  n( Mo) 
E SE CONOCE EL ATRIBUTO TEMPERATURA
n(Mo)
Entropia(f ría) + Entropia(m oderada)
n(S)
1829583= 0.91106339
GANANCIA DEL SISTEMA CON RESPECTO A CADA UNO DE LOS ATRIBUTOS
tomar la decisión de jugar o no tenis es el AMBIENTE

2 patrones con respuesta n
3 patrrones con respuesta s
el atributo AMBIENTE, qué atributo es el que proporciona mayor información
iona mayor información?

E=SOLEADO
IR A DONDE SE HIZO ESTE CÁLCULO
Jugar tenis
n
n
n
s
s
os: TEMPERATURA, HUMEDAD, VIENTO
RA = CALIENTE
Jugar tenis
n
n
on Ambiente=soleado y Temperatura=caliente
con Ambiente=soleado y Temperatura=caliente con variable de decisión = Sí
con Ambiente=soleado y Temperatura=caliente con variable de decisión = No
y Ca )  n( n / So y Ca ) 
log 2  
y Ca )  n( So y Ca ) 
URA = FRIA
Jugar tenis
s
n Ambiente=soleado y Temperatura=Fría
con Ambiente=soleado y Temperatura=Fría con variable de decisión = Sí
con Ambiente=soleado y Temperatura=Fría con variable de decisión = No
Fr)  n( n / So y Fr) 
log 2  
r)  n( So y Fr) 
A = MODERADA
Jugar tenis
n
s
on Ambiente=soleado y Temperatura=Moderada
con Ambiente=soleado y Temperatura=Moderada con variable de decisión = Sí
con Ambiente=soleado y Temperatura=Moderada con variable de decisión = No
/ So y Mo)  n( n / So y Mo) 
log 2  
So y Mo)  n( So y Mo) 
E EL ATRIBUTO TEMPERATURA
n(Mo)
Entropia(f ría/solead o) + Entropia(m oderada/soleado)
n(So)
MPERATURA
/ Temperatura )
AD=ALTA
Jugar tenis
n
n
n
n Ambiente=soleado y Humedad=Alta
con Ambiente=soleado y Humedad=Alta con variable de decisión = Sí
con Ambiente=soleado y Humedad=Alta con variable de decisión = No
Al)  n(n / So y Al) 

log 2  
)  n( So y Al) 
D=NORMAL
Jugar tenis
s
s
on Ambiente=soleado y Humedad=Normal
con Ambiente=soleado y Humedad=Normal con variable de decisión = Sí
con Ambiente=soleado y Humedad=Normal con variable de decisión = No
o y No)  n( n / So y No) 
log 2  
y No)  n( So y No) 
E EL ATRIBUTO HUMEDAD
pia(n ormal/sole ado)
MBIENTE ES SOLEADO, EL ATRIBUTO HUMEDAD ELIMINA TODA LA INCERTIDUMBRE

A VARIABLE DE DECISIÓN(JUGAR TENIS)
=FUERTE
Jugar tenis
n
s
on Ambiente=soleado y Viento=Fuerte
con Ambiente=soleado y Viento=Fuerte con variable de decisión = Sí
con Ambiente=soleado y Viento=Fuerte con variable de decisión = No
y Fu)  n( n / So y Fu) 
log 2  
Fu)  n( So y Fu) 
=DEBIL
Jugar tenis
n
n
s
on Ambiente=soleado y Viento=Débil
con Ambiente=soleado y Viento=Débil con variable de decisión = Sí
con Ambiente=soleado y Viento=Débil con variable de decisión = No
y De)  n( n / So y De) 
log 2  
De)  n( So y De) 
E EL ATRIBUTO VIENTO
a(d ébil/solea do)
EN SOLEADO CON RESPECTO A CADA UNO DE LOS ATRIBUTOS DISPONIBLES
ES SOLEADO, EL ATRIBUTO QUE MÁS INFORMACIÓN PROPORCIONA ES
LA ENTROPÍA(SOLEADO/HUMEDAD)=0, ENTONCES QUIERE

EL ARBOL NO PROSIGUE POR ESTA RAMA
E, TODOS LOS PATRONES CON AMBIENTE=SOLEADO Y HUMEDAD ALTA,
PATRONES CON AMBIENTE=SOLEADO Y HUMEDAD=NORMAL, CORRESPONDEN A
E EL AMBIENTE ES SOLEADO, EL CONOCIMIENTO DEL ATRIBUTO
ENTE=SOLEADO
viento Jugar tenis
débil n
fuerte n
débil n
débil s
fuerte s
COMO SIGUE
Lluvioso
spuesta s 2 patrones con respuesta n

con AMBIENTE=NUBLADO
entropía de soleado
REGRESAR A VER ESTE CALCULO
TO AMBIENTE ES NUBLADO, YA SE PUEDE DECIDIR SI SE JUEGA TENIS O NO
ENTE=NUBLADO
viento Jugar tenis
débil s
fuerte s
fuerte s
débil s
CON AMBIENTE=NUBLADO, CORRESPONDEN A JUGAR TENIS

AMBIENTE=NUBLADO, SE SABRÁ QUE JUGAR TENIS=SI. Y NO HABRÁ INCERTIDUMBRE
LMENTE SE LA SIGUIENTE FORMA
AMBIENTE
Nublado Lluvioso
Nublado Lluvioso
Si 2 patrones con respuesta n

?
con AMBIENTE=LLUVIOSO
entropía de lluvioso
REGRESAR A VER ESTE CALCULO
NTE=LLUVIOSO
viento Jugar tenis
débil s
débil s
fuerte n
débil s
fuerte n
atura=Caliente
OSO Y TEMPERATURA=FRÍA
viento Jugar tenis
débil s
fuerte n
e patrones con Ambiente=Lluvioso y Temperatura=Fría
de patrones con Ambiente=Lluvioso y Temperatura=Fría con variable de decisión = Sí
de patrones con Ambiente=Lluvioso y Temperatura=Fría con variable de decisión = No
Fr)  n(n / Llu y Fr)  n(n / Llu y Fr) 

 − log 2  
r)  n( Llu y Fr)  n( Llu y Fr) 
O Y TEMPERATURA=MODERADA
viento Jugar tenis
débil s
débil s
fuerte n
e patrones con Ambiente=Lluvioso y Temperatura=Moderada

de patrones con Ambiente=Lluvioso y Temperatura=Moderada con variable de decisión = Sí
de patrones con Ambiente=Lluvioso y Temperatura=Moderada con variable de decisión = No
Llu y Mo)  n(n / Llu y Mo)  n(n / Llu y Mo) 

− log 2  
lu y Mo)  n( Llu y Mo)  n( Llu y Mo) 
Llu y Mo)  n(n / Llu y Mo)  n(n / Llu y Mo) 
 − log 2  
lu y Mo)  n( Llu y Mo)  n( Llu y Mo) 
ONOCE EL ATRIBUTO TEMPERATURA
n(Fr) n(Mo)
uvioso) + Entropia(f ría/lluvio so) + Entropia(m oderada/lluvioso)
n(So) n(So)
= 0.950977498
OCER LA TEMPERATURA
ntropía(Lluvioso / Temperatura )
7498 = 0.0199731
VIOSO Y HUMEDAD=ALTA
viento Jugar tenis
débil s
fuerte n
patrones con Ambiente=Lluvioso y Humedad=Alta

de patrones con Ambiente=Lluvioso y Humedad=Alta con variable de decisión = Sí
de patrones con Ambiente=Lluvioso y Humedad=Alta con variable de decisión = No
l)  n(n / Llu y Al)  n(n / Llu y Al) 

 − log 2  
 n( Llu y Al)  n( Llu y Al) 
OSO Y HUMEDAD=NORMAL
viento Jugar tenis
débil s
fuerte n
débil s
e patrones con Ambiente=Lluvioso y Humedad=Normal

de patrones con Ambiente=Lluvioso y Humedad=Normal con variable de decisión = Sí
de patrones con Ambiente=Lluvioso y Humedad=Normal con variable de decisión = No
u y No)  n(n / Llu y No)  n(n / Llu y No) 

 − log 2  
y No)  n( Llu y No)  n( Llu y No) 
n(No)
)+ Entropia(n ormal/lluv ioso)
n(So)
opía(Lluvioso / Humedad)
8 = 0.0199731
VIOSO Y VIENTO=FUERTE
viento Jugar tenis
fuerte n
fuerte n
e patrones con Ambiente=Lluvioso y Viento=Fuerte

de patrones con Ambiente=Lluvioso y Viento=Fuerte con variable de decisión = Sí
de patrones con Ambiente=Lluvioso y Viento=Fuerte con variable de decisión = No
y Fu)  n(n / Llu y Fu)  n(n / Llu y Fu) 

 − log 2  
Fu)  n( Llu y Fu)  n( Llu y Fu) 
UVIOSO Y VIENTO=DEBIL
viento Jugar tenis
débil s
débil s
débil s
e patrones con Ambiente=Lluvioso y Viento=Débil

de patrones con Ambiente=Lluvioso y Viento=Débil con variable de decisión = Sí
de patrones con Ambiente=Lluvioso y Viento=Débil con variable de decisión = No
De)  n(n / Llu y De)  n(n / Llu y De) 
 − log 2  
De)  n( Llu y De)  n( Llu y De) 
n(De)
+ Entropia(d ébil/Lluvi oso)
n(So)
ía( Lluvioso/ Viento)
DE INFORMACIÓN DE CADA ATRIBUTO CON RESPECTO A AMBIENTE=SOLEADO
TRIBUTO GANADOR
ES LLUVIOSO EL ATRIBUTO QUE MÁS INFORMACIÓN PROPORCIONA ES
ENTROPÍA(SOLEADO/VIENTO)=0, ENTONCES QUIERE

EL ARBOL NO PROSIGUE POR ESTA RAMA
E, TODOS LOS PATRONES CON AMBIENTE=LLUVIOSO Y VIENTO=FUERTE,
PATRONES CON AMBIENTE=LLUVIOSO Y VIENTO=DÉBIL, CORRESPONDEN A
E EL AMBIENTE ES LLUVIOSO, EL CONOCIMIENTO DEL ATRIBUTO
VIENTO JUGAR TENIS

débil s
débil s
fuerte n
débil s
fuerte n
AMBIENTE

Si
EDAD VIENTO
Normal Fuerte Débil
Si No Si
NCES NO JUGAR TENIS

NTONCES SI JUGAR TENIS
ONCES NO JUGAR TENIS

CES SI JUGAR TENIS
REGLAS, ESTO INDICA QUE SE HA LOGRADO SIMPLIFICAR LA INFORMACIÓN

N RESPECTO A LA
DE LOS ATRIBUTOS
yor información
FUNDACIÓN UNIVERSITARIA KONRAD LORENZ
FACULTAD DE MATEMÁTICAS E INGENIERÍAS
SISTEMAS BASADOS EN EL CONOCIMIENTO I
PROFESOR: PERVYS RENGIFO RENGIFO
REALIZADO POR: FELIPE FORERO
SE TIENE UN CONJUNTO DE CUERPOS DE DOS CLASE: A, B

SE DESEA INDUCIR UN ÁRBOL DE DECISIÓN QUE PERMITA DETERMINAR, A PARTIR DE LAS CARACTERÍSTICAS DE
DE ESTOS CUERPOS, LA CLASE A LA QUE PERTENECEN
TAMAÑO COLOR FORMA CLASE

PEQUEÑO AMARILLO REDONDEADA A
GRANDE AMARILLO REDONDEADA A
GRANDE ROJO REDONDEADA A
PEQUEÑO ROJO REDONDEADA A
PEQUEÑO NEGRO REDONDEADA B
GRANDE NEGRO CÚBICA B n( s )  n(
Entropia( S ) = − log 2 
GRANDE AMARILLO CÚBICA B n( S )  n(
GRANDE NEGRO REDONDEADA B
PEQUEÑO AMARILLO CÚBICA B
4 4 5 5
Entropia ( S ) = − log 2   − log 2  
9 9 9 9
= 0.99107606
ATRIBUTO TAMAÑO

GRANDE NEGRO CÚBICA B
GRANDE AMARILLO CÚBICA B
Tamaño = Pequeño

2 2 2 2
Entropia ( Peq ) = − log 2   − log 2  
4 4 4 4
=1
Tamaño = Grande

2 2 3 3
Entropia (Gran) = − log 2   − log 2  
5 5 5 5
= 0.97095059
GANANCIA DE TAMAÑO
Ganancia(S , Tamaño) = 0.99107606 − 0.98386144
Ganancia(S, Tamaño) = 0.99107606 − 0.98386144

= 0.00721462
ATRIBUTO COLOR
Color = Amarillo

2 2 2 2
Entropia ( Am ) = − log 2   − log 2  
4 4 4 4
=1
2 2 2 2
Entropia ( Am ) = − log 2   − log 2  
4 4 4 4
=1
Color = Rojo
2 2 0 0
Entropia ( Roj ) = − log 2   − log 2  
2 2 2 2
=0
Color = negro

3 3 0 0
Entropia ( Neg ) = − log 2   − log 2  
3 3 3 3
=0
GANANCIA DE COLOR
Ganancia(S , Color) = 0.99107606 − 0.44444444

= 0.54663162
ATRIBUTO FORMA

Forma = Redondeada
4 4 2 2
Entropia (Red ) = − log 2   − log 2  
6 6 6 6
= 0.91829583
Forma = cubica

3 3 0 0
Entropia (Cub ) = − log 2   − log 2  
3 3 3 3
=0
GANANCIA DE FORMA
Ganancia(S , Color) = 0.99107606 − 0.61219722

= 0.15887886
ATRIBUTO GANANCIA
TAMAÑO 0.01
COLOR 0.55
FORMA 0.16
Atributo que brinda mayor Informacion, a partir de Color = Amarillo

entropia(amarillo) = 1

AMARILLO / TAMAÑO
Tamaño= pequeño

1 1 1 1
Entropia(Peq / Ama) = − log2   − log2  
2 2 2 2
=1
Tamaño= grande

1 1 1 1
Entropia(Gran / Ama ) = − log2   − log2  
2 2 2 2
=1
1 1
Entropia ( tamaño ) = *1 + *1
2 2
=1
Ganancia(A marillo, Tamaño) = 1 − 1

=0
AMARILLO / FORMA

FORMA = REDONDEADA

2 2 0 0
Entropia(Red / Ama ) = − log 2   − log 2  
2 2 2 2
=0
2 2 0 0
Entropia(Red / Ama ) = − log 2   − log 2  
2 2 2 2
=0

0 0 2 2
Entropia(Cub / Ama) = − log2   − log2  
2 2 2 2
=0
2 2
Entropia ( Foma ) = *0 + *0
4 4
=0
Ganancia(A marillo, Forma) = 1 − 0

=1
ATRIBUTO GANANCIA
TAMAÑO 0
FORMA 1
Como el atributo forma reduce la incertidumbre a cero,
el arbol quedaria asi:
AMARILLO
FORMA
CUBICA REDONDEADA
CLASE B CLASE A
Al evaluar la entropia de los valores de Color, la de rojo
podemos darnos cuenta que si color=rojo, entonces cla
FORMA
CUBICA
CLASE B
ORENZ
ERÍAS
ENTO I
IFO
R DE LAS CARACTERÍSTICAS DE TAMAÑO, COLOR Y FORMA,
n( s )  n ( s )  n( n )  n( n ) 
Entropia( S ) = − log 2   − log 2  
n( S )  n ( S )  n( S )  n( S ) 
0.99
n(So) n(Nu) n(Llu)
Entropia (S/ Ambiente ) = Entropia(s oleado) + Entropia(n ublado) + Entropia(l luvioso)
n(S) n(S) n(S)
Ganancia(S, Ambiente ) = Entropia( S ) − Entropía( S / Ambiente)

COLOR
AMARILLO ROJO NEGRO

ma reduce la incertidumbre a cero, quiere decir que es el final de esta rama, ya que su entropia es cero
COLOR
AMARILLO ROJO NEGRO
EDONDEADA
CLASE A
a de los valores de Color, la de rojo y de negro dieron 0, lo que quiere decir que reducen al minimo la incertidumbre
enta que si color=rojo, entonces clase=A, y si color=negro, clase = B. El arbol final seria:
COLOR
AMARILLO ROJO NEGRO
FORMA
CLASE A CLASE B
REDONDEADA
CLASE A

Arbol de Decisión ID3 Ejemplo Fukl

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Arbol de Decisión ID3 Ejemplo Fukl

Uploaded by

Copyright:

Available Formats

FUNDACIÓN UNIVERSITARIA KONRAD LORENZ

FACULTAD DE MATEMÁTICAS E INGENIERÍAS

EJEMPLO APRENDIZAJE DE ÁRBOLES DE DECISI

El aprendizaje de árboles de decisión es un método de funciones de valores discretos

PATRON AMBIENTE TEMPERATURA HUMEDAD viento

1) DECIDIR CUAL ES EL ATRIBUTO RAIZ, ES DECIR EL ATRIBUTO QUE

Haga clic en la opción insertar del menú prinicpal de excel

Luego saldrá la siguiente pantalla

Haga clic aquí para seleccionar un conj

Campo de los datos de origen

Campo de datos Campo

Campo de columna Cam

Luego arrastre "jugar tenis" al campo de datos

Con lo cual, la tabla dinámica se verá de la siguiente forma:

CALCULO DE LA GANANCIA DE INFORMACIÓN PARA CADA ATRIBUTO

Con lo cual se obtendrá, una apariencia así:

Ahora haga clic en la lista desplegable de Ambiente y se selecciona soleado

n(So)=5 n(So)=Número de patrones con Ambiente=soleado

n( s / So)  n( s / So)  n(n / So)  n(n / So) 

PATRONES CON AMBIENTE=NUBLADO

Si en la tabla dinámica se seleccióna Ambiente-nublado, obtiene lo siguiente

Count - Jugar tenis

n(s/Nu)  n(s/Nu) n(n/Nu)  n(n/Nu) 

Entropía Ambiente= lluvioso

PATRONES CON AMBIENTE=LLUVIOSO

Si en la tabla dinámica se seleccióna Ambiente-lluvioso, obtiene lo siguiente

Count - Jugar tenis

n(Llu)=5 n(Llu)=Número de patrones con Ambiente=Lluvioso

n(s/Llu)  n(s/Llu)  n(n/Llu)  n(n/Llu) 

CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE EL AMBIENTE

n(So) n(Nu) n(Llu)

GANANCIA DE INFORMACIÓN EN EL SISTEMA AL CONOCER EL AMBIENTE

Ganancia(S, Ambiente ) = Entropia( S ) − Entropía( S / Ambiente)

Ganancia(S, Ambiente ) = 0.940285959 − 0.693536139 = 0.24674982

Entropía esperada luego de conocer el valor del atributo HUMEDAD

Entropía Humedad= Alta

PATRONES CON HUMEDAD=ALTA

Count - Jugar tenis

n(Al)=7 n(Al)=Número de patrones con Humedad=Alta

n( s / Al)  n( s / Al)  n(n / Al)  n(n / Al) 

PATRONES CON HUMEDAD=NORMAL

Count - Jugar tenis

n(No)=7 n(No)=Número de patrones con Humedad=Normal

n( s / No)  n( s / No)  n(n / No)  n( n / No) 

CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE LA HUMEDAD

GANANCIA DE INFORMACIÓN EN EL SISTEMA AL CONOCER LA HUMEDAD

Ganancia(S, Humedad ) = Entropia( S ) − Entropía( S / Humedad)

Ganancia(S, Humedad ) = 0.940285959 − 0.788450457 = 0.151835501

Entropía esperada luego de conocer el valor del atributo viento

PATRONES CON VIENTO=FUERTE

Count - Jugar tenis

n(Fu)=6 n(Fu)=Número de patrones con Viento=Fuerte

n( s / Fu)  n( s / Fu)  n(n / Fu)  n(n / Fu) 

PATRONES CON VIENTO=DEBIL

Se fija Viento= débil, en a tabla dinámica

Count - Jugar tenis

n(De)=8 n(De)=Número de patrones con Viento=Débil

6 6 2 2 0.81

CALCULO DE LA ENTROPÍA DEL SISTEMA DADO QUE SE CONOCE EL ATRIBUTO VIEN

GANANCIA DE INFORMACIÓN AL CONOCER EL VIENTO

Ganancia(S, Viento ) = Entropia( S ) − Entropía( S / Viento)

Ganancia(S, Viento ) = 0.940285959 − 0.892158928 = 0.048127031

PATRONES CON TEMPERATURA=CALIENTE