Aprendizaje Automtico

cualquier cambio en un sistema que le permita mejorar su comportamiento futuro en la misma tarea o en otra de naturaleza similar extrada de la misma poblacin Introduccin rboles de decisin Redes Neuronales Algoritmos genticos

Aprendizaje Automtico
Aprendizaje natural. Imitar al aprendizaje natural. Todo mecanismo que permita ser calificado como aprendizaje. Entidad que aumenta su conocimiento y mejora sus capacidades de actuacin con el entorno. Toma de decisiones basada en la experiencia acumulada.

Aprendizaje Automtico
El aprendizaje es la clave de la inteligencia. El aprendizaje automtico (machine learning) es un rea muy activa
Gran cantidad de informacin en formato electrnico Evolucin de las tcnicas y los algoritmos La potencia de procesamiento cada vez es ms barata

Aplicaciones
Reconocimiento del habla y de la escritura Robtica conduccin de automviles Juegos: Othello, etc.. Minera de datos

Aprendizaje Automtico
Planteamiento bsico:

Aprendizaje Automtico

Aprendizaje Automtico
Vehculos autnomos:

Aprendizaje Automtico

Aprendizaje Automtico
rboles de decisin:

Aprendizaje Automtico
rboles de decisin:

Aprendizaje Automtico
Redes de creencia:

Aprendizaje Automtico
El aprendizaje en general puede considerarse como el aprendizaje de la representacin de una funcin. Aprender a jugar ajedrez, es aprender la funcin de evaluacin heurstica, etc..

Aprendizaje Automtico

Aprendizaje Automtico
Evaluacin de la eficiencia de un algoritmo de aprendizaje:
Conjunto de entrenamiento y conjunto de prueba. Curva de aprendizaje
1,2 1 0,8 0,6 0,4 0,2 0 0 20 40 60 80 100 120

Aprendizaje Automtico
Representacin: polinomios, oraciones lgicas, redes de creencia.
En funcin de la representacin escogeremos algn Algoritmo de aprendizaje.

Funcin de desempeo (Evaluacin)

Retroalimentacin

Tipos de aprendizaje
Supervisado: si conocemos las salidas correspondientes a ciertas entradas. Por refuerzo: recibe una evaluacin de sus acciones segn un indicador medible. No supervisado: no se dispone de informacin sobre las mejores salidas.

Aprendizaje Automtico
En el caso de un juego como Las damas:
Supervisado: Tenemos guardados los movimientos y el resultado de las partidas. El algoritmo imitar los movimientos de las partidas ganadoras. Por refuerzo: El algoritmo jugar y recibir informacin de lo positivo o negativo de cada jugada haciendo una evaluacin de su resultado. No supervisado: El algoritmo buscar patrones en una gran cantidad de jugadas realizadas. Esa informacin podr alimentar otro motor de decisin ms simple que escoja una buena jugada.

Aprendizaje Supervisado
Dependiendo de la representacin que escojamos podremos utilizar diferentes algoritmos:
Inducir rboles de decisin (ID3) Redes Neuronales Algoritmos Genticos

rboles de decisin
El aprendizaje de rboles de decisin es una de las tcnicas de inferencia inductiva ms usadas. Se trata de un mtodo para aproximar funciones de valores discretos, capaz de expresar hiptesis disyuntivas y robusto al ruido en los ejemplos de entrenamiento. Un rbol aprendido puede representarse tambin como un conjunto de reglas sientonces, ms fciles de entender para un usuario.

rboles de decisin

rboles de decisin
Solucionar problemas de aprendizaje conocidos como problemas de clasificacin.
Ejemplares representados por pares atributovalor. La funcin objetivo tiene valores discretos. Se necesitan descripciones disyuntivas. Ruido en los ejemplos de entrenamiento. Valores faltantes en los ejemplos.

rboles de decisin. ID3

El algoritmo bsico ID3, construye el rbol de decisin de manera descendente, comenzando por preguntarse: Qu atributo debera ser colocado en la raz del rbol? Para responder esta pregunta, cada atributo es evaluado usando un test estadstico para determinar cuanto de bien clasifica l solo los ejemplos de entrenamiento. El mejor atributo es seleccionado y colocado en la raz del rbol. Una rama y su nodo correspondiente es entonces creada para cada valor posible del atributo en cuestin. Los ejemplos de entrenamiento son repartidos en los nodos descendentes de acuerdo al valor que tengan para el atributo de la raz. El proceso entonces se repite con los ejemplos ya distribuidos, para seleccionar un atributo que ser colocado en cada uno de los nodos generados.

rboles de decisin. ID3

Qu atributo es el mejor clasificador?

rboles de decisin. ID3

Entropa y ganancia de informacin Una manera de cuantificar la bondad de un atributo en este contexto, consiste en considerar la cantidad de informacin que proveer este atributo, tal y como sta es definida en la teora de informacin por Claude E. Shannon. Un bit de informacin es suficiente para determinar el valor de un atributo booleano, por ejemplo, si/no, verdadero/falso, 1/0, etc., sobre el cual no sabemos nada. En general, si los posibles valores del atributo vi, ocurren con probabilidades P(vi), entonces en contenido de informacin, o entropa, E de la respuesta actual est dado por:

rboles de decisin. ID3

Por ejemplo para el caso de la moneda: E(1/2,1/2) = - log - log = 1 Para el ejemplo: E(9/14, 5/14) = 0.94 Definimos la ganancia de informacin (GI) como la reduccin de la entropa causada por segmentar un conjunto de entrenamiento S, con respecto a un atributo A (Sv es el subconjunto de ejemplos con atributo A = v):

rboles de decisin. ID3