Redes Neuronales EXP - 1

Inteligencia Artificial
Redes Neuronales
1
DISEÑO Y DESARROLLO DE APLICACIONES BASADAS EN RNA's
PLAN DEL TUTORIAL
1. Introducción
1.1. Dos teorías en torno al aprendizaje
1.2. Funcionamiento biológico de las neuronas
2. Enfoque conexionista del aprendizaje automático (RNA’s)
2.1. Simulación artificial de las neuronas biológicas
2.2. Funcionamiento de las RNA’s
2.3. Panorama histórico de las RNA’s.
2.3. Clasificación de las RNA’s
3. Aplicaciones de las RNA’s
3.1. Áreas de aplicación de las RNA’s
3.2. Paradigmas y simuladores de RNA’s
3.3. Presentación de simuladores : Brainmaker y SAAC
3.4. Desarrollo de ejemplos de aplicación
4. Ventajas e inconvenientes de las RNA’s
5. Conclusiones
2
TEMA 1
INTRODUCCION
RNA
3
1.1. DOS TEORÍAS EN TORNO A LOS PROCESOS MENTALES
Enfoque Simbólico Enfoque Conexionista
La mente es un
La mente es
gran
una gran red
manipulador
de neuronas
de símbolos al
trabajando
igual que una
en paralelo
computadora
4
LA RN BIOLÓGICA: UNA COMPUTADORA HUMANA QUE APRENDE
5
ALGUNOS DATOS DE LAS NEURONAS BIOLÓGICAS
•Cerebro humano = aproximadamente 12

billones de células nerviosas o neuronas.
•Cada neurona tiene de 5,600 a 60,000
conexiones dendríticas provenientes de
otras neuronas.
•Estas conexiones transportan los
impulsos enviados desde otras neuronas
y están conectadas a la membrana de la
neurona.
•Cada neurona tiene una salida
denominada axón. El contacto de cada
axón con una dendrita se realiza a través
de la sinapsis.
•Tanto el axón como las dendritas
transmiten la señal en una única
dirección.
6
UNA NEURONAL BIOLÓGICA EN DETALLE
7
LA SINAPSIS EN LA NEURONA BIOLÓGICA … (1)
La sinapsis
La sinapsis consta de un
extremo presináptico de un
axón conectado a un extremo
postsináptico de una dendrita,
existiendo normalmente entre
éstos un espacio denominado
espacio sináptico.
8
Funcionamiento biológico
•Las neuronas son eléctricamente activas e interactúan entre

ellas mediante un flujo de corrientes eléctricas locales.
•Estas corrientes se deben a diferencias de potencial entre las
membranas celulares de las neuronas.
•Un impulso nervioso es un cambio de voltaje que ocurre en
una zona localizada de la membrana celular.
9
Funcionamiento biológico . . .
•El impulso se transmite a través del axón hasta llegar a la

sinapsis, produciendo la liberación de una sustancia química
denominada neurotransmisor que se esparce por el fluido
existente en el espacio sináptico.
•Cuando este fluido alcanza el otro extremo transmite la señal
a la dendrita.
•Los impulsos recibidos desde la sinapsis se suman o restan a
la magnitud de las variaciones del potencial de la membrana.
•Si las contribuciones totales alcanzan un valor determinado
(alrededor de 10 milivoltios) se disparan uno o más impulsos
que se propagarán a lo largo del axón.
10
DIFERENTES TIPOS DE NEURONAS
a)
sinapsis axón
cuerpo celular
(soma)
dendrita
b) c)
d)
e) f)
axón 1
axón 2
11
TEMA 2
ENFOQUE CONEXIONISTA DEL

APRENDIZAJE AUTOMÁTICO
1 2 4 2 5 1 1
1 2 4 2 5 1 1
2 2 4 2 5 1 2
1 0 2 2 2 1 2
3 2 6 2 25 2 1
1 0 4 2 1 1 2
4 4 18 5 2 3 1
12
2.1. SIMULACIÓN ARTIFICIAL DE LAS NEURONAS BIOLÓGICAS
13
QUÉ ES UNA RNA ?
Una Red Neuronal Artificial (RNA) es un modelo

del comportamiento construida a partir de un
cierto número de ejemplos de ese comportamiento.
El modelo se construye La RNA es "ignorante" al

mediante aprendizaje, como un principio, y a partir de los
perro aprende a encontrar ejemplos y el aprendizaje
explosivos o drogas o como un termina por ser un modelo
niño aprende a reconocer las que funciona igual que el
letras del alfabeto comportamiento observado
14
ALGUNAS DEFINICIONES DE RNA’s
Una nueva forma de computación inspirada en

modelos biológicos
Modelo matemático compuesto por un gran

número de elementos de procesamiento
organizados en capas
Sistema de computación hecho por un gran número de

elementos simples, elementos de procesamiento muy
interconectados, los cuales procesan información por medio de
su estado dinámico como respuesta a entradas externas
Son redes de elementos simples interconectadas masivamente

en paralelo (usualmente adaptativos) y con organización
jerárquica, que intentan interactuar con los objetos del mundo
real del mismo modo que el sistema nervioso biológico
15
2.2. FUNCIONAMIENTO .. UNA NEURONA ARTIFICIAL EN DETALLE
X1 X2 XN Entradas (Dendritas)
...
Pesos sinápticos (Efecto de
inhibición o excitación sobre
w1 w2 ... wN la activación de las señales de
entrada)
N Activación (Suma el
Net =  Wi . Xi + Biais conjunto de entradas y sus
i
pesos asociados)
Fct (Net)
Función de activación
(Regulación de la salida)
Salida (Axón y sinapsis

hacia otras unidades)
16
LA RED NEURONAL ARTIFICIAL
En las redes neuronales (o conexionistas), los conocimientos son representados por

las ligas entre las unidades (neuronas artificiales) y sus pesos sinápticos asociados
capa de
Unidad j
salida
Pesoij
capa Unidad i
oculta
capa de
entrada
17
APRENDIZAJE CONEXIONISTA
El aprendizaje es un proceso gradual e iterativo, donde los

pesos de la RNA son modificados según una regla de
aprendizaje antes de alcanzar sus valores finales.
Detener
cuando el
error global
< error
aceptado
1 2 4 2 5 1 1
1 2 4 2 5 1 1
2 2 4 2 5 1 2
1 0 2 2 2 1 2
3 2 6 2 25 2 1
1 0 4 2 1 1 2
4 4 18 5 2 3 1
18
EJEMPLO: UNA RNA QUE APRENDE A CLASIFICAR
solución
X Y Clase A A A A
A
A A
1 1 A A
B B A
A
2 1 A Clase B A A A
B A A
-3 -1 B
B A A
-2 -3 B B A
B A A
A B A
4 2 A B
0 0 B wi w w wn B A B A B A
B
3 3 A B B B
B
-1 -3 B B B B
B B
B
... ... ... X B
B
B
Y
B A
19
OTRO EJEMPLO: PREDICCIÓN DE RIESGO BANCARIO
Datos del cliente :

Predicción del
-Edad : 18, 19, ... riesgo para
Expedientes
- Estado civil : soltero, otorgar un
bancarios
casado, ... préstamo
- Numero de hijos : 0, 1, ...
Problema
cliente
- Ingresos : $ ...
- Tipo de empleo : fijo,
temporal, etc
- Bueno
- Malo ?
Solucion - Profesión : x
- Situación bancaria actual :
buena, regular, mala
Nuevo
cliente
20
LA RNA PARA PREDECIR EL RIESGO BANCARIO
edad sexo casado soltero divor. salario ... ... situación
0.25 1.00 1.00 0.00 0.00 0.18 0.35 0.99 0.33
0.18 0.82
bueno malo
21
2.3. PANORAMA HISTÓRICO DE LAS RNA’s (1/3)
• Siglo IV A. de C. : Platón y Aristóteles - Primeras explicaciones teóricas

sobre el cerebro y el pensamiento
• Siglo XVIII : Descartes - Procesos Mentales
• 1936 : Alan Turing – Estudio del cerebro como una forma de ver el mundo
de la computación
• 1943 : Warren McCulloch (neurofisiólogo) y Walter Pitts (matemático) –

Teoría acerca del funcionamiento de las neuronas. Modelización de una red
neuronal mediante circuitos eléctricos
• 1949 : Donald Hebb – Publicación del libro "La organización del

comportamiento", conexión entre psicología y fisiología.
• 1957 : Frank Rosenblatt – Desarrollo del Perceptrón, la primera RNA
22
PANORAMA HISTÓRICO … (2/3)
• 1959 : Bernard Widrow y Marcial Hoff – Desarrollo del modelo ADALINE.

Primera RNA aplicada a un problema real (filtraje de ecos en líneas
telefónicas)
•1960 : Stephen Grossberg – Estudio de los mecanismos de la percepción y de la
memoria – Reconocimiento del habla, aprendizaje del movimiento de los
brazos de un robot
• 1969 : Marvin Minsky y Seimour Papert – Publicación del libro "Perceptrons"
– Análisis matemático y fuertes críticas que consideraban que las RNA no
podrían resolver muchos problemas interesantes
Entre 1969 y 1982 se da un giro

hacia la IA simbólica : Sistemas
Expertos, Lógica, etc.
23
PANORAMA HISTÓRICO … (3/3)
1982
• 1982 : John Hopfield – Presentación de su trabajo de RNA en la Academia

Nacional deCiencias (USA) – Claridad y rigor matemático
• 1982 : Celebración de la U.S. – Japan Joint Conference on
Cooperative/Competitive Neural Networks
• 1985 : Instituto Americano de Física – Inicio de la reunión "Neural Networks
for Computing"
• 1987 : IIE – Inicio de la "International Joint Conference on Neural
Networks" (IJCNN)
• 1987 : Inicia de "Neural Information Processing Systems" (NIPS)
• 1991 : Sociedad Europea de Redes Neuronales – Inicia en europa la
International Conference on Artificial Neural Networks (ICANN)
24
2.4. CLASIFICACIÓN Y PROPIEDADES DE LAS RNA’s
• Grado de control
del usuario
• Manera de
• Tipo de aprendizaje alimentar datos
• Tipo de regla de
aprendizaje
• Función de
Diversas activación
maneras de • Tipo de unidades • Funcionalidad
de las unidades
clasificar los
modelos de
RNA • Interconección
• Tipo de arquitectura de las unidades
[Fiesler-97] • Evolución en el
de la red aprendizaje
• Tipo de aplicación de
la red
25
TIPO DE APRENDIZAJE
del usuario
• Manera de
aprendizaje
• Función de
de las unidades
clasificar los
modelos de
la red
26
TIPO DE APRENDIZAJE – SEGÚN EL GRADO DE CONTROL DEL USUARIO
APRENDIZAJE SUPERVISADO
•El usuario dispone de un comportamiento de
referencia que desea hacer aprender a la rna.
•La rna mide la diferencia entre el comportamiento
actual y el de referencia y corrige sus pesos.
•Los ejemplos tienen etiquetas de clases.
APRENDIZAJE SEMI-SUPERVISADO
•El usuario dispone de indicaciones imprecisas sobre
el comportamiento final deseado (éxito/fracaso).
•Se hace una evaluación cualitativa.
•Se conoce como aprendizaje por reforzamiento.
APRENDIZAJE NO SUPERVISADO
•Los pesos son modificados en función de criterios
internos
•Comparables a técnicas de análisis de datos.
•Se conocen como redes autoorganizadas.
27
"Se caracteriza porque el

proceso de aprendizaje se
realiza mediante un
entrenamiento controlado
por un agente externo
(supervisor, maestro) que
determina la respuesta que
debería generar la red a
partir de una entrada
determinada" [Hilera-95]
28
1 2 4 2 5 1 1
1 2 4 2 5 1 1
Detener
2 2 4 2 5 1 2
cuando el
1 0 2 2 2 1 2
3 2 6 2 25 2 1
error global
1 0 4 2 1 1 2
< error
4 4 18 5 2 3 1 aceptado
29
PROBLEMA DURANTE EL APRENDIZAJE SUPERVISADO
¿Cuándo detener el aprendizaje?

Error de salida
Stop por validación

cruzada
Stop
(cross-validation) tardío Datos de
prueba
Datos de
aprendizaje
Número de épocas
30
"No requieren influencia

externa para ajustar pesos de
sus conexiones. Son llamadas
redes autoorganizadas" [Hilera-95]
"Deben encontrar las

caracteristicas,
regularidades, correlaciones
o categorias en los datos de
entrada"
31
VER SAAC
32
TIPO DE APRENDIZAJE – SEGÚN LA MANERA DE ALIMENTAR LOS DATOS
APRENDIZAJE INSTANTÁNEO
•Datos de aprendizaje analizados una sola vez
(una sola "pasada") .
•Conocido como "one-shot-learning".
APRENDIZAJE POR ÉPOCAS

•Datos de aprendizaje analizados varias veces.
•Reducción del error en cada época.
APRENDIZAJE CONTINUO
•Toma en cuenta los ejemplos como ellos llegan.
•Problemas de "olvido" de la rna y "adaptación"
a los nuevos datos.
APRENDIZAJE ACTIVO
•La rna selecciona los datos que va a utilizar .
•Área de reciente estudio.
33
TIPO DE APRENDIZAJE – SEGÚN EL TIPO DE REGLA DE APRENDIZAJE
Regla de aprendizaje : Método para modificar los pesos de una rna
Método de
Ejemplo de RNA
Aprendizaje
Perceptrón, Retro-propagacion,
Corrección de error
Adaline, Cascade-Correlation
Por reforzamiento AHC, ARC
Competencia o auto-
Kohonen,ART1
organización
Creación de
RBF, ART1, ARN2
prototipos
Memorias asociativas Hopfield, BAM
Aprendizaje temporal SRN, BPTT, RTRL
34
TIPO DE UNIDADES
del usuario
• Manera de
aprendizaje
• Función de
de las unidades
clasificar los
modelos de
la red
35
TIPO DE UNIDADES
Fct (Net)
FUNCIÓN DE
ACTIVACIÓN
FUNCIONALIDAD
DE LAS
UNIDADES
36
TIPO DE UNIDADES – SEGUN SU FUNCIÓN DE ACTIVACIÓN
identidad con signo

umbral
escalón sigmoide [-1,+1]

sigmoide [0,+1]
37
TIPO DE UNIDADES – SEGUN SU FUNCIONALIDAD (1)
RED A PROTOTIPOS
Las unidades sirven para representar prototipos de ejemplos
aprendidos, en general son no-supervisadas
Entradas : X, Y - Salida : Clase A, B o C
Prototipo
Prototipo Clase A
Clase B
X2, Y2 Prototipo
Clase C
Prototipo
X1, Y1 Clase A
X3, Y3
38
TIPO DE UNIDADES – SEGUN SU FUNCIONALIDAD (2)
RED DE TIPO PERCEPTRÓN

• Capas : de entrada, oculta y de salida.
• Utilizan conexiones hacia delante y retropropagación del error.
• Aprendizaje supervisado
Recta de separación de clases
39
TIPO DE ARQUITECTURA DE LA RED
del usuario
• Manera de
aprendizaje
• Función de
de las unidades
clasificar los
modelos de
la red
40
TIPO DE ARQUITECTURA DE LA RED – INTERCONEXION DE LAS UNIDADES
a) Una capa b) Multicapas
c) Recurrentes d) Orden superior

41
TIPO DE ARQUITECTURA DE LA RED – EVOLUCIÓN DURANTE EL APRENDIZAJE
ESTRUCTURA ESTÁTICA
•La rna tiene su estructura definida
antes del aprendizaje.
•La cantidad de neuronas y sus ESTRUCTURA DINÁMICA
conexiones no cambian
•El número de unidades y de
•Los cambios se situan en los pesos de interconexiones puede variar.
las conexiones.
•La estructura se adapta durante o
después del aprendizaje
Problema : •Dos métodos :
• Incremental (generativo)
¿Cómo determinar el número de
• Poda (destructivo)
neuronas y de interconexiones?
Problema :
¿Incremental o poda?
42
TIPO DE APLICACIÓN DE LA RED
Las rna pueden ser aplicadas a muchas tareas, pero pueden ser
reagrupadas según el tipo de salida y el comportamiento buscado.
PARA LA APROXIMACIÓN PARA LA CLASIFICACIÓN

DE FUNCIONES
La rna debe tener una salida La rna debe atribuir algunas

contínua y será empleada para la clases (valores de salida discretos)
aproximación de una función a los ejemplos suministrados. Las
representada por los datos de clases pueden ser o no conocidas
aprendizaje. La función permite al inicio (aprendizaje suoervisado
de predecir las salidas a partir de y no-supervisado)
las entradas.
43
TEMA 3
APLICACIONES DE LAS RNA's
44
3.1. ÁREAS DE APLICACIÓN DE LAS RNA's
Aplicaciones Comerciales
Biología
Aprender más acerca del cerebro
Obtención de modelos de la retina
Empresa
Evaluación de la probabilidad de formaciones geológicas y pretolíferas
Identificación de candidatos para puestos
Explotación de bases de datos
Optimización de plazas y horarios en líneas de vuelo
Reconocimiento de caracteres escritos
Medio Ambiente
Analizar tendencias y patrones
Previsión del tiempo
Militares
Clasificación de señales de radar
Creación de armas inteligentes
45
Aplicaciones ...
Finanzas
Previsión de la evolución de los precios
Valoración del riesgo de los créditos
Identificación de falsificaciones
Interpretación de firmas
Manufactura
Robots automatizados
Visión de los robots
Control de producción en líneas de procesos
Inspección de calidad
Medicina
Analizador del habla para sordos
Detección de cancer
Diagnóstico médico
46
Aplicaciones ...
Áreas de investigación
• Reconocimiento de patrones
• Control de robots
• Minería de datos
• Toma de decisiones
• Previsión
• Filtrado de señales
• Segmentación, compresión y fusión de datos
• Interfaces inteligentes
• .....
47
3.2. PARADIGMAS Y SIMULADORES DE RNA's (1/3)
48
3.2. PARADIGMAS DE RNA's Y SUS APLICACIONES … (2/3)
49
3.2. PARADIGMAS DE RNA's Y SUS APLICACIONES … (3/3)
50
ALGUNOS SIMULADORES
51
3.3. Presentación de simuladores : Brainmaker, SAAC
3.4. Desarrollo de ejemplos de aplicación
52
EJEMPLO DE SISTEMA CONEXIONISTA QUE APRENDE
No Estatura IQ Peso A.Ment. Resist Veloc. Clase

1 168 150 58 8 6 4 ajedrecista
2 176 148 62 9 7 5 ajedrecista
3 180 110 98 6 6 9 futbolista
4 188 115 104 7 5 9 futbolista
BRAINMAKER 5
6
7
192
196
200
100
120
105
85
97
94
5
6
4
9
8
8
5 basquetbolista
4 basquetbolista
6 basquetbolista
8 204 120 100 6 9 4 basquetbolista
9 168 150 58 8 6 4 ajedrecista
(Aprende a reconocer o clasificar 10 180 110 98 6 6 9 futbolista
objetos a partir de datos 11 184 120 100 6 4 8 futbolista
numéricos) 12 188 115 104 7 5 9 futbolista
17 160 150 58 8 6 4 ajedrecista
18 166 145 67 9 5 6 ajedrecista
19 167 148 62 9 7 5 ajedrecista
20 179 110 98 6 6 9 futbolista
22 170 150 58 8 6 4 ajedrecista
23 169 145 67 9 5 6 ajedrecista
24 173 148 62 9 7 5 ajedrecista
Ajedrecista = 1 25 182 110 98 6 6 9 futbolista
26 186 120 100 6 4 8 futbolista
Futbolista = 2 27 182 115 104 7 5 9 futbolista
Basquetbolista = 3 29 198 120 97 6 8 4 basquetbolista
53
TEMA 4
VENTAJAS E INCONVENIENTES
DE LAS RNA's
! ?
54
VENTAJAS
• Capacidad de representar cualquier función de dependencia. La RNA

descubre (=aprende, modeliza). No necesitamos un modelo.
• Se pasa directamente de los datos al "clasificador" o "predictor", sin
intermediario, ni recodificación.
• Resistencia al ruido o la falta de fiabilidad de los datos
• Gran variedad posible en la variable de salida : si/no, valores contínuos, una o
varias clases, etc.
• Simple en la operación.
• Para el utilizador novato es más fácil de comprender el proceso de
aprendizaje que los métodos estadísticos.
• Consulta rápida de la RNA
• Etc.
55
DESVENTAJAS
• Necesario conocer en qué consiste el problema a resolver.

• Necesario definir las clases en el aprendizaje supervisado
• No olvidar las variables importantes.
Las RNA son una "caja negra" : Difícil

de dar una explicación de la manera en
que "decide" la RNA. Dificultad para
explicitar los conocimientos aprendidos
56
TEMA 5
CONCLUSIONES
57

Redes Neuronales EXP - 1

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Redes Neuronales EXP - 1

Uploaded by

Copyright:

Available Formats

Inteligencia Artificial

Enfoque Simbólico Enfoque Conexionista

•Cerebro humano = aproximadamente 12

•Las neuronas son eléctricamente activas e interactúan entre

•El impulso se transmite a través del axón hasta llegar a la

ENFOQUE CONEXIONISTA DEL

Una Red Neuronal Artificial (RNA) es un modelo

El modelo se construye La RNA es "ignorante" al

Una nueva forma de computación inspirada en

Modelo matemático compuesto por un gran

Sistema de computación hecho por un gran número de

Son redes de elementos simples interconectadas masivamente

Salida (Axón y sinapsis

En las redes neuronales (o conexionistas), los conocimientos son representados por

El aprendizaje es un proceso gradual e iterativo, donde los

Datos del cliente :

- Numero de hijos : 0, 1, ...

edad sexo casado soltero divor. salario ... ... situación

0.25 1.00 1.00 0.00 0.00 0.18 0.35 0.99 0.33

• Siglo IV A. de C. : Platón y Aristóteles - Primeras explicaciones teóricas

• Siglo XVIII : Descartes - Procesos Mentales

• 1943 : Warren McCulloch (neurofisiólogo) y Walter Pitts (matemático) –

• 1949 : Donald Hebb – Publicación del libro "La organización del

• 1957 : Frank Rosenblatt – Desarrollo del Perceptrón, la primera RNA

• 1959 : Bernard Widrow y Marcial Hoff – Desarrollo del modelo ADALINE.

Entre 1969 y 1982 se da un giro

• 1982 : John Hopfield – Presentación de su trabajo de RNA en la Academia

"Se caracteriza porque el

¿Cuándo detener el aprendizaje?

Stop por validación

"No requieren influencia

"Deben encontrar las

APRENDIZAJE POR ÉPOCAS

Regla de aprendizaje : Método para modificar los pesos de una rna

Aprendizaje temporal SRN, BPTT, RTRL

identidad con signo

escalón sigmoide [-1,+1]

Entradas : X, Y - Salida : Clase A, B o C

RED DE TIPO PERCEPTRÓN

Recta de separación de clases

a) Una capa b) Multicapas

c) Recurrentes d) Orden superior

PARA LA APROXIMACIÓN PARA LA CLASIFICACIÓN

La rna debe tener una salida La rna debe atribuir algunas

APLICACIONES DE LAS RNA's

3.4. Desarrollo de ejemplos de aplicación

No Estatura IQ Peso A.Ment. Resist Veloc. Clase

• Capacidad de representar cualquier función de dependencia. La RNA

• Necesario conocer en qué consiste el problema a resolver.

Las RNA son una "caja negra" : Difícil

You might also like