Professional Documents
Culture Documents
24 de febrero de 2011
2 Redes biológicas
3 Redes artificiales
Funciones de activación
Caracterı́sticas de una red
Redes biológicas
Elemento básico de una red biológica: Neurona
Redes biológicas
Redes biológicas
Redes biológicas
Redes biológicas
Redes biológicas
{
Efecto positivo → excitador
Neurotransmisores
Efecto negativo → Inhibidor
Considerando que la información en el cerebro esta codificada como impulsos
eléctricos.
Impulsos se transmiten entre las neuronas y se ven modificados básicamente
en las sinapsis
Se puede intuir que la codificación del aprendizaje estará en las sinapsis y
en la forma que dejan pasar o inhiben las señales segregando
neurotransmisores.
Redes biológicas
{
Efecto positivo → excitador
Neurotransmisores
Efecto negativo → Inhibidor
Considerando que la información en el cerebro esta codificada como impulsos
eléctricos.
Impulsos se transmiten entre las neuronas y se ven modificados básicamente
en las sinapsis
Se puede intuir que la codificación del aprendizaje estará en las sinapsis y
en la forma que dejan pasar o inhiben las señales segregando
neurotransmisores.
Redes biológicas
{
Efecto positivo → excitador
Neurotransmisores
Efecto negativo → Inhibidor
Considerando que la información en el cerebro esta codificada como impulsos
eléctricos.
Impulsos se transmiten entre las neuronas y se ven modificados básicamente
en las sinapsis
Se puede intuir que la codificación del aprendizaje estará en las sinapsis y
en la forma que dejan pasar o inhiben las señales segregando
neurotransmisores.
Redes biológicas
{
Efecto positivo → excitador
Neurotransmisores
Efecto negativo → Inhibidor
Considerando que la información en el cerebro esta codificada como impulsos
eléctricos.
Impulsos se transmiten entre las neuronas y se ven modificados básicamente
en las sinapsis
Se puede intuir que la codificación del aprendizaje estará en las sinapsis y
en la forma que dejan pasar o inhiben las señales segregando
neurotransmisores.
Redes biológicas
Redes biológicas
Redes biológicas
Funciones de activación
Entradas: vector x
Pesos: Vector W
Entrada b: ganancia que refuerza la salida del sumador.
Salida neta del sumador: n
Salida total: a
Ingenierı́a de Sistemas (ITM) 24 de febrero de 2011 13 / 40
Redes artificiales Funciones de activación
Funciones de activación
Entradas: vector x
Pesos: Vector W
Entrada b: ganancia que refuerza la salida del sumador.
Salida neta del sumador: n
Salida total: a
Ingenierı́a de Sistemas (ITM) 24 de febrero de 2011 13 / 40
Redes artificiales Funciones de activación
Funciones de activación
Esta función crea neuronas que clasifican las entradas en dos categorı́as
diferentes.
Funciones de activación
Esta función crea neuronas que clasifican las entradas en dos categorı́as
diferentes.
Funciones de activación
a=n
Funciones de activación
Función sigmoidal (logsig):
restringe la salida a valores entre cero y uno, de acuerdo a la expresión
1
a=
1 + e −n
∫t
a(t) = u(t − 1) a(t) = u(𝜏 )d𝜏 + a(0)
0
∫t
a(t) = u(t − 1) a(t) = u(𝜏 )d𝜏 + a(0)
0
∫t
a(t) = u(t − 1) a(t) = u(𝜏 )d𝜏 + a(0)
0
Perceptrón
Antecedentes
1943 desarrollo de la primera RNA por Warren McCulloch y Walter Pitts.
Perceptrón → Frank Rosenblatt en 1957.
Primer perceptrón → sistema biológico, imitando el ojo humano.
Perceptrón
Antecedentes
1943 desarrollo de la primera RNA por Warren McCulloch y Walter Pitts.
Perceptrón → Frank Rosenblatt en 1957.
Primer perceptrón → sistema biológico, imitando el ojo humano.
Perceptrón
Antecedentes
1943 desarrollo de la primera RNA por Warren McCulloch y Walter Pitts.
Perceptrón → Frank Rosenblatt en 1957.
Primer perceptrón → sistema biológico, imitando el ojo humano.
Perceptrón
Estructura
Perceptrón
Estructura
Matriz de pesos en forma general:
⎡ ⎤
w1,1 ⋅ ⋅ ⋅ w1,R
W = ⎣ ... .. .. ⎥
⎢
. . ⎦
wS,1 ⋅ ⋅ ⋅ wS,R
Los pesos para una neurona están representados por un vector compuesto
de los elementos de la i-ésima fila de W.
[ ]
wi = wi,1 ⋅ ⋅ ⋅ wi,R
ai = hardlim(ni ) = hardlim(wi ⋅ x)
Perceptrón
Aprendizaje
Tipo de red de aprendizaje supervisado: necesita conocer los valores esper-
ados para cada una de las entradas presentadas.
Su comportamiento está definido por pares de esta forma:
a = f (w ⋅ x) = hardlims (w ⋅ x)
Los valores de los pesos determinan el funcionamiento de la red, y se pueden
calcular utilizando diferentes algoritmos de entrenamiento.
Perceptrón
Aprendizaje
Tipo de red de aprendizaje supervisado: necesita conocer los valores esper-
ados para cada una de las entradas presentadas.
Su comportamiento está definido por pares de esta forma:
a = f (w ⋅ x) = hardlims (w ⋅ x)
Los valores de los pesos determinan el funcionamiento de la red, y se pueden
calcular utilizando diferentes algoritmos de entrenamiento.
Perceptrón
Aprendizaje
Tipo de red de aprendizaje supervisado: necesita conocer los valores esper-
ados para cada una de las entradas presentadas.
Su comportamiento está definido por pares de esta forma:
a = f (w ⋅ x) = hardlims (w ⋅ x)
Los valores de los pesos determinan el funcionamiento de la red, y se pueden
calcular utilizando diferentes algoritmos de entrenamiento.
Perceptrón
Aprendizaje
Tipo de red de aprendizaje supervisado: necesita conocer los valores esper-
ados para cada una de las entradas presentadas.
Su comportamiento está definido por pares de esta forma:
a = f (w ⋅ x) = hardlims (w ⋅ x)
Los valores de los pesos determinan el funcionamiento de la red, y se pueden
calcular utilizando diferentes algoritmos de entrenamiento.
Perceptrón
Ejemplo
Perceptrón
Ejemplo
Es imposible que una recta que pase por el origen, separe los valores 11,01
y 10 del valor 00, por lo que se hace necesario introducir un término
independiente para realizar esta tarea, a este término se le da el nombre de
ganancia y se representa por la letra b.
Ingenierı́a de Sistemas (ITM) 24 de febrero de 2011 29 / 40
Principales tipos de redes Perceptrón
Perceptrón
Ejemplo
Es imposible que una recta que pase por el origen, separe los valores 11,01
y 10 del valor 00, por lo que se hace necesario introducir un término
independiente para realizar esta tarea, a este término se le da el nombre de
ganancia y se representa por la letra b.
Ingenierı́a de Sistemas (ITM) 24 de febrero de 2011 29 / 40
Principales tipos de redes Perceptrón
Perceptrón
Ejemplo
Ahora la salida de la neurona esta dada por
a = hardlims (w1 x1 + w2 x2 + b)
Perceptrón
Perceptrón
Reglas de ajuste para los pesos:
si d = 1 y a = 0, ⇒ wnuevo = wanterior + x
si d = 0 y a = 1, ⇒ wnuevo = wanterior − x
si d = a, ⇒ wnuevo = wanterior
e =d −a
si e = 1, ⇒ wnuevo = wanterior + x
si e = −1, ⇒ wnuevo = wanterior − x
si e = 0, ⇒ wnuevo = wanterior
Ingenierı́a de Sistemas (ITM) 24 de febrero de 2011 32 / 40
Principales tipos de redes Perceptrón
Perceptrón
Reglas de ajuste para los pesos:
si d = 1 y a = 0, ⇒ wnuevo = wanterior + x
si d = 0 y a = 1, ⇒ wnuevo = wanterior − x
si d = a, ⇒ wnuevo = wanterior
e =d −a
si e = 1, ⇒ wnuevo = wanterior + x
si e = −1, ⇒ wnuevo = wanterior − x
si e = 0, ⇒ wnuevo = wanterior
Ingenierı́a de Sistemas (ITM) 24 de febrero de 2011 32 / 40
Principales tipos de redes Perceptrón
Perceptrón
Reglas de ajuste para los pesos:
si d = 1 y a = 0, ⇒ wnuevo = wanterior + x
si d = 0 y a = 1, ⇒ wnuevo = wanterior − x
si d = a, ⇒ wnuevo = wanterior
e =d −a
si e = 1, ⇒ wnuevo = wanterior + x
si e = −1, ⇒ wnuevo = wanterior − x
si e = 0, ⇒ wnuevo = wanterior
Ingenierı́a de Sistemas (ITM) 24 de febrero de 2011 32 / 40
Principales tipos de redes Perceptrón
Perceptrón
b nueva = b anterior + e
Perceptrón
b nueva = b anterior + e
Perceptrón
Ejemplo
[ ] [ ]
2 0
x1 = , d1 = 1; x2 = , d2 = 1
[ 1 ] −1
[ ]
−2 0
x3 = , d3 = −1; x4 = , d4 = −1
1 2
Perceptrón
Ejemplo
[ ] [ ]
2 0
x1 = , d1 = 1; x2 = , d2 = 1
[ 1 ] −1
[ ]
−2 0
x3 = , d3 = −1; x4 = , d4 = −1
1 2
Perceptrón
Ejemplo
[ ] [ ]
2 0
x1 = , d1 = 1; x2 = , d2 = 1
[ 1 ] −1
[ ]
−2 0
x3 = , d3 = −1; x4 = , d4 = −1
1 2
Perceptrón
Ejemplo
[ ] [ ]
2 0
x1 = , d1 = 1; x2 = , d2 = 1
[ 1 ] −1
[ ]
−2 0
x3 = , d3 = −1; x4 = , d4 = −1
1 2
Perceptrón
Ejemplo
Los valores iniciales asignados aleatoriamente a los parámetros de la red son:
[ ]
w1 = −0,7 0,2 ; b = 0,5
Perceptrón
Ejemplo
Calcular salida de la red y el error:
( [ ] )
[ ] 2
a = hardlims −0,7 0,2 + 0,5 = −1
1
e = d1 − a = 2
b ∗ = 0,5 + 2 = 2,5
Perceptrón
Ejemplo
Calcular salida de la red y el error:
( [ ] )
[ ] 2
a = hardlims −0,7 0,2 + 0,5 = −1
1
e = d1 − a = 2
b ∗ = 0,5 + 2 = 2,5
Perceptrón
Perceptrón
Ejemplo
Presentar el siguiente patrón x2 a la red :
( [ ] )
[ ] 0
a = hard lı́m s 3,3 2,2 + 2,5 = 1
−1
e = d1 − a = 0
Como lo clasifica correctamente se pasa al siguiente patrón x3 :
( [ ] )
[ ] −2
a = hard lı́m s 3,3 2,2 + 2,5 = −1
1
e = d1 − a = 0
Lo clasifica correctamente, siguiente patrón x4 :
( [ ] )
[ ] 0
a = hard lı́m s 3,3 2,2 + 2,5 = 1
2
e = d1 − a = −2
Ingenierı́a de Sistemas (ITM) 24 de febrero de 2011 38 / 40
Principales tipos de redes Perceptrón
Perceptrón
Ejemplo
Presentar el siguiente patrón x2 a la red :
( [ ] )
[ ] 0
a = hard lı́m s 3,3 2,2 + 2,5 = 1
−1
e = d1 − a = 0
Como lo clasifica correctamente se pasa al siguiente patrón x3 :
( [ ] )
[ ] −2
a = hard lı́m s 3,3 2,2 + 2,5 = −1
1
e = d1 − a = 0
Lo clasifica correctamente, siguiente patrón x4 :
( [ ] )
[ ] 0
a = hard lı́m s 3,3 2,2 + 2,5 = 1
2
e = d1 − a = −2
Ingenierı́a de Sistemas (ITM) 24 de febrero de 2011 38 / 40
Principales tipos de redes Perceptrón
Perceptrón
Ejemplo
Presentar el siguiente patrón x2 a la red :
( [ ] )
[ ] 0
a = hard lı́m s 3,3 2,2 + 2,5 = 1
−1
e = d1 − a = 0
Como lo clasifica correctamente se pasa al siguiente patrón x3 :
( [ ] )
[ ] −2
a = hard lı́m s 3,3 2,2 + 2,5 = −1
1
e = d1 − a = 0
Lo clasifica correctamente, siguiente patrón x4 :
( [ ] )
[ ] 0
a = hard lı́m s 3,3 2,2 + 2,5 = 1
2
e = d1 − a = −2
Ingenierı́a de Sistemas (ITM) 24 de febrero de 2011 38 / 40
Principales tipos de redes Perceptrón
Perceptrón
Ejemplo
La red ha clasificado incorrectamente este patrón y por lo tanto deben
modificarse pesos y ganancias:
b ∗ = 2,5 − 2 = 0,5
Perceptrón
Aprendizaje - Matlab
function [b,w]=perceptron(w,b,entrada,etiqueta)
salida=sign(w*entrada+b);
error=etiqueta-salida;
if error ∼ =0
w=w+error*entrada’;
b=b+error;
end