Professional Documents
Culture Documents
PROGRAMA DE MESTRADO
IM/DCC - NCE
www.labic.nce.ufrj.br
Antonio G. Thom
thome@nce.ufrj.br
Sala - 1013
(021)2598-3268
O Modelo PERCEPTRON
Rosemblat - 1962
Fev 2005
PERCEPTRON
z
objetivo:
caractersticas
aprendizado supervisionado
representao binria
Fev 2005
x1 w1
xm wm
erro
w0
+1
Ativao
net
wi
Xi
esquema aprendizagem
Propagao - degrau
net = wi xi / wi , xi R
1 se net > 0
y=
0 se net 0
onde: w0 o limiar (threshold) - tambm aprendido pela rede
i =0
Fev 2005
Fronteira de Deciso
z
classe C2
classe C1
x1
fronteira
de deciso
Demo: nnd4db
Decision bounderies
w1x1 + w2x2 + b = 0
Fev 2005
yi
xj
ei(k) = ydi yi
Demo: nnd4pr
Perceptron Learning Rule
taxa de aprendizado
Fev 2005
Treinamento do Perceptron
z
algoritmo
1 inicializar e o vetor de pesos W
2 repetir
i
i
3 para cada par do conjunto de treinamento = {(x , yd )}i =1
p
Fev 2005
Demo:
Classif w/ 2 input neurons
Separabilidade Linear
Porta E
x
x y
0
0
1
1
0
1
0
1
z
0
0
0
1
Porta OU
x
5
9
5
5x + 5y = 9
x y
0
0
1
1
0
1
1
1
0
1
0
1
.5
5
4
.5
5
5x + 5y = 4
x
x
8
x
Fev 2005
Porta E
x
wx
PERCEPTRON
wy
y
w0
+1
1 se net > 0
z' =
0 se net 0
x y
0
0
1
1
0
0
0
1
0
1
0
1
x+2y-1=0
Fev 2005
Porta E
x
wx
wy
y
+1
PERCEPTRON
w0
1 se net > 0
z' =
0 se net 0
x y
0
0
1
1
0
0
0
1
0
1
0
1
x+y-2=0
Fev 2005
Porta E
x
wx
PERCEPTRON
wy
y
+1
w0
1 se net > 0
z' =
0 se net 0
x y
0
0
1
1
0
0
0
1
0
1
0
1
Fev 2005
12
w1
Fev 2005
Demo:
Linearly non separable vectors
Limitaes do Perceptron
classe
C2
13
classe
C1
classe
C2
Fev 2005
X2
X1
Linearmente separvel
14
X1
No-linearmente separvel
Fev 2005
Realidade
z
z
z
z
z
15
Fev 2005
Combinar Camadas
z
Problema
z
16
Fev 2005
Porta XOR
x
wx
PERCEPTRON
wy
y
+1
x y
0
0
1
1
0
1
1
0
w0
0
1
0
1
PERCEPTRON
x
z
y
x y = x y+ x y
1 se net > 0
z' =
0 se net 0
+1
17
Fev 2005
Exemplo
z
18
feminino
X
X
masculino
X
X
codificao
0 0
0 1
1 0
1 1
Fev 2005
Exemplo (cont.)
z
condies de disparo
se
net > 0
y=1
(feminino)
se
net 0
y=0
(masculino)
incio do treinamento
b=0
w1 = 0
w2 = 0
19
Fev 2005
Exemplo (cont.)
z
20
net = b 1 + w1 0 + w2 0
net = 0 1 + 0 0 + 0 0 = 0
y=0
d=0
0
w1
0
w2
(resposta correta)
Fev 2005
10
Exemplo (cont.)
z
net = b 1 + w1 0 + w2 1
net = 0 1 + 0 0 + 0 1 = 0
y=0
d=0
0
1
w1 w2
(resposta correta)
21
Fev 2005
Exemplo (cont.)
22
net = b 1 + w1 1 + w2 0
+1
net = 0 1 + 0 1 + 0 0 = 0
y=0
b=b+1=0+1=1
net = b 1 + w1 1 + w2 0
w1 = w1 + 1 = 0 + 1 = 1
net = 1 1 + 1 1 + 0 0 = 2
w2 = w2 + 0 = 0 + 0 = 0
correta)
y = 1 e d = 1 (resposta
1
0
w1 w2
d = 1 (resposta incorreta)
Fev 2005
11
Exemplo (cont.)
z
net = b 1 + w1 1 + w2 1
net = 1 1 + 1 1 + 0 1 = 2
y=1
d=1
+1
b
1
w1
1
w2
(resposta correta)
23
Fev 2005
Modelo ADALINE
24
Fev 2005
12
ADALINE
z
caractersticas
25
Fev 2005
Demo:
Training w/ Linear neuron
esquema aprendizagem
xm wm
w0
+1
wi
Ativao
net
x
Xi
erro
yd
Propagao - degrau
1 se net > 0
y=
0 se net 0
onde: w0 o limiar (threshold) - tambm aprendido pela rede
net = wi xi / wi , xi R
i =0
26
Fev 2005
13
e 0 W 0
e(k)2 ( yd (k ) net(k))2
E (k ) =
=
2
2
z
objetivo
27
Fev 2005
Wi (k + 1) E (k )
E ( k ) =
E (k ) neti (k )
E (k )
=
/ (todo i )
wi (k ) neti (k ) wi (k )
E (k )
( yd (k ) neti (k ))2
2( yd (k ) neti (k ))
=
=
= e( k )
neti (k )
2neti (k )
2
net (k ) ( w j x j )
= xi (k )
=
wi (k )
wi (k )
wi (k + 1) (e) xi (k ) = e(k ) xi (k )
28
Fev 2005
14
Demo: nnd4pr
Linear Class System
Fev 2005
Modelo - MADALINE
30
Fev 2005
15
Madaline
z
critrios de deciso:
OU
MAIORIA
31
Fev 2005
Exemplo - Maioria
Desejada
A
A
A
maj
?? erro
Passo
Passo 11 um
um padro
padro apresentado
apresentado aa cada
cada ADALINE
ADALINE
Passo
Passo 22 aa sada
sada yy calculada
calculada em
em concordncia
concordncia com
com aa maioria
maioria
Passo
Passo 33 aa sada
sada gerada
gerada comparada
comparada com
com aa desejada
desejada
Passo
Passo 44 se
se errada,
errada, oo ADALINE
ADALINE com
com menor
menor erro
erro escolhido
escolhido para
para treinar
treinar
32
Fev 2005
16