03 Perceptron Adaline PDF

23/03/2011
1
Redes Neurais Artificiais:
Perceptron e Adaline Perceptron e Adaline
Prof. Matheus Giovanni Pires
TEC 456 IA No-Simblica
Universidade Estadual de Feira de Santana (UEFS)
Perceptron (Rosenblatt, 1958)
O Perceptron composto pelo neurnio de McCulloch-Pitts,
com funo de ativao limiar ou sinal e aprendizado
supervisionado
a forma mais simples de uma rede neural artificial,
possuindo uma nica camada neural, com apenas 1 neurnio
Princpio de Aprendizado de Hebb
2
UEFS :: Prof. Matheus Giovanni Pires :: TEC-456 IA No-Simblica
Princpio de Aprendizado de Hebb
Perceptron
Exemplo de um Perceptron com n entradas e funo de
ativao sinal (degrau bipolar)
3
x
1
w
1
x
0
= -1
w
0
=
x
2
x
3
x
N
u
w
2
w
3
w
N
u=x
0
.w
0
+x
1
.w
1
+...+x
N
.w
N
y
Perceptron
A limitao desta rede neural se encontra na reduzida
quantidade de problemas que consegue tratar
Classificao de conjuntos linearmente separveis
4
g(y)
x
Classe B
y
x
x
x
x
x
x
x
o
o
o
o
o
o
Classe A
o
x
0
.w
0
+x
1
.w
1
+...+x
N
.w
N
> 0
x
0
.w
0
+x
1
.w
1
+...+x
N
.w
N
< 0
x
0
.w
0
+x
1
.w
1
+...+x
N
.w
N
= 0
Perceptron: Problema XOR
Ou exclusivo no linearmente separvel
5
X
1
X
2
Y Simb
0 0 0
x
2
0 1 1
1 0 1
1 1 0 x
1
Com apenas uma reta no possvel separar as classes.
Neste caso necessrio duas retas para separ-las
Perceptron: Treinamento
Princpio de Hebb:
Quando um axnio de uma clula A est prximo o
suficiente para excitar uma clula B e repetidamente ou
persistentemente participa da ativao desta, um processo
de crescimento ou mudana metablica ocorre em uma ou
ambas as clulas, de tal forma que a eficincia de A em
6
ativar B aumentada.
HEBB, D.O. The Organization of Behavior, 1949.
Donald Olding Hebb (July 22, 1904 August 20, 1985) was a Canadian
psychologist who was influential in the area of neuropsychology, where he
sought to understand how the function of neurons contributed to psychological
processes such as learning [Wikipedia].
23/03/2011
2
Esta afirmao foi feita em um contexto neurobiolgico,
pode-se reescrev-la como uma regra em duas partes:
Se dois neurnios em ambos os lados de uma sinapse so
ativados simultaneamente, ento a fora daquela sinapse
seletivamente aumentada
Se dois neurnios em ambos os lados de uma sinapse so
7
p
ativados assincronamente, ento aquela sinapse seletivamente
enfraquecida ou eliminada
Durante o processo de treinamento do Perceptron, busca-se
encontrar um conjunto de pesos que defina uma reta que
separe melhor duas classes, de forma que a rede classifique
corretamente as entradas apresentadas
Quando no houver alterao da matriz w (matriz de pesos)
entre duas respostas sucessivas, a rede est treinada!
8
p ,
y
g(y)
x
x
x
x
x
x
x
o
o
o
o
o
o
Classe B
Classe A
o
Parmetros:
x(k) = [-1 x
1
(k) x
2
(k) ... x
N
(k)]
T
a k-sima amostra (padro) de treinamento
w = [ w
1
w
2
... w
N
]
T
vetor contendo o limiar e os pesos
y
9
y
valor de sada do Perceptron
d(k)
sada desejada para k-sima amostra de treinamento
(0 < <1)
constante que define a taxa de aprendizagem da rede
O ajuste de pesos feito utilizando a seguinte equao:
10
w w d k y x k + .( ( ) ). ( )
Algoritmo de treinamento
11
Obter o conjunto de treinamento
Inicializar o vetor de pesos com valores aleatrios
Inicializar a taxa de aprendizado
Epoca 0;
Repita
E i t
Erro no existe;
Para cada par de treinamento {x(k),d(k)} faa
u x(k) . w
T
;
y Sinal(u);
Se (d(k) y) ento
w w + .(d(k) - y).x(k)
Erro existe;
fim_se;
fim_para;
Epoca Epoca + 1;
At Erro = no existe;
Neste algoritmo, o ajuste na matriz de pesos w realizado
apenas em funo de informaes locais sinapse
Se d(k) = 1 e y = -1, incrementa-se w
w
i
w
i-1
+ .(d(k) - y).x(k)
w
i
w
i-1
+ .(1- (-1)).x(k)
w
i
w
i-1
+ .(2).x(k)
12
Se d(k) = -1 e y = 1, decrementa-se w
w
i
w
i-1
+ .(d(k) - y).x(k)
w
i
w
i-1
+ .(-1 - 1).x(k)
w
i
w
i-1
+ .(-2).x(k)
Portanto, a cada apresentao do padro, a sada fica mais
reforada ou enfraquecida!
23/03/2011
3
Perceptron: Teste
Algoritmo de teste
13
Obter conjunto de teste T;
Utilizar a matriz w ajustada no treinamento;
Para cada padro x T a ser reconhecido Faa
u x(k) w
T
;
u x(k) . w ;
y Sinal(u);
Se (y = -1) ento padro x Classe A
Seno padro x Classe B
fim_se;
fim_para;
Perceptron: aspectos prticos
A reta de separabilidade produzida pelo Perceptron no
nica, sendo que, nesses casos, o nmero de pocas
tambm pode variar.
A rede divergir se o problema no for linearmente separvel.
Quando a faixa de separabilidade entre as duas classes for
muito estreita o treinamento pode ser instvel
14
muito estreita, o treinamento pode ser instvel.
A normalizao das entradas para domnios apropriados
contribui para incrementar o desempenho do treinamento.
Adaline
O Adaline (Adaptative Linear Element), idealizado por Widrow
e Hoff em 1960, uma rede neural que utiliza um algoritmo
supervisionado para minimizar o erro entre as entradas e
sadas
Tambm composto apenas por uma camada neural com um
nico neurnio com funo de ativao limiar ou sinal
15

Funciona como um filtro que separa duas classes linearmente
separveis
Principais contribuies
Desenvolvimento do algoritmo de treinamento conhecido como
Regra Delta
Aplicaes em processamento de sinais desde 1960
Primeiras aplicaes industriais
Adaline
A arquitetura bsica do Adaline constituda por:
16
x
1
x
2
u
w
1
w
2
w
3
x
0
= -1
w
0
=
y
x
3
x
N
w
3
w
N
Erro = d - u
-
d
+
y
Regra Delta
O ajuste dos pesos baseado no algoritmo de aprendizado
chamado Regra Delta
Conhecido tambm como Mnimos Quadrados ou Descida do
Gradiente ou Gradiente Descendente
O ajuste dos pesos feito minimizando o erro quadrtico
entre a sada desejada (d) e a sada do combinador linear (u)
17
entre a sada desejada (d) e a sada do combinador linear (u)
A minimizao do erro feita com a utilizao do vetor gradiente
() do erro em relao a w
Esta metodologia torna o sistema mais robusto (tolerante) em
relao s flutuaes dos rudos nos sinais de entradas
Regra Delta
Interpretao geomtrica
Como o erro quadrtico possui um termo quadrtico em w, este
possui forma de parbola.
Para p padres de entrada, a funo erro quadrtico definida por:
18
2
1
( ) ( ( ) ( ))
p
E w d k u k =

1
( ) ( ( ) ( ))
2
k
E w d k u k
=
O no pode ser grande por

causa da estabilidade em
convergir para o timo.
23/03/2011
4
Adaline: Treinamento
O ajuste de pesos feito utilizando a seguinte equao:
O critrio de parada estipulado em funo do erro
quadrtico mdio, definido por:
19
t t
w w d k u k x k
+
1
.( ( ) ( )). ( )
O algoritmo converge quando o EQM entre duas pocas
sucessivas for suficientemente pequeno, ou seja:
=
=
2
1
1
( ) ( ( ) ( ))
p
k
EQM t d k u k
p
EQM t EQM t Erro ( ) ( 1)
Algoritmo de treinamento
20
Obter o conjunto de amostras de treinamento {x(k)}
Inicializar o vetor de pesos com valores aleatrios
Inicializar a taxa de aprendizado {} e a preciso requerida {Erro}
Epoca 0;
EQM_ant INF;
EQM_atual EQM; // EQM retorna o valor de EQM
Enquanto | EQM_atual - EQM_ant | > Erro
EQM_ant EQM_atual;
Para cada par de treinamento {x(k),d(k)} Faa
u x(k) * w
T
;
w w + . (d(k) - u) . x(k);
Fim_para
Epoca Epoca + 1;
EQM_atual EQM;
Fim_enquanto
Sempre ser apenas uma reta de separao, colocando-a
bem no meio das classes.
21
g(y)
x x
x
Classe B
y
x
x
x
x
x
o
o
o
o
o
o
Classe A
o
Algoritmo que calcula o erro quadrtico mdio
22
Obter a quantidade de padres de treinamento {p}
EQM 0;
Para cada par de treinamento {x(k),d(k)} Faa
u x(k) * w
T
;
u x(k) w
T
;
EQM EQM + (d(k) u)
2
;
Fim_para;
EQM EQM / p;
Adaline: Teste
Algoritmo de teste
23
Obter conjunto de teste T;
Utilizar a matriz w ajustada no treinamento;
Para cada padro x T a ser reconhecido Faa
u x(k) w
T
;
u x(k) . w ;
y Sinal(u);
Se (y = -1) ento padro x Classe A
Seno padro x Classe B
fim_se;
fim_para;
Adaline: aspectos prticos
O Perceptron se caracteriza como separador linear e o Adaline
como aproximador linear de funes.
Diferentemente do Perceptron, o Adaline passvel de
convergncia mesmo para problemas no-linearmente separveis,
em funo da preciso atribuda para medir a diferena do EQM
entre duas pocas sucessivas.
24
O valor da taxa de aprendizado deve ser cuidadosamente
especificado a fim de evitar instabilidades em torno do ponto de
mnimo da funo erro quadrtico, bem como evitar que o processo
de convergncia fique muito lento.
A normalizao das entradas para domnios apropriados contribui
para incrementar o desempenho do treinamento.

03 Perceptron Adaline PDF

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

03 Perceptron Adaline PDF

Uploaded by

Copyright:

Available Formats

23/03/2011

UEFS :: Prof. Matheus Giovanni Pires :: TEC-456 IA No-Simblica

O no pode ser grande por

You might also like