Professional Documents
Culture Documents
K
= constante do mtodo de Levenberg-
Marquardt.
Aps uma atualizao, se o valor do ndice de de-
sempenho diminui deve ser diminudo para redu-
zir a influncia do gradiente descendente. Se ao con-
trrio, o valor do ndice de desempenho aumenta
ento seguir a direo do gradiente descendente a
melhor escolha e o valor de deve ser aumentado.
Se tornar-se muito grande, a informao dada pela
aproximao H para o hessiano no ser til no cl-
culo da atualizao de w. Para contornar esse pro-
blema, Marquardt props substituir a matriz identi-
dade pela matriz diag[H] (matriz diagonal de H),
resultando na seguinte regra de atualizao que pode
ser resumido atravs dos seguintes passos (Catalo et
al., 2007; Suratgar, 2005):
Passo 1 - obter uma atribuio inicial de pesos;
Passo 2 - calcular a atualizao dos pesos de acordo
com a Equao (7) e avaliar o erro, pro-
pagando os padres na rede;
Passo 3 - se o erro aumentar necessrio desfazer a
atualizao de w e diminuir ; caso con-
trrio, validar a atualizao de w e incre-
mentar ;
Passo 4 - verificar a convergncia, ou seja, se a rede
neural convergiu encerre o processo seno
voltar para passo 2.
Os critrios de convergncia mais usuais so: a)
norma do gradiente ser menor do que um valor pr-
determinado; b) soma do erro quadrtico menor do
que um valor pr-determinado; c) atingir um nme-
ro pr-determinado de iteraes.
A rede neural treinada atravs do algoritmo de Le-
venberg- Marquardt converge em um nmero menor
de iteraes comparado aos demais algoritmos de
treinamento utilizados nas redes MLP. Uma desvan-
tagem apresentada pelo algoritmo de Levenberg-
Marquardt o fato de este exigir um maior nmero
de clculos realizados em cada iterao. Isto ocorre
em conseqncia do calculo das matrizes inversas
que so necessrios na execuo do algoritmo. Ape-
sar dos esforos realizados durante o processo o al-
goritmo se mantm rpido, uma vez que, a quanti-
dade de dados utilizados na rede neural no seja
muito grande (Saini and Soni, 2002).
2.1.1 Rede Neural de Base Radial
A rede de funo de base radial possui na sua cama-
da de entrada (camada de base radial), neurnios de
base radial, e na sua camada de sada (camada linear
simples), neurnios com funo de ativao linear
(Dibike and Solomatine, 2001; Garg et al., 2007). A
Figura 2 apresenta o modelo de um neurnio de fun-
o de base radial.
1
p
2
p
3
p
R
p
1,1
w
R
w
1,
+
Figura 2. Modelo deumneurnio debaseradial comR entradas.
possvel notar que a expresso para a entrada da
rede de um neurnio de base radial difere de outros
neurnios. Neste caso a entrada da rede para a fun-
o de transferncia do neurnio de base radial o
vetor distncia entre seu respectivo vetor peso w e o
vetor de entrada p, multiplicado pelo bias b.
As funes de ativao de neurnios de base radial
so funes no lineares, cujos valores diminuem ou
aumentam em relao a um ponto central chamado
de centro da funo de base radial (Kartalopoulos,
1996; Haykin, 1999).
Uma das funes no lineares mais comuns a do
tipo Gaussiana. A sada da primeira camada repre-
sentada pela Equao (8) (Kartalopoulos, 1996):
(
(
=
2
, 1 , 1
, 1
2
) ( ) (
j
j j
j
w p w p
exp n
j =1, ..., R
(8)
em que:
p =entrada padro;
j
n
, 1
= sada do j-simo n da primeira camada;
j
w
, 1
=vetor peso do j-simo n na primeira camada;
2
j
=parmetro de normalizao para o j-simo n.
A sada da segunda camada dada por:
1 , 2
n w a
t
j j
= (9)
em que:
, j
a =sada do j-simo n da segunda camada;
, 1
n =vetor de sada da primeira camada
j
w
, 2
=vetor peso da sada
Quando se usa as funes Gaussianas cada n pro-
duz uma sada idntica para entradas que esto den-
tro de uma distncia radial fixada a partir do centro
de uma base, isto , so radialmente simtricas e da
o nome RBF (Radial Basis Function).
2587
XVIII Congresso Brasileiro de Automtica / 12 a 16-setembro-2010, Bonito-MS
A funo de transferncia de um neurnio de base
radial dada pela expresso:
radbas (n) = e
-n
(10)
O grfico desta funo de transferncia dado pela
Figura 3:
Figura 3. Funo de BaseRadial.
O treinamento de uma rede neural de funo de base
radial pode ser separado em duas etapas:
1. Definio dos centros, forma e disperso das fun-
es de base radial, normalmente baseada em
treinamento no supervisionado (quantizao ve-
torial ou algoritmo de treinamento competitivo)
ou computao evolutiva;
2. Aprendizado dos pesos da camada de sada, res-
ponsveis pela combinao linear das ativaes da
camada intermediria, empregando tcnicas como
pseudo-inverso e OLS (Orthogonal Least Squa-
res) (Chen et al., 1991).
De um modo geral, a rede RBF apresenta tempos de
treinamento bem baixos quando comparada a rede
feedforward com algoritmo backpropagation, pois
possui clculos bem mais simples (em geral, traba-
lha-se com funes exponenciais) (Kartalopoulos,
1996). A rede RBF computacionalmente, em ter-
mos de rapidez, mais vantajosa quando comparada
s redes feedforward com algoritmo de treinamento
por Levenberg-Marquardt, uma vez que esta traba-
lha com inverso de matrizes e derivadas de segunda
ordem (Catalo et al., 2007; Suratgar, 2005).
3 Resultados e Discusses
Para o caso da rede feedforward com treinamento
por Levenberg-Marquardt (Catalo et al., 2007; Su-
ratgar, 2005), a RNA criada para prever as aflun-
cias de 7 dias referente a trs aplicaes com pero-
dos diferentes, possui 4 neurnios em sua camada de
entrada, 50 neurnios em sua camada intermediaria
e 1 neurnio em sua camada de sada. As funes de
ativao utilizadas para cada camada, foram as fun-
es sigmide 2, sigmide 1 e linear (Haykin, 1999;
Kartalopoulos, 1996), respectivamente.
Referente s mesmas aplicaes citadas anterior-
mente, criou-se uma rede de funo de base radial
baseada na funo newrb, presente na toolbox de
redes neurais do MATLAB com duas camadas, con-
tendo tantos neurnios na camada de entrada quanto
forem o nmero de dados presentes no vetor de en-
trada e 1 neurnio na camada de sada.
A funo newrb cria iterativamente uma rede de
base radial de um neurnio por vez. Neurnios so
adicionados rede at que a soma do erro quadrtico
esteja abaixo de um erro desejado (parmetro goal)
ou um mximo nmero de neurnios tenha sido a-
tingido (Demuth and Beale, 1998).
Para as duas arquiteturas de RNAs projetadas, os
vetores de entrada possuem o mesmo padro.
O padro de entrada descrito por um vetor conten-
do informaes dos valores das vazes dirias n, n-
1, n-2 e n-3. As redes foram submetidas a seis trei-
namentos distintos, diferenciados pela quantidade de
dias utilizados para cada treinamento e a previses
para 7 e 14 dias conforme Tabela 1.
Tabela 1. Especificaes decada treinamento quanto ao perodo, o
numero devetores deentrada epreviso.
Treinamento Perodo
Nmero de
vetores de
entrada
Previso
(dias)
1 25/12/06
25/12/07
366 7
2 18/12/06
18/12/07
366 14
3 25/12/04
25/12/07
1096 7
4 18/12/04
18/12/07
1096 14
5 25/12/02
25/12/07
1827 7
6 18/12/02
18/12/07
1827 14
Os resultados sero apresentados em forma de grfi-
co e Tabelas. Para comparar os resultados obtidos
por cada rede, verificamos o MAPE (erro percentual
absoluto mximo) e o erro mximo obtido durante a
previso das afluncias dados pela Tabela 2. As ex-
presses do MAPE e do erro mximo so mostradas
abaixo:
100%
1
) (
=
t
y t
ND
MAPE
(11)
100% ) (
max
=
t
y t
E
(12)
sendo:
ND = nmero de dados de entrada;
t = vetor de dados reais;
y = vetor de dados estimados.
Pela anlise da Tabela 2, observa-se que a RNA fe-
edforward com algoritmo Levenberg-Marquardt
obteve valores de MAPE consideravelmente peque-
nos atingindo seu maior valor para o treinamento 2,
onde havia o menor nmero de vetores de entradas
quando comparados aos outros e o maior erro m-
ximo.
2588
XVIII Congresso Brasileiro de Automtica / 12 a 16-setembro-2010, Bonito-MS
Tabela 2. MAPE emximo erro obtido durantea previso deaflun-
cias.
RNA Treinamento
MAPE
(%)
Erro
mximo
(%)
RNA feedforward
backpropagation
comalgoritmo
Levenberg-
Marquardt
1 1,5235 2,8554
2 2,6773 5,2375
3 1,3232 2,6541
4 1,9537 3,9536
5 1,1490 2,9633
6 1,6242 3,6693
RBF
1 1,8844 4,7553
2 1,5686 6,2047
3 1,7134 5,1054
4 0,9701 3,3141
5 0,9074 2,3695
6 0,8591 2,1684
A RBF obteve xito na diminuio do MAPE a cada
treinamento, mesmo como o maior erro mximo
neste.
Tambm foi verificado o tempo utilizado para o trei-
namento de cada RNA, submetido aos diferentes
perodos de tempo, Tabela 3.
Tabela 3. Tempo gasto para o treinamento de cada rede devido a
diferentes perodos detempo perodo detempo.
RNA Treinamento Tempo (s)
RNA feedforward back-
propagation comalgoritmo
Levenberg-Marquardt
1 0,819652
2 1,381217
3 2,206715
4 2,869283
5 18,088542
6 19,836463
RBF
1 0,049949
2 0,087482
3 0,099846
4 0,160451
5 0,181922
6 0,219736
As Figuras 4-9 apresentam as curvas obtidas atravs
da RNAs que foram submetidas ao melhor perodo
de treinamento, no qual se baseou ao menor MAPE
gerado.
1 2 3 4 5 6 7
1
1.06
1.12
1.18
1.24
1.3
1.36
x 10
4
Tempo (Dias)
V
a
z
o
(
m
3
/
s
)
Levenberg-Marquardt
Curva de Afluncia Real
RBF
Figura 4. Curvas de comparao das RNA para treinamento 1.
1 2 3 4 5 6 7 8 9 10 11 12 13 14
0.9
1
1.08
1.16
1.24
1.32
1.4
x 10
4
Tempo (Dias)
V
a
z
o
(
m
3
/
s
)
Levenberg-Marquardt
Curva de Afluncia Real
RBF
Figura 5. Curvas de comparao das RNA para treinamento 2.
1 2 3 4 5 6 7
1.05
1.1
1.15
1.2
1.25
1.3
1.35
x 10
4
Tempo (Di as)
V
a
z
o
(
m
3
/
s
)
Levenberg-Marquardt
Curva de Afluncia Real
RBF
Figura 6. Curvas de comparao das RNA para treinamento 3.
1 2 3 4 5 6 7 8 9 10 11 12 13 14
0.9
1
1.08
1.16
1.24
1.32
1.4
x 10
4
Tempo (Dias)
V
a
z
o
(
m
3
/
s
)
Levenbrg-Marquardt
Curva de Afluncia Real
RBF
Figura 7. Curvas de comparao das RNA para treinamento 4.
2589
XVIII Congresso Brasileiro de Automtica / 12 a 16-setembro-2010, Bonito-MS
1 2 3 4 5 6 7
1
1.06
1.12
1.18
1.24
1.3
1.36
x 10
4
Tempo (Dias)
V
a
z
o
(
m
3
/
s
)
Levenberg-Marquardt
Curva de Afluncia Real
RBF
Figura 8. Curvas de comparao das RNA para treinamento 5.
1 2 3 4 5 6 7 8 9 10 11 12 13 14
0.9
1
1.08
1.16
1.24
1.32
1.4
x 10
4
Tempo (Dias)
V
a
z
o
(
m
3
/
s
)
Levenberg-Marquardt
Curva de Afluncia Real
RBF
Figura 9. Curvas de comparao das RNA para treinamento 6.
A Tabela 3 traz os respectivos tempos de processa-
mento de cada rede neural em cada treinamento. A
RNA feedforward com algoritmo Levenberg-
Marquardt possui um tempo maior a cada treina-
mento e tambm superior quando comparada a RBF.
Isto ocorre devido necessidade do algoritmo de
Levenberg-Marquardt ter de treinar e efetuar mais
clculos quando se comparado a RBF que apenas
realiza a aproximao por uma funo.
4 Concluso
Realizar a previso de afluncias utilizando redes
neurais artificiais vem, nos ltimos tempos, mos-
trando evoluo e bons resultados devido ao desen-
volvimento de novos softwares e o aumento do inte-
resse de alguns grupos de pesquisa pelo assunto.
Assim, as comparaes dos resultados obtidos utili-
zando tipos diferentes de treinamentos de redes neu-
rais algo bastante interessante, afinal cada rede se
comporta de maneira diferente dependendo do pro-
blema proposto.
Alguns padres foram analisados para facilitar as
comparaes e peculiaridades de cada rede neural,
como: MAPE, erro mximo e tempo de processa-
mento. Os grficos evidenciam que os dados previs-
tos pelas redes neurais, independentes do tipo de
treinamento, possuem uma proximidade com os da-
dos reais.
Sobre os resultados obtidos com o MAPE observa-se
que somente para os treinamentos 1 e 2 a rede por
Levenberg-Marquardt apresenta resultados melhores
quando comparado com a RBF. medida que so
fornecidos mais vetores de entrada rede RBF, aos
poucos ela atinge melhores resultados que Leven-
berg-Marquardt. Por exemplo, no caso do treina-
mento 6, a rede RBF apresenta um MAPE de apro-
ximadamente 0,86%, enquanto que a de Levenberg-
Marquardt 1,62%.
J o erro mximo para o algoritmo de Levenberg-
Marquardt foi de 5,24%, enquanto para a RBF foi de
6,20%, aproximadamente.
Em geral, observa-se que para cada uma das arquite-
turas tm-se diferentes anlises para seus MAPEs.
No caso do mtodo de Levenberg-Marquardt, se
houver a necessidade de prever mais dias, o erro se
propaga e conseqentemente h um aumento do
MAPE, por ser uma rede neural com retropropaga-
o. J a RBF no permite que haja esta relao e o
erro diminui.
Diante dos resultados podemos observar a superiori-
dade da RBF quanto ao tempo de processamento, em
que no caso do treinamento 6 os tempos da RBF e de
Levenberg-Marquardt so de aproximadamente 0,22
e 19,84 segundos, respectivamente, sendo que essa
superioridade se mantm por todos os treinamentos
efetuados.
Tal superioridade justificada pelo fato da rede RBF
possuir em sua fase de treinamento clculos menos
complexos (em, geral, funes exponenciais) do que
os clculos realizados pela rede feedforward com
treinamento Levenberg-Marquardt (inverso de ma-
trizes e derivadas de segunda ordem) nesta mesma
fase de treinamento.
Agradecimentos
A FAPESP (processos nmeros: 2008/01229-3 e
2009/13941-2) como entidade financiadora por a-
creditar e apoiar este trabalho. A professora e orien-
tadora Dr
a
Anna Diva Plasencia Lotufo pela sua con-
fiana e suas contribuies em nossa pesquisa. A
professora Mara Lcia Martins Lopes que auxiliou
no desenvolvimento do artigo.
Referncias Bibliogrficas
Bazaraa, M. S.; Sherali, H. D. and Shetty, C. M.
(1993). Nonlinear Programming, Theory and
Algorithms. John Wiley & Sons, USA.
Bender, E.A. (1996). Mathematical Methods in
Artificial Intelligence. IEEE Computer Society
Press. Los Alamitos, Califrnia, USA.
Biondi Neto, L.; Coelho, P. H. G.; Velloso, M. L. F.
and Meza, L. A., Setembro 2004, Monthly
Flow Estimation Using Neural Networks In:
2590
XVIII Congresso Brasileiro de Automtica / 12 a 16-setembro-2010, Bonito-MS
Simpsio Brasileiro de Redes Neurais, So Luiz,
MA, Brasil.
Cameron, M. Z; Donald, H. B. and Slobodan, P. S.
(1999). Short Term Streamflow Forecasting
Using Artificial Neural Networks. Journal of
Hydrology, Vol. 214, No. 1-4, pp. 32-48.
Catalo, J. P. S.; Mariano, S. J. P. S.; Mendes, V.
M. F. and Ferreira, L. A. F. M. (2007). Short-
term Electricity Prices Forecasting in a
Competitive Market: A Neural Network
Approach. Electric Power Systems Research,
Vol. 77, pp. 1297-1304.
Chen, S.; Cowan, C. F. N. and Grant, P. M. (1991).
Orthogonal Least Squares Learning Algorithm
for Radial Basis Functions Networks. IEEE
Transactions on Neural Networks, Vol. 2, No.
2, pp. 302-309.
Chen, Y. and Chang, F. (2009). Evolutionary
Artificial Neural Networks for Hydrological
Systems Forecasting. J ournal of Hydrology, Vol.
367, No. 1-2, pp. 125-137.
Costa, F. S; Maceira, M. E. P and Damzio, J. M.
(2007). Modelos de Previso Hidrolgica
Aplicados ao Planejamento da Operao do
Sistema Eltrico Brasileiro. Revista Brasileira
de Recursos Hdricos - RBRH, Vol. 12, No. 3,
pp. 21-30.
Demuth, H. and Beale, M. (1998). Neural Network
Toolbox For Use with MATLAB - User's Guide,
The Math Works Inc., Massachusetts, USA.
Dibike, Y. B. and Solomatine D. P. (2001). River
Flow Forecasting Using Artificial Neural
Networks. Phys. Chem. Earth (B), Vol. 26,
No.1, pp. 1-7.
Garg, S.; Pal, S. K. and Chakraborty, D. (2007).
Evaluation of the Performance of
Backpropagation and Radial Basis Function
Neural Networks in Predicting the Drill Flank
Wear. Neural Comput & Applic, Vol. 16, pp.
407-417.
Guilhon, L. G. F. (2002). Modelo Heurstico de
Previso de Vazes Naturais Mdias Semanais
Aplicado Usina de Foz do Areia. Dissertao
de Mestrado, Programa de Ps-Graduao em
Planejamento Energtico - COPPE/ UFRJ, Rio
de Janeiro, RJ, Brasil, 88 p.
Haykin, S. (1999). Neural Networks: A
Comprehensive Foundation. Prentice-Hall,
Upper Saddle River, New Jersey, USA.
Jain, A. K.; Mao, J. and Mohiuddin, K. M. (1996).
Artificial Neural Networks: A Tutorial. IEEE
Computer, Vol. 29, No.. 3, pp. 31-44.
Kartalopoulos, S.V. (1996). Understanding Neural
Networks and Fuzzy Logic: Basic Concepts and
Applications. IEEE Press, Piscataway, New
Jersey, USA.
King, R. L. (1998). Artificial Neural Networks and
Computational Intelligence. IEEE Computer
Application in Power, Vol. 11, No. 4, pp. 14-25.
Lotufo, A. D. P. (1982). Previso de Afluncias
Curtssimo Prazo para Operao de
Hidroeltricas. Dissertao de Mestrado, UFSC,
Florianpolis, SC, Brasil.
Luna, I.; Soares, S.; Ballini, R., outubro 2007,
Modelo Adaptativo Baseado em Regras
Nebulosas Aplicado Previso de Sries de
Vazes Semanais Simpsio Brasileiro de
Automao Inteligente, Florianpolis, SC,
Brasil.
ONS-Operador Nacional do Sistema Eltrico.
(2009). http://www.ons.org.br. [Acessado em:11
jan. 2010].
Saini, L. M. and Soni, M. K. (2002). Artificial
Neural Network based Peak Load Forecasting
Using Levenberg-Marquardt and Quasi-Newton
Methods. IEE Proceedings on Generation
Transmission, Distribution, Vol. 149, No. 5, pp.
578-584.
Suratgar, A. A.; Tavakoli, M. B. and Hoseinabadi,
A. (2005). Modified Levenberg-Marquardt
Method for Neural Networks Training.
Engineering and Technology, Vol. 6, pp. 46-48.
Turan, M. E. and Yurdusev, M. A. (2009). River
Flow Estimation from Upstream Flow Records
by Artificial Intelligence Methods. Journal of
Hydrology, Vol. 369, No. 1-2, pp. 71-77.
2591
XVIII Congresso Brasileiro de Automtica / 12 a 16-setembro-2010, Bonito-MS