UNA RED NEURONAL DE EXPANSIN

Alberto Aragn Torre

Alfredo Garca Gemes
F.C.E.E. de Burgos
ABSTRACT
La red de expansin presentada por A. Hussain y otros (1997), presenta el problema del
gran nmero de nodos de entrada que se generan a poco elevado que sea el nmero de variables
explicativas. En esta comunicacin, se presenta una nueva red, que tiene la ventaja de utilizar
menos funciones de expansin, lo que permite introducir ms variables explicativas. Se
presentan las funciones con que se realiza la expansin. Se realiza una prueba con una serie
temporal multivariante, utilizando esta nueva red de expansin con una capa oculta y la
sigmoide simtrica como funcin de transferencia.
Palabras clave: Red neuronal, Red de expansin, Funcin de transferencia
INTRODUCCIN
Uno de los problemas que se plantea al trabajar con redes neuronales es el de la
memorizacin, por los efectos perversos que provoca al trabajar en modo recuerdo. Este
problema surge cuando el nmero de nodos, o lo que es lo mismo, la matriz de pesos es de
grandes dimensiones. Por otra parte, dado que difcilmente las relaciones entre las entradas y las
salidas son lineales, habr que utilizar como funcin de transferencia una funcin no lineal, en
general una sigmoide, lo cual por otra parte exige la existencia de al menos una capa oculta.
En este sentido, el mayor problema que presentan las redes de expansin, es el elevado
nmero de nodos de entrada que se generan al utilizar la expansin funcional presentada por A.
Hussain y otros (1997), por poco elevado que sea el nmero de variables explicativas. En
concreto, si el nmero de variables iniciales es I, la capa de entrada tendr el siguiente nmero
de nodos:

+ +
I
k
k
I I
I
2
2
4 7 1
Esta situacin no tendra mayor importancia si la relacin existente entre las entradas y
la salida o salidas deseadas es lineal o aproximadamente lineal, situacin esta que normalmente
no se da en la prediccin econmica.
Por otra parte, entendemos, que cuando se desea realizar predicciones en Economa, el
nmero de variables intervinientes suele ser grande an cuando exista relacin entre ellas, pero
que no deben de ser eliminadas, al menos todas ellas (Aragn Torre A. y Garca Gemes A
1997a; Caldwell R.B. 1994). Esta situacin es especialmente acusada en la formacin del precio
de los activos financieros. Por tanto existen muchas situaciones en las que difcilmente podemos
a priori eliminar variables, sin que se resientan las predicciones. En otras palabras, tendremos
que hacer uso de al menos unas cuantas, con lo que la expansin a la que nos hemos referido
anteriormente no ser factible.
Adems la red de expansin anteriormente comentada, utiliza una funcin de
transferencia lineal, carece de capa oculta y tiene una nica salida. Parece razonable que se
extienda esta arquitectura de red a situaciones ms generales. (Aragn Torre A y Garca
Gemes A. 1997b ; Garca Gemes A. 1998).
En este trabajo, se pretende utilizar otras funciones para realizar la expansin de la red.
Esta expansin debe de cumplir dos cometidos. En primer lugar ser mucho menor en nmero y
en segundo, lugar que dichas funciones tengan la mayor gama posible de caractersticas en
cuanto a crecimiento, concavidad,...
Como quiera que esto ser casi imposible de conseguir con un nmero pequeo de
funciones, utilizaremos tambin la sigmoide simtrica, lo que obligar a escalar los datos entre
-1 y 1.
FUNCIONES CONSIDERADAS
A) Funciones gaussianas.
Comencemos considerando la funcin exp (- x
2
). Esta funcin gaussiana, crece hasta
x=0 y posteriormente es decreciente. Consideremos la siguiente transformacin lineal de esta
funcin, para que tome valores entre -1 y 1, cuando la variable toma valores entre -1 y 1:


=

2
x
e y
Calculando los tres parmetros:
2
2
2
2
1
1
1
2
2

=
e
e
e
e
y
x
Consideremos esta misma funcin, invertida. Partiendo de la misma expresin se
obtiene:
2
2
2
2
1
1
1
2
2

+
+

=
e
e
e
e
y
x
B) Exponenciales.
Vamos a considerar dos, una creciente convexa y otra decreciente convexa. La primera
de ellas tendr la forma:
2 ) 2 1 ( + =
x
y
La segunda exponencial ser:
2 ) 2 1 ( + =
x
y
C) Logartmicas
Al igual que antes consideraremos dos funciones, una decreciente y otra creciente,
ambas cncavas.
La primera de ellas tendr la forma:

+
+
=

x
e e e e
y
2 2
ln
1 1
La logartmica creciente es:

+
=

x
e e e e
y
2 2
ln
1 1
EL MODELO
Consideremos la siguiente serie temporal multivariante exacta:
[ ] ) 1 ( 2 ) 1 ( ) 1 ( ln ) ( + + = t z e t x t y t y
donde:

=
2
) 1 ( 3 sen ) (

t x t x

+ =
2
) 1 ( 3 cos ) (

t z t z
se desea predecir tres valores consecutivos de y.
Se utilizar, la red de expansin propuesta con una capa oculta y tres nodos de salida.
Los nodos de entrada son los siguientes: 1 para la tendencia, tres para las variables originales y
18 para las funciones de expansin, lo que hace un total de 22.
La arquitectura de la red ser por tanto:
A partir de tres valores aleatorios para x,y,z, entre 1 y 1, se obtienen 950 vectores de
los cuales se utilizarn 800 para el entrenamiento y 150 para el test, o comprobacin del
funcionamiento de la red en modo recuerdo. En un ejemplo como este, no tiene sentido hablar
de validacin de los datos, pues esta se hara con valores que seran continuacin de la serie y
por tanto los resultados aparecen recogidos en el test. El nmero de nodos en la capa oculta es
de 5. En este caso al existir tantos de entrada, no puede adoptarse como nmero de nodos de la
capa oculta, el valor heurstico E[log
2
N]. (N es el nmero de vectores disponibles para el
entrenamiento).
Los valores de x y z, siempre se encontrarn entre 1 y 1, no as el valor de y, que se
escalar en ese mismo rango. Las pruebas, se realizarn utilizando dos funciones de
transferencia, la identidad y la sigmoide asimtrica. La mtrica a utilizar es el error cuadrtico
medio y el algoritmo de minimizacin, la delta generalizada.
1 m M
1 j J
y(t+1) y(t+2) y(t+3)
1 2 3
y(t) x(t) z(t)
EXPANSIN FUNCIONAL
1 2 3
Grficamente la serie adopta la siguiente forma: (nicamente para el test)
RESULTADOS COMPUTACIONALES
Los resultados obtenidos tras dejar a la red 5000 vueltas para el entrenamiento y sin
ningn otro criterio de parada, aparecen en la siguiente tabla
ECM
(Aprendizaje)
ECM
(Test)
Tiempo de
Computacin
Funcin
Identidad
0'015353647 0'0136812642 8274,58"
Funcin
Sigmoide
0'0002320782 0'000313007 3638,32"
-0,8
-0,6
-0,4
-0,2
0
0,2
0,4
0,6
0,8
Como se observa, la funcin sigmoide simtrica ofrece resultados mucho mejores en el
aprendizaje que la identidad, tal como era de esperar, al no existir una relacin lineal entre las
entradas y las salidas.
Los errores que se observan en el test para la sigmoide simtrica, son muy pequeos,
por lo que en este caso, los resultados con esta nueva red de expansin son muy alentadores, al
detectar la red las relaciones subyacentes existentes entre las entradas y salidas. As mismo, de
la relacin entre el error cuadrtico medio para el entrenamiento y para el test, se puede deducir
que la red no ha memorizado.
BIBLIOGRAFA
ARAGN TORRE A. y GARCA GEMES A. (1997a)
El problema de la relacin entre variables de entrada en las redes neuronales.
XI Reunin Asepelt-Espaa. Bilbao.
ARAGN TORRE A. y GARCA GEMES A.(1997b)
Some considerations of expansion neural network
N'GUS 97 Bilbao
CALDWELL R.B. (1994)
Design of neural network-based financial forecasting systems: Data selection and data process.
Neurove$t Journal. vol 2 n 5. pp 12-20
GARCIA GEMES, A. (1998)
Una red de expansin multi output
XII Reunin ASEPELT-ESPAA. Crdoba
HUSSAIN A., SORAGHAN, J.J. y DURRANI T.S. (1997)
A new neural network for nonlinear time-series modeling.
Neurove$t Journal vol 5, n 1. pp 16-26