HISTORIA DE LAS REDES NEURALES ARTIFICIALES

Realizar una descripcin cronolgica de las redes neuronales artificiales es un poco

complicado, porque muchos de los trabajos realizados por diferentes investigadores estn
relacionados. A continuacin se hace una breve descripcin de algunas de estas
investigaciones:
William James 1890
Fue uno de los ms importantes siclogos de Amrica. Su aportacin data del siglo pasado
y contiene muchas ideas de fisiologa y sicologa que fueron retomadas ms tarde. Sus
principales aportaciones fueron:
Considera un modelo mecnico de asociacin como funcin de la corteza cerebral.
Este modelo es muy similar al que se presenta ms tarde en las Redes Neuronales
Asociativas (Associative Neural Networks).
Presenta un principio elemental general de asociacin:
Cuando dos procesos cerebrales estn activados al mismo tiempo o en sucesin
inmediata, uno de ellos tiende a propagar su excitacin al otro. Si se reemplaza
procesos cerebrales con el trmino neurona, se tiene una regla de aprendizaje
correlacional casi idntica a la sinapsis de Hebb. (ver Hebb 1949)
Existe una regla de adicin para la actividad cerebral: La cantidad de actividad en
cualquier punto dado en la corteza del cerebro es la suma de las tendencias de
todos los otros puntos que descargan en l. Estas tendencias son proporcionales a
(1) el nmero de veces que cada excitacin sucede con respecto al punto en
cuestin, (2) la intensidad de estas excitaciones y (3) la ausencia de cualquier punto
rival funcionalmente desconectado con el primer punto, en el cual las descargas
pueden desviarse
Warren McCulloch & Walter Pitts 1943
Uno de los primeros trabajos en redes neuronales, este trabajo es importante porque es el
primer modelo matemtico de una red neuronal artificial y porque trata al cerebro como
un rgano computacional. Su objetivo fue estudiar las potencialidades de las neuronas
interconectadas para calcular determinadas funciones lgicas. La teora de McCulloch-
Pitts se fundamente en cinco premisas:
 La actividad de la neurona es un proceso todo o nada, lo que indica que el
comportamiento binario de las neuronas.
Cierto nmero fijo de sinapsis (>1) puede excitar a una neurona.
El retardo significativo en el sistema nervioso es el retardo sinptico.
La actividad de una sinapsis inhibitoria previene la excitacin de una neurona.
La estructura de interconexin de la red no cambia en el tiempo.
Warren McCulloch & Walter Pitts 1943
El artculo que ellos presentan en el 43 [3] es un intento de entender que la capacidad que
tiene el sistema nervioso considerando elementos muy sencillos de clculo. Este modelo
es una abstraccin de las propiedades de las neuronas y sus interconexiones considerando
el conocimiento de la neurociencia que se tena en esa poca. Si bien el trabajo de ellos no
corresponde a la elaboracin de un modelo preciso del cerebro y su actividad, es
importante ya que puso las bases para el desarrollo de las ciencias de la
neurocomputacin.
El modelo de neurona de McCulloch-Pitts, como se le conoce en el medio, es un
dispositivo binario; esto es, que slo puede tener uno de dos posibles estados. Cada
neurona tena un umbral establecido, y poda recibir entradas de sinapsis excitatorias,
todas con el mismo peso, as como sinapsis inhibitorias, cuya Captulo 1 Redes Neuronales
Artificiales accin, en caso de presentarse, inhibe por completo el funcionamiento de la
neurona. Existe un tiempo para la integracin de las seales sinpticas de entrada y la
produccin de una respuesta; ste corresponde nicamente a la observacin que se tena
del retraso provocado por la fisiologa sinptica. En este modelo, si no existen sinapsis
inhibitorias presentes, la neurona integra las entradas y comprueba si la suma de stas
iguala o excede su umbral. La neurona se activar a menos que no iguale o supere el
umbral o exista una sinapsis inhibitoria.
McCulloch y Pitts observaron que la consecuencia natural de la combinacin del umbral
del modelo de neurona standard con potenciales de accin binaria producan otro tipo de
lgica llamada Lgica de Umbral. Con estos principios, es posible que cualquier funcin
lgica pueda ser configurada por una red neuronal de McCulloch-Pitts. Esto fue un
resultado muy importante ya que se mostr como con elementos sencillos conectados en
red pueden tener un poder de cmputo muy grande. Ellos fueron los primeros en
considerar al cerebro como una lgica poderosa y un organismo computacional. Cabe
hacer notar que en la actualidad este modelo slo es aplicable en algunos casos debido a
que el conocimiento neurofisiolgico ha demostrado que los modelos neuronales son ms
complejos que simples reglas lgicas.
Warren McCulloch & Walter Pitts 1947
Este artculo [4] es menos conocido que el publicado anteriormente pero tiene una gran
cantidad de ideas interesantes sobre el desarrollo de las neurociencias y la investigacin
de las redes. Ellos plantean la problemtica existente en el reconocimiento de patrones
visuales y auditivos dentro de ambientes distintos. En ello, ponen como ejemplo el
reconocimiento de figuras geomtricas dispuestas en distintas posiciones y localizaciones.
Para ello, buscaron mtodos generales para el diseo de redes neuronales que
reconocieran figuras, produciendo la misma salida para cualquier patrn de entrada
perteneciente a la figura. Es importante resaltar que en este artculo consideran ya no una
lgica binaria si no una lgica continua y una representacin espacial para explicar el
comportamiento de la neurona.
Donald Hebb 1949
Public un estudio sobre la relevancia de las sinapsis para el proceso de aprendizaje e
indica las leyes de adaptacin involucradas en los sistemas neuronales. La Organizacin de
la conducta [5] fue el primer planteamiento explcito de regla de aprendizaje fisiolgica
para la modificacin de la sinapsis. Tambin fue uno de los primeros en utilizar la palabra
conexionismo en el contexto de un modelo cerebral complejo. El planteamiento ms
famoso fue el conocido como sinapsis de Hebb el cual fue enunciado como:
Cuando un axn de la clula A est suficientemente prximo para excitar a una
clula B o toma parte en su disparo de forma persistente, tiene lugar algn proceso
de crecimiento o algn cambio metablico en una de las clulas, o en las dos, de tal
modo que la eficiencia de A, como una de las clulas que desencadena el disparo de
B, se ve incrementada.
Esta regla tiene gran similitud con la teora del condicionamiento de Pavlov. Hebb sostena
que dado que las conexiones entre las neuronas se hacen a travs de las sinapsis, es en
stas donde se producan los cambios producidos por el aprendizaje. Estos cambios
deban corresponder a un aumento en el rea de la unin sinptica, es decir, una creacin
o desarrollo de protuberancias sinpticas en contacto con el soma (dendritas y cuerpo, sin
considerar el axn) de la segunda clula (aunque teoras ms recientes nos dicen que el
cambio tiene que ver con la rapidez en la liberacin de los neurotransmisores). Tambin
define que las conexiones pueden ser tanto excitatorias como inhibitorias, adems de
considerar que pueden existir muy distintas reglas de aprendizaje que son denominadas
como sinapsis de Hebb.
Marvin Minsky 1951
Junto con Dean Edmonds crearon la primera mquina con capacidad para aprender.
Inspirados es los trabajos de McCulloch & Pitts, desarrollaron una mquina con 40
neuronas. El entrenamiento lo lograron modificando la sinapsis que por medio de
conductancias se ajustan sobre la ocurrencia de sucesos de acuerdo a un modelo de
entrenamiento (Aprendizaje de Hebb). Esta mquina modelaba la conducta de un ratn
buscando alimento en un laberinto.
Rosenblatt 1957
Generaliza los modelos de McCulloch & Pitts con un modelo de aprendizaje, llamando a
esta red Perceptrn. Estudia perceptrones de 1 y 2 capas, pero solo fue capaz de
comprobar que el Perceptrn de una capa puede separar las entradas en dos clases, si las
dos clases son linealmente separables. En el Perceptrn, el ajuste de los pesos es
proporcional al error entre la salida deseada y la salida calculada. En 1962 publica su libro
"Principles of Neurodynamics".
Bernad Widrow 1959
Crea una estructura similar al Perceptrn llamada adaline (adaptive linear element). La
adaline de dos capas es similar al perceptrn, donde los pesos son adaptados en
proporcin al error entre la salida deseada y la salida real. La diferencia entre la adaline y
el perceptrn es muy pequea, pero la aplicaciones entre ambas es diferente.
Widrow y Hoff 1960
Demuestran matemticamente que el error entre la salida deseada y la real puede
encontrar un mnimo global bajo ciertas condiciones; la condicin ms importante es que
las entradas deben ser linealmente separables.
Stephen Grossberg 1964
Estudia los principios psicolgicos y biolgicos del cerebro y realiza un anlisis matemtico
para crear redes que son auto-organizables. Esta red es usada para acceder informacin
mientras opera en tiempo real (Additive Grossberg).
Shun-Ichi Amari 1967
Combina la actividad de las redes neuronales biolgicas (dinmica de las conexiones) con
rigurosos fundamentos matemticos, estudia la regla del aprendizaje por competencia y
aos mas tarde realiza un anlisis matemtico para la construccin de memorias
asociativas, tambin estudia la estabilidad de las redes con conexiones simtricas.
Misky y Papert 1969
Demuestran las limitaciones que tiene el perceptron cuando se organiza en una sola capa
tratando de resolver el problema del 0-exclusivo lo que trae como consecuencia una
decepcin general.
Tuevo Kohonen 1971
Comienza trabajando con memorias asociativas y crea en conjunto con Ruohonen una
memoria asociativa que puede encontrar un mapeo ptimo para los vectores que
comienzan a almacenarse y donde no son linealmente independientes, esta memoria se
denomina memoria lineal asociativa optima (OLAM).
McClelland, Rumelhart 1977
Usan las redes neuronales artificiales para entender las funciones psicolgicas de la
mente, posteriormente forman con otros investigadores el grupo Parallel Distributed
Processing (PDP) y publican sus resultados en dos volmenes llamados Parallel Distributed
Processing: Explorations in the Microstructure of Cognition (1986) en el que se describen
varios paradigmas de la mente.
Robert Hecht-Nielsen 1982
Como ingeniero fue el principal diseador de uno de los primeros neurocomputadores
electrnicos (un computador dedicado al estudio de los paradigmas de las redes
neuronales artificiales), este neurocomputador (TWR Mark III) fue comercializado en
1986. Tambin desarroll una red neuronal multicapa llamada Red de Contrapropagacin
(Counterpropagation Network: CPN ).
John Hopfield 1982
Describe mtodos para analizar la estabilidad en las redes neuronales. Su mtodo se basa
en el uso de una funcin de energa llamada funcin de Lyapunov. En sus trabajos indica
que la energa del sistema puede converger a un mnimo local y permanecer all
indefinidamente. Bajo este principio de anlisis global crea un resurgimiento en el inters
de aplicar los paradigmas de redes neuronales en problemas que los computadores
convencionales no son capaces de resolver fcilmente.
Bart Kosko 1985
Ofrece tres aportes significantes en la teora de redes neuronales: La memoria asociativa
bidireccional, los mapas de aprendizaje difuso, y la unin de lgica difusa y redes
neuronales. La memoria asociativa bidireccional usa aprendizaje no supervisado y es capaz
de aprender y recuperar patrones en tiempo real. Los mapas de conocimiento difuso
(FCM) capturan la relacin casual entre un arbitrario nmero de variables, utiliza la regla
de aprendizaje Hebb modificada.
Otros de los aportes significativos que aumentaron el inters en el uso de las redes
neuronales fue el algoritmo de retropropagacion, que es el centro de mucho de los
trabajos en redes neuronales. Fue inventado independientemente y en tiempos diferentes
por Bryson y Ho en el ao 1969, Werbos en 1974, Parker en 1982, Le Cun en 1985 y
Rumelhart-Himton-Williams en 1986.