UNIVERSIDAD NACIONAL DEL SANTA

FACULTAD INGENIERA

ESCUELA PROFESIONAL DE INGENIERA DE SISTEMAS E INFORMTICA

TEMA : RED HOPFIELD

INTEGRANTES :

CORALES RIVERA, Diego

LLUEN CHIRINOS, Victor
SNCHEZ YLQUIMICHE, Gershon
VIDAL GERMN, Cesia
ZARATE IZAGUIRRE, Albert

DOCENTE : Dra. Diana Muoz Casanova

MATERIA : Inteligencia Artificial

CICLO : VII
 INTRODUCCIN

Las redes de Hopfield son redes de adaptacin probabilstica, recurrentes,

funcionalmente entraran en la categora de las memorias autoasociativas, que
aprenden a de reconstruir los patrones de entrada que memorizaron durante el
entrenamiento.
Son arquitecturas de una capa con interconexin total, funciones de activacin
booleana de umbral (Cada unidad puede tomar dos estados, 0 o 1, dependiendo de si
la estimulacin total recibida supera determinado umbral), adaptacin probabilstica de
la activacin de las unidades, conexiones recurrentes y simtricas, y regla de
aprendizaje no supervisado.
Mientras que las redes en cascada (No Recurrentes) dan soluciones estables, los
modelos recurrentes dan soluciones inestables (Dinmicas), lo que no siempre es
aconsejable. La principal aportacin de Hopfield consisti precisamente en conseguir
que tales redes recurrentes fueran as mismo estables. Imagin un sistema fsico capaz
de operar como una memoria autoasociativa, que almacenara informacin y fuera
capaz de recuperarla aunque la misma se hubiera deteriorado.

1
NDICE:

INTRODUCCIN..........................................................I
NDICE:...........................................................................II
1. REDES RECURRENTES....................................................1
2. DEFINICIN DE RED HOPFIELD.....................................4
3. ANTECEDENTES DE LA RED HOPFIELD..........................5
4. ARQUITECTURA DE LA RED HOPFIELD.........................6
5. FUNCIONAMIENTO DE LA RED HOPFIELD....................7
6. EJECUCIN DE LA RED HOPFIELD.................................8
7. ENTRENAMIENTO Y APRENDIZAJE DE LA RED
HOPFIELD.......................................................................8
8. IDENTIFICACIN DE SISTEMAS NO LINEALES...............8
9. VENTAJAS DE LA RED HOPFIELD...................................8
10. LIMITACIONES DE LA RED HOPFIELD.........................8
11. APLICACIONES DE LA RED HOPFIELD.........................8
12. EJEMPLO DE LA RED HOPFIELD..................................8
REFERENCIAS BIBLIOGRFICAS:.......................III
BIBLIOGRAFIA:........................................................III
LINKOGRAFIA:..........................................................III

2
 RED HOPFIELD

1. REDES RECURRENTES

Las redes recurrentes (RR), tambin conocidas como redes realimentadas. Son
redes en la que se permiten auto-conexiones o lazos de realimentacin en las
neuronas y conexiones hacia atrs en las capas. Es decir estas redes presentan
uno o ms ciclos en el grafo definido por interconexiones de sus unidades de
procesamiento. La existencia de estos ciclos permite trabajar de forma innata
con secuencias temporales.

Las redes recurrentes son sistemas dinmicos no lineales capaces de descubrir

regularidades temporales en las secuencias procesadas y aplicarlas.

CARACTERSTICAS:

Pueden tener ciclos o bucles en las conexiones (Conexiones

Recurrentes).
Existen tres tipos de conexiones recurrentes como:
A. De una neurona con ella misma.
B. Entre neuronas de una misma capa.
C. Entre neuronas de una capa a una capa anterior.

Permitir conexiones recurrentes aumenta el nmero de pesos o de

parmetros ajustables de la red. Aumentando la capacidad de
representacin y complicado el Aprendizaje.
Las activaciones o dependen solo de las actividades de la capa anterior
sino tambin de la activacin de cualquier otra neurona conectada a ella
e incluso su propia activacin.
Es necesario incluir la Variable Tiempo. En donde la Variable Tiempo
hace que las redes recurrentes tengan un comportamiento dinmico o
temporal.

3
 Dicho comportamiento temporal pueden entenderse de dos formas
diferentes, implica dos maneras distintas de entender el modo de
actuacin y aprendizaje dentro del grupo de redes recurrentes. Estos
son:

EVOLUCIN DE LAS ACTIVACIONES DE LA RED HASTA

ALCANZAR UN PUNTO ESTABLE

Consiste en evolucionar la red, es decir que las activaciones de

sus neuronas, desde un estado inicial hasta conseguir que las
activaciones de todas las neuronas de la red no se modifiquen,
momento en que se considera que la Red ha alcanzado un punto
estable. Generalmente, el Estado Inicial viene dado por el patrn
de entrada y el Estado Estable representa el patrn de salida de
la Red. Un de las redes recurrentes ms conocidas dentro de este
modo de actuacin es la Red de Hopfield.

EVOLUCIN DE LAS ACTIVACIONES DE LA RED EN MODO

CONTINUO

En este caso, para cada instante de tiempo se dispone d la salida

de la Red, la cual depende de la entrada en el instante
inmediatamente anterior (Es decir que la salida depende en cada
t de las entradas en el instante anterior t-1). En trminos
generales, el tipo de Aprendizaje de estos tipos de redes se
puede llevar a cabo de dos modos diferentes:

APRENDIZAJE POR EPOCAS

En el intervalo de Tiempo o poca, la red evoluciona

durante dicho intervalo, y cuando alcanza el instante final
se adaptan o modifican los pesos de la Red, una vez
transcurrida la poca, la red se reinicializa y se entra en
una nueva poca.

APRENIDZAJE EN TIEMPO REAL O CONTINUO

La ley de Aprendizaje para modificar los pesos de la red

se aplica en cada instante d Tiempo, siempre y cuando
exista la salida deseada para la red en dicho instante

La aplicacin fundamental de las redes recurrentes es el procesamiento

de patrones dinmicos, pueden tambin aplicar tambin a patrones
estticos, es decir, en que no interviene la variable del Tiempo y cuyo
procesamiento no depende del orden de presentacin a la Red. Uno de

4
 los casos ms notorios es el modelo recurrente de Red Hopfield que
aplica patrones estticos.
Han sido utilizadas para abordar diferentes tipos de problemas, se usan
en modelizacin neurobiolgica, tareas lingsticas, reconocimiento de
palabra y fonema, control de procesos dinmicos y entre otros.
La gran diferencia de las redes recurrentes entre las redes Feed-forward,
que las redes recurrentes permite la interconexin de neuronas en
cualquier sentido y que la inclusin de operadores de retardo. En donde
las capas de una red recurrente consiste en arreglos de neuronas que
reciben las salidas de las neuronas de capas anteriores, junto a las
salidas de la misma capa o de capas superiores, que denomina
realimentacin.

OBJETIVOS DE LAS REDES RECURRENTES:

Dado cualquier estado inicial, debe converger siempre un estado

estable.
El dominio de atraccin de cada estado estable debe ser estar
perfectamente delimitado y cumplir algn criterio de mtrica (Ejemplo,
que el estado final sea el ms cercano al inicial).
Debe tener cualquier nmero de estados estables.

TIPOS DE REDES RECURRENTES:

REES RETROPROPAGADAS RECURRENTE

Se caracteriza por aadir conexiones realimentadas de tal manera que

se converger a un estado estable.

REDES PARCIALMENTE RECURRENTE

Se caracterizan por ser redes multicapa, en las se introducen solo unas

pocas conexiones recurrentes. Estas conexiones permiten recordar al

5
 estado o nivel de activacin de ciertas neuronas de la Red en un pasado
reciente.

Existe un grupo de neuronas especiales en la capa de entrada, llamadas

neuronas de contexto o neuronas de Estado. De este modo, la capa
entrada de las redes parcialmente recurrentes se distingue dos tipos de
neuronas, aquellas que actual como entrada propiamente dicha,
recibiendo las seales del exterior, y las neuronas de contexto.

Estas neuronas son las receptoras de las conexiones recurrentes y

funcionan como una memoria de la red donde se almacena las
actividades de las neuronas de cierta capa de la red en el instante o
iteracin anterior.

Las redes parcialmente recurrentes ms conocidas son la Red Elman y la

Red Jordan. Su diferencia fundamental radica en que las neuronas de
contexto reciben copias de diferentes capas de la Red. As, en la Red
Elman, las neuronas de contexto reciben una copia de las neuronas
ocultas y la Red Jordan, reciben una copia de las neuronas de la capa de
salida y de s mismas

2. DEFINICIN DE RED HOPFIELD

La red Hopfield es una red recurrente, es decir, existe realimentacin entre las
neuronas. De esta forma, al introducir un patrn de entrada, la informacin se
propaga hacia adelante y hacia atrs, producindose una dinmica. En algn
momento, la evolucin se detendr en algn estado estable. En otros casos, es
posible que la red no se detenga nunca.

6
 La red Hopfield es una de las redes unicapas mas importantes y ha influido en el
desarrollo de multitud d redes posteriores.

Es una red auto-asociativa no lineal que fue desarrollada por Hopfield en 1982
basndose en los modelos de redes de McCulloch y Pitts y los smiles de los
campos magnticos con spin de Amit, Gutfreund, & Sompolinsky.

Estn diseadas para converger a un mnimo local, pero la convergencia a uno

de los patrones almacenados no est garantizada.

Memoria Asociativa.- Se trata simplemente de asociar dos patrones y se

establecen correspondencias entre ellas.

3. ANTECEDENTES DE LA RED HOPFIELD

En la dcada de los 80s con el fin de estudiar procesos que involucran sistemas
gobernados por ecuaciones diferenciales no lineales surge la teora clsica de
control geomtrico basada en la geometra diferencial; simultneamente
renace el estudio de las Redes Neuronales debido al redescubrimiento del
algoritmo Backpropagation, este hecho sumado al fracaso de las metodologas
tradicionales aplicadas a la inteligencia artificial y a la disponibilidad de
herramientas computacionales de bajo costo permitieron el desarrollo las redes
neuronales recurrentes cuya principal aplicacin es el control e identificacin de
sistemas no lineales. Este desarrollo es posible debido a que las propiedades
matemticas de las redes recurrentes estn enmarcadas en las mismas
propiedades que fundamentan el control geomtrico, la primera red neuronal
recurrente de naturaleza dinmica fue propuesta por Hopfield en 1984 bajo el
contexto de las memorias asociativas.

DESCUBRIDOR DE LA RED NEURONAL HOPFIELD

7
 John Joseph Hopfield (nacido 15 de
julio, 1933) es un americano
cientfico ms conocido por su
invencin de una asociacin de redes
neuronales en 1982. Ahora es ms
comnmente conocida como la Red
de Hopfield.
John Hopfield recibi su BA de
Swarthmore College, y un doctorado
en fsica de la Universidad de Cornell
en 1958. Pas dos aos en el grupo
de teora en los laboratorios Bell, y
posteriormente fue profesor en la
Universidad de California, Berkeley
(fsica), la Universidad de Princeton (fsica), California Institute of Technology
(Qumica y Biologa) y ahora de nuevo en Princeton, donde l es el Profesor
Howard A. Antes de la Biologa Molecular. Durante 35 aos, tambin sigui una
fuerte conexin con los laboratorios Bell.
Fue galardonado con la Medalla Dirac de la CIFT en 2002 por sus contribuciones
a la comprensin interdisciplinaria biologa como un proceso fsico, incluida la
correccin de pruebas en el proceso de sntesis y biomoleculares una
descripcin de la dinmica colectiva con atractores y computacin en redes
neuronales, y el Premio de Oliver Buckley la Sociedad Americana de Fsica para
el trabajo sobre las interacciones entre la luz y slidos. Es miembro de la
Academia Nacional de Ciencias, la Sociedad Filosfica Americana, y la Academia
Americana de las Artes y las Ciencias. Fue el Presidente de la Sociedad
Americana de Fsica en 2006.
En la Mquina de Boltzmann, generalizacin de la red de Hopfield que incluye
unidades ocultas, la operacin de actualizacin se basa en un concepto de
termodinmica estadstica conocido como "simulated annealing". La red de
Hopfield, la mquina de Boltzmann y un derivado conocido como la mquina
del teorema de campo medio se han utilizado en aplicaciones de segmentacin
y restauracin de imgenes y optimizacin combinacional.

4. ARQUITECTURA DE LA RED HOPFIELD

8
 La red de Hopfield es una red
monocapa, esto es, de una sola
capa. Aunque tambin se puede
mostrar como una red bicapa de dos
capas, la primera capa sera una
capa de sensores y la segunda capa
ser la capa donde se realiza el
procesamiento.
En la versin bicapa la manera de
interconexionar ambas capas es unir
la primera capa a la segunda
linealmente, esto es cada neurona
con su respectiva, y despus unir todas las neuronas con todas en la
misma capa.
La red de Hopfield toma valores bipolares esto es, {-1,1}, sin embargo se
pueden usar tambin valores binarios {0,1}. Por tanto, la funcin de
activacin de cada neurona de la red es de tipo escaln:

es la fuerza del peso de la conexin de la unidad j a la unidad i

(peso de conexin).
es el estado de la unidad j.
es el umbral de la unidad i.

5. FUNCIONAMIENTO DE LA RED HOPFIELD

9
 Las entradas son aplicadas a la red, sta a travs de un ciclo produce una
sucesin de estados, hasta que converge a una solucin estable, la cual
ocurre cuando las salidas de los diferentes PES no cambian.

Entonces la salida que produce la red es la combinacin de todas las salidas

de los PEs, cuando stos se encuentran estables.

Una manera simple de visualizar el sistema es considerar que, ya que

todos los PEs estn conectados entre s, el PE que se encuentra activado
afecta a todos los dems. El estado inicial, representa un conjunto de
valores diferentes, cada uno tratando de afectar a los dems.

Esto, comnmente es inestable, como la red se mueve a travs de

diferentes estados, al final se obtendr el mejor compromiso, que la red
puede encontrar. En este estado existen muchas entradas que tratan de
activar un PE y existen otras que tratan de desactivarlo, eso al final
significa un estado estable.

6. EJECUCIN DE LA RED HOPFIELD

Ejecutar un patrn en la red de Hopfield consiste en enviar un patrn en la red y

actualizar las neuronas repetidamente hasta que se estabilicen los estados de
las neuronas a un patrn memorizado.
Con pasos sera as.
A. Se establece el patrn de entrada en la capa de entrada.
B. Se actualizan las neuronas de la capa de procesamiento.
C. Si han cambiado el estado de la red o hemos realizada ya el nmero
mximo de iteraciones paramos.
D. Si no volvemos al pasos 2.

7. ENTRENAMIENTO Y APRENDIZAJE DE LA RED HOPFIELD

Entrenamiento:
El entrenamiento de una red de Hopfield consiste en reducir la cantidad de
iteraciones de los estados que la red debe "recordar".
Esto convierte a la red en un sistema de memoria direccionable, es decir, la
red "recordar" un estado si se le da solo parte de dicho estado.
Esto la hace til para recuperar una entrada distorsionada usando un estado
de la red obtenido durante el entrenamiento y que es ms similar al estado
obtenido con la entrada actual.
Esto se llama memoria asociativa, ya que recupera la memoria sobre la base
de la similitud.

Aprendizaje:

10
 El mecanismo de aprendizaje utilizado es de tipo OFF LINE, por lo que existe
una etapa de aprendizaje y otra de funcionamiento de la red.
Tambin utiliza un aprendizaje no supervisado de tipo hebbiano, de tal forma
que el peso de una conexin entre una neurona i y otra j se obtiene
mediante el producto de los componentes i-simo y j-simo del vector que
representa la informacin o patrn que debe almacenar.
Utiliza una notacin matricial, para representar los pesos de la red se puede
utilizar una matriz de dimensin NxN. Esta matriz es simtrica y con la
diagonal con valores nuls.
Tambin tenemos M entradas que la red debe aprender, expresadas
igualmente en forma matricial, E1, E2, .., EN.
Utilizando la notacin anterior, el aprendizaje consistira en la creacin de la
matriz de pesos W a partir de los M vectores de entrada que se ensean a la
red.

8. VENTAJAS DE LA RED HOPFIELD

9. LIMITACIONES DE LA RED HOPFIELD

10. APLICACIONES DE LA RED HOPFIELD

En cuanto a las aplicaciones ms conocidas de este modelo destacan las
relacionadas con el reconocimiento de imgenes y de voz, el control de motores
y sobre todo la resolucin de problemas de optimizacin.
Para problemas de optimizacin se ha aplicado para la resolucin de,
manipulacin de grafos, procesado de seales (conversores analgico-digitales)
y de imgenes, etc.

11. EJEMPLO DE LA RED HOPFIELD

11
12
13
14
15
REFERENCIAS BIBLIOGRFICAS:

BIBLIOGRAFIA:

Hopfield, J. (1982). Neuronal Network and Physical systems with

emergent collective computational abilities. In Proceedings of the
National Academy of Science, vol. 81, pg. 3088-3092. National
Academy of Sciences.

LINKOGRAFIA:

REDES RECURRENTES:

http://catarina.udlap.mx/u_dl_a/tales/documentos/lem/oropeza_c_ca/capitulo
3.pdf Visitado: 15 de Julio del 2017.
http://s3.amazonaws.com/academia.edu.documents/31487022/libro_ocw_libr
o_de_redes.pdf?
AWSAccessKeyId=AKIAIWOWYYGZ2Y53UL3A&Expires=1500233035&Signature=
XIKj1gfELynWq7UBVRPlRf8mpo4%3D&response-content-disposition=inline%3B
%20filename%3Dredes.pdf Visitado: 15 de Julio del 2017.
http://eva.evannai.inf.uc3m.es/et/docencia/doctorado/cib/documentacion/NN
Recurrentes.pdf Visitado: 15 de Julio del 2017. Grupo de Computacin
Evolutiva y Redes Neuronales. Redes de Neuronas Recurrentes.
Universidad Carlos III de Madrid.
http://medicinaycomplejidad.org/pdf/redes/Recurrentes.pdf Visitado: 15 de
Julio del 2017. Universidad Tecnolgica de Pereira.

RED HOPFIELD:

http://www.redes-neuronales.com.es/tutorial-redes-neuronales/red-de-
hopfield.htm Visitado: 15 de Julio del 2017. Neuronal Networks
Framework.
http://pedrobeltrancanessa-
biblioteca.weebly.com/uploads/1/2/4/0/12405072/red_neuronal_modelo_de_h
opfield.pdf Visitado: 15 de Julio del 2017. Rivera de Len, Michel. Red
Neuronal Modelo de Hopfield.

16
 https://es.slideshare.net/mentelibre/redes-neuronales-de-hopfield Visitado:
15 de Julio del 2017. ESCOM (21 de Septiembre del 2009). Redes
Neuronales de Hopfield.
http://thales.cica.es/rd/Recursos/rd98/TecInfo/07/capitulo5.html Visitado: 15
de Julio del 2017.
http://www.varpa.org/~mgpenedo/cursos/scx/Tema7/nodo7-1.html Visitado:
15 de Julio del 2017. Pinedo Gonzlez, M.

17