1. Mtodo del Gradiente Este mtodo utiliza slo las derivadas primeras de la funcin objetivo.

El gradiente es el vector en el punto x que da la direccin del mayor aumento en f(x) y es el ortogonal al contorno de la funcin en el punto x. Para maximizacin la direccin de b squeda es simplemente el gradiente! para minimizacin! la direccin de b squeda es el valor negativo del gradiente

Mtodo del gradiente conjugado En matem"tica! el mtodo del gradiente conjugado es un algoritmo para resolver numricamente los sistemas de ecuaciones lineales cuyas matrices son simtricas y definidas positivas. Es un mtodo iterativo! as# que se puede aplicar a los sistemas dispersos que son demasiado grandes para ser tratados por mtodos directos como la descomposicin de $%oles&y. 'ales sistemas surgen frecuentemente cuando se resuelve numricamente las ecuaciones en derivadas parciales. El mtodo del gradiente conjugado se puede utilizar tambin para resolver los problemas de optimizacin sin restricciones como la minimizacin de la energ#a. El mtodo del gradiente biconjugado proporciona una generalizacin para matrices no simtricas. (arios mtodos del gradiente conjugado no lineales busca los m#nimos de las ecuaciones no lineales. 2. Mtodo del Gradiente Conjugado Este mtodo utiliza como direccin de bsqueda una combinacin lineal del gradiente actual con el gradiente de la iteracin anterior. Es una notable mejora con respecto al mtodo original, porque para funciones cuadrticas se puede demostrar que las sucesivas direcciones de bsqueda son conjugadas, por lo tanto el ptimo se encuentra en n pasos, donde n es el nmero de variables. Las direcciones no se especifican a priori, sino que se determinan en cada paso de la iteracin. Las direcciones Q ortogonales en cada punto se eligen de manera sencilla en funcin de !f. Esta dependencia "ace que el mtodo converja ms uniformemente. #iene tres ventajas ) $ no ser que se alcance la solucin en n pasos, el gradiente siempre es % & ' linealmente independiente de todos los vectores direccin anteriores. ) (tiliza una frmula sencilla para determinar el nuevo vector de direccin. ) )omo las direcciones se basan en el gradiente, el proceso, tiene en cada paso un buen avance uniforme "acia la solucin.

Mtodo de Newton* es un +todo de ,ptimizacin -rimal sin restricciones. -or ser un

mtodo numrico, se dice que no se obtiene el punto ptimo, sino que el mtodo converge a un punto mu' cercano al mismo. .e encuentra en un grupo considerado como mtodos ms poderosos que los mtodos de bsqueda. Es mu' utilizado, por sus atractivas caracter/sticas de rpida convergencia. Entre sus ventajas se encuentra que si la funcin que se est optimizando posee condiciones de diferenciabilidad en sus terceras derivadas ' es acotada superiormente o inferiormente, segn sea el caso, la sucesin generada por el mtodo se apro0imar al m/nimo 1m0imo2 con un orden de convergencia cuadrtico a la solucin, siempre ' cuando la funcin dentro de la regin sea estrictamente conve0a 1cncava2. Esto se basa en que la funcin que se minimiza 1ma0imiza2 se apro0ima localmente a una funcin cuadrtica, ' esta funcin de apro0imacin se minimiza 1ma0imiza2 e0actamente Mtodos de Newton Los mtodos de 3e4ton parten del desarrollo de #a'lor de la funcin objetivo "asta un cierto termino. .i bien para problemas de minimizacin unidimensional pueden derivarse mtodos de cualquier orden con relativa simplicidad, ello no es factible en general para problemas generales n dimensionales dada la complejidad de los desarrollos. -or lo tanto contemplaremos nicamente dos tipos de mtodos* +todo de primer orden, o apro0imacin lineal. cuadrtica. +todo de segundo orden, o apro0imacin

metodo de primer orden. 5esarrollando la funcin objetivo en serie de #a'lor "asta el primer trmino . Este mtodo tiene un orden de convergencia lineal. -or ello, aunque en sucesivas iteraciones se obtienen valores descendentes de la funcin objetivo, e l nmero de iteraciones que es necesario realizar "asta obtener una soluci6n suficientemente apro0imada a la ptima es "abitualmente mu' elevado, ' en muc"os tipos de problemas la naturaleza de la funcin objetivo ' las imprecisa iones de clculo dan lugar a diversas anomal/as que reducen fuertemente el progreso obtenido en cada iteracin. Metodo de segundo orden. Este mtodo tiene orden de convergencia cuadrtico, ' por tanto, es en principio preferible a l mtodo de m0imo descenso. 3o obstante, no asegura que e l valor de la funcibn objetivo en el nuevo punto sea menor que e l anterior. METODOS desarrollan DIRECCIONES CON !G"D"S. Lo mtodos de direcciones conjugadas se inicialmente para minimizacin de funciones cuadrticas, aunque es posible

utilizarlos para minimizar en general funciones no lineales, aplicndolos de forma iterativa a los desarrollos de #a'lor de segundo orden de las funciones a minimizar. En este sentido, son derivados del mtodo de 3e4ton de apro0imacin cuadrtica, resolviendo el sistema de ecuaciones 17.892 mediante un procedimiento alternativo. -reviamente a su e0posicin, es necesario introducir el concepto de vectores conjugados respecto a una matriz simtrica. Mtodo Cuasi#Newton* para "acer la descripcin respectiva del +todo )uasi 3e4ton, es importante mencionar el concepto de mtrica variable. Estos son mtodos que se caracterizan principalmente por evitar la evaluacin de las segundas derivadas 1como el caso del +todo de 3e4ton2. :acen uso de una direccin definida por* dnde* :; es una matriz n0n, la cual ser definida positiva si se est minimizando la funcin , ' definida negativa si se est ma0imizando. .e espera que : ;, refleje de alguna manera propiedades del :essiano de la funcin, para lograr una convergencia rpida "acia la solucin del problema planteado. Es decir, en los casos donde no "a' convergencia lineal 1)auc"'2 o cuadrtica 13e4ton2, se debe buscar el cumplimiento de la )onvergencia .uperlineal. Lo cual es una propiedad deseable ' el mtodo tiende a comportarse como el 3e4ton, ' por esta razn, se conoce como +todo )uasi 3e4ton. En otras palabras, el comportamiento de la matriz :; utilizada en este +todo de +trica <ariable, se comporta mu' similar al :essiano. Mtodo de Mtri$a %aria&le. E0isten 7 tipos de +odelos para el mtodo de mtrica variable los cuales son los siguientes* 8. Mtodo de Da'idon#(let$)er#*owell.Este es un mtodo cuasi 3e4ton, para minimizar una funcin f en =n. )onsiste en generar apro0imaciones sucesivas de la inversa del :essiano de la funcin f . El mtodo de 5avidon >letc"er -o4ell "a sido ' sigue siendo una tcnica de gradiente ampliamente utilizada. El mtodo tiende a ser robusto? esto es, t/picamente tiende a tener un buen comportamiento en una amplia variedad de problemas prcticas. La ma'or desventaja de este tipo de mtodos es su necesidad de almacenar la matriz $ de 3 @ 3. 5esde la publicacin de la frmula de 5avidon, se "an propuesto varios mtodos ms que resultan de usar diferentes valores de , ', z en la ecuacin. (na de las dificultades prcticas comunes de estos mtodos es la tendencia de A ( k +*) a estar mal condicionada, lo que causa una ma'or dependencia a un procedimiento de reinicializacin.

+todo 5>- 15avidon >letc"er -o4ell2

Este es un mtodo cuasi 3e4ton, para minimizar una funcin f en =n. )onsiste en generar apro0imaciones sucesivas de la inversa del :essiano de la funcin f.