Gradiente Conjugado Con Ejemplo

Metodos de gradiente.
Metodos de Krylov
Damian Ginestar Peiro
Departamento de Matematica Aplicada
Universidad Politecnica de Valencia
Curso 2012-2013
(UPV) Metodos de gradiente. Metodos de Krylov Curso 2012-2013 1 / 48
Indice
1
Metodo de descenso rapido
2
Metodo del gradiente conjugado
3
Metodos de Krylov
Metodo del residuo conjugado
metodo GMRES
Resolver Ax = b, con A simetrica y denida positiva (SPD).
Denimos la funcion cuadratica R
n
R
(y) =
1
2
(y x)
T
A(y x) =
1
2
e
T
Ae .
Se tiene (y) 0 y = 0 ( denicion de matriz SPD).
Error e = y x.
Teorema
La solucion del sistema Ax = b es el mnimo de la funcion (y).
(y) =
1
2
(y x)
T
A(y x) =
1
2
e
T
Ae
(y
k
) = constant representa un hiperelipsoide en un espacio de
dimension n.
El centro geometrico es la solucion x del sistema lineal (mnimo).
Construir una sucesion {y
k
} tal que lim
k
y
k
= x.
y
k+1
= y
k
+
k
p
k
Hace falta determinar la direccion p
k
y .
Este metodo construye una sucesion que va hacia el centro del
hiperelipsoide en la direccion del gradiente.
El gradiente de en el punto y
k
es
(y
k
) =
1
2
e
T
k
Ae
k
=
_
1
2
y
T
k
Ay
k
y
T
k
b +
1
2
x
T
x
_
= Ay
k
b = r
k
Como la direccion del vector gradiente es hacia fuera, la direccion
buscada coincide con el residuo r
k
en la aproximacion actual.
En consecuencia la nueva aproximacion es
y
k+1
= y
k
+
k
r
k
donde
k
es una constante a determinar. Como? Minimizando (y)
en la direccion buscada r
k
.
Es decir, nuestro
k
es la solucion
k
= argmin
(y
k
+r
k
)
Desarrollando la funcion (y
k
+r
k
) se tiene un polinomio de segundo
grado en la variable .
(y
k
+r
k
) = (y
k
+r
k
x)
T
A(y
k
+r
k
x)
= (y
k
+r
k
x)
T
(Ay
k
+Ar
k
b)
= (y
k
+r
k
x)
T
(Ar
k
r
k
)
= (r
k
e
k
)
T
(Ar
k
r
k
)
=
2
r
T
k
Ar
k

_
r
T
k
r
k
+ e
T
k
Ar
k
_
+ x
T
r
k
=
2
r
T
k
Ar
k
2r
T
k
r
k
+ const.
Como r
T
k
Ar
k
> 0 el mnimo de se alcanza cuando
k
=
r
T
k
r
k
r
T
k
Ar
k
Otra forma:
Resolver

= 0.
La k + 1 iteracion se puede representar como
r
k
= b Ax
k
k
=
r
T
k
r
k
r
T
k
Ar
k
y
k+1
= y
k
+
k
r
k
Notar que el coste computacional es principalmente dos productos
matriz-vector.
De y
k+1
= y
k
+
k
r
k
se sigue que
r
k+1
= b Ax
k+1
= b Ax
k
A
k
r
k
= r
k

k
Ar
k
,
Los residuos consecutivos r
k+1
, r
k
son ortogonales (demostracion:
Ejercicio).
El error e
k+1
es A ortogonal a la direccion r
k
. (demostracion:
Ejercicio).
Algoritmo: Descenso rapido
Input: y
0
, A, b, k
max
, tol
r
0
= b Ay
0
, k = 0
while r
k
> tol b and k < k
max
do
1
z = Ar
k
2

k
=
r
T
k
r
k
z
T
r
k
3
y
k+1
= y
k
+
k
r
k
4
r
k+1
= r
k

k
z
5
k = k + 1
end while
Lema
Sea A simetrica denida positiva y sean 0 <
n

2

1
sus
valores propios. Si P(t) es un polinomio real, entonces
||P(A)x||
A
max
1j n
|P(
j
)| ||x||
A
, x R
n
donde ||x||
A
=
x
T
Ax.
Teorema
Sean las mismas condiciones que en el lema anterior. La sucesion {y
k
} del
metodo de descenso rapido satisface
||y
k
x||
A

_
1
+
n
_
k
||y
0
x||
A
donde x es la solucion exacta del sistema.
Teorema
_
(y
k
) =
_
e
T
k
Ae
k
= e
k
A,2

k
e
0
A,2
, donde =
(A) 1
(A) + 1
Cuando los sistemas vienen de discretizar ecuaciones EDPs, (A)
puede ser muy grande.
Se estima el n umero de iteraciones para ganar p digitos en la
aproximacion de la solucion:
e
k
A
e
0
A
10
p
resolviendo
_
(A) 1
(A) + 1
_
k
10
p
Tomando logaritmos y usando la aproximacion de primer orden de
Taylor log
(A) 1
(A) + 1

2
(A) + 1
, se obtiene
k
log 10
2
p ((A) + 1)
Es una mejora del Descenso rapido. La sucesion de recurrencia es
similar
y
k+1
= y
k
+
k
p
k
Las direcciones se construyen como
p
0
= r
0
p
k
= r
k
+
k
p
k1
, k > 0
Se exige que las direcciones sean A conjugadas
p
T
k1
Ap
k
= 0 ,
es decir, p
k
y p
k1
son A-ortogonales.
Por tanto, se debe cumplir
k
=
r
T
k
Ap
k1
p
T
k1
Ap
k1
Como en el metodo de descenso mas rapido, la eleccion de
k
se
obtiene minimizando (y
k+1
) = (y
k
+
k
p
k
) dando la expresion
k
=
r
T
k
p
k
p
T
k
Ap
k
Residuos consecutivos como en el metodo de descenso mas rapido
satisfacen la relacion de recurrencia
r
k+1
= r
k
+
k
Ap
k
Teorema
Las sucesiones de vectores {r
i
} y {p
i
} satisfacen las siguientes relaciones
(i) p
T
i
r
j
= 0, 0 0 i <j k,
(ii) r
T
i
r
j
= 0, i = j , 0 i , j k,
(iii) p
T
i
Ap
j
= 0, i = j , 0 i , j k,
(iv) env{r
0
, r
1
, . . . , r
k
} = env{p
0
, p
1
, . . . , p
k
} = K(A, r
0
, k + 1),
donde K(A, r
0
, k + 1) = env{r
0
, Ar
0
, . . . , A
k
r
0
}.
Corolario
El metodo del gradiente conjugado obtiene la solucion del sistema de n
ecuaciones en como maximo n iteraciones del GC.
Otras relaciones utiles
1
p
T
k
r
k
= r
T
k
r
k
. Ya que de e
T
k
Ap
j
= 0 se sigue r
T
k
p
j
= 0 y, por tanto,
p
T
k
r
k
= (r
k
+
k1
p
k1
)
T
r
k
= r
T
k
r
k
2
r
T
k
Ap
k
= p
T
k
Ap
k
.
3
Combinando 1 y 2, se obtiene una denici on alternativa de
k
:
k
=
r
T
k
p
k
p
T
k
Ap
k
=
r
T
k
r
k
r
T
k
Ap
k
4
Formulaci on alternativa de
k
. Como p
T
k
Ap
k
= p
T
k
1
k
(r
k
r
k+1
) =
1
k
r
T
k
r
k
r
T
k+1
Ap
k
= r
T
k+1
1
k
(r
k
r
k+1
) =
1
k
r
T
k+1
r
k+1
Por tanto
k
=
r
T
k+1
p
k
p
T
k
Ap
k
=
r
T
k+1
r
k+1
r
T
k
r
k
Algoritmo: Gradiente conjugado
Input: y
0
, A, b, k
max
, tol
r
0
= p
0
= b Ax
0
, k = 0
while r
k
> tol b and k < k
max
do
1
z = Ap
k
2

k
=
p
T
k
r
k
z
T
p
k
3
y
k+1
= y
k
+
k
p
k
4
r
k+1
= r
k

k
z
5

k
=
r
T
k+1
r
k+1
r
T
k
r
k
6
p
k+1
= r
k+1
+
k
p
k
7
k = k + 1
end while
Ejercicio
Aplicar el algoritmo del gradiente conjugado para el problema
_
2 1
1 2
__
x
1
x
2
_
=
_
1
0
_
usando como aproximacion inicial x
0
= (0, 0)
T
.
Solucion:
x
0
= (0, 0)
T
.
p
0
= r
0
= b = (1, 0)
T
.
0
=
r
T
0
r
0
p
t
0
Ap
0
=
1
2
, x
1
= x
0
+
0
p
0
=
_
0
0
_
+
1
2
_
1
0
_
=
_
1
2
0
_
r
1
= r
0
0
Ap
0
=
_
1
0
_
1
2
_
2
1
_
=
_
0
1
2
_
, r
T
1
r
0
= 0
0
=
r
T
1
r
1
r
T
0
r
0
=
1
4
, p
1
= r
1
+
0
p
0
=
_
0
1
2
_
+
1
4
_
1
0
_
=
_
1
4
1
2
_
1
=
r
T
1
r
1
p
T
1
AP
1
=
2
3
x
2
= x
1
+
1
p
1
=
_
1
2
0
_
+
2
3
_
1
4
1
2
_
=
_
2
3
1
3
_
r
2
= 0 solucion exacta
Teorema
Sea A R
nn
simetrica y denida positiva. Sea x la solucion exacta del
sistema Ax = b. Entonces la sucesion de vectores del Gradiente Conjugado
{y
k
} cumple
||x y
k
||
A
2
_
_
2
(A) 1
_
2
(A) + 1
_
k
||x y
0
||
A
donde
2
(A) = ||A||
2
||A
1
||
2
.
Metodos de Krylov
Vimos que el medodo de Richardson construye la sucesion
x
k+1
= x
0
+
k
i =0
(I A)
i
r
0
.
as x
k+1
span{x
0
, r
0
, Ar
0
, A
2
r
0
, , A
k
r
0
}.
Para los residuos se tiene
r
k+1
= b Ax
0
A
k
i =0
(I A)
i
r
0
= r
0
A
k
i =0
(I A)
i
r
0
.
y as r
k+1
span{r
0
, Ar
0
, A
2
r
0
, , A
k+1
r
0
}.
Metodos de Krylov
El espacio span{r
0
, Ar
0
, A
2
r
0
, , A
k1
r
0
} se llama subespacio de Krylov
de dimension k, correspondiente a la matriz A y residuo inicial r
0
K
k
(A; r
0
) = span{r
0
, Ar
0
, A
2
r
0
, , A
k1
r
0
}
Se puede usar la informacion contenida en K
k
(A; r
0
) de forma mas
eciente que con el metodo de Richardson?
Metodos de Krylov
Por ejemplo, como ya hemos visto, el metodo de descenso mas rapido se
basa en iteraciones de la forma
x
k+1
= x
k
+
k
r
k
r
k+1
= b Ax
k+1
= r
k

k
Ar
k
.
Para este metodo x
k+1
x
0
K
k+1
(A; r
0
)
Metodos de Krylov
Los metodos de proyeccion de un paso se basan en una combinacion
optima de los dos ultimos vectores base del subespacio de Krylov. Es
posible contruir una combinacion lineal optima de todos los vectores base
del subespacio de Krylov?
La respuesta en dos pasos:
Primero vemos como construir una base para K
k
(A; r
0
);
Despues veremos como construir una aproximaci on optima como una
combinacion lineal de los vectores base. Primero para matrices
simetricas.
Metodos de Krylov
La base mas simple para el subespacio de Krylov K
k
(A; r
0
) es la base:
r
0
, Ar
0
, A
2
r
0
, A
k1
r
0
.
Pero esta base esta mal condicionada ya que A
k1
r
0
apuntara cada vez
mas en la direccion del autovector dominante de A.
Una base estable y ortogonal se puede construir usando el metodo de
Arnoldi.
Metodos de Krylov
Se elige un vector inicial q
1
con q
1
2
= 1.
FOR k = 1, DO (iteracion)
v = Aq
k
FOR i = 1, ..., k (ortogonalizacion)
h
i ,k
= v
T
q
i
v = v h
i ,k
q
i
END FOR
h
k+1,k
= v
2
IF h
k+1,k
= 0 STOP (subespacio invariante)
q
k+1
= v/h
k+1,k
(nuevo vector)
END FOR
Metodos de Krylov
El metodo de Arnoldi se puede resumir en:
H
k
=
_
_
h
1,1
. . . . . . h
1,k
h
2,1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
O h
k,k1
h
k,k
_
_
y Q
k
= [q
1
q
2
q
k
] entonces
AQ
k
= Q
k
H
k
+ h
k+1,k
q
k+1
e
T
k
donde e
k
es el k esimo vector de la base canonica de R
k
.
Metodos de Krylov
Si A es simetrica de acuerdo a la relacion de Arnoldi
Q
T
k
AQ
k
= H
k
.
Como A es simetrica
H
T
k
= Q
T
k
A
T
Q
k
= Q
T
k
AQ
k
= H
k
.
As H
k
es simetrica y Hessenberg superior
luego H
k
es tridiagonal.
Metodos de Krylov
As
H
k
=
_
_
h
1,1
h
2,1
O
h
2,1
.
.
.
.
.
.
.
.
.
.
.
.
h
k,k1
O h
k,k1
h
k,k
_
_
.
Con
k
= h
k,k
y
k
= h
k1,k
el metodo de Arnoldi se simplica en el
metodo de Lanczos. Con el metodo de Lanczos es posible calcular un
nuevo vector base ortogonal utilizando solo los dos vectores base previos.
Metodos de Krylov
El metodo de Arnoldi y el metodo de Lanczos se propusieron originalmente
como metodos iterativos para calcular autovalores de la matriz A:
Q
T
k
AQ
k
= H
k
es casi una transformacion de similaridad. Los autovalores de H
k
se
llaman los valores de Ritz de A.
Metodos de Krylov
El metodo de Lanczos nos proporciona un metodo economico para calcular
vectores base ortogonales para el subespacio de Krylov K
k
(A; r
0
).
Nuestra aproximacion se escribe
x
k
= x
0
+ Q
k
y
k
donde y
k
se determina de forma que o bien se minimiza
f (x
k
) = x
k
x
2
A
= (x
k
x)
T
A(x
k
x)
respecto de la norma inducida por A (simaetica y denida positiva) o bien
g(x
k
) = A(x
k
x)
2
2
= r
T
k
r
k
,
se minimiza la norma del residuo.
Metodos de Krylov
Se considera la minimizacion del error en la A-norma:
x
k
= x
0
+ Q
k
y
k
f (x
k
) = (x
0
+ Q
k
y
k
x)
T
A(x
0
+ Q
k
y
k
x) .
Se calcula la derivada respecto de y
k
y
f (x
k
)
y
k
= 0. Con lo que
Q
T
k
AQ
k
y
k
= Q
T
k
r
0
y con Q
T
k
AQ
k
= T
k
, r
0
= r
0
q
1
se tiene
T
k
y
k
= r
0
e
1
con e
1
el primer vector de la base canonica.
Metodos de Krylov
Es facil ver que los residuos son orgonales a los vectores base
r
k
= r
0
AQ
k
y
k
Q
T
k
r
k
= Q
T
k
r
0
Q
T
k
AQ
k
y
k
= 0
Esta condicion es equivalente a minimizar f (x
k
) cuando A es SPD. En este
caso se obtiene el metodo del gradiente conjugado.
El gradiente conjugado minimiza la A-norma del error. Otra forma de
construir una aproximacion optima x
k
es minimizar el residuo
g(x
k
) = A(x
k
x)
2
2
= r
T
k
r
k
sobre todos los x
k
{x
0
K
k
(A; b)}.
Deniendo
T
k
=
_
1

2
0
2

2
.
.
.
.
.
.
.
.
.
.
.
.
0
.
.
.
.
.
.

k
k

k
k + 1
_
_
El metodo de Lanczos se escribe
AQ
k
= Q
k+1
T
k
El problema es encontrar x
k
= x
0
+ Q
k
y
k
tal que r
k
es mnimo.
r
k
= b Ax
k
= r
0
AQ
k
y
k
= r
0
q
1
AQ
k
y
k
as hay que minimizar
r
k
= r
0
q
1
AQ
k
y
k
= r
0
Q
k+1
e
1
Q
k+1
T
k
y
k
= r
0
e
1
T
k
y
k

Resolviendo el sistema sobredeterminado T
k
y
k
= r
0
e
1
se tienen las
iteraciones
x
k
= x
0
+ Q
k
y
k
que minimizan el residuo. El algoritmo resultatnte se llama MINRES (o
residuo conjugado)
r
0
= b Ax
0
; p
0
= r
0
initializacion
FOR k = 0, 1, , DO
k
=
r
T
k
Ar
k
(Ap
k
)
T
Ap
k
x
k+1
= x
k
+
k
p
k
r
k+1
= r
k

k
Ap
k
actualizacion residuo
k
=
r
T
k+1
Ar
k+1
r
T
k
Ar
k
p
k+1
= r
k+1
+
k
p
k
actualizacion direccion
Ap
k+1
= Ar
k+1
+
k
Ap
k
END FOR
Metodo GMRES
En el caso de A simetrica el metodo de Arnoldi es muy eciente, los
vectores base nuevos se pueden calcular con una recurrencia de tres
terminos.
Esto permite construir metodos muy ecientes que combinan
recurrencias cortas y una condicion de optimalidad para el error.
Veremos ahora como se pueden construir metodos para el caso no
simetrico. Estos metodos usan el metodo de Arnoldi.
Metodo GMRES
Metodo de Arnoldi.
Se elige un vector inicial q
1
con q
1
2
= 1.
FOR k = 1, DO (iteracion)
v = Aq
k
FOR i = 1, ..., k ortogonalizacion
h
i ,k
= v
T
q
i
v = v h
i ,k
q
i
END FOR
h
k+1,k
= v
2
IF h
k+1,k
= 0 STOP subespacio invariante
q
k+1
= v/h
k+1,k
nuevo vector base
END FOR
Metodo GMRES
En forma compacta
H
k
=
_
_
h
1,1
. . . . . . h
1,k
h
2,1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
O h
k,k1
h
k,k
_
_
y Q
k
= [q
1
q
2
q
k
] entonces
AQ
k
= Q
k
H
k
+ h
k+1,k
q
k+1
e
T
k
Metodo GMRES
Deniendo
H
k
=
_
_
h
1,1
. . . . . . h
1,k
h
2,1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
h
k,k1
h
k,k
O h
k+1,k
_
_
el metodo de Arnoldi se escribe
AQ
k
= Q
k+1
H
k
Metodo GMRES
El metodo de Anoldi nos da una base ortogonal para el subespacio de
Krylov K
k
(A; r
0
).
Se tiene la aproximacion
x
k
= x
0
+ Q
k
y
k
y
k
es tal que minimiza el error
f (x
k
) = x
k
x
2
A
= (x
k
x)
T
A(x
k
x)
respecto de la A-norma, o bien minimiza el
g(x
k
) = A(x
k
x)
2
2
= r
T
k
r
k
,
residuo.
Metodo GMRES
Si A no es SPD, la A-norma no esta bien denida.
Imponiendo ahora que los residuos sean ortogonales a Q
k
se tiene
Q
T
k
(r
0
AQ
k
y
k
) = 0 r
0
e
1
H
k
y
k
= 0
Resolviendo el sistema peque no
y
k
= r
0
H
1
k
e
1
x
k
= x
0
+ Q
k
y
k
Este metodo se llama FOM.
Metodo GMRES
El FOM es equivalente al GC si A es SPD. Pero tiene inconvenientes:
FOM no trata de forma eciente la memoria: Q
k
se tiene que guardar
completa. En cada iteracion,un nuevo vector base se tiene que calcular
y guardar. La ortogonalizacion ve siendo cada vez mas car con k.
FOM no tiene una propiedad de optimalidad.
El metodo es nito, pero esto solo tiene interes teorico ya que se
tendran que calcular n vectores base y guardarlos.
FOM no es robusto ya que H
k
podra ser singular.
Metodo GMRES
El metodo FOM para obtener x
k
es parte de una familia de tecnicas para extraer una
soluci on aproximada a partir de un espacio de b usqueda Q
k
haciendo que el residuo se
ortogonal a un espacio test W
k
.
Esto se formula como: Sea x
k
= x
0
+ Q
k
y
k
. Encontrar y
k
tal que
W
T
k
(r
0
AQ
k
y
k
) = 0
Estas son las condiciones de Petrov-Galerkin.
Si W
k
= Q
k
se llaman condicones de Galerkin.
Metodo GMRES
Veamos un segundo metodo para obtener un mnimo del residuo.
Minimizar
g(x
k
) = A(x
k
x)
2
2
= r
T
k
r
k
es un problema bien denido incluso si A es no simetrica.
Metodo GMRES
El problema es encontrar x
k
= x
0
+ Q
k
y
k
tal que r
k
is minimo.
r
k
= b Ax
k
= r
0
AQ
k
y
k
= r
0
q
1
AQ
k
y
k
as
r
k
= r
0
q
1
AQ
k
y
k
= r
0
Q
k+1
e
1
Q
k+1
H
k
y
k
= r
0
e
1
H
k
y
k

Metodo GMRES
Resolviendo el problema sobredeterminado
H
k
y
k
= r
0
e
1
se tienen las iteraciones
x
k
= x
0
+ Q
k
y
k
que minimizan el residuo. El algoritmo resultatnte se llama GMRES.
GMRES, es uno de los metodos mas populares para resolver sistemas no
simetricos

Gradiente Conjugado Con Ejemplo

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Gradiente Conjugado Con Ejemplo

Uploaded by

Copyright:

Available Formats

Metodos de gradiente.

(UPV) Metodos de gradiente. Metodos de Krylov Curso 2012-2013 35 / 48

(UPV) Metodos de gradiente. Metodos de Krylov Curso 2012-2013 47 / 48

You might also like