Professional Documents
Culture Documents
I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Indice
1
Introduccion
2 Modelado ARMA
3 Modelado MA
4 Modelado AR
5 Lineal
Prediccion
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Introduccion
Supongamos que la DEP del proceso admite un modelo
parametrico de la forma
Sx () = a + b cos() + c cos(2)
el problema de analisis espectral queda entonces reducido a
estimar a, b y c a partir de un conjunto finito de observaciones
del proceso x[n], n = 0 . . . , N 1
El estimador parametrico de la DEP entonces es
+ b cos() + c cos(2)
Sx () = a
estrecha entre modelado y
Por lo tanto, existe un relacion
analisis
espectral parametrico
Veremos tambien que cuando hacemos prediccion lineal de un
proceso estamos, implcitamente, asumiendo un modelo
Ventajas: mejores prestaciones (si el modelo es correcto),
compactacion de la informacion (codificacion),
etc
Inconvenientes: falta de robustez
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Modelado
Cualquier proceso
R estocastico de
(que cumpla la condicion
Paley-Wiener ln(Sx ())d < ) puede modelarse como
ruido AWGN filtrado por un filtro H(z) (causal y estable)
AWGN
0
h[n] h[n]
Su ( ) = 2 S x ( )
H ( )
2
0 0
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
h[n] = an u[n 1]
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Ejemplo
AWGN
u[n] N (0, ) 2 1 bz 1
x[n]
1 az 1
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
"
n=0
y luego calcular
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Indice
1
Introduccion
2 Modelado ARMA
3 Modelado MA
4 Modelado AR
5 Lineal
Prediccion
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Modelado ARMA(p,q)
general de un
Consideramos en primer lugar el caso mas
modelo ARMA(p,q)
q
AWGN b z k
k
ARMA(p,q)
u[n] N (0, ) 2 H ( z) = k =0
p x[n]
1 + ak z k
k =1
Modelado ARMA
A partir de un conjunto finito de observaciones de un modelo
ARMA(p,q): x[n], n = 0, . . . , N 1; estimar los parametros del
modelo: 2 , (b0 , b1 , . . . , bq ) y (a1 , a2 , . . . , ap )
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
p
X q
X
rx [m] + ak rx [m k] = bk rux [m k]
k=1 k=0
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
" #
X
rux [m k] = E u[n k] u[l]h[n m l] =
l=
X
X
= h[n m l]E [u[n k]u[l]] = h[n m l]ru [n k l]
l= l=
Finalmente obtenemos
p
X q
X
rx [m] + ak rx [m k] = 2 bk h[k m]
k=1 k=0
p
X
rx [m]+ ak rx [mk] = 2 (b0 h[m] + b1 h[1 m] + . . . + bq h[q m])
k=1
teniendo en cuenta que el filtro es causal y, por lo tanto, h[n] = 0
n < 0 podemos escribir la autocorrelacion
de modelo ARMA(p,q) en
funcion de sus parametros como
ARMA(p,q)
Autocorrelacion
p
X
m > q rx [m] = ak rx [m k]
k=1
Xp q
X
0 m q rx [m] = ak rx [m k] + 2 bk h[k m]
k=1 k=m
m < 0 rx [m] = rx [m]
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
ARMA(p,q)
Autocorrelacion
p
X
m > q rx [m] = ak rx [m k]
k=1
Xp q
X
0 m q rx [m] = ak rx [m k] + 2
bk (h[k m])
k=1 k=m
m < 0 rx [m] = (rx [m])
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Ejemplo: ARMA(1,1)
AWGN
u[n] N (0, ) 2 1 bz 1
x[n]
1 az 1
En este caso p = 1, q = 1: b0 = 1, b1 = b, a1 = a.
para este problema que
Ya vimos tambien
h[0] = 1
h[1] = ab
h[2] = a(a b)
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
El modelo ARMA(1,1) tiene tres parametros desconocidos,
as que necesitamos, al menos, 3 ecuaciones independientes
necesitamos conocer o estimar (a partir del registro x[n] de
Solo
N muestras disponible) rx [0], rx [1] y rx [2], entonces formamos el
sistema de ecuaciones
2
rx [0] rx [1] (1 b(a b))
1
rx [1] rx [0] = 2 b
a
rx [2] rx [1] 0
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Extrapolacion
En analisis
espectral clasico
(no parametrico) hemos visto que si
disponemos de N observaciones de una realizacion del proceso,
podemos estimar la autocorrelacion unicamente
en el intervalo
N + 1 m N 1
En cambio, si asumimos un modelo para el proceso (ARMA, por
ejemplo) entonces podemos estimar la autocorrelacion fuera de
ese intervalo: en otras palabras podemos extrapolar la
autocorrelacion
En el ejemplo considerado, una vez estimado a, podemos
mediante la ecuacion
extrapolar la autocorrelacion
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Indice
1
Introduccion
2 Modelado ARMA
3 Modelado MA
4 Modelado AR
5 Lineal
Prediccion
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Modelado MA(q)
AWGN q MA(q)
H ( z ) = bk z k
u[n] N (0, 2 ) k =0
x[n]
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
entre la autocorrelacion
Para encontrar la relacion y los parametros
del modelo basta particularizar las ecuaciones del caso ARMA ya
que MA(q)=ARMA(0,q)
m > q rx [m] = 0
q
X q
X
0 m q rx [m] = 2 bk h[k m] = 2 h[k]h[k m]
k=m k=m
m < 0 rx [m] = rx [m]
compacta,
o, de manera mas
MA(q)
Autocorrelacion
Ejemplo: MA(1)
AWGN MA(1)
u[n] N (0, ) 2
1 + bz 1
x[n]
2 (1 + b 2 )
rx [m] = 2 ( h[m] h[ m]) 2b 2b
" n=0
"
rx [0] = 2 (1 + b2 )
rx [1] = 2 b
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
rx [0] 1 + b2
=
rx [1] b
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Indice
1
Introduccion
2 Modelado ARMA
3 Modelado MA
4 Modelado AR
5 Lineal
Prediccion
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Modelado AR(p)
AWGN AR(p)
1
H ( z) =
u[n] N (0, ) 2 p
x[n]
1 + ak z k
k =1
lineal de salidas
la salida es, por tanto, una combinacion
pasadas mas una innovacion dada por u[n]
En este caso los parametros del modelo son 2 y (a1 , . . . , ap )
En total el modelo queda definido por p + 1 parametros
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
entre la autocorrelacion
Para encontrar la relacion y los parametros
del modelo particularizamos nuevamente las ecuaciones del caso
ARMA teniendo esta vez en cuenta que AR(p)=ARMA(0,q), con
b0 = 1
Xp
m > 0 rx [m] = ak rx [m k]
k=1
Xp
m = 0 rx [m] = ak rx [m k] + 2 h[0]
k=1
m < 0 rx [m] = rx [m]
donde parece que, en el origen, depende de h[0]. Recordemos que
p
X
x[n] = ak x[n k] + u[n]
k=1
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
particularizando en el origen n = 0
AR(p)
Autocorrelacion
p
X
m > 0 rx [m] = ak rx [m k]
k=1
Xp
m = 0 rx [m] = ak rx [m k] + 2
k=1
m < 0 rx [m] = rx [m]
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Ecuaciones de Yule-Walker
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Un sistema de p ecuaciones con p incognitas (los coeficientes
del filtro)
Para formar el sistema unicamente
necesitamos conocer (o
rx [0], . . . rx [p]
estimar) p + 1 valores de la autocorrelacion
La matriz tiene estructura Toeplitz (todas las diagonales con el
mismo valor)
R (a) = r
los coeficientes optimos del filtro AR son
a = R1 r
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Una vez obtenidos los coeficientes del filtro, la varianza del ruido
a la entrada se puede obtener muy facilmente de
de la ecuacion
particularizada en el origen m = 0
autocorrelacion
p
X
2 = rx [0] + ak rx [k]
k=1
Una vez obtenidos los parametros del modelo podramos estimar
la DEP del proceso (analisis
espectral parametrico) como
2
SxAR () = Pp 2
|1 + k=1 ak ejk |
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Ejemplo: AR(1)
AWGN AR(1)
1
u[n] N (0, ) 2
H ( z) = x[n]
1 az 1
los parametros del modelo son
rx [1]
a =
rx [0]
(rx [0])2 (rx [1])2
2 =
rx [0]
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Para estimar los parametros del modelo AR(1) solo necesitamos
rx [0] y rx [1]
conocer dos valores de la autocorrelacion
Una vez estimado el modelo, podemos extrapolar la
fuera del intervalo 1 m 1
autocorrelacion
a2
rx [2] = arx [1] = a2 rx [0] = 2
1 a2
a3
rx [3] = arx [2] = a3 rx [0] = 2
1 a2
.. ..
. = .
general
y obtenemos la expresion
a|m|
rx [m] = 2
1 a2
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Ejemplos
AWGN AR(2)
1
u[n] N (0, 2 ) x[n]
1 0.5562 z 1 + 0.81z 2
15
10
estima de la DEP
10
15
20
0.5 0 0.5
frecuencia
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
AWGN AR(2)
1
u[n] N (0, 2 ) x[n]
1 0.5562 z 1 + 0.81z 2
periodograma, N=128
20
15
10
estima de la DEP
10
15
20
0.5 0 0.5
frecuencia
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
AWGN ARMA(2,2)
1 + 0.9025 z 2
u[n] N (0, 2 ) x[n]
1 0.5562 z 1 + 0.81z 2
15
10
estima de la DEP
10
15
20
0.5 0 0.5
frecuencia
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
AWGN ARMA(2,2)
1 + 0.9025 z 2
u[n] N (0, 2 ) x[n]
1 0.5562 z 1 + 0.81z 2
15
10
estima de la DEP
10
15
20
0.5 0 0.5
frecuencia
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
1 1
1 az 1 = P n =
n=0 (az
1 ) 1 + az + a2 z 2 + . . .
1
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
AIC(p) = N log 2 + 2p
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Indice
1
Introduccion
2 Modelado ARMA
3 Modelado MA
4 Modelado AR
5 Lineal
Prediccion
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
lineal
Prediccion
Un predictor lineal estima el valor de la muestra actual, x [n],
mediante una combinacion lineal de p muestras anteriores de
x[n]
[n] = a1 x[n 1] + a2 x[n 2] + . . . + ap x[n p]
x
es
El error de prediccion
e[n] = x[n] x
[n] = x[n] a1 x[n 1] + a2 x[n 2] + . . . + ap x[n p]
tomando transformadas Z
p
!
X
E(z) = X(z) 1 ak z k
k=1
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Aproximaciones al problema
Para encontrar los coeficientes optimos del predictor lineal
a = (a1 , . . . , ap )T se pueden seguir dos aproximaciones
estocastica
Aproximacion
x[n] es un proceso estocastico
y los coeficientes del predictor lineal optimo
minimizan la varianza (potencia) del error de prediccion
J(a) = E (e[n])2
determinista
Aproximacion
cualquiera y los coeficientes del predictor lineal optimo
x[n] es una senal
en una ventana
minimizan la suma al cuadrado de los errores de prediccion
N1 n N2
N2
X
J(a) = (e[n])2
n=N1
estocastica
Aproximacion
Los coeficientes del predictor optimo son los que minimizan
J(a) = E (e[n])2
Quedan p ecuaciones lineales con p incognitas
p
X
rx [j k]ak = rx [j], j = 1, . . . , p
k=1
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
determinista
Aproximacion
Los coeficientes del predictor optimo son los que minimizan
N2
X N2
X
J(a) = (e[n])2 = [n])2
(x[n] x
n=N1 n=N1
N2
X
J(a) = (x[n] a1 x[n 1] a2 x[n 2] . . . ap x[n p])2
n=N1
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Y el ultimo
que podemos predecir es x[N 1]
d = Xa + e
del estimador LS
es decir, la solucion
El metodo empleado con N1 = p y N2 = N 1 se denomina el
metodo de la covarianza
Hay otras maneras de obtener la estima considerando otros
valores de N1 y N2
En la practica
no existen demasiadas diferencias entre la solucion
obtenida con la aproximacion estocastica
cuando estimamos la
y la solucion
autocorrelacion proporcionada por el metodo
de la
covarianza
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara
Introduccion ARMA MA AR Lineal
Prediccion
Conclusiones
Modelado = analisis
espectral parametrico
Modelo: Ruido blanco y Gaussiano filtrado por un filtro digital
ARMA y MA conducen a ecuaciones no lineales
El modelo mas habitual y util
(voz, imagen,...) es el modelo
autoregresivo (AR), principalmente por su sencillez ya que los
parametros del modelo se pueden obtener resolviendo un
conjunto lineal de ecuaciones
lineal modelado AR
Prediccion
Dos aproximaciones para la obtencion de los coeficientes del
predictor: estocastica (ecuaciones normales) y determinista
(pseudoinversa)
Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara