You are on page 1of 48

4o Ingeniera de Telecomunicacion

Tema 5: Modelado, Analisis Espectral



Parametrico Lineal
y Prediccion

I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Indice

1
Introduccion

2 Modelado ARMA

3 Modelado MA

4 Modelado AR

5 Lineal
Prediccion


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion


Introduccion
Supongamos que la DEP del proceso admite un modelo

parametrico de la forma
Sx () = a + b cos() + c cos(2)

el problema de analisis espectral queda entonces reducido a
estimar a, b y c a partir de un conjunto finito de observaciones
del proceso x[n], n = 0 . . . , N 1

El estimador parametrico de la DEP entonces es
+ b cos() + c cos(2)
Sx () = a
estrecha entre modelado y
Por lo tanto, existe un relacion

analisis
espectral parametrico
Veremos tambien que cuando hacemos prediccion lineal de un
proceso estamos, implcitamente, asumiendo un modelo
Ventajas: mejores prestaciones (si el modelo es correcto),
compactacion de la informacion (codificacion),
etc
Inconvenientes: falta de robustez

Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Modelado
Cualquier proceso
R estocastico de
(que cumpla la condicion
Paley-Wiener ln(Sx ())d < ) puede modelarse como
ruido AWGN filtrado por un filtro H(z) (causal y estable)
AWGN

u[n] h[n] x[n]

ru [m] = 2 [m] rx [m]

0
h[n] h[n]

Su ( ) = 2 S x ( )
H ( )
2

0 0


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

general tiene la forma


El filtro H(z) mas
Pq k
k=0 bk z
H(z) = p
1 + k=1 ak z k
P

en este caso el proceso resultante es un ARMA(p,q)


(Autoregressive Moving Average)
tiene numerador (FIR)
Si el filtro solo
q
X
H(z) = bk z k
k=0

el proceso es un MA(q) (Moving Average)


tiene denominador
Finalmente, si el filtro solo
1
H(z) = Pp
1+ k=1 ak z k

el proceso es un AR(p) (Autoregressive)



Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Siempre asumimos que el filtro H(z) es causal y estable


1 Todos los polos dentro del crculo unidad
2 de convergencia es |z| > r donde r es el radio del polo
La region
externo
mas
Un ejemplo: si
1
H(z) = , |z| > a
1 az 1
el filtro es causal y estable (si |a| < 1); y su respuesta
impulsional es
h[n] = an u[n]
en cambio, si
1
H(z) = , |z| < a
1 az 1
el filtro es anticausal y su respuesta impulsional es

h[n] = an u[n 1]


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Ejemplo
AWGN

u[n] N (0, ) 2 1 bz 1
x[n]
1 az 1

El proceso resultante es un ARMA(1,1), para obtener su DEP es


mejor comenzar calculando Sx (z)
(1 bz 1 )(1 bz) 1 + b2 b(z 1 + z)
Sx (z) = 2 H(z)H(1/z) = =
(1 az 1 )(1 az) 1 + a2 a(z 1 + z)
La DEP se obtiene haciendo el cambio z = ej , tenga en cuenta
que
(z 1 + z)|z=ej = ej + ej = 2 cos()
por lo que la DEP queda finalmente
1 + b2 2b cos()
Sx () =
1 + a2 2a cos()


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

podemos calcular en primer


Para calcular la autocorrelacion
lugar la respuesta impulsional del filtro
1
( a b)
( n 1)
h[n] = a u[n] ba
n
u[n 1] a ( a b)
a 2 ( a b)

"
n=0

y luego calcular

rx [m] = 2 (h[m] h[m]) ,

o bien podemos obtenerla como TZ inversa de Sx (z)


en fracciones simples y tablas)
(descomposicion


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Indice

1
Introduccion

2 Modelado ARMA

3 Modelado MA

4 Modelado AR

5 Lineal
Prediccion


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Modelado ARMA(p,q)
general de un
Consideramos en primer lugar el caso mas
modelo ARMA(p,q)
q
AWGN b z k
k
ARMA(p,q)
u[n] N (0, ) 2 H ( z) = k =0
p x[n]
1 + ak z k
k =1

en diferencias correspondiente al filtrado es


La ecuacion
q
X p
X
x[n] = bk u[n k] ak x[n k]
k=0 k=1

Modelado ARMA
A partir de un conjunto finito de observaciones de un modelo
ARMA(p,q): x[n], n = 0, . . . , N 1; estimar los parametros del
modelo: 2 , (b0 , b1 , . . . , bq ) y (a1 , a2 , . . . , ap )


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

El proceso de modelado consiste en:


1 sesgada rxs [m] a partir de los datos x[n],
Estimar la autorrelacion
n = 0, . . . , N 1
2 Resolver las ecuaciones que relacionan la autocorrelacion del

modelo con sus parametros

Por lo tanto, es necesario en primer lugar derivar las ecuaciones



que relacionan los parametros del modelo con rx [m]
Podramos calcular rx [m] = 2 (h[m] h[m]) (que depende

obviamente de los parametros del modelo), pero este
procedimiento es, en general, complicado (salvo en el caso de
filtros FIR)
Una forma mas sencilla de obtener la relacion
buscada es partir
de la ecuacion en diferencias
p
X q
X
x[n] + ak x[n k] = bk u[n k]
k=1 k=0


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Multiplicando ambos miembros por x[n m] y tomando



esperanzas matematicas se obtiene
p
X q
X
E [x[n]x[n m]]+ ak E [x[n k]x[n m]] = bk E [u[n k]x[n m]]
k=1 k=0

p
X q
X
rx [m] + ak rx [m k] = bk rux [m k]
k=1 k=0

En esta expresion aparece todava la correlacion cruzada entre


la entrada y la salida, rux [m k], por lo que la expresion
no es
util
en esta forma (tenga en cuenta que solo tenemos acceso a
la salida x[n])
Tenemos que escribir la ecuacion en funcion unicamente
de la
de la salida y de los parametros
autocorrelacion del modelo


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

rux [m k] = E [u[n k]x[n m]]


escribimos la salida como convolucion entre la entrada y la respuesta
impulsional del filtro h[n] (que dependera de los coeficientes del filtro)

X
x[n m] = u[l]h[n m l]
l=


" #
X
rux [m k] = E u[n k] u[l]h[n m l] =
l=

X
X
= h[n m l]E [u[n k]u[l]] = h[n m l]ru [n k l]
l= l=

como la entrada es blanca su autocorrelacion es una delta,


2
ru [n k l] = [n k l], que es nula en todos los puntos
excepto cuando l = n k; por lo que finalmente se obtiene
rux [m k] = 2 h[k m]

Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Finalmente obtenemos
p
X q
X
rx [m] + ak rx [m k] = 2 bk h[k m]
k=1 k=0
p
X
rx [m]+ ak rx [mk] = 2 (b0 h[m] + b1 h[1 m] + . . . + bq h[q m])
k=1
teniendo en cuenta que el filtro es causal y, por lo tanto, h[n] = 0
n < 0 podemos escribir la autocorrelacion
de modelo ARMA(p,q) en

funcion de sus parametros como
ARMA(p,q)
Autocorrelacion

p
X
m > q rx [m] = ak rx [m k]
k=1
Xp q
X
0 m q rx [m] = ak rx [m k] + 2 bk h[k m]
k=1 k=m
m < 0 rx [m] = rx [m]

Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

En el caso de que el proceso ARMA(p,q) sea complejo

rx [m] = E [x[n](x[n + m]) ]

ARMA(p,q)
Autocorrelacion

p
X
m > q rx [m] = ak rx [m k]
k=1
Xp q
X
0 m q rx [m] = ak rx [m k] + 2
bk (h[k m])
k=1 k=m
m < 0 rx [m] = (rx [m])


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Ejemplo: ARMA(1,1)

AWGN

u[n] N (0, ) 2 1 bz 1
x[n]
1 az 1

En este caso p = 1, q = 1: b0 = 1, b1 = b, a1 = a.
para este problema que
Ya vimos tambien

h[n] = an u[n] ban1 u[n 1]

h[0] = 1
h[1] = ab
h[2] = a(a b)


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Formamos las ecuaciones del modelo (tenemos en cuenta que


el proceso es real y que, por lo tanto rx [m] = rx [m])

m = 0, rx [0] arx [1] = 2 (b0 h[0] + b1 h[1]) = 2 (1 b(a b))


m = 1, rx [1] arx [0] = 2 b1 h[0] = 2 b
m = 2, rx [2] arx [1] = 0
m = 3, rx [3] arx [2] = 0
..
.


El modelo ARMA(1,1) tiene tres parametros desconocidos,
as que necesitamos, al menos, 3 ecuaciones independientes
necesitamos conocer o estimar (a partir del registro x[n] de
Solo
N muestras disponible) rx [0], rx [1] y rx [2], entonces formamos el
sistema de ecuaciones
2
rx [0] rx [1]   (1 b(a b))
1
rx [1] rx [0] = 2 b
a
rx [2] rx [1] 0


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Para el modelado ARMA resulta un sistema no lineal de


ecuaciones, as que en general necesitaremos aplicar alguna

tecnica numerica
de optimizacion
El ejemplo considerado se puede resolver analticamente, ya
se extrae que
que de la tercera ecuacion
rx [2]
a=
rx [1]
sustituyendo este valor en las dos primeras ecuaciones resulta
rx [0] rx [2] = 2 1 + b2 b(rx [2]/rx [1])


(rx [1])2 rx [2]rx [0] = 2 brx [1]


y, dividiendo ambas ecuaciones entre s, obtenemos una
ecuacion de segundo orden en b que podemos resolver

facilmente
Aunque, en principio, podemos encontrar dos soluciones

distintas y validas
para los parametros del modelo, la DEP del
modelo es unica

Piense que puede haber distintas soluciones para un filtro H(z)

tales que H(z)H(1/z) sea identico

Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion


Extrapolacion


En analisis
espectral clasico
(no parametrico) hemos visto que si
disponemos de N observaciones de una realizacion del proceso,
podemos estimar la autocorrelacion unicamente
en el intervalo
N + 1 m N 1
En cambio, si asumimos un modelo para el proceso (ARMA, por
ejemplo) entonces podemos estimar la autocorrelacion fuera de
ese intervalo: en otras palabras podemos extrapolar la

autocorrelacion
En el ejemplo considerado, una vez estimado a, podemos
mediante la ecuacion
extrapolar la autocorrelacion

rx [m] = arx [m 1], m = N, N + 1, . . .


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Indice

1
Introduccion

2 Modelado ARMA

3 Modelado MA

4 Modelado AR

5 Lineal
Prediccion


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Modelado MA(q)
AWGN q MA(q)
H ( z ) = bk z k
u[n] N (0, 2 ) k =0
x[n]

En un modelo MA(q) inyectamos ruido AWGN a un filtro FIR


(Finite Impulse Response)
Recordemos que los filtros FIR
1 tienen ceros (todos los polos en el origen)
Solo
2 Los coeficientes del filtro bk coinciden con la respuesta impulsional
h[k] = bk

En este caso los parametros del modelo son 2 y (b0 , b1 , . . . , bq )
(o, equivalentemente, (h[0], h[1], . . . , h[q]))

Sin perdida de generalidad podemos fijar b0 = h[0] = 1 (un factor
de escala en el filtro que podemos incorporar a 2 )

En total el modelo queda definido por q + 1 parametros


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

entre la autocorrelacion
Para encontrar la relacion y los parametros

del modelo basta particularizar las ecuaciones del caso ARMA ya
que MA(q)=ARMA(0,q)
m > q rx [m] = 0
q
X q
X
0 m q rx [m] = 2 bk h[k m] = 2 h[k]h[k m]
k=m k=m
m < 0 rx [m] = rx [m]
compacta,
o, de manera mas
MA(q)
Autocorrelacion

real : rx [m] = 2 (h[m] h[m])

complejo : rx [m] = 2 (h[m] h [m])

de un proceso MA(q) solo


La correlacion es distinta de cero en el
intervalo q m q

Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Ejemplo: MA(1)
AWGN MA(1)
u[n] N (0, ) 2
1 + bz 1
x[n]

en este caso queda


La autocorrelacion

2 (1 + b 2 )
rx [m] = 2 ( h[m] h[ m]) 2b 2b

" n=0
"
rx [0] = 2 (1 + b2 )
rx [1] = 2 b

Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Dividiendo ambas ecuaciones entre s llegamos a

rx [0] 1 + b2
=
rx [1] b

y resolviendo obtenemos la(s) solucion(es) para b



A partir de b la varianza de ruido la obtenemos a continuacion
como
rx [1]
2 =
b
Recuerde que, aunque puedan existir distintas soluciones para

los parametros, la DEP (el modelo en definitiva) es unica

Como en el caso del modelado ARMA, las ecuaciones
resultantes son no lineales y, en general, no es posible encontrar

analticamente la solucion


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Indice

1
Introduccion

2 Modelado ARMA

3 Modelado MA

4 Modelado AR

5 Lineal
Prediccion


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Modelado AR(p)
AWGN AR(p)
1
H ( z) =
u[n] N (0, ) 2 p
x[n]
1 + ak z k
k =1

En un modelo AR(p) inyectamos ruido AWGN a un filtro IIR de


polos
solo
en diferencias correspondiente al filtrado es
La ecuacion
p
X
x[n] = ak x[n k] + u[n]
k=1

lineal de salidas
la salida es, por tanto, una combinacion
pasadas mas una innovacion dada por u[n]

En este caso los parametros del modelo son 2 y (a1 , . . . , ap )

En total el modelo queda definido por p + 1 parametros


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

entre la autocorrelacion
Para encontrar la relacion y los parametros

del modelo particularizamos nuevamente las ecuaciones del caso
ARMA teniendo esta vez en cuenta que AR(p)=ARMA(0,q), con
b0 = 1
Xp
m > 0 rx [m] = ak rx [m k]
k=1
Xp
m = 0 rx [m] = ak rx [m k] + 2 h[0]
k=1
m < 0 rx [m] = rx [m]
donde parece que, en el origen, depende de h[0]. Recordemos que
p
X
x[n] = ak x[n k] + u[n]
k=1

y h[n] es la salida del filtro cuando aplicamos un impulso a la entrada


[n], por lo tanto
Xp
h[n] = ak h[n k] + [n]
k=1


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

particularizando en el origen n = 0

h[0] = a1 h[1] a2 h[2] . . . ap h[p] + [0]

que, como el filtro es causal, se reduce a h[0] = 1. Finalmente


podemos escribir las ecuaciones de la autocorrelacion de un proceso
AR(p) como

AR(p)
Autocorrelacion

p
X
m > 0 rx [m] = ak rx [m k]
k=1
Xp
m = 0 rx [m] = ak rx [m k] + 2
k=1
m < 0 rx [m] = rx [m]

Si el proceso es complejo basta en este caso tener en cuenta que


rx [m] = (rx [m])


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Ecuaciones de Yule-Walker

Particularizando las ecuaciones de la autocorrelacion de un


AR(p) para m = 1, . . . , p se obtiene el siguiente sistema lineal de
ecuaciones

rx [1] = a1 rx [0] a2 rx [1] . . . ap rx [p + 1]


rx [2] = a1 rx [1] a2 rx [0] . . . ap rx [p + 2]
.. ..
. = .
rx [p] = a1 rx [p 1] a2 rx [p 1] . . . ap rx [0]

que se conocen como ecuaciones de Yule-Walker (o ecuaciones


normales)
A diferencia de lo visto con los modelos ARMA y MA, las
y los parametros
ecuaciones que relacionan la autocorrelacion
del modelo AR son LINEALES, lo que justifica la popularidad del
modelado AR


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Para el caso de procesos reales, teniendo en cuenta que


rx [m] = rx [m], escribimos las ecuaciones de Yule-Walker como

rx [0] rx [1] rx [2] . . . rx [p 1] a1 rx [1]
rx [1] rx [0] rx [1] . . . rx [p 2] a2 rx [2]

=

.. .. .. .. .. . .
.. ..

. . . . .
rx [p 1] rx [p 2] ... rx [1] rx [0] ap rx [p]


Un sistema de p ecuaciones con p incognitas (los coeficientes
del filtro)
Para formar el sistema unicamente
necesitamos conocer (o
rx [0], . . . rx [p]
estimar) p + 1 valores de la autocorrelacion
La matriz tiene estructura Toeplitz (todas las diagonales con el
mismo valor)
R (a) = r

los coeficientes optimos del filtro AR son

a = R1 r


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Una vez obtenidos los coeficientes del filtro, la varianza del ruido

a la entrada se puede obtener muy facilmente de
de la ecuacion
particularizada en el origen m = 0
autocorrelacion
p
X
2 = rx [0] + ak rx [k]
k=1

Proceso modelado AR (resumen)


A partir de un conjunto de N observaciones x[0], . . . , x[n 1]
1 rx [0], . . . , rx [p]
Obtener las estimas de la autocorrelacion:
2 Formar la matriz R, el vector r a partir de las estimas anteriores y
obtener los coeficientes del filtro como a = R1 r
Obtener la varianza del ruido como 2 = rx [0] + pk=1 ak rx [k]
P
3


Una vez obtenidos los parametros del modelo podramos estimar

la DEP del proceso (analisis
espectral parametrico) como
2
SxAR () = Pp 2
|1 + k=1 ak ejk |

Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Ejemplo: AR(1)
AWGN AR(1)
1
u[n] N (0, ) 2
H ( z) = x[n]
1 az 1

en este caso quedan


Las ecuaciones de la autocorrelacion

rx [0] arx [1] = 2


rx [1] arx [0] = 0


los parametros del modelo son

rx [1]
a =
rx [0]
(rx [0])2 (rx [1])2
2 =
rx [0]


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion


Para estimar los parametros del modelo AR(1) solo necesitamos
rx [0] y rx [1]
conocer dos valores de la autocorrelacion
Una vez estimado el modelo, podemos extrapolar la
fuera del intervalo 1 m 1
autocorrelacion

a2
rx [2] = arx [1] = a2 rx [0] = 2
1 a2
a3
rx [3] = arx [2] = a3 rx [0] = 2
1 a2
.. ..
. = .

general
y obtenemos la expresion

a|m|
rx [m] = 2
1 a2


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Ejemplos
AWGN AR(2)
1
u[n] N (0, 2 ) x[n]
1 0.5562 z 1 + 0.81z 2

AR, N=128, P=2


20

15

10
estima de la DEP

10

15

20
0.5 0 0.5
frecuencia


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

AWGN AR(2)
1
u[n] N (0, 2 ) x[n]
1 0.5562 z 1 + 0.81z 2

periodograma, N=128
20

15

10
estima de la DEP

10

15

20
0.5 0 0.5
frecuencia


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

AWGN ARMA(2,2)
1 + 0.9025 z 2
u[n] N (0, 2 ) x[n]
1 0.5562 z 1 + 0.81z 2

AR, N=128, P=2


20

15

10
estima de la DEP

10

15

20
0.5 0 0.5
frecuencia


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

AWGN ARMA(2,2)
1 + 0.9025 z 2
u[n] N (0, 2 ) x[n]
1 0.5562 z 1 + 0.81z 2

AR, N=128, P=15


20

15

10
estima de la DEP

10

15

20
0.5 0 0.5
frecuencia


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

ARMA permite modelar polos y ceros (picos y valles en la DEP,


respectivamente)
MA permite modelar ceros (valles)
AR permite modelar polos (picos)

Sin embargo, notese que un polo se puede modelar con infinitos
ceros (y vicecersa):

1 X n
= az 1 = 1 + az 1 + a2 z 2 + . . .
1 az 1 n=0

1 1
1 az 1 = P n =
n=0 (az
1 ) 1 + az + a2 z 2 + . . .
1


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

del orden del modelo


Seleccion
Hasta ahora hemos asumido que deseamos ajustar un modelo (e.g.,
AR) cuyo orden p es conocido

En la practica, sin embargo, debemos tambien elegir el orden mas

adecuado para el modelo a partir de las N observaciones disponibles
Podemos tomar la varianza del ruido a la entrada del modelo 2
como una indicacion
(innovacion) del error cometido por el modelo
En principio, 2 decae monotonamente
con p, pero no conviene
emplear un p excesivamente alto pues pueden aparecer problemas de
sobreajuste a los datos empleados en la estima del modelo,
empeorando el comportamiento del modelo sobre datos futuros

(generalizacion)
Habitualmente se emplean criterios que combinan el error cometido por
el modelo ( 2 ) y la complejidad del mismo (medida a traves del numero


de parametros)
Por ejemplo, el criterio de Akaike elige el orden del modelo que

minimiza la siguiente funcion

AIC(p) = N log 2 + 2p


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Indice

1
Introduccion

2 Modelado ARMA

3 Modelado MA

4 Modelado AR

5 Lineal
Prediccion


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

lineal
Prediccion
Un predictor lineal estima el valor de la muestra actual, x [n],
mediante una combinacion lineal de p muestras anteriores de
x[n]
[n] = a1 x[n 1] + a2 x[n 2] + . . . + ap x[n p]
x
es
El error de prediccion
e[n] = x[n] x
[n] = x[n] a1 x[n 1] + a2 x[n 2] + . . . + ap x[n p]
tomando transformadas Z
p
!
X
E(z) = X(z) 1 ak z k
k=1

Calcular un predictor lineal y ajustar un modelo AR son dos


problemas estrechamente relacionados
Error de prediccin 1
e[n] p
x[n]
1 ak z k
k =1


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Aproximaciones al problema

Para encontrar los coeficientes optimos del predictor lineal
a = (a1 , . . . , ap )T se pueden seguir dos aproximaciones

estocastica
Aproximacion

x[n] es un proceso estocastico
y los coeficientes del predictor lineal optimo

minimizan la varianza (potencia) del error de prediccion

J(a) = E (e[n])2
 

coincide con el estimador LMMSE para este problema

determinista
Aproximacion
cualquiera y los coeficientes del predictor lineal optimo
x[n] es una senal
en una ventana
minimizan la suma al cuadrado de los errores de prediccion
N1 n N2
N2
X
J(a) = (e[n])2
n=N1

coincide con el estimador LS para este problema



Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

estocastica
Aproximacion

Los coeficientes del predictor optimo son los que minimizan

J(a) = E (e[n])2
 

Para encontrar el mnimo tomamos derivadas (con respecto a


aj , j = 1, . . . , p) e igualamos a cero
 
J(a) e[n]
= E 2e[n] =
aj aj
p
" ! #
X
= 2E [e[n]x[n j]] = 2E x[n] ak x[n k] x[n j] = 0
k=1


Quedan p ecuaciones lineales con p incognitas
p
X
rx [j k]ak = rx [j], j = 1, . . . , p
k=1


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Teniendo en cuenta que rx [m] = rx [m], podemos escribir las p


ecuaciones de manera matricial como

rx [0] rx [1] . . . rx [p 1] a1 rx [1]
rx [1] rx [0] . . . rx [p 2] a2 rx [2]

=

.. .. .. .
.. . .
.. ..

. . .
rx [p 1] rx [p 2] ... rx [0] ap rx [p]
Ra = r
Que son (otra vez) las ecuaciones normales o ecuaciones de
Yule-Walker!

El predictor optimo se obtiene como
a = R1 r
Una vez obtenido el predictor, podemos calcular la varianza del
como
error de prediccion
p p
" #
X X
2 2
e = E[(e[n]) ] = E e[n](x[n] ak x[n k]) = rx [0] ak rx [k]
k=1 k=1


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

determinista
Aproximacion


Los coeficientes del predictor optimo son los que minimizan
N2
X N2
X
J(a) = (e[n])2 = [n])2
(x[n] x
n=N1 n=N1

N2
X
J(a) = (x[n] a1 x[n 1] a2 x[n 2] . . . ap x[n p])2
n=N1

El problema es equivalente a obtener la estima LS de a


Si disponemos de N observaciones de la senal (x[n],
n = 0, . . . , N 1): Como
elegimos los ndices N1 y N2 ?
El primer valor que podemos predecir sin tener que realizar
ninguna suposicion sobre como son los datos antes de n = 0 es
x[p]
a1 x[p 1] + a2 x[p 2] + . . . + ap x[0] = x
[p] = x[p] e[p]


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Y el ultimo
que podemos predecir es x[N 1]

a1 x[N 2]+a2 x[N 3]+. . .+ap x[N 1p] = x


[N 1] = x[N 1]e[N 1]

Agrupando todas las ecuaciones tenemos el sistema



x[p 1] x[p 2] . . . x[0] a1 e[p] x[p]
x[p] x[p 1] . . . x[1] a2 e[p + 1] x[p + 1]
.. + =

.. . . . . .
. .. ..
. . . . . . .
x[N 2] x[N 3] . . . x[N 1 p] ap e[N 1] x[N 1]

que de forma matricial podemos escribir como

d = Xa + e

donde d es un vector columna de dimensiones (N p) con la


deseada, X es una matrix (N p) p formada a
prediccion
partir de las observaciones, a es el vector columna p 1 con los
coeficientes del predictor y e es un vector (N p) 1 con los
(desconocidos, obviamente)
errores de prediccion

Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

que minimiza ||e||2 viene dada por


La solucion
1
a = X] d = XT X XT d

del estimador LS
es decir, la solucion

El metodo empleado con N1 = p y N2 = N 1 se denomina el

metodo de la covarianza
Hay otras maneras de obtener la estima considerando otros
valores de N1 y N2


En la practica
no existen demasiadas diferencias entre la solucion
obtenida con la aproximacion estocastica
cuando estimamos la
y la solucion
autocorrelacion proporcionada por el metodo
de la
covarianza


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

Introduccion ARMA MA AR Lineal
Prediccion

Conclusiones


Modelado = analisis
espectral parametrico
Modelo: Ruido blanco y Gaussiano filtrado por un filtro digital
ARMA y MA conducen a ecuaciones no lineales
El modelo mas habitual y util
(voz, imagen,...) es el modelo
autoregresivo (AR), principalmente por su sencillez ya que los

parametros del modelo se pueden obtener resolviendo un
conjunto lineal de ecuaciones
lineal modelado AR
Prediccion
Dos aproximaciones para la obtencion de los coeficientes del

predictor: estocastica (ecuaciones normales) y determinista
(pseudoinversa)


Tema 5: Modelado, Analisis
Espectral Parametrico Lineal
y Prediccion I. Santamara

You might also like