Clase 03

EL7002 - Estimacin y Deteccin
Clase No.2: Estimacin Insesgada de Varianza Mnima

Patricio Parada
Departamento de Ingeniera Elctrica
Universidad de Chile
P. Parada, DIE-UCh EL7002, Clase No.2: Estimacin Insesgada de Varianza Mnima 1/31
Contenidos de la Clase I
Introduccin
Estimadores Insesgados
Distribucin de un Estimador
Criterio de Varianza Mnima
Estimador Insesgado de Varianza Mnima
Cota Inferior de Cramer-Rao
Resumen y Lecturas
Hoja de Ruta
A partir de este momento comenzaremos a ver criterios y tcnicas para
determinar buenos estimadores de un parmetro (o conjunto de ellos) que son
desconocidos.
Hoja de Ruta
desconocidos.
El criterio que veremos en esta clase se denomina de varianza mnima, ya que
utiliza como funcin discriminadora la varianza del estimador bajo estudio.
Hoja de Ruta
desconocidos.
El criterio que veremos en esta clase se denomina de varianza mnima, ya que
utiliza como funcin discriminadora la varianza del estimador bajo estudio.
Vamos a considerar una clase particular de estimadores denominados
insesgados, que tienen un buen desempeo y son realizables (causales).
Estimadores Insesgados (1)
Un estimador es insesgado si - en promedio - entrega el valor correcto del
parmetro desconocido.
Si entonces podemos restringir nuestra atencin al caso en que
E[
] = , . (1)
Si entonces podemos restringir nuestra atencin al caso en que
E[
] = , . (1)
Ejemplo 1: consideremos el problema de estimar un parmetro desconocido
A R a partir del modelo
x[n] = A + w[n] (2)
donde {w[n]} es i.i.d. N(0, 1).
Asumamos que tenemos N observaciones de x[n] de forma tal que denimos el
estimador
A =
1
N
N1
n=0
x[n] (3)
Es fcil mostrar que

A es insesgado, ya que
E[
A] =
1
N
N1
n=0
E[x[n]]
=
1
N
N1
n=0
A
= A.
Ejemplo 2: Considere X N(0,
2
) y las realizaciones x[0], x[1], . . . , x[N 1].
Denimos el estimador de la varianza de X como:

2
=
1
N
N1
n=0
x
2
[N] (4)
Luego,
E[
2
] =
1
N
N1
n=0
E[x
2
[N]]
=
2
.
a
p
A

2
p
2
0.85 0.9 0.95 1 1.05 1.1 1.15 1.2 -0.1 -0.05 0 0.05 0.1
0
0.05
0.1
0.15
0.2
0.25
0
0.05
0.1
0.15
0.2
0.25
Figura: Distribucin emprica (histograma) de los estimadores

A y

2
producidos via
simulacin con N = 1000 y 500 simulaciones; los parmetros reales son A = 0 y
2
= 1.
Distribucin de un Estimador (1)
En general, si conocemos el modelo paramtrico que relaciona las observaciones
con el parmetro desconocido, podemos hacer algo de lgebra y determinar en
forma analtica la distribucin de probabilidad del parmetro en cuestin.
Si el estimador es insesgado, es habitual que la distribucin del parmetro sea
simtrica y centrada en torno al valor real del parmetro.
Si el estimador es insesgado, es habitual que la distribucin del parmetro sea
simtrica y centrada en torno al valor real del parmetro.
Sin embargo, existen casos donde esto no se cumple:
2
=
1
2
(x
2
[0] + x
2
[1]) (5)
se distribuye en forma exponencial con parmetro 1/
2
:
f (
2
) =
1
2
exp
_
2
_
. (6)
2
p
2
p
2
-2 0 2 4 6 8 10 12 0.850.90.95 1 1.051.11.151.21.25
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
Figura: Distribucin emprica (histograma) de los estimadores

2
y

2
producidos via
simulacin con N = 1000 y 500 simulaciones; los parmetros reales son A = 0 y
2
= 1.
En general, el diseo de un estimador se realizar siguiendo un criterio de
optimalidad, el que habitualmente es el error cuadrtico medio mnimo (MMSE).
En general, el diseo de un estimador se realizar siguiendo un criterio de
optimalidad, el que habitualmente es el error cuadrtico medio mnimo (MMSE).
Denicin: Error Cuadrtico Medio
El error cuadrtico medio (MSE: Mean Square Error) entre un estimador

y se
dene como
mse(
) = E[(
)
2
]. (7)
Costo de emplear un estimador sesgado
El costo de emplear un estimador sesgado puede ser determinado directamente
de (7):
mse((
) = E[(
E[
] +E[
] )
2
] (8a)
= E[(
E[
])
2
] + 2E[(
E[
])](E[
] ]
. .
b()
) +E[(E[
] )
2
] (8b)
= Var(
) + 2b()(E[
] E[
]) + b
2
() (8c)
= Var(
)
. .
Varianza del Estimador
+ b
2
()
. .
Sesgo del Estimador
(8d)
La funcin b() representa el sesgo del estimador.
Son los Estimadores MMSE Realizables? (1)
Una de las dicultades centrales de un estimador mmse es que puede terminar
dependiendo del parmetro que queremos estimar, lo que lo hace no realizable.
Consideremos el estimador sesgado:
A = a
1
N
N1
n=0
x[n].
Consideremos el estimador sesgado:
A = a
1
N
N1
n=0
x[n].
Su valor esperado es E[
A] = a A = A + (a 1)A
. .
b(A)
y su error cuadrtico medio es
mse(
A) =
a
2
A
2
N
+ (a 1)
2
A
2
.
Cul es el valor de a que minimiza el mse(
A)?
dmse(
A)
da
= 2a
2
N
+ 2(a 1)A
2
= 0
a =
A
2
2
/N + A
2
.
Es habitual que la estimacin de parmetros via el criterio de error cuadrtico
medio mnimo arroje soluciones no realizables, por lo que en general no se
emplea en este tipo de problemas.
Cul es el valor de a que minimiza el mse(
A)?
dmse(
A)
da
= 2a
2
N
+ 2(a 1)A
2
= 0
a =
A
2
2
/N + A
2
.
Es habitual que la estimacin de parmetros via el criterio de error cuadrtico
medio mnimo arroje soluciones no realizables, por lo que en general no se
emplea en este tipo de problemas.
En su lugar, vamos a emplear un criterio de varianza mnima sujeto a la
restriccin
E[
] = . (9)
Existencia del Estimador Insesgado de Varianza Mnima
Necesitamos determinar si el estimador insesgado de mnima varianza (MVU:
minimum variance unbiased) existe, y cuando lo hace, nos gustara saber cmo
encontrarlo.
Existencia del Estimador Insesgado de Varianza Mnima
Necesitamos determinar si el estimador insesgado de mnima varianza (MVU:
minimum variance unbiased) existe, y cuando lo hace, nos gustara saber cmo
encontrarlo. En general, la existencia no est garantizada pues puede ser que el
estimador de varianza mnima sea
=
_
_
_
g
1
(x[0], . . . , x[N 1])
1
g
2
(x[0], . . . , x[N 1])
2
(10)
con =
1

2
.
Clculo del Estimador Insesgado de Varianza Mnima
El estimador insesgado de varianza mnima, aunque exista, puede resultar
bastante complejo de encontrar.
1
Cramer-Rao Lower Bound
Aunque no existe una tcnica precisa para hacerlo, al menos vamos a ver un
procedimiento que puede ayudarnos a encontrarlo:
1
1 Calcular la cota inferior de Cramer-Rao (CRLB)
1
y determinar si existe algn
estimador que la satisfaga.
1
1
2 Aplicar el teorema de Rao-Blackwell-Lehmann-Scheffe (RBLS)
1
1
2 Aplicar el teorema de Rao-Blackwell-Lehmann-Scheffe (RBLS)
3 Restringir aun ms la clase de estimadores no slo a ser insesgados pero
adems lineales, y determinar si el estimador de varianza mnima en este
nuevo conjunto.
1
1.2 Cota Inferior de Cramer-Rao
Cotas de Desempeo
Una manera de construir estimadores insesgados de varianza mnima es
determinando una cota para la varianza que un estimador cualquiera puede
tener.
Cotas de Desempeo
tener.
Si alguno de los estimadores que estamos considerando tiene una varianza igual
a la cota, habremos resuelto nuestro problema original.
Cotas de Desempeo
tener.
En el peor de los casos, es un punto de comparacin contra el cual podemos
comparar otros estimadores.
Cotas de Desempeo
tener.
En el peor de los casos, es un punto de comparacin contra el cual podemos
comparar otros estimadores.
Ms an, podremos utilizarlo para determinar si es fsicamente posible construir
un estimador MVU.
Cotas de Desempeo
Existe una gran cantidad de cotas para la varianza de un estimador, pero la cota
inferior de Cramer-Rao (CRLB) es una de las ms fciles de calcular.
Cotas de Desempeo
Existe una gran cantidad de cotas para la varianza de un estimador, pero la cota
inferior de Cramer-Rao (CRLB) es una de las ms fciles de calcular.
Precisin del Estimador (1)
La precisin de un estimador indica cun cercano se encuentra el estimador de
un parmetro a su valor real.
Ella depende de dos elementos:
(a) Los datos observados {x[0], x[1], . . . , x[N 1]}, y
(b) La f.d.p. que representa el comportamiento de las observaciones.
(b) La f.d.p. que representa el comportamiento de las observaciones.
Este segundo punto es esencial, pues su el parmetro que queremos determinar
depende en forma dbil de la densidad (o no depende), es difcil que podamos
concluir algo relevante respecto del parmetro desconocido.
Ejemplo:
Considere el proceso denido por
x[n] = A + w[n]
con w[n] N(0,
2
).
Ejemplo:
Considere el proceso denido por
x[n] = A + w[n]
con w[n] N(0,
2
).
La calidad del estimador
A = x[n] (11)
mejorar a medida que disminuye.
Otra forma de evaluar esta caracterstica del estimador es estudiando la funcin
de densidad de probabilidad del estimador.
Otra forma de evaluar esta caracterstica del estimador es estudiando la funcin
de densidad de probabilidad del estimador.
Si ella se encuentra ms concentrada en torno al parmetro A, el estimador

A
ser ms preciso.
Funcin de Verosimilitud
Cuando una medida de probabilidad es vista como una funcin de un
parmetros desconocido para una observacin dada x, recibe el nombre de
funcin de verosimilitud.
En el caso del ejemplo recin visto, la funcin de verosimilitud es
p(x[0]; A) =
1
2
2
exp
_
1
2
2
(x[0] A)
2
_
, para todo A R. (12)
En el caso del ejemplo recin visto, la funcin de verosimilitud es
p(x[0]; A) =
1
2
2
exp
_
1
2
2
(x[0] A)
2
_
, para todo A R. (12)
La precisin de la funcin de verosimilitud puede ser cuanticada calculando la
curvatura de la funcin log-verosimilitud.
Precisin Funcin de Verosimilitud (1)
La curvatura de la funcin log-verosimilitud corresponde al negativo de la
segunda derivada del logaritmo natural de la funcin de verosimilitud.
En el ejemplo,
lnp(x[0]; A) =
1
2
ln(2
2
)
1
2
2
(x[0] A)
2
(13a)
En el ejemplo,
lnp(x[0]; A) =
1
2
ln(2
2
)
1
2
2
(x[0] A)
2
(13a)
En el ejemplo,
lnp(x[0]; A) =
1
2
ln(2
2
)
1
2
2
(x[0] A)
2
(13a)
En el ejemplo,
lnp(x[0]; A) =
1
2
ln(2
2
)
1
2
2
(x[0] A)
2
(13a)
lnp(x[0]; A)
A
=
1
2
(x[0] A) (13b)
2
lnp(x[0]; A)
A
2
=
1
2
(13c)
Luego, la curvatura aumenta a medida que disminuye.
Dado que la funcin de verosimilitud depende del valor de la observacin, es
una variable aleatoria tambin.
Luego, consideraremos la siguiente medida de precisin del estimador:
E
_
2
ln p(x[0], . . . , x[N 1]; )
2
_
, (14)
que mide la curvatura promedio de la funcin de log-verosimilitud.
Luego, consideraremos la siguiente medida de precisin del estimador:
E
_
2
ln p(x[0], . . . , x[N 1]; )
2
_
, (14)
que mide la curvatura promedio de la funcin de log-verosimilitud.
NOTA: El valor esperado debe ser calculado con respecto a x.
Cota Inferior de Cramer-Rao (1)
Teorema
Consideremos una f.d.p. p(x; ) que satisface la condicin de regularidad:
E
_
lnp(x; )
_
= 0, para todo . (15)
Entonces, la varianza de cualquier estimador insesgado

satisface
Var(
)
1
E
_

2
lnp(x; )
2
_
, (16)
donde la derivada es evaluada en el parmetro correcto .
Contn Teorema
Adems, existe un estimador insesgado que alcanza la cota, esto es, para el cual
Var(
) =
1
E
_

2
lnp(x; )
2
_
, (17)
para todo , si y slo si
lnp(x; )
= I()(g(x) ) (18)
para alguna funcin real g e I.
Contn Teorema
Adems, existe un estimador insesgado que alcanza la cota, esto es, para el cual
Var(
) =
1
E
_

2
lnp(x; )
2
_
, (17)
para todo , si y slo si
lnp(x; )
= I()(g(x) ) (18)
para alguna funcin real g e I. En este caso, el estimador insesgado de varianza
mnima es
= g(x), y Var(
) =
1
I()
. (19)
Ejemplo de Aplicacin (1)
Consideremos que tenemos mltiples observaciones de un voltaje A mediante
un sensor cuya medicin es ruidosa y puede ser modelada de la siguiente forma:
x[n] = A + w[n], n = 0, 1, . . . , N 1,
donde w[n] N(0,
2
).
Problema: Calcular la CICR para A:
Paso 1: Determinar la funcin de verosimilitud del parmetro que queremos
estimar:
p(x; A) =
N1
n=0
1
2
2
exp
_
1
2
2
(x[n] A)
2
_
=
1
(2
2
)
N/2
exp
_
1
2
2
N1
n=0
(x[n] A)
2
_
.
Paso 2: Calcular la curvatura de lnp(x; A):
lnp(x; A)
A
=
1
2
_
N1
n=0
x[n] N A
_
2
lnp(x; A)
A
2
=
N
2
.
Paso 3: Vericamos condiciones de regularidad.
E
_
lnp(x; A)
A
_
=
1
2
_
N1
n=0
E[x[n]] N A
_
= 0.
Por el Teorema de la CICR podemos concluir entonces que cualquier estimador
insesgado de A debe satisfacer que:
Var(
A)

2
N
.
Por el Teorema de la CICR podemos concluir entonces que cualquier estimador
insesgado de A debe satisfacer que:
Var(
A)

2
N
. (20)
Resulta fcil vericar que
A =
1
N
N1
n=0
x[n] (21)
es un estimador de mnima varianza y, por lo tanto, satisface
Var
A =

2
N
. (22)
Ideas para madurar
En esta clase hemos visto la importancia de utilizar estimadores insesgados.
Hemos presentado un resultado (Cota Inferior de Cramer Rao) que puede

ayudarnos a determinar buenos estimadores.
Lecturas
Steven M. Kay. Fundamentals of Statistical Signal Processing: Volume 1 -

Estimation Theory, Captulos 2 y 3.1-3.5.

Clase 03

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Clase 03

Uploaded by

Copyright:

Available Formats

EL7002 - Estimacin y Deteccin

Clase No.2: Estimacin Insesgada de Varianza Mnima

En esta clase hemos visto la importancia de utilizar estimadores insesgados.

Hemos presentado un resultado (Cota Inferior de Cramer Rao) que puede

Steven M. Kay. Fundamentals of Statistical Signal Processing: Volume 1 -

You might also like