1

UNIVERSIDAD DE LOS ANDES

Facultad de Ingeniera
Departamento de Ingeniera Industrial

Probabilidad y Estadstica I

Sesin # 21
Estimacin Puntual
Estimadores de Mxima Verosimilitud

Mario Castillo (Coordinador General Curso)

2
Motivacin
1 si un estudiante practica habitualmente algn deporte
Sea X la VA: X =
0 si no lo hace

y (X
1
,,X
n
) una MA de tamao n de X, y (x
1
,x
2
,,x
n
) el valor especfico de la MA.
X es una VA con distribucin Bernoulli de parmetro p, donde p = P (X = 1);
se sabe que la f.p. de X est dada por:

g
X
(x; p) = p
x
(1- p)
1- x
, x = 0, 1 ; E(X; p) = p

Estamos interesados en estimar el parmetro p a partir de la MA x
1
,x
2
,,x
n
.

Sabiendo que X es Bernoulli de parmetro p, cul es la probabilidad de que la MA
x
1
,x
2
,,x
n
se

haya producido?


Estimadores de Mxima Verosimilitud
3
Motivacin: Ntese que







Tomemos un caso particular sobre la prctica de un deporte, en el que tomamos una
MA de tamao 10. Supongamos que esa muestra result ser (0,1,0,0,1,0,0,1,0,0) y
que NO CONOCEMOS p. Se trata de hallar el valor de p que maximiza la
probabilidad de que el resultado anterior se produzca. Esa probabilidad est dada
por:

p
3
(1- p)
10-3
= p
3
(1-p)
7
Estimadores de Mxima Verosimilitud

=

= = =
=
=
= = = = =
= = = =
[
[ [ [
i
x n
i
x
n
i
i
x
i
x
n
i
i X
n
i
i
n
i
i i
n n n
p p
p p
p x g p x X P x X P
x X x X x X P x x x P
) 1 (
) 1 (
) ; ( ) ; ( ) (
) ,..., , (( ) produzca se ) ,..., , ((
1
1
1 1 1
2 2 1 1 2 1
4
Estimadores de Mxima Verosimilitud
ESTIMACIN POR MXIMA VEROSIMILITUD
p 1-p prob. muestra
0.5 0.5 0.000977
0.1 0.9 0.000478
0.2 0.8 0.001678
0.3 0.7 0.002224
0.4 0.6 0.001792
0.5 0.5 0.000977
0.6 0.4 0.000354
0.7 0.3 0.000075
0.8 0.2 0.000007
0.9 0.1 0.000000
1.0 0.0 0.000000
0.000000
0.000500
0.001000
0.001500
0.002000
0.002500
1.00 3.00 5.00 7.00 9.00
Serie1
= p
3
(1- p)
7
Ntese que esta probabilidad se maximiza

cuando = 0.3 = 3/10 = => =
p

X X
MA: (0,1,0,0,1,0,0,1,0,0)
5
Estimadores de Mxima Verosimilitud
Se trata de maximizar la Funcin de Verosimilitud L(p;x
1
,x
2
,,x
n
) con respecto al
parmetro p.
0
0
) 1 (
) 1 (

1

0
1

)] 1 ln( ) ( ln [
)] 1 ln( ) 1 ( ln ( [
) ( ln

) ,..., ; ( funcin la maximiza que p de valor
) 1 (
) 1 ( ) ; ( ) ,..., ; (
1
1
1
1
1
= =
=

+
=

+ =
=

=
c
+ c
=
c
+ c
=
c
c
=

=
= =

[ [

=
pn x
p p
pn x p x p
p
n x
p
x
p
x n
p
x
p
p x n p x
p
p x p x
p
p L
x x p L p
p p
p p p x g x x p L
i
i i
i i
i i
i i
i i
n
x n x
n
i
x x
n
i
i X n
i i
i i
X
n
x
p
i
= =

6
Definicin: Sea X una poblacin con fdp f
x
(x,) y x
1
,,x
n
una MA de X.
El estimador del parmetro que maximiza la Funcin de Verosimilitud

L(; x
1
,,x
n
)


se conoce como el ESTIMADOR DE MAXIMA VEROSIMILITUD del parmetro .
Es decir:

PROCEDIMIENTO para hallar el EMV del parmetro de una poblacin X con fdp f
x
(; ).

1. Hallar y representar explcitamente la FV L(; x
1
,,x
n
). Simplificarla hasta donde sea
posible, dejndola en funcin de estadsticas conocidas si es posible.
2. Hallar el valor de que maximiza L(; x
1
,,x
n
). Dicho debe quedar en funcin de la MA y
de parmetros conocidos.
Para maximizar L(; x
1
,,x
n
),
derive L(; ) si es posible , si ello facilita la cosas,
derive el ln L(; ).

El valor que maximiza L(; x
1
,,x
n
), es el EMV del parmetro


) ,..., , (
2 1 n
X X X H = u

) ; (
1
u
[
=
=
n
i
i x
x f
) ,..., ; ( ) ,..., ; ( max
1 1 n n
x x L x x L u u
u

=
Estimadores de Mxima Verosimilitud
u

7
Ejemplo 1: Ya demostramos que el EMV del parmetro p de una de distribucin de
Bernoulli de parmetro p, est dado por:

Ejemplo 2: EMV de la media de una distribucin de Poisson, con fp:

Desarrollo:
n x e
x
x g
x
X
,..., 0 , 0 ,
!
) , ( = > =

n
n
i
i
-
n
i i
i
x
n
i
i x n
e
x
L
e
x
x g x x L

=
=
[
[
[
=
=
=
1
i
x
1
1
1
!
) (

!

) ; ( ) ,..., ; ( : 1 Paso
Estimadores de Mxima Verosimilitud
x n
x
n
x
x n x
L
i
i
n
i
i i
= =
=
=
c
c
=
c
c

[
=

0
0
] ) ! ln( ln [
) ( ln
: 2 Paso
1
X
n
x
p
i
= =

Por tanto, EMV de la media de una distribucin de Poisson es

x =

Estimadores de Mxima Verosimilitud

Propiedades de los estimadores

INVARIANZA: si es el EMV del parmetro de una poblacin X con fdp f
x
(x; ) =>
El EMV del parmetro g() es , siempre que g(.) sea una funcin real,continua.

ASINTTICA: si es el EMV del parmetro , de una poblacin X con fdp f
x
(x; ) y
se tiene una Muestra Aleatoria con n suficientemente grande, el estimador tiene
aproximadamente una distribucin normal N(, 1/B).

g(

|
|
.
|

\
|
(

c
c
=
2
) ; ( ln nE B donde en u
u
X f
X
Ejercicios recomendados:

1. Sea X [0, ], > 0. Hallar el EMV del parmetro .

2. Sea X N(,
2
). Hallar los EMV para
2
y para .

. .D U
9
Ejemplo
EMV del Parmetro de una VA U.D. en el intervalo [0, ]
Se sabe que los ingresos anuales en dlares de las familias de cierto barrio de
una ciudad mexicana estn uniformemente distribuidas en el intervalo [0, u]. Se
ha tomado una MA de 10 familias del barrio obteniendo los siguientes
resultados:

Familia (i) Ingresos (x
i
)
1 35.000
2 89.000
3 94.000
4 65.000
5 78.000
6 110.000
7 150.000
8 180.000
9 120.000
10 49.000

Calcular con base en esta MA el valor estimado para el parmetro u.
10
Ejemplo
EMV del Parmetro de una VA U. D. en el intervalo [0, ]
Hay que utilizar L(u;x
1
, x
2
, ... x
n
) y para ello necesitamos la FDP f
X
( . ; u) de la poblacin X, la cual est
uniformemente distribuida en el intervalo [0, u] y por tanto,

1
0
1
) ; x ( f
X
=

= para 0 s x s u

Tenemos entonces que para un valor fijo (x
1
, x
2
, ... x
n
) de una MA la FV L(u) est dada por:

n
n
i
n
i
i X n
x f x x x L
u u
u u
1 1
) ; ( ) ..., , , ; (
1 1
2 1
= = =
[ [
= =

Se quiere encontrar un estimador

= H(X
1
, X
2
, ... X
n
) tal que L(u;x
1
, x
2
, ... x
n
) =
n

1
tome el mximo como una
funcin de u.

Pero ntese que, para todo i, x
i
s u, luego u > max (x
1
, x
2
, ... x
n
). Si queremos maximizar L(u; x
1
, x
2
, ... x
n
) =
n

1
, debemos tomar el valor u lo ms pequeo posible, es decir, u = max (x
1
, x
2
, ... x
n
). Por tanto, el EMV para
el parmetro u estar dado por:

= max (x
1
, x
2
, ... x
n
)

11
Otros Ejercicios Recomendados


3. Sea X [0, ], > 0. Hallar la fdp del estimador y establecer sus
caractersticas.

(Ayuda: Si X es una VA continua con FDA F
X
y FDP f
X,
y X
1
, X
2
, , X
n
es una MA de
X,entonces, la estadstica M = mx (X
1
, X
2
, , X
n
) tiene FDP: f
M
(x) = n [F
X
(x)]
n -1
f
X
(x) )


4. Sea X
1
, X
2
, .., X
n
una muestra aleatoria de una distribucin exponencial con
parmetro desconocido . Encuentre el estimador de mxima verosimilitud del
parmetro .




. .D U