El siguiente material se encuentra en etapa de correccin y no deber

ser considerado una versin final.

Para hacer comentarios y sugerencias, o reportar errores, enviar mail
a Alejandro D. Zylberberg <alejandro@probabilidad.com.ar>
Versin Actualizada al: 23 de julio de 2004

CAPTULO XI
Estimacin bayesiana
En los captulos 8, 9 y 10 estudiamos lo que se conoce como estadstica clsica.
Hay, sin embargo, otra filosofa de la estadstica, denominada estadstica bayesiana.
La estadstica bayesiana tiene la caracterstica de que permite utilizar en la
estimacin de un parmetro el conocimiento previo que se tenga acerca del
parmetro. En la estadstica clsica, toda la informacin se obtiene de la muestra, y
antes de tomar la muestra no se sabe nada. En la estadstica bayesiana, se puede
tener en cuenta para la estimacin, adems de los valores de la muestra, otra
informacin subjetiva que se conozca previamente.
Por ejemplo, al estimar el parmetro p de una distribucin binomial, si sabemos
que el valor de p desconocido que estamos estimando est ms cerca del uno que
del cero, la estadstica bayesiana nos permitir incorporar dicho conocimiento a
la estimacin. Eso influir en el resultado de la estimacin, por lo cual la
estimacin bayesiana resulta sumamente controvertida. Es sumamente polmico
que nuestro conocimiento subjetivo acerca del parmetro pueda influir en la
estimacin.
La forma de incorporar ese conocimiento previo en la estimacin es comenzando
por considerar que el parmetro desconocido no es una constante (como indica la
estadstica clsica) sino que es una variable aleatoria , teniendo consecuentemente
una distribucin de probabilidad.
Entonces, antes de tomar la muestra, proponemos una distribucin para el
parmetro . Esa distribucin, que se nota f , se denomina " distribucin a priori ",
porque describe nuestro conocimiento subjetivo antes de tomar la muestra. Como
podemos elegir arbitrariamente la distribucin a priori, en esa eleccin tenemos la
oportunidad de plasmar la informacin que tengamos acerca del parmetro.

Retomando el ejemplo de la estimacin de un parmetro p que sabemos que es

cercano a uno, podramos elegir como distribucin a priori una distribucin
triangular apoyada en el 1:

2
f =
0

0 < <1
otro

Vemos adems que dicha distribucin tiene valores no nulos solamente para
entre cero y uno, con lo cual tambin est incorporando nuestro conocimiento de
que el parmetro p es un nmero entre cero y uno, y cualquier otro valor es
imposible.
Luego de fijada la distribucin a priori, se toma la muestra. La misma consta de los
n valores x 1..x n.
Seguidamente, se construye la funcin de verosimilitud de la muestra, que como las
n variables X i son independientes, consiste en el producto de las n funciones de
densidad de las X i dado el parmetro:

fM

= fX

... f X

=
n

i =1

fX

Lo que estamos buscando es la distribucin del parmetro luego de tomar en cuenta

la muestra. Es decir, la distribucin " a posteriori " f /M. Mediante la definicin de
distribucin condicional podemos escribir:

=
M

fM

fM

Notemos que lo que est en el numerador es la distribucin conjunta f M. Es la

distribucin conjunta de dimensin n+1 de las variables , X 1, X 2, ..., X n. El
denominador se obtiene marginando el numerador para eliminar la variable de la
distribucin conjunta. Es decir:

fM =

f M d =

fM

f d

Vemos que podemos calcular el denominador a partir del numerador. Sin embargo,
como el denominador no depende de , lo podemos ver como una simple
constante que divide al numerador para que la integral de f /M cierre a uno. Luego,
escribiremos simplemente:

= k fM

donde k es una constante para que la expresin resulte efectivamente ser una
funcin de densidad (o sea que cierre a uno).
Obtuvimos de esa forma la distribucin de dada la muestra, que luego podremos
usar para estimar el valor de , por ejemplo tomando la esperanza de la distribucin
obtenida.
La estimacin bayesiana permite obtener buenos resultados aunque la muestra sea
chica, porque al elegir la distribucin a priori podemos guiar la "tendencia" del valor
del parmetro. Si la distribucin que elegimos a priori es buena y refleja la realidad,
entonces estamos partiendo de valores cercanos al real, y la estimacin necesitar
menos muestras para "aprender" la ubicacin del parmetro, y por lo tanto con
igual tamao de muestra se puede llegar a resultados ms precisos.
En resumen, las principales caractersticas de la estimacin bayesiana son:
El parmetro desconocido a estimar no es una constante sino una variable
aleatoria.
La estimacin bayesiana permite usar el conocimiento subjetivo previo que se
tenga acerca del parmetro, mediante la eleccin arbitraria de la distribucin a priori f
.
No nos quedan valores imposibles en la estimacin, ya que podemos darle a la
distribucin a priori valores de densidad de probabilidad no nulos solamente para
los valores posibles del parmetro.
La estimacin bayesiana permite obtener buenos resultados con muestras ms
pequeas, porque la distribucin no tiene que aprender la tendencia desde el
comienzo, sino que puede partir con una tendencia prestablecida. Si la distribucin
a priori elegida es buena, entonces se convergir al resultado ms rapidamente con
una menor cantidad de valores.
La distribucin del parmetro luego de tomar en cuenta la muestra se conoce
como distribucin a posteriori, y se obtiene de:

= k fM

Todo esto vale tambin para distribuciones discretas, usando donde corresponda
funcin de probabilidad y sumatoria en vez de funcin de densidad e integral.
Para algunas distribuciones en particular se sabe cul es la distribucin a priori
que conviene tomar para el parmetro. Esos casos se desarrollan en las siguientes
secciones de este captulo.

Ejemplo

Se desea estimar bayesianamente el parmetro "a" de la distribucin:

2x

f / (x) = a 2
Xa
0

0< x< a
otro x

Se sabe que "a" est entre 2 y 6. Se toma una muestra de tamao 10,
obtenindose los valores: 2.83, 2.35, 4.88, 4.39, 3.18, 4.13, 2.23, 4.32, 2.58,
2.36
Resolucin
Como sabemos que "a" est entre 2 y 6, pero no tenemos ninguna otra informacin,
propondremos a priori para "a" una distribucin uniforme entre 2 y 6:

1
fa = 4
0

2< a<6
otro a

A continuacin escribimos la funcin de densidad de la muestra dado a:

fM

= fX

... f X
a

=
n

i =1

fX

=
i

i =1

2 xi
2n
=
a2
a 2n

i =1

xi

lo cual es vlido para el dominio 0 < x 1 < a ... 0 < x n < a.

Luego escribimos la distribucin conjunta de la muestra con el parmetro:

fM

2n
f a = 2 n
a

i =1

n2
1
2
x i = 2 n
a
4

i =1

xi

lo cual es vlido para el dominio 0 < x 1 < a ... 0 < x n < a 2 < a < 6.
Vemos que para que se cumplan todas las inecuaciones, a debe ser mayor que
todas las x i. Luego, simplificando, el dominio nos queda: max[x i] < a < 6.
A la expresin hallada para f M/a fa la tendramos que dividir por f M para obtener f a/M ,
pero como se dijo antes, no hace falta hacerlo ya que f M no depende de a y
entonces puede ser visto como una mera constante multiplicativa destinada a que la

integral de f a/M cierre a 1.

De hecho, otra observacin que podemos hacer con respecto a la expresin hallada
es que tanto 2 n-2 como la productoria no dependen de a, y aparecen multiplicando a
a-2n . Luego, podemos quedarmos solamente con a -2n considerando al resto una
constante multiplicativa que no depende de a y solamente sirve para que la funcin
de densidad cierre a uno. Es decir:

fM

2 n2
fa = 2n
a

x
n

i =1

=c

1
= c a 2n
2n
a

En conclusin, la funcin de densidad a posteriori que nos queda para a es:

fa

= k fM

f a = k c a 2 n = k ' a 2 n

(juntamos las constantes k y c en una nica constante k').

Ahora escribimos formalmente la funcin de densidad a posteriori:

fa

k ' a 2 n
=
0

m a x [x i ] < a < 6

i =1 ,..., n

otro a

Con respecto a la muestra, el tamao es 10, es decir, n = 10, y el mximo de la

muestra vale:

m a x [x i ] = 4 . 88

i =1 ,..., n

Queda:

fa

k ' a 20
=
0

4 . 88 < a < 6
otro a

Slo falta integrar para encontrar el valor de k':

f a da =
M

k'a

20

=>

k ' = 2 . 33 10 14

4 . 88

Finalmente, queda:

fa

da = 1

2 . 33 10 14 a 20
=
0

4 . 88 < a < 6
otro a

Estimacin puntual
Una vez obtenida la distribucin a posteriori de , podemos estimar el verdadero
valor de de diferentes formas, por ejemplo dando un valor. Eso se denomina
estimacin puntual y fue estudiado en el captulo 8. La estimacin puntual bayesiana
consiste por lo general en tomar como estimacin del parmetro la esperanza de la
distribucin a posteriori. El estimador puntual bayesiano del parmetro se nota *.
Ejemplo

Con los datos del ejemplo anterior, la estimacin puntual resulta ser:
*

( /

)=

2 . 33 10 14

20

= 5 . 13

4 . 88

Intervalo de confianza
El intervalo de confianza bayesiano para la estimacin de un parmetro est
determinado por los lmites L 1 y L 2 que dejan un rea de /2 a la izquierda y la
derecha de la distribucin a posteriori respectivamente, donde 1 - es el nivel de
confianza.
Ejemplo
Con los datos del ejemplo, el intervalo del 90% de confianza ( = 0.1) para estimar
"a" viene dado por L 1 y L 2, tales que:
L1

2 . 33 10

14

a 20 da = 0 . 05

4 . 88
6

2 . 33 10

14

a 20 da = 0 . 05

L2

Haciendo las cuentas, nos queda que L 1 = 4.893 y L 2 = 5.618

Luego, el intervalo del 90% de confianza para estimar "a" es (4.893 ; 5.618).

Problemas tpicos
1) Se desea estimar bayesianamente el parmetro "a" de la distribucin
X:U(a;4). Para eso se toma una muestra de tamao 3, obtenindose los
valores 0.5, 1, 2. Se sabe que a es un valor positivo y cercano a cero. Haga
una estimacin puntual de a, y d tambin un intervalo del 95% de confianza.
Resolucin
La distribucin cuyo parmetro "a" queremos estudiar es:

1
f X /a (x) = 4 a
0

a< x< 4
otro x

Tenemos que proponer una distribucin a priori para el parmetro "a". Por alguna
razn sabemos que "a" es un valor positivo y cercano a cero. Observando la
distribucin de X, notamos tambin que los valores de "a" deben ser menores que

4.
Entonces nuestro conocimiento previo sobre "a" se resume as: a estar entre el
cero y el cuatro, y probablemente cerca del cero.

Con dicho conocimiento previo, proponemos la siguiente distribucin a priori para

"a":

4 a
fa = 8
0

0<a<4
otro a

A continuacin, notaremos que los valores de la muestra que vamos a tomar son las
variables aleatorias X 1...X n distribuidas segn:

f X ( x) = 4 a
i
0

a < xi < 4
otro x i

Luego, la distribucin de la muestra dado "a" es:

fM

= fX

... f X
a

=
n

1
(4 a )n

lo cual es vlido para a < x 1 < 4, a < x 2 < 4, etc. Es decir, a < min(x i).
La distribucin conjunta f Ma es:

f Ma = f M

fa =

1
4a
1
=
(4 a )n
8
8 ( 4 a ) n 1

La distribucin a posteriori para "a" es:

fa

= k fM

fa =

k
8 ( 4 a ) n 1

El dominio de esa funcin ser la interseccin de las condiciones de f M/a , es decir, a

< min(x i), y las condiciones de f a, es decir, 0 < a < 4. Como la distribucin de las X i
va entre el cero y el cuatro, min(x i) < 4.
En resumen, el dominio resultante es 0 < a < min(x i).
Como el mnimo de la muestra es 0.5, min(x i) = 0.5.
Queda:

fa

= 8 (4 a )2

0 < a < 0 .5
otro a

Haciendo la cuenta para que la integral cierre a uno, obtenemos que k = 224.
Luego nuestro resultado final es:

fa

28

= (4 a )2

0 < a < 0 .5
otro a

Ahora vamos a hacer la estimacin puntual:

a = E (a / M ) =
*

fa

da =
M

0 .5

( 428 aa)

da = 0 . 261

Y ahora vamos a calcular el intervalo del 90% de confianza:

L1

( 4 28a )

da = 0 . 05

0 .5

( 4 28a )

da = 0 . 05

L2

Haciendo las cuentas, nos queda que L 1 = 0.0284 y L 2 = 0.4780

Luego, el intervalo del 90% de confianza para estimar "a" es (0.0284 ; 0.4780).
2) La variable aleatoria discreta X tiene la siguiente distribucin:

2w
3
w

PX / w ( x ) = 2
1 w

3 6
0

x =1
x=2
x=3
otro x

donde w es un nmero real entre 0 y 2. Se sabe adems que es ms probable

que w se encuentre cerca del 2 que del 0. Para estimar bayesianamente el
parmetro w, se toma una muestra de 4 valores de X obtenindose: 2, 1, 3, 2.
Haga una estimacin puntual de w, y determine tambin un intervalo del
95% de confianza.

Resolucin
Como w es un nmero real entre 0 y 2, y adems es ms probable que w se
encuentre cerca del 2 que del 0, podemos plantear, por ejemplo, la siguiente
distribucin a priori:

w
fW ( w ) = 2
0

0< w< 2
otro a

A continuacin, notaremos que los valores de la muestra que vamos a tomar son las
variables aleatorias X 1...X n distribuidas segn:

2 w
3
w

PXi / w ( x i ) = 2
1 w

3 6
0

xi = 1
xi = 2
xi = 3
otro x i

La distribucin de la muestra dado w es:

PM

= PX

... PX
w

Usando la muestra, podemos evaluar las P Xi/w en los correspondientes x i:

PM

= PX

= PX

( x 1 ) PX
w

( 2 ) PX

( x 2 ) PX
w

(1) PX
w

( 3 ) PX
w

( x 3 ) PX
w

(2) =
4

( x4 ) =

w 2 w1 w w

2
3 3 6 2

Simplificando un poco se obtiene:

PM

=
w

w2
18

1 w + w
4

La distribucin conjunta de la muestra con el parmetro es:

PM

f w = PM

w
w 3
w 2
=
1 w +

2
36
4

La distribucin a posteriori es:

fw

= k PM

Es decir:

fw

k w3

= 36

fw
2

1 w + w
4

Hallamos el valor de k:

fw

da =
0

k w 3
w2

+
1 w
36
4

0< w<2
otro w

dw = 1

Luego, la distribucin a posteriori es:

fw

15

w2
3

+
= 4 w 1 w
4

Hacemos la estimacin puntual:

0< w<2
otro w

=>

k = 135

w = E (W / M ) =
*

15 3
w 2
dw = w
w 1 w +
da = 1 . 14
4
4

0
2

fW

Hallamos el intervalo del 95% de confianza:

15 3
w2

+
4 w 1 w 4

da = 0 . 025

15 3
w2

+
4 w 1 w 4

L2

da = 0 . 025

L1

Haciendo las cuentas, nos queda que L 1 = 0.446 y L 2 = 1.764

Luego, el intervalo del 95% de confianza para estimar w es (0.446 ; 1.764).
3) Una mquina produce piezas cuyo peso est dado por la siguiente
distribucin:

1 x

f ( x) = e
X

x>0
x0

La mquina tiene una perilla que permite seleccionar el valor de . Pero un

da la perilla se rompe, y el operario no sabe si qued ajustada en = 5 en
= 8. Sabe que una de las dos es correcta, pero no est seguro de cul.
Mirando la perilla rota, le parece que = 8 es el doble de probable que =
5. Para sacarse la duda, toma una muestra de 6 piezas producidas por la
mquina y obtiene los siguientes pesos: 17.22, 3.49, 9.57, 1.36, 0.91, 20.86.
Qu puede informar?
Resolucin
Si las nicas dos opciones son = 5 y = 8, y adems = 8 es el doble de
probable que = 5, entonces se puede fijar la siguiente distribucin a priori para el
parmetro :

1 / 3

P ( ) = 2 / 3
0

=5
=8

otro

Los pesos de las piezas que toma el operario son las variables aleatorias X 1...X n
distribuidas segn:

f
Xi

1 xi
e
=
( xi )
0

xi > 0
xi 0

La distribucin de la muestra dado es:

fM

= fX

... f X

1
=
n

e
n

xi

i =1

La distribucin conjunta de la muestra con el parmetro es:

fM

x
1
n
i

e
n
3 i =1
x
2
n
i
=

e
n
3 i =1
0

=5
=8
otro

La distribucin a posteriori para es:

= k fM

f
M

n
i
1

k
e
n
3 i =1
x

n
i
2
= k

e
n
3 i =1
0

=5
=8
otro

Ahora vamos a usar la informacin de la muestra. Ponemos n = 6 y reemplazamos

los x i por los valores obtenidos.
i
xi
e-xi/5
e-xi/8
1 17.22 0.0319 0.1162
2
3.49 0.4976 0.6465
3
9.57 0.1475 0.3023
4
1.36 0.7619 0.8437
5
0.91 0.8336 0.8925
6 20.86 0.0154 0.0737

1 1
3 5n
2 1
3 8n

xi
5

xi
8

1 1
2 . 29544 10 5 = 4 . 89694 10 10
6
35

2 1
= 3 . 2056 10 9
0
.
0012605
3 86

i =1
n

i =1

Para que la distribucin cierre a 1, k = 2.7061 10 8. Queda:

f
M

0 . 1325

= 0 . 8675
0

=5
=8
otro

La opcin = 8 qued mucho ms probable que la opcin = 5. Entonces la

opcin correcta es probablemente = 8.

Este material se encuentra en etapa de correccin y no deber ser

considerado una versin final.
Para hacer comentarios y sugerencias, o reportar errores, enviar mail
a Alejandro D. Zylberberg <alejandro@probabilidad.com.ar>
Versin Actualizada al: 23 de julio de 2004