Modelos Lineares Mistos Normais - Estimao via Algoritmo EM Vanessa Souza Santos 28 de fevereiro de 2014

Mtodos Computacionais para Estatstica

Vanessa Souza Santos

Mtodos Computacionais

28 de fevereiro de 2014

1 / 20

Contedo
1 2 3

Introduo O Modelo Linear Misto Algoritmo EM Passo E Passo M Estudo de Simulao Referncias

4 5

Vanessa Souza Santos

Mtodos Computacionais

28 de fevereiro de 2014

2 / 20

INTRODUO

Introduo
Modelo de Regresso Linear

Yi = Xi + i
Os Modelos Lineares Mistos so modelos de regresso que tem como principal caracterstica uma mistura de efeitos (efeitos xos + efeitos aleatrios). Dessa forma, aumenta o grau de complexidade de estimao por mxima verossimilhana para esses modelos. Uma das solues para a estimao dos parmetros para esse problema utilizar mtodos iterativos. Neste trabalho, faremos a estimao dos parmetros do Modelo Linear Misto, usado um mtodo iterativo conhecido como ALGORITMO EM.
Vanessa Souza Santos Mtodos Computacionais 28 de fevereiro de 2014 3 / 20

O MODELO LINEAR MISTO

O Modelo Linear Misto

Um modelo estatstico proposto para os Modelos Lineares Mistos denido da seguinte forma

Yi = Xi + Zi bi + i

i = 1, . . . , n

onde: Yi : o vetor ni 1 de observaes no i-simo grupo; Xi : a matriz ni p de planejamento dos efeitos xos no i-simo grupo ; : o vetor p 1 de efeitos xos; Zi : a matriz ni q de planejamento dos efeitos aleatrios no i-simo grupo; bi : o vetor q 1 de parmetros aleatrios no i-simo grupo; i : o vetor ni 1 de erros aleatrios no i-simo grupo.
Vanessa Souza Santos Mtodos Computacionais 28 de fevereiro de 2014 4 / 20

O MODELO LINEAR MISTO

Os vetores aleatrios bi e i tem distribuio normal bivariada, tal que

bi
i

Nn i + q

0 0

D 0 0 i

(1)

O vetor de efeitos aleatrios e o vetor de erro aleatrio na i-sima observao tm distribuio normal com mdia zero e so no correlacionados. As matrizes de covarincias D e i so respectivamente, compostas de elementos e elementos nas suas diagonais principais, onde

bi i

D = D()

i = i ( )

Vanessa Souza Santos

Mtodos Computacionais

28 de fevereiro de 2014

5 / 20

O MODELO LINEAR MISTO

Nos modelos mistos, o vetor bi so formados por variveis aleatrias, dessa forma, precisamos denir o modelo hierrquico como Y|bi N (Xi + Zi bi , i ) A esperana e a varincia condicional da varivel aleatria Yi |bi respectivamente E [Yi |bi ] = Xi + Zi bi e Var [Yi |bi ] = i

Assim, podemos obter a distribuio marginal de Yi : E [Yi ] = E [E (Yi |bi )] = E [Xi + Zi bi ] = Xi Var [Yi ] = E [Var (Yi |bi )] + Var [E (Yi |bi )] = Zi DZi + i = Vi tal que Yi NN (Xi , Vi ).
Vanessa Souza Santos Mtodos Computacionais 28 de fevereiro de 2014 6 / 20

O MODELO LINEAR MISTO

Por denio, a densidade da distribuio normal multivariada de Yi |bi da seguinte forma

f (Yi |bi ) =

1
(2 )ni /2 |i |1/2

1 1 exp (Yi Xi Zi bi ) i (Yi 2 Xi Zi bi )}

onde = ( , , ) . Assim, como a distribuio de bi conhecida, tal que bi N (0, D), por denio sua densidade
f (bi ) = (2 )ni /2 |D|1/2

1 exp bi D1 bi 2

Vanessa Souza Santos

Mtodos Computacionais

28 de fevereiro de 2014

7 / 20

O MODELO LINEAR MISTO

Portanto, fcil obter a funo de densidade conjunta de Yi e bi atravs da seguinte expresso

f (Yi , bi ) = f (Yi |bi )f (bi )

Ento, a funo densidade conjunta de Yi e bi

f (Yi , bi ) =

1
(2 ) 2 |D|1/2 |i |1/2
ni

1 1 exp (Yi Xi Zi bi ) i 2

(Yi Xi Zi bi ) + bi D1 bi

Vanessa Souza Santos

Mtodos Computacionais

28 de fevereiro de 2014

8 / 20

O MODELO LINEAR MISTO

Sob essas condies, a funo de log-verossimilhana da conjunta (ou log-verossimilhana para dados completos) de Yi e bi
n

l ( |Y, b) =
i =1

ni

log(2 )

1 1 1 log |D| log |i | (Yi 2 2 2

1 1 1 Xi Zi bi ) i (Yi Xi Zi bi ) bi D bi 2

Nesse contexto, a varivel bi por no ser observada, considerada como uma varivel latente no modelo, caso contrrio, a funo de log-verossimilhana para os dados observados ca com dados incompletos.

Vanessa Souza Santos

Mtodos Computacionais

28 de fevereiro de 2014

9 / 20

ALGORITMO EM

Algoritmo EM
Em geral, o algoritmo EM (Expectation-Maximization) um procedimento iterativo que converge para o EMV (Estimador de Mxima Verossimilhana). A ideia bsica do Algoritmo EM completar os dados, ou seja, substituir os valores faltantes por valores estimados, o que torna o processo de maximizao mais fcil. Este algoritmo envolve dois passos: Passo E (expectation): consiste em calcular E(l (; Y)|Y) Passo M (maximization): so as atualizaes do vetor de sequncia (k ) pela maximizao de E(l ( ; Y)|Y).

Vanessa Souza Santos

Mtodos Computacionais

28 de fevereiro de 2014

10 / 20

ALGORITMO EM

Figura: Fluxograma do Algoritmo EM

Vanessa Souza Santos

Mtodos Computacionais

28 de fevereiro de 2014

11 / 20

ALGORITMO EM

PASSO E

Passo E
No passo E calculada a esperana condicional da funo da log-verossimilhana dado o vetor de observaes E(l ( ; Y)|Y) na k k sima interao dado = . Dessa forma, atravs da funo de log-verossimilhana para dados completos temos

Q(| ) = E{l (; Y)|Y} =

i =1

Q1i (1 ; ) +
i =1

Q2i (2 ; )

onde 1 = ( , ) e 2 = . Aqui, a log-verossimilhana para os modelos lineares mistos dividida (k ) em dois termos: Q1 ( 1 | ) que est em funo de 1 e Q2i ( 2 ; ) que est em funo de 2 .
Vanessa Souza Santos Mtodos Computacionais 28 de fevereiro de 2014 12 / 20

ALGORITMO EM

PASSO E

Portanto, calculando a esperana para Q1 ( 1 |

(k )

), obtemos [i ]1 (Yi
(k )

Q1 (1 |

(k )

) = C

(k ) 1 1 k) log |( Yi Xi i | 2 2 (k )

Xi

+ Yi Xi
(k )

(k ) (k ) i

[i ]1 Zi bi
(k )

tr [i ]1 Zi bi bi

1 2

Zi .

Da mesma forma, para Q2 ( 2 |

(k )

) podemos obter

Q2 (2 |

(k )

) = log |D(k ) |

1 2

1 tr [D(k ) ]1 bi bi 2

(k ) i

onde bi e bi bi so encontrados atravs da distribuio condicional de bi |Yi .

Vanessa Souza Santos Mtodos Computacionais 28 de fevereiro de 2014 13 / 20

ALGORITMO EM

PASSO E

Portanto,
1 1 1 bi = E{bi |(k ) , Yi } = (D1 + Zi i Zi ) Zi i (Yi Xi )

bi bi = E{bi bi |(k ) , Yi }
1 1 1 1 = (D1 + Zi i Zi ) Zi i (Yi Xi )(Yi Xi ) i Zi 1 1 1 1 (D1 + Zi + (D1 + Zi i Zi ) i Zi ) .

Vanessa Souza Santos

Mtodos Computacionais

28 de fevereiro de 2014

14 / 20

ALGORITMO EM

Passo M

Passo M
O passo M produz uma nova estimativa dos parmetros para cada interao obtidas no passo E, repetindo o procedimento at que essa estimativa tenha convergido. Basicamente, apara a k -sima interao obtemos (k ) Q(| ), onde
(k )

que maximiza

Q(

(k +1)

(k )

) > Q( |

(k )

O algoritmo EM pode ser encerrado se para dado um > 0, , ento

|l (
(k +1)

) l (

(k )

)| < ,

onde sucientemente pequeno. A funo de log-verossimilhana dos dados observados.

Vanessa Souza Santos Mtodos Computacionais 28 de fevereiro de 2014 15 / 20

ALGORITMO EM

Passo M

Portanto, maximizando Q( | estimativa (k +1) , como segue

(k +1) n

(k )

) com respeito a , obtm uma nova

=
i =1

k ) 1 Xi [( i ] Xi

1 n i =1

k ) 1 Xi [( Yi Zi bi i ]

(k +1)

1
n

Yi Xi
i =1

(k )

Yi Xi

(k )

2 Yi Xi

(k )

Zi bi + tr Zi bi bi bi bi
(k ) i

(k ) i

Zi

D(k +1) =
Vanessa Souza Santos

1
q

n i =1

Mtodos Computacionais

28 de fevereiro de 2014

16 / 20

ESTUDO DE SIMULAO

Estudo de Simulao
Para o estudo de simulao, vamos gerar observaes do seguinte modelo univariado:
yij = 1 xi 1 + 2 xi 2 + 3 xi 3 + 4 xi 4 + 5 xi 5 + b1 zi 1 + b2 zi 2 + ij ,
onde

xi 1 Exponencial ( = 2) xi 2 Normal ( = 20, 2 = 9) xi 3 Poisson( = 2) xi 4 Binomial (n = 10, p = 0.1) xi 5 Normal ( = 5, 2 = 1) zi 2 Exponencial ( = 3) zi 1 = 1

Vanessa Souza Santos Mtodos Computacionais 28 de fevereiro de 2014 17 / 20

ESTUDO DE SIMULAO

Portanto, para gerar observaes yij , primeiramente gerou-se observaes da distribuio multivariada conforme mostrado abaixo

N1002

0 0

D 0 0

em que D = diag()22 , = diag( )10001000 , b o vetor de efeitos aleatrios com dimenso 2 1 e mdia (0, 0) e o vetor de erros alearios com dimensso 1000 1000. Geradas as observaes de yij , foi implementado o algoritmo EM para obter as estimativas pontuais conforme a prxima tabela. Os intervalos de conana foram obtidos atravs da reamostragem de bootstrap, com 100 amostras.

Vanessa Souza Santos

Mtodos Computacionais

28 de fevereiro de 2014

18 / 20

ESTUDO DE SIMULAO

Estudo de Simulao
Tabela 1 - Estimativas do Modelo Linear Misto para n=1000 Varivel
1 2 3 4 5

Real 2.0 0.2 0.5 0.8 3.0 0.04

Inicial 2.00777 0.20142 0.49467 0.79238 3.00336 1

Estimativas EM Lim. Inferior 2.0128460 2.0087996 0.2011597 0.2010806 0.5021279 0.5013371 0.8001624 0.7985111 3.0156920 3.0150400 0.03980736 0.03923188

Lim. Superior 2.0136288 0.2013346 0.5030558 0.8009928 3.0164171 0.03991998

Vanessa Souza Santos

Mtodos Computacionais

28 de fevereiro de 2014

19 / 20

Referncias

Referncias

Lachos, V. H., Ghosh, P. and Arellano-Vallec, R. B. (2010). Likelihood based inference for skew-normal independent linear mixed models. Statistica Sinica 20, 303-322. McCulloch, C. E. and Searle, S. R. (2000). Generalized, Linear and MixedModels. Wiley, New York.

Vanessa Souza Santos

Mtodos Computacionais

28 de fevereiro de 2014

20 / 20