Regresin de rango reducido

1 de mayo de 2016

Problemas.
1. Considere las v.a multivariadas Y y X con dimensiones, respectivamente, n 1, m 1. Suponga que
queremos relacionarlas mediante
Y = + X + E,
donde , son parmetros desconocidos, E es el error, y suponemos que E(E) = 0 y que cov(X) = es
desconocida.
Queremos encontrar estimadores de , y EE que sean ptimos, es decir minimicen:

S(, ) = E[(Y X)(Y X)t ],

la esperanza se toma respecto la distribucin conjunta de X, Y.

Muestre que el mmimo de S(, ) es YY YX 1 y para alcanzar este mmimo se debe escoger
XX XY

=Y X
=YX 1
XX

A
Y = Y + YX 1
XX (X X ),

se la conoce como la funcin de regressin de rango completo de Y en X. El error es

E = Y Y

Muestre que E(E) = 0, EE = YY YX 1 y E(EXt ) = 0.

XX XY

2. Muestre que si C es una matrix, n m, de rango k, entonces existen matrices A, n k, y B, k m, tal que
C = AB.
3. Si Y y X son v.a. multivariadas n 1 y m 1, respectivamente, y consideramos el modelo de regresin
lineal mutivariado:
Y = a + X + E,
donde a, son los parmetros desconocidos de la regresin. Asumimos adems, que:

rango() = k min(n, m),

es decir permitimos que la matriz no sea de rango completo. En este caso, como se prob antes = AB,
la regresin queda
Y = a + ABX + E,
y queremos estimar con datos a, A, B para eso minimizamos

W(k) = E[(Y a ABX)t (Y a ABX)], (1) {?}

donde es una matrix n n de pesos, dada.

4. Muestre que

W(k) =tr(YY YX XX XY )
(D1/2
XX
YX 1/2
XX
)(D1/2
XX
YX 1/2
XX
)t ,

donde D = 1/2 , YY = 1/2 XX 1/2 , YX = YX 1/2

1
5. Muestre que para minimizar W(k) usando C de rango k hay que escojer
k
X
D1/2
XX
= 1/2
j
v j utj ,
j=1

donde j y v j son los valores y vectores propios, respectivamente, en orden decreciente, de

YX 1
XX XY ,

y que
u j = 1/2
j
1/2
XX
XY v j ,
con la matrix que minimiza (1), que se llama la matrix de coeficientes de rango reducido,

Xk
C(k) = 1/2 v j vtj 1/2 YX 1
XX ,


j=1

Enonces los valores de a, A, B que minimizan (1) son

a =Y ABX
A =1/2 V
B =Vt 1/2 YX 1
XX ,

donde V es una matriz n k cuyas columnas son los vectores propios v j , j = 1, . . . , k.