Mnimos Cuadrados Generalizados

Roman Salmeron Gomez

Los dos u
ltimos temas de la asignatura han estado enfocados en estudiar por separado la relajaci
on de
las hip
otesis de que las perturbaciones esten incorrelacionadas y tengan varianza constante. Aunque ambos
problemas no suelen suceder conjuntamente, en este documento se analiza el caso mas general presentando
el estimador por Mnimos Cuadrados Generalizados (MCG) como corrector de dichos problemas de forma
simult
anea.
Los problemas que surgen en esta situacion derivan del hecho de que la matriz de varianzas y covarianzas
de las perturbaciones no es un escalar por la matriz identidad, es decir, la varianza puede no ser constante
y las covarianzas ser distintas de cero. Se examinan tambien las consecuencias que esto tiene sobre las
propiedades de los estimadores MCO de los coeficientes del modelo y sobre el estimador de la varianza de
las perturbaciones. Tambien se evaluan las implicaciones que esta nueva situacion tiene sobre la utilizaci
on
de las expresiones habituales para realizar los contrastes de hipotesis que se han considerado hasta ahora.
Este punto es muy importante para que el alumno entienda que los resultados que se obtienen al estimar por
MCO est
an siempre condicionados al cumplimiento de las hipotesis del modelo.

1.

Hip
otesis del Modelo. Matriz de varianzas y covarianzas no escalar

El modelo lineal uniecuacional m

ultiple (con n observaciones y k regresores) responde a siguiente expresi
on
matricial
yn1 = Xnk k1 + un1 ,
(1)
donde E[u] = 0n1 y V ar(u) = E[u ut ] = 2 Inn (esto es, la matriz de varianzas-covarianzas de la
perturbaci
on aleatoria es escalar o, equivalentemente, las perturbaciones son esfericas).
Las condiciones anteriores sobre la perturbacion aleatoria implican que la misma esta centrada
(E[ut ] = 0, t), es homoced
astica (E[u2t ] = 2 , t) e incorrelada (E[ui uj ] = 0, i 6= j). Luego, para
un an
alisis correcto del modelo, adem
as de la estimacion y validacion del mismo, se deben de comprobar
como ciertas dichas hip
otesis.
Ahora bien, y si dichas hip
otesis no se verifican? En tal caso el estimador por mnimos cuadrados
ordinarios deja de ser
optimo (en el sentido de mnima varianza) y existe un estimador alternativo superior.
Planteamos el problema de analizar el modelo (1) bajo las hipotesis E[u] = 0n1 y E[u ut ] = nn donde
2

1 12 . . . 1n
21 22 . . . 2n

= .
..
.. .
..
..
.
.
.
n1 n2 . . . n2
Adviertase que la matriz anterior implica que E[u2t ] = t2 6= 2 , t (heteroscedasticidad) y que E[ui uj ] =
ij 6= 0, i 6= j (autocorrelaci
on).
Adem
as, por cuestiones de notaci
on se suele considerar que = 2 y hablaremos de un modelo
con matriz de varianzas-covarianzas no escalar o con perturbaciones no esfericas.

2.

Propiedades del estimador MCO con perturbaciones no esf

ericas

Puesto que en el metodo de estimaci

on por mnimos cuadrados ordinarios no influye la matriz de varianzascovarianzas de la perturbaci
on aleatoria es claro que el estimador por mnimos cuadrados ordinarios del
modelo (1) con perturbaciones no esfericas sera:

1 t
bM CO = X t X
X y.
(2)
Dicho estimador sigue siendo lineal e insesgado, ya que las condiciones que conducen a verificar dichas
propiedades en el modelo con perturbaciones esfericas no se han modificado (las demostraciones son identicas
a tal caso). Sin embargo, ya no se tiene asegurado que la varianza sea mnima, ya que en este caso se obtiene
la siguiente expresi
on:



1 t

1
V ar bM CO
= X tX
X E[u ut ]X X t X

1 t

1
= 2 X t X
X X X t X
,
1

distinta a la del modelo con perturbaciones esfericas: 2 (X t X)

3.

Estimaci
on por Mnimos Cuadrados Generalizados. Propiedades

En el apartado anterior hemos comprobado que en un modelo con perturbaciones no esfericas el estimador
por mnimos cuadrados ordinarios es lineal e insesgado pero no tenemos asegurado que sea optimo (en el
sentido de varianza mnima).
Para resolver este problema surgen los mnimos cuadrados generalizados. Dicho metodo consiste en
transformar un modelo con perturbaciones no esfericas en otro con perturbaciones esfericas, de forma que al
aplicarle a este u
ltimo el metodo de mnimos cuadrados ordinarios se obtenga un estimador lineal, insesgado
y
optimo.
En dicha transformaci
on es fundamental el teorema de Aitken, el cual afirma que al ser una matriz
simetrica definida positiva entonces existe una matriz regular, T , tal que T t T = 1 (en tal caso se verifica

t
que = T 1 T 1 , de donde se deduce que T T t = Inn ).
Partiendo del modelo (1) con perturbaciones no esfericas y premultiplicando el mismo por una matriz no
estoc
astica, P , se obtiene:
P y = P X + P u y = X + u ,
donde y = P y, X = P X y u = P u.
Si se estudian las propiedades de la perturbacion aleatoria del modelo transformado obtendremos que:
E[u ] = E[P u] = P E[u] = 0n1 ,
E[u ut ] = E[P uut P t ] = P E[uut ]P t = 2 P P t .
De la expresiones anteriores se deduce que si P P t = Inn , entonces el modelo transformado es un modelo
con perturbaciones esfericas.
Adviertase que en la transformaci
on realizada no se han modificado las cantidades constantes del
modelo que se desean estimar.
Existe P tal que P P t = Inn ? En efecto, usando el teorema de Aitken, sin mas que elegir P = T
tenemos asegurado que se verifica tal hecho. Por tanto, el modelo transformado es un modelo lineal m
ultiple
con perturbaciones esfericas, por lo que al aplicarle mnimos cuadrados ordinarios se obtiene un estimador
lineal, insesgado y
optimo:

1 t

t
bM
X y .
CO = X X
2

Dicha estimaci
on recibe el nombre de estimador por Mnimos Cuadrados Generalizados (MCG). Sin m
as que
deshacer el cambio:

1 t t
bM CG = X t P t P X
X P Py

1 t 1
t 1
X y,
(3)
= X X




1
V ar bM CG
= 2 Xt X

1

1
,
= 2 X t 1 X
= 2 X t P t P X
donde la matriz de varianzas-covarianzas es mnima.
Los estimadores obtenidos hasta el momento se pueden resumir en la siguiente tabla:
Modelo con perturbaciones esfericas
1
t
] bM CO = (X t X)
 X y lineal, insesgado y optimo
1
V ar bM CO = 2 (X t X)

Modelo con perturbaciones no esfericas

1
] bM CO =(X t X) X t y lineal e insesgado (no optimo)
1
1
V ar bM CO = 2 (X t X) X t X (X t X)

1 t 1
] bM CG = X t 1X
X
y optimo
 y lineal, insesgado

1
V ar bM CG = 2 X t 1 X

3.1.

Estimador de la varianza de la perturbaci

on aleatoria

En la estimaci
on de un modelo se tiene como objetivo las cantidades constantes del mismo, por lo que
faltara estimar la varianza de la perturbacion aleatoria.
A partir del modelo transformado es evidente que un estimador insesgado de la varianza de la perturbaci
on aleatoria es:

et e
c2

,
M CO =
nk
donde e = y yb = y X bM CG = P y P X bM CG = P (y X bM CG ) = P e.
En tal caso, et e = et P t P e = et 1 e, por lo que:
2

bM
CG =

et 1 e
,
nk

donde e = y X bM CG .

4.

Estimaci
on por intervalo y contraste de hip
otesis

Partiendo del modelo transformado, la estimacion por intervalo y los contrastes de hipotesis se realizan
igual que en el modelo lineal m
ultiple con perturbaciones esfericas sin mas que deshacer el cambio anteriormente planteado. En tal caso obtendremos las siguientes expresiones:


1 
bM CG N , 2 X t 1 X
,
3

2
(n k)
bM
CG
2nk ,
2
h

1 t i

t R X t 1 X


R
RbM CG r
RbM CG r Fq,nk ,
2

bM CG

a partir de las cuales se puede realizar inferencia en el modelo.

5.

Los estimadores minimo cuadr

aticos generalizados factibles

Como se pone de manifiesto en las expresiones anteriores, para el calculo de bM CG se requiere conocer la
matriz . Como en la pr
actica dicha matriz es desconocida, habra que estimarla, obteniendose as el estimador
por mnimos cuadrados generalizados factibles (MCGF):

1
b 1 X
b 1 y,
bM CGF = X t
X t
b es una estimaci
donde
on de .
En los temas dedicados a heteroscedasticidad y autocorrelacion se han estudiado las formas m
as
comunes de la matriz en cada caso y, por tanto, como estimarla.

6.

Reflexi
on

Al comparar las expresiones (2) y (3), junto a sus correspondientes matrices de varianzas-covarianzas,
observamos que coinciden cuando = Inn .
... En consecuencia, no hay ninguna razon por la que deba imponerse como matriz de covarianzas
1
del estimador MCO una expresi
on restringida como es 2 (X t X) , sino que mas bien bedera utilizarse
1
1
2 (X t X) X t X (X t X) y permitir as que en las circunstancias apropiadas (cuando no hay heterosce1
dasticidad ni autocorrelaci
on) dicha matriz se reduzca numericamente a 2 (X t X) .
1
1
Por tanto, la expresi
on 2 (X t X) X t X (X t X)
es realmente la matriz de covarianzas del estimador MCO. Como ya hemos mencionado, no se trata de discutir si en un modelo de regresion existe
heteroscedasticidad y/o autocorrelaci
on, sino que mas bien, dando como un hecho el que ambos problemas
est
an siempre presentes en todo trabajo econometrico, entonces la cuestion reside en analizar en que medida
aparecen en cada aplicacion emprica...
Novales (1988). Econometra (pagina 164).

7.

Ejemplos

1. Dado el modelo Yt = 0 + 1 Xt , con las observaciones

Yt
10
35
45

Xt
1
3
5

Se sabe que la matriz de varianzas-covarianzas de las perturbaciones es 2 , donde es

igual a:

1 00 6 00 2
= 00 6 00 8 00 6
00 2 00 6 00 9

a) Son estoc
asticamente independientes u1 , u2 y u3 ?
b) Estimase y 2 por MCO, as como la matriz de varianzas covarianzas del estimador
MCO.
c) Estimase y 2 por MCG, as como la matriz de varianzas covarianzas del estimador
MCG.
Una vez m
as la matriz indica que hay heteroscedasticidad (elementos de la diagonal principal no
constante) y autocorrelaci
on (elementos de fuera de la diagonal principal no nulos), luego la perturbaci
on
aleatoria para distintos instantes de tiempo no puede ser independiente. En este caso, las estimaciones
obtenidas por MCO no ser
an
optimas, al contrario que las obtenidas por MCG.
2
A continuaci
  on, con el objeto de comparar dichas estimaciones, calcularemos las estimaciones de ,
y V ar b por ambos metodos.

En el caso de los MCO se obtiene:

bM CO

bM
CO

 
d
V ar b

M CO

1 

3 9
90
= X X
X y =

9 35
340
 0





1 4583 00 375
90
30 75
=

=
,
00 375 00 125
340
80 75
t

1

370 5
et e
=
= 370 5,
nk
32

1
2
t
=
bM
CO X X
 0
 
1 4583 00 375
540 6875
0
= 37 5
=
00 375 00 125
140 0625
=

140 0625
40 6875


,

donde se ha tenido en cuenta que:

 0

10
1 1
3 75
e = y yb = y X bM CO = 35 1 3
80 75
45
1 5

20 5
12 5
10
= 35 30 = 5 .
45
470 5
20 5
Mientras que en el de los MCG:
bM CG

bM
CG

 
d
V ar b

M CG

 0
1 


1
480 6486
1 7568 50 5405
X t 1 X
X t 1 y =

50 5405 280 2432

2410 8919
 0





1 4929 00 2929
480 6486
10 7857
=

=
,
0
0
0
0 2929 0 0929
241 8919
80 2143

et 1 e
3210 4286
=
= 3210 4286,
nk
32

1
2
t 1
=
bM
X
CG X
 0
 
1 4929 00 2929
4680 75
= 3210 4286
=
0
0
0 2929 0 0929
1200 5357
=

1200 5357
400 1786

donde se ha tenido en cuenta que:

e = y yb = y X bM CG

10
1
= 35 1
45
1
5

 0

1
1 7857

80 2143
5


,

10
100 0000
0 0000
= 35 260 4286 = 80 5714 ,
45
420 8571
20 1429

y
20 4324 20 8378
= 20 8378 50 8108
10 3514 30 2432

1
En ambos casos se ha usado que

1
X= 1
1

1
3 ,
5

10 3514
30 2432 .
20 973

10
y = 35 , n = 3,
45

k = 2.

Por tanto, la estimaci

on por MCO sera:
Ybt = 30 75 + 80 75 Xt ,
(70 4) (20 16)

b2 = 370 5.

mientras que por MCG:

Ybt = 10 7857 + 80 2143 Xt ,
(210 65) (60 34)

b2 = 3210 4286.

2. En un modelo lineal dado por la expresi

on Yt = 0 + 1 Xt + ut del que se dispone de los
siguientes datos:
X
2
-4
7

Y
5
-1
8

Adem
as se verifica que E[u] = 0 y E[uut ] = 2 , siendo

3 1 1
= 1 5 1
1 1 3
Se pide:
a) Comente qu
e supuestos b
asicos del modelo lineal general no se verifica que en este
caso.
b) Estime el modelo anterior usando el modelo que considere oportuno.
Puesto que los elementos de la diagonal principal de no son constantes y los restantes no nulos,
es claro que la perturbaci
on aleatoria del modelo presentara los problemas de heteroscedasticidad y
autocorrelaci
on. Por tanto, habr
a que aplicar el metodo de los mnimos cuadrados generalizados para
resolver dichos problemas:
 0
1 


1
1 0000 10 6667
4
X t 1 X
X t 1 y =

10 6667 170 0556

170 5
 0





1 1946 00 1167
4
20 7354
=

=
,
0
0
0
0 1167
0 07
17 5
00 7588

b =

donde se ha usado que

1 2
X = 1 4 ,
1 7

5
y = 1 ,
8

00 3889

00 0556
=
00 1111

Luego, la estimaci
on por MCG ser
a Ybt = 20 7354 + 00 7588 Xt .

00 0556
00 2222
00 0556

00 1111
00 0556 .
00 3889