You are on page 1of 20

Clases 7

Econometrı́a

Tomás Rau

Modelo de
Regresión con
k variables
Representación
Clases 7
Matricial del
Modelo de
Regresión Lineal
Estimador
Econometrı́a
Mı́nimo
Cuadrados
Ordinarios

Propiedades
del estimador
Tomás Rau
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov
27 de marzo
Contenidos

Clases 7
Econometrı́a

Tomás Rau

Modelo de
Regresión con
k variables 1 Modelo de Regresión con k variables
Representación
Matricial del
Modelo de
Representación Matricial del Modelo de Regresión Lineal
Regresión Lineal
Estimador
Estimador Mı́nimo Cuadrados Ordinarios
Mı́nimo
Cuadrados
Ordinarios

Propiedades
del estimador
MCO
1 Propiedades del estimador MCO
Propiedad BLUE
o MELI
Propiedad BLUE o MELI
Teorema de
Gauss-Markov Teorema de Gauss-Markov
Modelo de Regresión con k variables

Clases 7
Econometrı́a

Tomás Rau Ahora abandonemos la simplificación de sólo usar dos variables,


de ahora en adelante generalizaremos el modelo de regresión
Modelo de
Regresión con lineal para que pueda tener hasta k variables explicativas.
k variables
Representación
Matricial del
Modelo de
Regresión Lineal
Aclaración: haremos un pequeño cambio de notación, cada
Estimador
Mı́nimo observación i de la variable dependiente será denotada por yi y
Cuadrados
Ordinarios cada observación i de una variable explicativa, por ejemplo X1 ,
Propiedades
del estimador será denotada por x1i . Ahora las variables en minúscula no
MCO
Propiedad BLUE
significa que estén en desvı́os.
o MELI
Teorema de
Gauss-Markov
El Modelo de Regresión Poblacional en este caso es:

yi = β1 + β2 x2i + ... + βk xki + ui i = 1, ..., n


Modelo de Regresión con k variables

Clases 7
Econometrı́a

Tomás Rau El modelo con k variables explicativas puede ser expresado en


Modelo de notación matricial. En efecto, cada variable explicativa xj , con
Regresión con
k variables j=1,..., k, es un vector columna de dimensión n, al igual que la
Representación
Matricial del variable dependiente y el término de error.
Modelo de
Regresión Lineal
Estimador
Mı́nimo
Cuadrados
De este modo, el modelo puede ser reescrito de la siguiente
Ordinarios
forma:
Propiedades
del estimador          
MCO y1 1 x21 xk1 u1
Propiedad BLUE
o MELI  y2   1   x22   xk2   u2 
Teorema de          
Gauss-Markov  ..  =  ..  β1 +  ..  β2 + .. +  ..  βk +  .. 
 .   .   .   .   . 
yn 1 x2n xkn un
Modelo de Regresión con k variables

Clases 7
Econometrı́a

Tomás Rau Donde las variables explicativas se pueden agrupar en una sola
matriz de dimensión n×k, que denotaremos simplemente como
Modelo de
Regresión con X, de esta manera el modelo se expresa de la siguiente forma:
k variables
Representación
Matricial del
       
Modelo de
Regresión Lineal
y1 1 x21 x31 · · · xk1 β1 u1
Estimador  y2   1 x22 x32 · · · xk2   β2   u2 
Mı́nimo        
Cuadrados  ..  =  .. .. .. . . ..  ·  ..  +  .. 
Ordinarios
 .   . . . . .   .   . 
Propiedades
del estimador yn 1 x2n x3n · · · xkn βk un
MCO
Propiedad BLUE
o MELI
Teorema de ⇒ Y = Xβ + u
Gauss-Markov

donde Y es un vector de dimensión n×1, X es la matriz de


variables explicativas de dimensión n×k y u es un vector
correspondiente al término de error con dimensión n×1.
Modelo de Regresión con k variables

Clases 7
Econometrı́a
Ahora debemos expresar la distribución del término de error en
Tomás Rau términos matriciales:
 
Modelo de
E (u1 )
Regresión con  E (u2 ) 
k variables  
E (u) =  .. = 0
Representación
Matricial del  .  n×1
Modelo de
Regresión Lineal
Estimador
E (un )
Mı́nimo  
Cuadrados
Ordinarios E (u12 ) E (u1 u2 ) · · · E (u1 un )
Propiedades  E (u2 u1 ) E (u22 ) · · · E (u2 un ) 
del estimador  
MCO E (uu ′ ) =  .. .. .. .. 
Propiedad BLUE
 . . . . 
o MELI
Teorema de
Gauss-Markov
E (un u1 ) E (un u2 ) · · · E (un2 )
 
σ2 0 ··· 0
 0 σ2 · · · 0 
  2
=  .. .. . . ..  = σ n×nI
 . . . . 
0 0 · · · σ2
Modelo de Regresión con k variables

Clases 7
Econometrı́a
De los supuestos 3, 4 y 5, tenemos entonces que el término de
Tomás Rau
error tiene la siguiente distribución:
Modelo de
Regresión con
 
k variables 2
Representación
u ∼ 0 ,σ I (1)
Matricial del n×1 n×n
Modelo de
Regresión Lineal
Estimador
Mı́nimo El método de MCO, plantea que los parámetros del modelo
Cuadrados
Ordinarios
pueden ser estimados minimizando la suma de los errores al
Propiedades
del estimador cuadrado (SE (β̂)), la que en términos matriciales equivale a:
MCO
Propiedad BLUE
o MELI n
X
Teorema de
Gauss-Markov SE (β̂) = ûi2 = û ′ û = (Y − X β̂)′ (Y − X β̂)
i =1

donde û = Y − X β̂. Antes de derivar esa expresión, debemos


aprender algunas reglas de derivación de vectores:
Modelo de Regresión con k variables

Clases 7
Econometrı́a

Tomás Rau Si A es una matriz y x un vector y los productos Ax y x’Ax son


Modelo de conformables, tenemos que:
Regresión con
k variables
Representación
Matricial del
Modelo de ∂Ax ∂x’A’
Regresión Lineal = A′ ; =A
Estimador
Mı́nimo ∂x ∂x
Cuadrados
Ordinarios

Propiedades
del estimador ∂x’Ax
MCO = (A′ + A)x = 2Ax si A es simétrica
Propiedad BLUE ∂x
o MELI
Teorema de
Gauss-Markov

donde la última igualdad ocurre si A es simétrica. Luego,


aplicando las reglas de cálculo diferencial matricial a S tenemos
Modelo de Regresión con k variables

Clases 7
Econometrı́a

Tomás Rau
h i
mı́n SE (β̂) = mı́n (Y − X β̂)′ (Y − X β̂)
Modelo de β̂ β̂
Regresión con h i
k variables
Representación
= mı́n Y ′ Y − 2β̂ ′ X ′ Y + β̂ ′ X ′ X β̂
Matricial del
Modelo de
β̂
Regresión Lineal
Estimador
Mı́nimo
Cuadrados
Ordinarios
∂SE (β̂)
Propiedades
del estimador
= −2X ′ Y + 2X ′ X β̂ = 0 (2)
MCO ∂ β̂ ′
Propiedad BLUE
o MELI ⇒ β̂ = (X ′ X )−1 X ′ Y (3)
Teorema de
Gauss-Markov

De (2) tenemos:

X ′ (Y − X β̂) = 0 ⇒ X ′ û = 0 (4)

y esta es la condición de ortogonalidad.


Modelo de Regresión con k variables

Clases 7
Econometrı́a
De esta forma, el vector de parámetros estimados β̂ se obtiene
Tomás Rau de resolver el siguiente sistema de ecuaciones normales:
Modelo de
Regresión con X ′ X β̂ = X ′ Y ⇔
k variables
Representación
Matricial del
Modelo de    
Regresión Lineal
Estimador 1 1 1 ··· 1 1 x2,1 x3,1 · · · xk,1 β̂1
Mı́nimo
Cuadrados  x2,1 x2,2 · · · x2,n   1 x2,2 x3,2 · · · xk,2  β̂2 
Ordinarios    
 .. .. .. .. ..   .. .. .. .. ..  .. 
Propiedades
del estimador
 . . . . .  . . . . .  . 
MCO
Propiedad BLUE
xk,1 xk,2 · · · xk,n 1 x2,n x3,n · · · xk,n β̂k
o MELI   
Teorema de
Gauss-Markov 1 1 1 ··· 1 y1
 x2,1 x2,2 · · · x2,n  y2 
  
= . .. .. .. .  .. 
 .. . . . ..  . 
xk,1 xk,2 · · · xk,n yn
Modelo de Regresión con k variables

Clases 7
Econometrı́a

Tomás Rau
 Pn P  
Modelo de
Pn n Pin=1 x2,i · · · P ni=1 xk,i β̂1
Regresión con n
k variables  x x2 ··· x x  
  β̂2

Representación

 Pin=1 2,i Pn i =1 2,i Pin=1 2,i k,i   β̂


Matricial del
Modelo de ⇔ i =1 x3,i i =1 x3,i x2,i ··· x x
i =1 3,i k,i  3 
Regresión Lineal  .. .. .. .. ..   .. 
 . .  . 
Pn . Pn . .
Estimador
Mı́nimo
Cuadrados Pn 2
Ordinarios
i =1 xk,i i =1 xk,i x2,i ··· i =1 xk,i β̂k
Propiedades
del estimador
 Pn 
i =1 yi
 Pn yi x2,i
MCO
Propiedad BLUE 
o MELI  Pni =1 
 
i =1 yi x3,i
Teorema de
Gauss-Markov = 
 .. 
 
Pn .
i =1 yi xk,i
Modelo de Regresión con k variables

Clases 7
Econometrı́a
Es importante recordar que el estimador MCO esta definido
Tomás Rau
solo cuando la matriz (X’X) es invertible, lo que ocurre siempre
Modelo de
Regresión con
y cuando:
k variables
Representación
1 Las k columnas de la matriz X sean linealmente
Matricial del
Modelo de
Regresión Lineal
independientes.
Estimador
Mı́nimo
Cuadrados
2 Se disponga al menos de tantas observaciones como
Ordinarios
variables explicativas, es decir: n≥ k.(Supuesto 7)
Propiedades
del estimador
MCO
Pongamos atención en el segundo supuesto, cuando n=k la
Propiedad BLUE
o MELI
matriz X tiene dimensión k×k, por lo tanto salvo que no se
Teorema de
Gauss-Markov cumpla el supuesto 8, X es invertible, y de esta forma
(X ′ X )−1 = X −1 (X ′ )−1 y por lo tanto:

β̂ = (X ′ X )−1 X ′ Y = X −1 (X ′ )−1 X ′ Y = X −1 Y (5)


Modelo de Regresión con k variables

Clases 7
Econometrı́a

Tomás Rau el vector de residuos


û = Y − X β̂ = Y − X (X −1 Y ) = Y − Y = 0n , de esta forma el
Modelo de
Regresión con ajuste es perfecto, ya que todos los residuos son cero, la suma
k variables
Representación residual de igual forma toma el mı́nimo valor posible, cero.
Matricial del
Modelo de
Regresión Lineal
Estimador
Mı́nimo
Sin embargo, esta no es una caracterı́stica deseable, el ajuste
Cuadrados
Ordinarios perfecto ocurre porque tenemos una muestra muy reducida.
Propiedades
del estimador
Esto trae como consecuencia poco robustez e imprecisión en
MCO
Propiedad BLUE
las estimaciones. ¿Qué pasa con σ̃ 2 ?
o MELI
Teorema de
Gauss-Markov
Necesitamos tener un número de observaciones notablemente
superior al de las variables explicativas (ejemplo 2x2). La
diferencia n-k se conoce como el número de grados de libertad
de la estimación.
Propiedades del estimador MCO

Clases 7
Econometrı́a

Tomás Rau

Modelo de
Regresión con
Notemos que el vector β̂ es un vector aleatorio, ya que depende
k variables del vector de errores:
Representación
Matricial del
Modelo de
Regresión Lineal
Estimador
Mı́nimo
Cuadrados β̂ = (X ′ X )−1 X ′ Y = (X ′ X )−1 X ′ (X β + u) = β + (X ′ X )−1 X ′ u
Ordinarios

Propiedades
del estimador
MCO
Propiedad BLUE
E (β̂) = E (β) + E [(X ′ X )−1 X ′ u]
o MELI
Teorema de
Gauss-Markov
= β + (X ′ X )−1 X ′ E (u)
Propiedades del estimador MCO

Clases 7
Econometrı́a

Tomás Rau
La esperanza de β es el mismo parámetro, ya que este es un
Modelo de constante (valor poblacional), y por supuestos 2 y 3 el segundo
Regresión con
k variables término de la expresión anterior es cero,
Representación
Matricial del
Modelo de
Regresión Lineal
Estimador
⇒ E (β̂) = β (6)
Mı́nimo
Cuadrados
Ordinarios
Es decir, el estimador MCO es insesgado, tal como lo
Propiedades
del estimador habı́amos mostrado anteriormente.
MCO
Propiedad BLUE
o MELI
Teorema de Luego, podemos definir el error de estimación como:
Gauss-Markov

β̂ − β = (X ′ X )−1 X ′ u
Propiedades del estimador MCO

Clases 7
Econometrı́a
Ahora calculemos la varianza de β̂: Necesitamos obtener la
Tomás Rau varianza de un vector, para eso necesitamos la esperanza de la
siguiente forma cuadrática
Modelo de
Regresión con
k variables
Representación
Matricial del var (β̂) = E [(β̂ − E (β̂)) · (β̂ − E (β̂))′ ]
Modelo de
Regresión Lineal
Estimador = E [(β̂ − β) · (β̂ − β)′ ]
Mı́nimo
Cuadrados
Ordinarios = E [(X ′ X )−1 X ′ uu ′ X (X ′ X )−1 ]
Propiedades
del estimador = (X ′ X )−1 X ′ E (uu ′ )X (X ′ X )−1
MCO
Propiedad BLUE
o MELI
= (X ′ X )−1 X ′ (σ 2 In )X (X ′ X )−1
Teorema de
Gauss-Markov = σ 2 (X ′ X )−1 (7)
Para poder estimar la varianza de β̂ necesitamos reemplazar σ 2
en (5) por su estimador insesgado:
û ′ û
e2 =
σ
n−k
Propiedad BLUE

Clases 7
Econometrı́a

Tomás Rau

Modelo de
Se dice que β̂, es el mejor estimador lineal insesgado (MELI o
Regresión con
k variables
BLUE) de β si se cumple lo siguiente:
Representación
Matricial del
1 El lineal, es decir, es una función lineal de una variable
Modelo de
Regresión Lineal
Estimador
aleatoria, como la variable y en el modelo de regresión.
Mı́nimo
Cuadrados
Ordinarios
2 Es insesgado, es decir, su valor esperado, E (β̂), es igual a
Propiedades el verdadero valor, β.
del estimador
MCO 3 Tiene varianza mı́nima dentro de la clase de todos los
Propiedad BLUE
o MELI
Teorema de
estimadores lineales insesgados; un estimador insesgado
Gauss-Markov
como varianza mı́nima es conocido como un estimador
eficiente.
Gauss-Markov

Clases 7
Econometrı́a Proposición: El estimador MCO es el estimador lineal
Tomás Rau
insesgado óptimo, en el sentido de que cualquier otro estimador
Modelo de lineal e insesgado tiene una matriz de covarianza mayor que la
Regresión con
k variables del estimador MCO. Es decir, el estimador MCO es MELI
Representación
Matricial del
Modelo de
(BLUE).
Regresión Lineal
Estimador
Mı́nimo
Cuadrados Demostración: Sea βe = Ay
e un estimador lineal de β, donde A
e
Ordinarios
e ′ −1 ′
es una matriz k×n. Definamos A = A − (X X ) X , de modo
Propiedades
del estimador
MCO
que:
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov
βe = [A + (X ′ X )−1 X ′ ]Y
= [A + (X ′ X )−1 X ′ ](X β + u)
= AX β + β + [A + (X ′ X )−1 X ′ ]u

Aplicando esperanza a la expresión anterior:


Gauss-Markov

Clases 7
Econometrı́a

Tomás Rau
e = AX β + β + [A + (X ′ X )−1 X ′ ]E (u)
E (β)
Modelo de
Regresión con = AX β + β
k variables

El estimador βe será insesgado solo si la matriz A es tal que


Representación
Matricial del
Modelo de
Regresión Lineal
Estimador AX=0k×k . De esta forma:
Mı́nimo
Cuadrados
Ordinarios
βe = β + [A + (X ′ X )−1 X ′ ]u
Propiedades
del estimador
MCO y su matriz de covarianza será:
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov
e = E [(βe − β)(βe − β)′ ]
cov (β)
= E {([A + (X ′ X )−1 X ′ ]u)([A + (X ′ X )−1 X ′ ]u)′ }
= σ 2 AA′ + σ 2 (X ′ X )−1
| {z }
cov (β̂)
Gauss-Markov

Clases 7
Econometrı́a

Tomás Rau

Modelo de
Regresión con
k variables
Representación
Matricial del
Modelo de
Regresión Lineal
Como la matriz AA′ es semidefinida positiva, se concluye la
Estimador
Mı́nimo
diferencia entre la covarianza de βe y β̂ es una matriz
Cuadrados
Ordinarios semidefinida positiva, con lo que la covarianza de βe es mayor o
Propiedades
del estimador
igual a la covarianza de β̂
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov

You might also like