Professional Documents
Culture Documents
Econometrı́a
Tomás Rau
Modelo de
Regresión con
k variables
Representación
Clases 7
Matricial del
Modelo de
Regresión Lineal
Estimador
Econometrı́a
Mı́nimo
Cuadrados
Ordinarios
Propiedades
del estimador
Tomás Rau
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov
27 de marzo
Contenidos
Clases 7
Econometrı́a
Tomás Rau
Modelo de
Regresión con
k variables 1 Modelo de Regresión con k variables
Representación
Matricial del
Modelo de
Representación Matricial del Modelo de Regresión Lineal
Regresión Lineal
Estimador
Estimador Mı́nimo Cuadrados Ordinarios
Mı́nimo
Cuadrados
Ordinarios
Propiedades
del estimador
MCO
1 Propiedades del estimador MCO
Propiedad BLUE
o MELI
Propiedad BLUE o MELI
Teorema de
Gauss-Markov Teorema de Gauss-Markov
Modelo de Regresión con k variables
Clases 7
Econometrı́a
Clases 7
Econometrı́a
Clases 7
Econometrı́a
Tomás Rau Donde las variables explicativas se pueden agrupar en una sola
matriz de dimensión n×k, que denotaremos simplemente como
Modelo de
Regresión con X, de esta manera el modelo se expresa de la siguiente forma:
k variables
Representación
Matricial del
Modelo de
Regresión Lineal
y1 1 x21 x31 · · · xk1 β1 u1
Estimador y2 1 x22 x32 · · · xk2 β2 u2
Mı́nimo
Cuadrados .. = .. .. .. . . .. · .. + ..
Ordinarios
. . . . . . . .
Propiedades
del estimador yn 1 x2n x3n · · · xkn βk un
MCO
Propiedad BLUE
o MELI
Teorema de ⇒ Y = Xβ + u
Gauss-Markov
Clases 7
Econometrı́a
Ahora debemos expresar la distribución del término de error en
Tomás Rau términos matriciales:
Modelo de
E (u1 )
Regresión con E (u2 )
k variables
E (u) = .. = 0
Representación
Matricial del . n×1
Modelo de
Regresión Lineal
Estimador
E (un )
Mı́nimo
Cuadrados
Ordinarios E (u12 ) E (u1 u2 ) · · · E (u1 un )
Propiedades E (u2 u1 ) E (u22 ) · · · E (u2 un )
del estimador
MCO E (uu ′ ) = .. .. .. ..
Propiedad BLUE
. . . .
o MELI
Teorema de
Gauss-Markov
E (un u1 ) E (un u2 ) · · · E (un2 )
σ2 0 ··· 0
0 σ2 · · · 0
2
= .. .. . . .. = σ n×nI
. . . .
0 0 · · · σ2
Modelo de Regresión con k variables
Clases 7
Econometrı́a
De los supuestos 3, 4 y 5, tenemos entonces que el término de
Tomás Rau
error tiene la siguiente distribución:
Modelo de
Regresión con
k variables 2
Representación
u ∼ 0 ,σ I (1)
Matricial del n×1 n×n
Modelo de
Regresión Lineal
Estimador
Mı́nimo El método de MCO, plantea que los parámetros del modelo
Cuadrados
Ordinarios
pueden ser estimados minimizando la suma de los errores al
Propiedades
del estimador cuadrado (SE (β̂)), la que en términos matriciales equivale a:
MCO
Propiedad BLUE
o MELI n
X
Teorema de
Gauss-Markov SE (β̂) = ûi2 = û ′ û = (Y − X β̂)′ (Y − X β̂)
i =1
Clases 7
Econometrı́a
Propiedades
del estimador ∂x’Ax
MCO = (A′ + A)x = 2Ax si A es simétrica
Propiedad BLUE ∂x
o MELI
Teorema de
Gauss-Markov
Clases 7
Econometrı́a
Tomás Rau
h i
mı́n SE (β̂) = mı́n (Y − X β̂)′ (Y − X β̂)
Modelo de β̂ β̂
Regresión con h i
k variables
Representación
= mı́n Y ′ Y − 2β̂ ′ X ′ Y + β̂ ′ X ′ X β̂
Matricial del
Modelo de
β̂
Regresión Lineal
Estimador
Mı́nimo
Cuadrados
Ordinarios
∂SE (β̂)
Propiedades
del estimador
= −2X ′ Y + 2X ′ X β̂ = 0 (2)
MCO ∂ β̂ ′
Propiedad BLUE
o MELI ⇒ β̂ = (X ′ X )−1 X ′ Y (3)
Teorema de
Gauss-Markov
De (2) tenemos:
X ′ (Y − X β̂) = 0 ⇒ X ′ û = 0 (4)
Clases 7
Econometrı́a
De esta forma, el vector de parámetros estimados β̂ se obtiene
Tomás Rau de resolver el siguiente sistema de ecuaciones normales:
Modelo de
Regresión con X ′ X β̂ = X ′ Y ⇔
k variables
Representación
Matricial del
Modelo de
Regresión Lineal
Estimador 1 1 1 ··· 1 1 x2,1 x3,1 · · · xk,1 β̂1
Mı́nimo
Cuadrados x2,1 x2,2 · · · x2,n 1 x2,2 x3,2 · · · xk,2 β̂2
Ordinarios
.. .. .. .. .. .. .. .. .. .. ..
Propiedades
del estimador
. . . . . . . . . . .
MCO
Propiedad BLUE
xk,1 xk,2 · · · xk,n 1 x2,n x3,n · · · xk,n β̂k
o MELI
Teorema de
Gauss-Markov 1 1 1 ··· 1 y1
x2,1 x2,2 · · · x2,n y2
= . .. .. .. . ..
.. . . . .. .
xk,1 xk,2 · · · xk,n yn
Modelo de Regresión con k variables
Clases 7
Econometrı́a
Tomás Rau
Pn P
Modelo de
Pn n Pin=1 x2,i · · · P ni=1 xk,i β̂1
Regresión con n
k variables x x2 ··· x x
β̂2
Representación
Pin=1 2,i Pn i =1 2,i Pin=1 2,i k,i β̂
Matricial del
Modelo de ⇔ i =1 x3,i i =1 x3,i x2,i ··· x x
i =1 3,i k,i 3
Regresión Lineal .. .. .. .. .. ..
. . .
Pn . Pn . .
Estimador
Mı́nimo
Cuadrados Pn 2
Ordinarios
i =1 xk,i i =1 xk,i x2,i ··· i =1 xk,i β̂k
Propiedades
del estimador
Pn
i =1 yi
Pn yi x2,i
MCO
Propiedad BLUE
o MELI Pni =1
i =1 yi x3,i
Teorema de
Gauss-Markov =
..
Pn .
i =1 yi xk,i
Modelo de Regresión con k variables
Clases 7
Econometrı́a
Es importante recordar que el estimador MCO esta definido
Tomás Rau
solo cuando la matriz (X’X) es invertible, lo que ocurre siempre
Modelo de
Regresión con
y cuando:
k variables
Representación
1 Las k columnas de la matriz X sean linealmente
Matricial del
Modelo de
Regresión Lineal
independientes.
Estimador
Mı́nimo
Cuadrados
2 Se disponga al menos de tantas observaciones como
Ordinarios
variables explicativas, es decir: n≥ k.(Supuesto 7)
Propiedades
del estimador
MCO
Pongamos atención en el segundo supuesto, cuando n=k la
Propiedad BLUE
o MELI
matriz X tiene dimensión k×k, por lo tanto salvo que no se
Teorema de
Gauss-Markov cumpla el supuesto 8, X es invertible, y de esta forma
(X ′ X )−1 = X −1 (X ′ )−1 y por lo tanto:
Clases 7
Econometrı́a
Clases 7
Econometrı́a
Tomás Rau
Modelo de
Regresión con
Notemos que el vector β̂ es un vector aleatorio, ya que depende
k variables del vector de errores:
Representación
Matricial del
Modelo de
Regresión Lineal
Estimador
Mı́nimo
Cuadrados β̂ = (X ′ X )−1 X ′ Y = (X ′ X )−1 X ′ (X β + u) = β + (X ′ X )−1 X ′ u
Ordinarios
Propiedades
del estimador
MCO
Propiedad BLUE
E (β̂) = E (β) + E [(X ′ X )−1 X ′ u]
o MELI
Teorema de
Gauss-Markov
= β + (X ′ X )−1 X ′ E (u)
Propiedades del estimador MCO
Clases 7
Econometrı́a
Tomás Rau
La esperanza de β es el mismo parámetro, ya que este es un
Modelo de constante (valor poblacional), y por supuestos 2 y 3 el segundo
Regresión con
k variables término de la expresión anterior es cero,
Representación
Matricial del
Modelo de
Regresión Lineal
Estimador
⇒ E (β̂) = β (6)
Mı́nimo
Cuadrados
Ordinarios
Es decir, el estimador MCO es insesgado, tal como lo
Propiedades
del estimador habı́amos mostrado anteriormente.
MCO
Propiedad BLUE
o MELI
Teorema de Luego, podemos definir el error de estimación como:
Gauss-Markov
β̂ − β = (X ′ X )−1 X ′ u
Propiedades del estimador MCO
Clases 7
Econometrı́a
Ahora calculemos la varianza de β̂: Necesitamos obtener la
Tomás Rau varianza de un vector, para eso necesitamos la esperanza de la
siguiente forma cuadrática
Modelo de
Regresión con
k variables
Representación
Matricial del var (β̂) = E [(β̂ − E (β̂)) · (β̂ − E (β̂))′ ]
Modelo de
Regresión Lineal
Estimador = E [(β̂ − β) · (β̂ − β)′ ]
Mı́nimo
Cuadrados
Ordinarios = E [(X ′ X )−1 X ′ uu ′ X (X ′ X )−1 ]
Propiedades
del estimador = (X ′ X )−1 X ′ E (uu ′ )X (X ′ X )−1
MCO
Propiedad BLUE
o MELI
= (X ′ X )−1 X ′ (σ 2 In )X (X ′ X )−1
Teorema de
Gauss-Markov = σ 2 (X ′ X )−1 (7)
Para poder estimar la varianza de β̂ necesitamos reemplazar σ 2
en (5) por su estimador insesgado:
û ′ û
e2 =
σ
n−k
Propiedad BLUE
Clases 7
Econometrı́a
Tomás Rau
Modelo de
Se dice que β̂, es el mejor estimador lineal insesgado (MELI o
Regresión con
k variables
BLUE) de β si se cumple lo siguiente:
Representación
Matricial del
1 El lineal, es decir, es una función lineal de una variable
Modelo de
Regresión Lineal
Estimador
aleatoria, como la variable y en el modelo de regresión.
Mı́nimo
Cuadrados
Ordinarios
2 Es insesgado, es decir, su valor esperado, E (β̂), es igual a
Propiedades el verdadero valor, β.
del estimador
MCO 3 Tiene varianza mı́nima dentro de la clase de todos los
Propiedad BLUE
o MELI
Teorema de
estimadores lineales insesgados; un estimador insesgado
Gauss-Markov
como varianza mı́nima es conocido como un estimador
eficiente.
Gauss-Markov
Clases 7
Econometrı́a Proposición: El estimador MCO es el estimador lineal
Tomás Rau
insesgado óptimo, en el sentido de que cualquier otro estimador
Modelo de lineal e insesgado tiene una matriz de covarianza mayor que la
Regresión con
k variables del estimador MCO. Es decir, el estimador MCO es MELI
Representación
Matricial del
Modelo de
(BLUE).
Regresión Lineal
Estimador
Mı́nimo
Cuadrados Demostración: Sea βe = Ay
e un estimador lineal de β, donde A
e
Ordinarios
e ′ −1 ′
es una matriz k×n. Definamos A = A − (X X ) X , de modo
Propiedades
del estimador
MCO
que:
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov
βe = [A + (X ′ X )−1 X ′ ]Y
= [A + (X ′ X )−1 X ′ ](X β + u)
= AX β + β + [A + (X ′ X )−1 X ′ ]u
Clases 7
Econometrı́a
Tomás Rau
e = AX β + β + [A + (X ′ X )−1 X ′ ]E (u)
E (β)
Modelo de
Regresión con = AX β + β
k variables
Clases 7
Econometrı́a
Tomás Rau
Modelo de
Regresión con
k variables
Representación
Matricial del
Modelo de
Regresión Lineal
Como la matriz AA′ es semidefinida positiva, se concluye la
Estimador
Mı́nimo
diferencia entre la covarianza de βe y β̂ es una matriz
Cuadrados
Ordinarios semidefinida positiva, con lo que la covarianza de βe es mayor o
Propiedades
del estimador
igual a la covarianza de β̂
MCO
Propiedad BLUE
o MELI
Teorema de
Gauss-Markov