1

Regresin Lineal Mltiple

y
i
= |
0
+ |
1
x
1i
+ |
2
x
2i
+ . . . |
k
x
ki
+ u
i

A. Estimacin
Javier Aparicio
Divisin de Estudios Polticos, CIDE
javier.aparicio@cide.edu

Primavera 2011

http://www.cide.edu/investigadores/aparicio/metodos.html

2
Similitudes con regresin simple
|
0
es el intercepto
|
1
a |
k
son k parmetros de pendiente
u es el trmino de error o residual
El supuesto de media condicional cero se
mantiene:
E(u|x
1
,x
2
, ,x
k
) = 0
Igual que antes, minimizamos la suma de
residuales cuadrados, de modo que tenemos
k+1 condiciones de primer orden (o k+1
parmetros a estimar)

3
Interpretacin de la regresin mltiple
ribus ceteris pa
x y
x x
x x x y
x x x y
k
k k
k k
cin interpreta una
tiene cada decir, es ,

que implica , constantes ,..., mantenemos si y

,

...

que modo de ,

...

1 1
2
2 2 1 1
2 2 1 1 0
| |
| | |
| | | |
A = A
A + + A + A = A
+ + + + =
4
| interpretada como una derivada
parcial
( )
2 2 0 1
1
2
1 1 1
2 2 1 1 0

: auxiliar
regresin una de residuales los son
son

donde ,

entonces ,

i.e. , 2 donde caso el Considere

x x
r r y r
x x y
k
i i i i

|
| | |
+ =
=
+ + =
=

5
derivada parcial
La ecuacin anterior implica que regresar y
en x
1
y x
2
tiene el mismo estimador para x
1

que regresar y en los residuales de una
regresin de x
1
en x
2
Es decir, al relacionar x
1
con y, solamente
capturamos la informacin de x
i1
que no est
relacionada con x
i2
.
Estimamos el efecto de x
1
en y despus de
controlar o aislar el efecto de x
2

6
Estimacin simple vs. mltiple
muestra. la en alguna n correlaci tengan no y bien o
) ivo significat parcial efecto un tenga no (i.e. 0

: que menos a

~
general, En

multiple regresin la con

~ ~
~
simple regresin la Compare
2 1
2 2
1 1
2 2 1 1 0
1 1 0
x x
x
x x y
x y
=
=
+ + =
+ =
|
| |
| | |
| |
7
Suma de cuadrados: Terminologa
( )
( )
SSR SSE SST que implica cual Lo
SSR : cuadrados de Residual Suma la es

SSE : cuadrados de Explicada Suma la es

SST : cuadrados de Total Suma la es

: siguiente lo definir podemos que modo De

: explicado no componente un y co) (sistemti explicado
componente un en n observaci cada separar Podemos
2
2
2
+ =

+ =
i
i
i
i i i
u
y y
y y
u y y
SST es la suma de desviaciones al cuadrado de las observaciones
de la muestra: es proporcional, ms no igual, a VAR(y).
8
Bondad de ajuste: R
2
Cmo saber qu tan bueno es el ajuste
entre la regresin y los datos de la muestra?
Podemos calcular la proporcin de la Suma
de cuadrados totales (SST) que es
explicada por el modelo.
Esto es la llamada R-cuadrada de una
regresin:
R
2
= SSE/SST = 1 SSR/SST
9
Bondad de ajuste: R
2
( )( ) | |
( ) ( ) ( ) ( )

=
2
2
2
2
2


:

predichos, valores los y , , observados

valores los entre n correlaci de e coeficient del
cuadrado el como definirse puede tambin
y y y y
y y y y
R
y y
R
i i
i i
i i
10
R-cuadrada: discusin
R
2
nunca decrecer conforme incluyamos ms
variables explicativas a la regresin, y por lo general
aumentar (as sea marginalmente).
Por qu? Incluir variables adicionales aumenta la
SSE aunque no sean significativas.
Dado que R
2
tpicamente aumenta con el nmero
de variables independientes, no es por s sola un
buen criterio para comparar modelos.
11
| no sesgadas:
supuestos Gauss-Markov
1. Modelo poblacional es lineal en sus parmetros:
y = |
0
+|
1
x
1
+|
2
x
2
++ |
k
x
k
+ u
2. Muestra aleatoria de tamao n,
{(x
i1
, x
i2
,, x
ik
, y
i
): i=1, 2, , n}, representativa de la
poblacin, de modo que el modelo muestral es:
y
i
=|
0
+|
1
x
i1
+|
2
x
i2
++ |
k
x
ik
+ u
i

3. E(u|x
1
, x
2
, x
k
) = 0, lo cual implica que todas las
variables explicativas son exgenas (no
endogeneidad).
4. Ninguna variable x es constante ni tiene una
correlacin lineal exacta con otra (no
multicolinealidad).
12
Demasiadas vs. pocas variables
Si incluimos variables que no pertenecen
al modelo poblacional en nuestra
especificacin o modelo?
No tiene impacto en el resto de las |
estimadas: MCO permanece sin sesgo.
Si excluimos variables que s pertenecen
al modelo?
En general, los estimadores MCO tendrn un
sesgo de variable omitida.
13
Sesgo de variable omitida
( )
( )
(*)
~
entonces ,
~ ~
~
estimamos
pero ,
: es modelo verdadero" " el que Supongamos
2
1 1
1 1
1
1 1 0
2 2 1 1 0

=
+ + =
+ + + =
x x
y x x
u x y
u x x y
i
i i
|
| |
| | |
...ie, la estimacin del modelo incorrecto.
Comparmoslo con la | del modelo correcto
14
Sesgo de variable omitida
(continuacin)
( )( )
( ) ( ) ( )
i i i i i
i i i i
i i i i
u x x x x x x x
u x x x x
u x x y

+ + =
+ + +
+ + + =
1 1 2 1 1 2
2
1 1 1
2 2 1 1 0 1 1
2 2 1 1 0
: es (*) de numerador el que modo de
,
: verdadero" " modelo el Retomando
| |
| | |
| | |
15
( )
( ) ( )
( )
( ) ( )
( )
( )
( ) ( )

+ =
=

+ =
2
1 1
2 1 1
2 1 1
2
1 1
1 1
2
1 1
2 1 1
2 1
~
tenemos esperado, alor calcular v al
0, ) E( que dado
~
x x
x x x
E
u
x x
u x x
x x
x x x
i
i i
i
i
i i
i
i i
| | |
| | |
Sesgo de variable omitida
(continuacin)
16
Sesgo de variable omitida
(continuacin)
( )
( ) ( )
( )
sesgo. un tiene
~
i.e.,
~ ~
que modo de
en de impacto el denota
~
~
donde
~ ~
~
: en de regresin la os Considerem
1
1 2 1 1
2 1 1
2
1 1
2 1 1
1 1 1 0 2
1 2
|
o | | |
o
o o o
+ =

= + =

E
x x
x x
x x x
x x
x x
i
i i
17
Sesgo positivo o negativo en |
1
Corr(x
1
, x
2
) > 0
(o
1
> 0)
Corr(x
1
, x
2
) < 0
(o
1
< 0)
|
2
> 0 Sesgo positivo
(overestimation)
Sesgo negativo
|
2
< 0

Sesgo negativo
(underestimation)
Sesgo positivo
18
Sesgo de variable omitida: resumen
Dos casos donde el sesgo es igual a cero:
|
2
= 0, es decir, x
2
no perteneca al modelo poblacional
x
1
y x
2
no estn correlacionados en la muestra
Si la correlacin entre (x
2
, x
1
) y entre (x
2
, y) es del
mismo signo, el sesgo es positivo.
Si omites una variable x
2
que se mueve en el mismo
sentido que x
1
, y sta afecta positivamente a y, |
1

capturar parte de dicho impacto (sobre- estimada).
Si la correlacin entre (x
2
, x
1
) y entre (x
2
, y) es de
signo opuesto, el sesgo es negativo.
19
El caso ms general:
sesgo en todas las |
i
Tcnicamente, slo podemos anticipar el signo de
este sesgo cuando el resto de las variables
explicativas incluidas no estn correlacionadas
entre s ni con la variable omitida
Si esto no se cumple, el sesgo afecta a todas las |
i

estimadas, dependiendo de las covarianzas entre
las variables incluidas y con la variable omitida.
An as, resulta til calcular el sesgo de variable
omitida asumiendo que las otras x no estn
correlacionadas, an cuando este supuesto no se
cumpla.
20
Varianza de los estimadores MCO
Ya vimos que la distribucin muestral de los
estimadores est centrada en torno a los
verdaderos parmetros (insesgamiento).
Qu tan dispersa ser la distribucin de los
estimadores?
Para analizar esto, requerimos el 5
supuesto Gauss-Markov:
Var(u|x
1
, x
2
,, x
k
) = o
2
conocido como homoscedasticidad
(homoskedasticity): varianza constante.
21
Varianza de MCO (cont.)
Sea x igual al vector de variables (x
1
, x
2
,x
k
)
Suponer que Var(u|x) = o
2
tambin implica
que Var(y| x) = o
2

Los 4 supuestos requeridos para
insesgamiento, ms el supuesto de
homoscedasticidad son los llamados
supuestos Gauss-Markov.

22
Varianza de MCO (cont.)
( )
( )
( )
x x
R R x x SST
R SST
Var
j
j j ij j
j j
j
otras las en todas de regresin una de
la es y
donde ,
1

: Markov - Gauss supuestos 5 los Dados

2 2
2
2
2

=

=
o
|
Es decir, SST
j
captura la varianza de x
i
, mientras que R
2
j

captura la correlacin entre x
j
y las otras x del modelo.
23
Componentes de la Varianza de MCO
Varianza del error: a mayor o
2
, mayor varianza de
los estimadores MCO.
Varianza muestral: a mayor SST
j
, menor varianza
de los estimadores MCO.
A mayor tamao de muestra, mayor SST
j
y mayor
precisin de los estimadores.
Correlacin entre las variables explicativas: a mayor
R
j
2
, mayor varianza de los estimadores MCO.
Si dos variables x son altamente correlacionadas,
sus b sern poco precisas.
Mayor varianza de los estimadores equivale a decir
menor precisin o menor eficiencia.
24
Error de especificacin y eficiencia de los
estimadores MCO
( )
( )
( )
( ) ( )
nados) correlacio estn no y que menos (a

~
: general en que, modo De
,
1

: correcto" " modelo el para que Mientras

~
donde ,
~ ~
~
: " incorrecto " modelo el Comparemos
2 1
1 1
2
2
1
2
1 1 1 0
x x
Var Var
R SST
Var
SST
Var x y
j j
j
| |
o
|
o
| | |
<

=
= + =
Estimar el modelo incorrecto produce una |
1
sesgada (por la variable
omitida) pero de menor varianza (mayor precisin)!
Un modelo con variables omitidas puede ser engaosamente preciso.
Este es el llamado trade-off entre sesgo y eficiencia.
25
Trade-off entre sesgo y eficiencia
La varianza del estimador es menor en el modelo
incorrecto pero, a menos que |
2
= 0, este modelo
ser sesgado.
Un modelo con variables omitidas puede ser
engaosamente preciso y posiblemente sesgado.
Un modelo con demasiadas variables puede ser
engaosamente impreciso: pierdes ms grados de
libertad y enfrentas mayor multicolinearidad.
Conforme el tamao de la muestra aumenta, la
varianza de cada estimador disminuye, haciendo
que las diferencias en eficiencia sean relativamente
menos importantes.
26
Estimacin de la varianza del error
No conocemos la varianza del error, o
2
, porque no
observamos los errores de la poblacin, u
i

Lo que observamos son los residuales (estimados)
del modelo muestral:



Pero podemos usar los residuales estimados para
construir un estimador de la varianza del error.
ki k i i i
x x y u | | |

...

1 1 0
=
27
Varianza del error (cont)
( ) ( )
( ) ( ) | |
2 1
2
2 2
1

thus,
1

j j j
i
R SST se
df SSR k n u
=
=

o |
o
gl = n (k + 1), o bien gl = n k 1
gl (grados de libertad) = (nmero de observaciones)
(nmero de parmetros estimados)
A mayores grados de libertad, mayor precisin de
los estimadores.
28
Teorema Gauss-Markov
Dados los 5 supuestos Gauss-Markov, puede
demostrarse que MCO es MELI (BLUE):
Mejor Estimador Lineal Insesgado
Best Linear Unbiased Estimator
De modo que, si los supuestos G-M se
sostienen, usar MCO es una buena idea.
Si, adems de estos 5 supuestos,
u ~ N(0, o
2
) MCO es el mejor estimador
(lineal o no lineal) insesgado.