Breve resumen sobre Regresión Lineal Múltiple

Estadística para Administradores-Girimonte

REGRESIÓN LINEAL MÚLTIPLE
El análisis de regresión permite evaluar la relación entre una variable respuesta y una o más
variables explicativas.

Modelo

1i n

donde  i es un término de error.

Las variables explicativas Xi se llaman covariables .

Estimación de los coeficientes

El modelo de regresión múltiple puede escribirse en notación matricial:

Y  X  

 y1   1 x 11  x p11     1 
y     0   
 1 x 12  x p12   1 
Y     
2 2
X    
        
y        
 n  1 x 1n  x p1n    p1   n
  

Luego los valores predichos son:

yˆi  ˆ0  ˆ1 x1    ˆp1 x p1

En forma análoga al modelo de regresión lineal simple los residuos ei, son el “equivalente”
muestral de los errores  i .

Los residuos son las diferencias entre el valor observado y el valor predicho:

ei = yi - yˆ i

Los residuos miden el error de predicción. Si el valor observado es mayor que el valor predicho
(yi > ŷ i ) el residuo es positivo; en caso contrario es negativo. Con una predicción perfecta
(yi = ŷ i ) resulta un residuo nulo.
La suma de los cuadrados de los residuos (SCRes) refleja la precisión y exactitud global de
nuestras predicciones:
n n
SCRes   ei2   y i  yˆ i 2 .
i 1 i 1

Aplicando el método de mínimos cuadrados, se obtiene que:

1
 Breve resumen sobre Regresión Lineal Múltiple
Estadística para Administradores-Girimonte

Cada coeficiente representa el cambio en la media de la variable respuesta Y cuando la

variable explicativa aumenta una unidad, manteniendo fijas todas las demás variables.

Propiedades de los estimadores de mínimos cuadrados

Para el modelo planteado

1i n

Si  i ~ N (0,  2 ) independientes i=1,…n.;

¿Cómo estimamos ?

De acuerdo a la formulación del modelo, es la varianza de los errores a los cuales

asumimos con esperanza 0.

Como los errores no los conocemos, los estimamos con los residuos:

ei = yi - yˆ i .

Luego, sería natural estimar la varianza a partir de los residuos:

A la suma de cuadrados del numerador la llamamos Suma de cuadrados residual

Propiedades:

1. E(ˆi )   i

2. E(CM Re s)   2

3. Varˆ(ˆi )  cii .CMRes donde cii es el correspondiente elemento diagonal en la matriz

ˆi   i
4. ~ t n p
cii CMRes

2
 Breve resumen sobre Regresión Lineal Múltiple
Estadística para Administradores-Girimonte

Coeficiente de determinación múltiple y Coeficiente de determinación múltiple ajustado

Ya hemos visto en regresión lineal simple que R 2 como porcentaje representa el porcentaje de
variación de la variable respuesta que puede ser explicada por el modelo.

SC Re g SC Re s
R2   1
SCT SCT

Cuando se trabaja con más de una variable explicativa, es recomendable trabajar con el R 2
ajustado, dado que al agregar variables explicativas al modelo solo puede aumentar el valor de
R 2 y nunca reducirlo, por esto se sugiere el uso del coeficiente de determinación múltiple
ajustado
SC Re s
n p
Ra2  1 
SCT
n 1

Significación de los coeficientes del modelo

Las hipótesis que se plantean son:

H0 :  i  0 vs. H1 :  i  0

ˆi
Rechazamos H0 si t cal   t n  p , / 2
ˆ ˆ
i

Significación global de la regresión

Puede realizarse un análisis de la varianza como para la regresión lineal simple, y analizar la
significación global de la regresión.
Las hipótesis que se plantean son:

H 0 :  i  0 i  1,..., p vs. H1 : a lg ún  i  0

F.V Suma de Grados de Cuadrados Medios

Cuadrados Libertad

Regresión SCReg P-1 CMReg=SCReg/p-1

Residuos SCRes n-p CMRes=CSRes/n-p F=CMReg/CMRes

Total SCT n-1 -----

Rechazamos H0 si Fcal  Fp1,np,