Regresion y Correlacion

Tema 5: Regresion y Correlacion.
Regresion y Correlacion
Manuel Ruiz Marn
Universidad Politecnica de Cartagena
Manuel Ruiz Marn Regresion y Correlacion
Indice del Tema

5.1. Concepto de ajuste lineal.
5.2. El metodo de los mnimos cuadrados y las ecuaciones normales.
5.3. Ajuste por mnimos cuadrados a una recta.
5.3.1. Propiedades.
5.4. Coecientes de determinacion y correlacion lineal.
5.4.1. La varianza residual.
5.4.2. Relacion entre las varianzas S
2
y
, S
2
y
, S
2
e
5.4.2. El coeciente de determinacion.
5.4.3. El coeciente de correlacion lineal.
5.5. Regresion no lineal.
5.5.1. Ajuste hiperbolico.
5.5.2. Ajuste exponencial.
5.5.3. Ajuste potencial.
5.5.4. Ajuste parabolico.
5.7. Regresion lineal m ultiple.
5.7.1. Ajuste a un hiperplano por mnimos cuadrados.
5.7.2. El coeciente de determinacion m ultiple y parcial.
Que Necesitamos Saber?
1
Calcular la media aritmetica, x.
2
Calcular la varianza s
2
y desviacion tpica s.
3
Distribuciones bidimensionales.
4
Calcular la covarianza S
xy
.
5
Cobocer las ecuaciones de la: recta, hiperbola, parabola,
funcion exponencial, funcion potencial y de un hiperplano.
6
Representacion graca de las funciones anteriores.
7
Propiedades de los logaritmos.
8
Derivar y determinar extremos relativos en funciones reales de
variable real.
9
Calculo matricial.
1
Calcular la media aritmetica, x.
2
Calcular la varianza s
2
y desviacion tpica s.
3
Distribuciones bidimensionales.
4
Calcular la covarianza S
xy
.
5
Cobocer las ecuaciones de la: recta, hiperbola, parabola,
funcion exponencial, funcion potencial y de un hiperplano.
6
Representacion graca de las funciones anteriores.
7
Propiedades de los logaritmos.
8
Derivar y determinar extremos relativos en funciones reales de
variable real.
9
Calculo matricial.
Objeto
Objeto
Objeto
Analizar la existencia Establecer relaciones funcionales donde una
serie de magnitudes (variables o atributos) X
1
, X
2
, . . . , X
p
se
supone que estan relacionadas con una variable Y mediante la
expresion
Y = f (X
1
, X
2
, . . . , X
p
).
Asimismo pretendemos medir el grado de bondad de la relacion
establecida.
Objeto
Objeto
Analizar la existencia Establecer relaciones funcionales donde una
serie de magnitudes (variables o atributos) X
1
, X
2
, . . . , X
p
se
supone que estan relacionadas con una variable Y mediante la
expresion
Y = f (X
1
, X
2
, . . . , X
p
).
Asimismo pretendemos medir el grado de bondad de la relacion
establecida.
Regresion con Dos Variables
Que relacion existe entre X e Y?
y
1
y
2
. . . y
s
x
1
n
11
n
12
. . . n
1s
x
2
n
21
n
22
. . . n
2s
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
x
k
n
k1
n
k2
. . . n
ks
Existe alg un tipo de asociacion, dependencia o covariacion entre
las variables X e Y.
y
1
y
2
. . . y
s
x
1
n
11
n
12
. . . n
1s
x
2
n
21
n
22
. . . n
2s
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
x
k
n
k1
n
k2
. . . n
ks
y
1
y
2
. . . y
s
x
1
n
11
n
12
. . . n
1s
x
2
n
21
n
22
. . . n
2s
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
x
k
n
k1
n
k2
. . . n
ks
Como seleccionar el modelo?. Diagrama de dispersion
Ajuste por Mnimos Cuadrados a
Una Recta
Ajuste por Mnimos Cuadrados a una Recta
Regresion Lineal por Mnimos Cuadrados
Objetivo
Hacer mnima la suma de los errores al cuadrado
f (a, b) =
N
i =1
e
2
i
=
N
i =1
(y
i
y
i
)
2
=
N
i =1
(y
i
a bx
i
)
2
Objetivo
f (a, b) =
N
i =1
e
2
i
=
N
i =1
(y
i
y
i
)
2
=
N
i =1
(y
i
a bx
i
)
2
Objetivo
f (a, b) =
N
i =1
e
2
i
=
N
i =1
(y
i
y
i
)
2
=
N
i =1
(y
i
a bx
i
)
2
Primera Condicion Para Mnimo. Ecuaciones Normales
f
a
(a, b) = 2
i =1
y
i
Na b
N
i =1
x
i
= 0
f
b
(a, b) = 2
i =1
y
i
x
i
a
N
i =1
x
i
b
N
i =1
x
2
i
= 0
Segunda Condicion Para Mnimo. El Hessiano

Hf (a, b) =
2
f
2
a
(a, b) = 2N

2
f
ab
(a, b) = 2Nx
2
f
ba
(a, b) = 2Nx

2
f
2
b
(a, b) = 2
N
i =1
x
2
i
1
= 2N > 0 y
2
= 4N
2
s
2
x
> 0.
Luego los a y b solucion de las ecuaciones normales son mnimo
para f (a, b).
f
a
(a, b) = 2
i =1
y
i
Na b
N
i =1
x
i
= 0
f
b
(a, b) = 2
i =1
y
i
x
i
a
N
i =1
x
i
b
N
i =1
x
2
i
= 0

Hf (a, b) =
2
f
2
a
(a, b) = 2N

2
f
ab
(a, b) = 2Nx
2
f
ba
(a, b) = 2Nx

2
f
2
b
(a, b) = 2
N
i =1
x
2
i
1
= 2N > 0 y
2
= 4N
2
s
2
x
> 0.
para f (a, b).
f
a
(a, b) = 2
i =1
y
i
Na b
N
i =1
x
i
= 0
f
b
(a, b) = 2
i =1
y
i
x
i
a
N
i =1
x
i
b
N
i =1
x
2
i
= 0

Hf (a, b) =
2
f
2
a
(a, b) = 2N

2
f
ab
(a, b) = 2Nx
2
f
ba
(a, b) = 2Nx

2
f
2
b
(a, b) = 2
N
i =1
x
2
i
1
= 2N > 0 y
2
= 4N
2
s
2
x
> 0.
para f (a, b).
Sistema de Ecuaciones Normales
N
i =1
y
i
= Na + b
N
i =1
x
i
N
i =1
y
i
x
i
= a
N
i =1
x
i
+ b
N
i =1
x
2
i
Dividiendo las ecuaciones por N tenemos

Ecuaciones Normales
y = a + bx
1
N
N
i =1
y
i
x
i
= ax + b
1
N
N
i =1
x
2
i

N
i =1
y
i
= Na + b
N
i =1
x
i
N
i =1
y
i
x
i
= a
N
i =1
x
i
+ b
N
i =1
x
2
i

Ecuaciones Normales
y = a + bx
1
N
N
i =1
y
i
x
i
= ax + b
1
N
N
i =1
x
2
i

N
i =1
y
i
= Na + b
N
i =1
x
i
N
i =1
y
i
x
i
= a
N
i =1
x
i
+ b
N
i =1
x
2
i

Ecuaciones Normales
y = a + bx
1
N
N
i =1
y
i
x
i
= ax + b
1
N
N
i =1
x
2
i

Coecientes de la Recta de Regresion
b =
S
xy
s
2
x
a = y
S
xy
s
2
x
x

Coecientes de la Recta de Regresion
b =
S
xy
s
2
x
a = y
S
xy
s
2
x
x

El Binomio Calculos-Gracos
El Binomio Calculos-Gracos. Cambio de Escala
El aspecto de un diagrama de dispersion puede alterarse
drasticamente con un cambio de escala.
Un aumento en la escala puede hacernos creer en la posible
existencia de un ajuste lineal para dos variables incorreladas.
El Binomio Calculos-Gracos. Hacer Calculos Sin Representar Datos
Presentamos dos modelos de regresion lineales con los mismos
coecientes y mismo grado de bondad.
Pero el ajuste lineal del Modelo 2 no es el mas adecuado para los
datos proporcionados.
De ah la importancia de la representacion graca.
El Binomio Calculos-Gracos. Hacer Calculos Sin Representar Datos
Presentamos dos modelos de regresion lineales con los mismos
coecientes y mismo grado de bondad.
Pero el ajuste lineal del Modelo 2 no es el mas adecuado para los
datos proporcionados.
De ah la importancia de la representacion graca.
Propiedades de la Recta de
Regresion
Propiedades de la recta de regresion
N
i =1
e
i
= 0 (por la primera ecuacion normal)
Dadas las rectas de regresion
Y = a + bX
X = c + dY
se cortan en el punto (x, y).

Las variables Y
y E son incorreladas, es decir S

y
e
= 0 (por
la primera propiedad y la segunda ecuacion normal).
Propiedades de la recta de regresion
N
i =1
e
i
= 0 (por la primera ecuacion normal)
Dadas las rectas de regresion
Y = a + bX
X = c + dY
se cortan en el punto (x, y).

Las variables Y
y E son incorreladas, es decir S

y
e
= 0 (por
la primera propiedad y la segunda ecuacion normal).
Coecientes de Determinacion y
Correlacion
Coecientes de Determinacion y Correlacion
Objetivo
Una vez determinada la recta de regresion queremos determinar si
el ajuste es bueno.
Objetivo
Encontrar un coeciente que indique el grado de bondad del ajuste.
Objetivo
Una vez determinada la recta de regresion queremos determinar si
el ajuste es bueno.
Objetivo
Encontrar un coeciente que indique el grado de bondad del ajuste.
La Varianza Residual
Como los coecientes a y b calculados por mnimos cuadrados
hacen mnima
f (a, b) =
N
i =1
e
2
i
,
parece logico que una primera medida del grado de bondad del
ajuste sera calcular el valor de ese mnimo.
Observese que como
N
i =1
e
i
= 0 tenemos que:
s
2
E
=
1
N
N
i =1
e
2
i
,
termino que se le conoce como varianza residual.
Como los coecientes a y b calculados por mnimos cuadrados
hacen mnima
f (a, b) =
N
i =1
e
2
i
,
parece logico que una primera medida del grado de bondad del
ajuste sera calcular el valor de ese mnimo.
Observese que como
N
i =1
e
i
= 0 tenemos que:
s
2
E
=
1
N
N
i =1
e
2
i
,
termino que se le conoce como varianza residual.
Calculo de la Varianza Residual
s
2
e
=
1
N
N
i =1
e
2
i
=
1
N
N
i =1
e
i
(y
i
y
i
) =
1
N
N
i =1
e
i
y
i

1
N
N
i =1
e
i
y
i
Como las variables Y
y E son incorreladas tenemos que

N
i =1
e
i
y
i
= 0 y por tanto:
s
2
e
=
1
N
N
i =1
e
i
y
i
=
N
i =1
y
2
i
a
N
i =1
y
i
b
N
i =1
x
i
y
i
N
Calculo de la Varianza Residual
s
2
e
=
1
N
N
i =1
e
2
i
=
1
N
N
i =1
e
i
(y
i
y
i
) =
1
N
N
i =1
e
i
y
i

1
N
N
i =1
e
i
y
i
Como las variables Y
y E son incorreladas tenemos que

N
i =1
e
i
y
i
= 0 y por tanto:
s
2
e
=
1
N
N
i =1
e
i
y
i
=
N
i =1
y
2
i
a
N
i =1
y
i
b
N
i =1
x
i
y
i
N
La Varianza residual mide la dispersion existente entre los valores
observados (y
i
) y los valores ajustados (y
i
).
Si s
2
e
es muy grande la bondad del ajuste sera baja.
Si s
2
e
es muy peque na la bondad del ajuste sera alta.
Si s
2
e
= 0 es porque todos los e
i
= 0 y por tanto todos los
puntos estan sobre la recta. Habria una relacion funcional
perfecta.
La Varianza residual mide la dispersion existente entre los valores
observados (y
i
) y los valores ajustados (y
i
).
Si s
2
e
es muy grande la bondad del ajuste sera baja.
Si s
2
e
es muy peque na la bondad del ajuste sera alta.
Si s
2
e
= 0 es porque todos los e
i
= 0 y por tanto todos los
puntos estan sobre la recta. Habria una relacion funcional
perfecta.
Relacion Entre la Varianzas s
2
y
, s
2
y
y s
2
e
En el caso de ajuste lineal, como Y = Y
+ E y e = 0 tenemos
que y = y
y ademas
N
i =1
y
i
e
i
= 0. Por tanto:
s
2
y
=
1
N
N
i =1
y
2
i
y
2
=
1
N
N
i =1
(y
i
+ e
i
)
2
y
2
=
=
1
N
N
i =1
y
2
i
y
2
+
1
N
N
i =1
e
2
i
= s
2
y
+ s
2
e
2
y
, s
2
y
y s
2
e
s
2
y
= s
2
y
+ s
2
e
2
y
, s
2
y
y s
2
e
+ E y e = 0 tenemos
que y = y
y ademas
N
i =1
y
i
e
i
= 0. Por tanto:
s
2
y
=
1
N
N
i =1
y
2
i
y
2
=
1
N
N
i =1
(y
i
+ e
i
)
2
y
2
=
=
1
N
N
i =1
y
2
i
y
2
+
1
N
N
i =1
e
2
i
= s
2
y
+ s
2
e
2
y
, s
2
y
y s
2
e
s
2
y
= s
2
y
+ s
2
e
2
y
, s
2
y
y s
2
e
+ E y e = 0 tenemos
que y = y
y ademas
N
i =1
y
i
e
i
= 0. Por tanto:
s
2
y
=
1
N
N
i =1
y
2
i
y
2
=
1
N
N
i =1
(y
i
+ e
i
)
2
y
2
=
=
1
N
N
i =1
y
2
i
y
2
+
1
N
N
i =1
e
2
i
= s
2
y
+ s
2
e
2
y
, s
2
y
y s
2
e
s
2
y
= s
2
y
+ s
2
e
Problema
s
2
e
viene dada en las unidades de medida de la variable
dependiente al cuadrado.
A partir de que valores s
2
e
es sucientemente peque na o
grande como para admitir un buen o mal ajuste?.
Solucion
Determinar un coeciente que mida el grado de bondad del ajuste
lineal de manera que:
Sea adimensional, es decir, carezca de unidades de medida.
Nos permita decidir si el juste es aceptable o no.
Problema
s
2
e
2
e
Solucion
Problema
s
2
e
2
e
Solucion
Coeciente de Determinacion
El coeciente de determinacion R
2
determina la proporcion de la
varianza de la variable Y que queda explicada por la variable
ajustada Y
:
R
2
=
s
2
y
s
2
y
=
s
2
y
s
2
e
s
2
y
= 1
s
2
e
s
2
y
Rango de Variacion de R
2
Como R
2
es un cociente de varianzas tenemos que 0 R
2
.
Por otro lado 1 R
2
=
s
2
e
s
2
y
0 y por tanto R
2
1. Por tanto:
0 R
2
1 1 R 1
2
ajustada Y
:
R
2
=
s
2
y
s
2
y
=
s
2
y
s
2
e
s
2
y
= 1
s
2
e
s
2
y
2
Como R
2
2
.
Por otro lado 1 R
2
=
s
2
e
s
2
y
0 y por tanto R
2
1. Por tanto:
0 R
2
1 1 R 1
2
ajustada Y
:
R
2
=
s
2
y
s
2
y
=
s
2
y
s
2
e
s
2
y
= 1
s
2
e
s
2
y
2
Como R
2
2
.
Por otro lado 1 R
2
=
s
2
e
s
2
y
0 y por tanto R
2
1. Por tanto:
0 R
2
1 1 R 1
Coeciente de Correlacion Lineal
Se dene el coeciente de correlacion lineal como:
r =
s
xy
s
x
s
y
Se dene el coeciente de correlacion lineal como:
r =
s
xy
s
x
s
y
Teorema En el caso de ajuste lineal se verica que R
2
= r
2
.
Demostracion:
R
2
=
s
2
y
s
2
e
s
2
y
=
s
2
y

N
i =1
y
2
i
a
N
i =1
y
i
b
N
i =1
x
i
y
i
N
s
2
y
Por otro lado como
a = y
S
xy
s
x
x
b =
S
xy
s
x
_
tenemos que
R
2
=
s
2
y
(s
2
y
+ y) + (y
S
xy
s
x
x)y +
S
xy
s
x
xy + S
xy
s
2
y
=
S
xy
s
2
x
s
2
y
=
S
xy
s
2
x
s
2
y
= r
2
Teorema En el caso de ajuste lineal se verica que R
2
= r
2
.
Demostracion:
R
2
=
s
2
y
s
2
e
s
2
y
=
s
2
y

N
i =1
y
2
i
a
N
i =1
y
i
b
N
i =1
x
i
y
i
N
s
2
y
Por otro lado como
a = y
S
xy
s
x
x
b =
S
xy
s
x
_
tenemos que
R
2
=
s
2
y
(s
2
y
+ y) + (y
S
xy
s
x
x)y +
S
xy
s
x
xy + S
xy
s
2
y
=
S
xy
s
2
x
s
2
y
=
S
xy
s
2
x
s
2
y
= r
2
Interpretacion de los Valores de R
R = 1 s
2
e
= 0. Todos los valores teoricos coinciden con los
observados. Existe correlaion perfecta positiva.
R = 1 s
2
e
= 0. Todos los valores teoricos coinciden con
los observados. Existe correlaion perfecta negativa.
R = 0 s
2
y
= 0 y por tanto s
2
y
= s
2
e
. Luego no se consigue
ninguna explicacion de la variable Y relacionandola con la X.
La correlacion es nula.
1 R 0, la correlacion sera negativa, siendo mas intensa
cuanto mas cerca este de 1.
0 R 1, la correlacion sera positiva, indicando una mayor
interrelacion cuanto mas proximo este de 1.
Interpretacion de los Valores de R
R = 1 s
2
e
= 0. Todos los valores teoricos coinciden con los
observados. Existe correlaion perfecta positiva.
R = 1 s
2
e
= 0. Todos los valores teoricos coinciden con
los observados. Existe correlaion perfecta negativa.
R = 0 s
2
y
= 0 y por tanto s
2
y
= s
2
e
. Luego no se consigue
ninguna explicacion de la variable Y relacionandola con la X.
La correlacion es nula.
1 R 0, la correlacion sera negativa, siendo mas intensa
cuanto mas cerca este de 1.
0 R 1, la correlacion sera positiva, indicando una mayor
interrelacion cuanto mas proximo este de 1.
Regresion No Lineal
Regresion No Lineal
Ajuste Hiperbolico Y = a +
b
X
Queremos determinar el ajuste Y = a +
b
X
por mnimos cuadrados.
Es equivalente a:
Mediante el cambio de variable Z =
1
X
realizar el ajuste lineal
Y = a + bZ.
Regresion No Lineal
Ajuste Hiperbolico Y = a +
b
X
Queremos determinar el ajuste Y = a +
b
X
Es equivalente a:
Mediante el cambio de variable Z =
1
X
realizar el ajuste lineal
Y = a + bZ.
Regresion No Lineal
Ajuste Exponencial Y = ae
bX
Queremos determinar el ajuste Y = ae
bX
Es equivalente a:
Tomando logaritmos W = ln(Y) y A = ln(a) realizar el ajuste
lineal
W = A + bX.
Luego los parametros que determinan la funcion exponencial son
a = e
A
y b
.
Regresion No Lineal
Ajuste Exponencial Y = ae
bX
Queremos determinar el ajuste Y = ae
bX
Es equivalente a:
Tomando logaritmos W = ln(Y) y A = ln(a) realizar el ajuste
lineal
W = A + bX.
a = e
A
y b
.
Regresion No Lineal
Ajuste Potencial Y = aX
b
Queremos determinar el ajuste Y = aX
b
Es equivalente a:
Tomando logaritmos W = ln(Y), A = ln(a) y Z = ln(X) realizar el
ajuste lineal
W = A + bZ.
a = e
A
y b
.
Regresion No Lineal
Ajuste Potencial Y = aX
b
Queremos determinar el ajuste Y = aX
b
Es equivalente a:
Tomando logaritmos W = ln(Y), A = ln(a) y Z = ln(X) realizar el
ajuste lineal
W = A + bZ.
a = e
A
y b
.
Regresion No Lineal
Ajuste Parabolico Y = a + bX + cX
2
Queremos determinar el ajuste Y = a + bX + cX
2
por mnimos
cuadrados. Es decir, determinar a,b y c tales que minimizan:
f (a, b, c) =
N
i =1
e
2
i
=
N
i =1
(y
i
a bx
i
cx
2
i
)
2
Para obtener las ecuaciones normales:
f
a
= 2
N
i =1
(y
i
a bx
i
cx
2
i
) = 0
f
b
= 2
N
i =1
(y
i
a bx
i
cx
2
i
)x
i
= 0
f
c
= 2
N
i =1
(y
i
a bx
i
cx
2
i
)x
2
i
= 0
Regresion No Lineal
2
Queremos determinar el ajuste Y = a + bX + cX
2
por mnimos
cuadrados. Es decir, determinar a,b y c tales que minimizan:
f (a, b, c) =
N
i =1
e
2
i
=
N
i =1
(y
i
a bx
i
cx
2
i
)
2
Para obtener las ecuaciones normales:
f
a
= 2
N
i =1
(y
i
a bx
i
cx
2
i
) = 0
f
b
= 2
N
i =1
(y
i
a bx
i
cx
2
i
)x
i
= 0
f
c
= 2
N
i =1
(y
i
a bx
i
cx
2
i
)x
2
i
= 0
Regresion No Lineal
2
Por tanto las ecuaciones normales quedan:
N
i =1
y
i
= Na + b
N
i =1
x
i
+ c
N
i =1
x
2
i
N
i =1
y
i
x
i
= a
N
i =1
x
i
+ b
N
i =1
x
2
i
+ c
N
i =1
x
3
i
N
i =1
y
i
x
2
i
= a
N
i =1
x
2
i
+ b
N
i =1
x
3
i
+ c
N
i =1
x
4
i
_
_
Para medir la bondad del ajuste se utilizara el coeciente de
determinacion
R
2
= 1
s
2
e
s
2
y
Regresion No Lineal
2
Por tanto las ecuaciones normales quedan:
N
i =1
y
i
= Na + b
N
i =1
x
i
+ c
N
i =1
x
2
i
N
i =1
y
i
x
i
= a
N
i =1
x
i
+ b
N
i =1
x
2
i
+ c
N
i =1
x
3
i
N
i =1
y
i
x
2
i
= a
N
i =1
x
2
i
+ b
N
i =1
x
3
i
+ c
N
i =1
x
4
i
_
_
Para medir la bondad del ajuste se utilizara el coeciente de
determinacion
R
2
= 1
s
2
e
s
2
y
Regresion Lineal M ultiple
Aplicaciones de la Regresion
Explicativo. Determinar que variables explican una variable
dada.
Predictivo. Predecir valores de una variabe a partir de valores
conocidos de otras.
Aplicaciones de la Regresion
Explicativo. Determinar que variables explican una variable
dada.
Predictivo. Predecir valores de una variabe a partir de valores
conocidos de otras.
Ajuste a un Hiperplano por Mnimos Cuadrados
Dando valores a la ecuacion del hiperplano tenemos:
y
1
= b
0
+ b
1
x
11
+ b
2
x
21
+ + b
k
x
k1
y
2
= b
0
+ b
1
x
12
+ b
2
x
22
+ b
k
x
k2

y
n
= b
0
+ b
1
x
1n
+ b
2
x
2n
+ + b
k
x
kn
_
_
Matricialmente sera Y
= XB donde
Y
=
_
_
_
_
_
y
1
y
2
.
.
.
y
n
_
_
_
_
_
X =
_
_
_
_
_
1 x
11
x
21
x
k1
1 x
12
x
22
x
k2
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
1 x
1n
x
2n
x
kn
_
_
_
_
_
B =
_
_
_
_
_
_
_
b
0
b
1
b
2
.
.
.
b
k
_
_
_
_
_
_
_
Dando valores a la ecuacion del hiperplano tenemos:
y
1
= b
0
+ b
1
x
11
+ b
2
x
21
+ + b
k
x
k1
y
2
= b
0
+ b
1
x
12
+ b
2
x
22
+ b
k
x
k2

y
n
= b
0
+ b
1
x
1n
+ b
2
x
2n
+ + b
k
x
kn
_
_
Matricialmente sera Y
= XB donde
Y
=
_
_
_
_
_
y
1
y
2
.
.
.
y
n
_
_
_
_
_
X =
_
_
_
_
_
1 x
11
x
21
x
k1
1 x
12
x
22
x
k2
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
1 x
1n
x
2n
x
kn
_
_
_
_
_
B =
_
_
_
_
_
_
_
b
0
b
1
b
2
.
.
.
b
k
_
_
_
_
_
_
_
Si A es una matriz denoteremos por A
t
la matriz traspuesta de A.
La matriz de errores sera:
E = Y Y
=
_
_
_
_
_
e
1
= y
1
y
1
e
2
= y
2
y
2
.
.
.
e
n
= y
n
y
n
_
_
_
_
_
De nuevo nuestro objetivo es minimizar
n
i =1
e
2
i
=
n
i =1
(y
i
y
i
)
2
= E
t
E
Si A es una matriz denoteremos por A
t
la matriz traspuesta de A.
La matriz de errores sera:
E = Y Y
=
_
_
_
_
_
e
1
= y
1
y
1
e
2
= y
2
y
2
.
.
.
e
n
= y
n
y
n
_
_
_
_
_
De nuevo nuestro objetivo es minimizar
n
i =1
e
2
i
=
n
i =1
(y
i
y
i
)
2
= E
t
E
Por otro lado
E = Y XB
luego tenemos que minimizar
E
t
E = (Y XB)
t
(Y XB) = Y
t
Y 2Y
t
XB + B
t
X
t
XB
y derivando e igualando a cero tenemos:
E
t
E
B
= 2X
t
Y + 2X
t
XB = 0
de donde deducimos que
X
t
XB = X
t
Y
Por otro lado
E = Y XB
luego tenemos que minimizar
E
t
E = (Y XB)
t
(Y XB) = Y
t
Y 2Y
t
XB + B
t
X
t
XB
y derivando e igualando a cero tenemos:
E
t
E
B
= 2X
t
Y + 2X
t
XB = 0
de donde deducimos que
X
t
XB = X
t
Y
Por tanto si existe la matriz inversa de X
t
X tenemos que:
B = (X
t
X)
1
X
t
Y
Por tanto si existe la matriz inversa de X
t
X tenemos que:
B = (X
t
X)
1
X
t
Y
Coeciente de Correlacion Multiple
Con la misma losofa que en el caso de la regresion lineal
denimos el coeciente de correlacion m ultiple como:
R
2
y,12...k
=
s
2
y
s
2
y
= 1
s
2
e
s
2
y
ademas se verica que
0 R
2
y,12...k
1
siendo mejor el ajuste cuando mas cercano este a 1.
Con la misma losofa que en el caso de la regresion lineal
denimos el coeciente de correlacion m ultiple como:
R
2
y,12...k
=
s
2
y
s
2
y
= 1
s
2
e
s
2
y
ademas se verica que
0 R
2
y,12...k
1
siendo mejor el ajuste cuando mas cercano este a 1.
Coeciente de Correlacion Multiple en Forma Matricial
Como E = Y XB y B = (X
t
X)
1
X
t
Y tenemos que
s
2
e
=
1
n
(Y
t
Y B
t
X
t
Y)
Dem:
ns
2
e
= E
t
E = (Y XB)
t
(Y XB) = Y
t
Y B
t
X
t
Y
t
XB + B
t
X
t
XB =
= Y
t
Y B
t
X
t
Y Y
t
XB + (X
t
X)
1
X
t
Y
t
X
t
XB =
= Y
t
Y B
t
X
t
Y Y
t
XB + Y
t
XB = Y
t
Y B
t
X
t
Y.
Como tambien y = y
tenemos que
s
2
y
=
1
n
B
t
X
t
Y y
2
Dem:
ns
2
y
=
n
i =1
(y
i
y
)
2
=
n
i =1
y
2
i
ny
2
= Y
t
Y
ny
2
= (XB)
t
(XB) ny
2
=
B
t
X
t
XB ny
2
= B
t
X
t
X(X
t
X)
1
X
t
Y ny
2
= B
t
X
t
Y ny
2
.

Como E = Y XB y B = (X
t
X)
1
X
t
Y tenemos que
s
2
e
=
1
n
(Y
t
Y B
t
X
t
Y)
Dem:
ns
2
e
= E
t
E = (Y XB)
t
(Y XB) = Y
t
Y B
t
X
t
Y
t
XB + B
t
X
t
XB =
= Y
t
Y B
t
X
t
Y Y
t
XB + (X
t
X)
1
X
t
Y
t
X
t
XB =
= Y
t
Y B
t
X
t
Y Y
t
XB + Y
t
XB = Y
t
Y B
t
X
t
Y.
Como tambien y = y
tenemos que
s
2
y
=
1
n
B
t
X
t
Y y
2
Dem:
ns
2
y
=
n
i =1
(y
i
y
)
2
=
n
i =1
y
2
i
ny
2
= Y
t
Y
ny
2
= (XB)
t
(XB) ny
2
=
B
t
X
t
XB ny
2
= B
t
X
t
X(X
t
X)
1
X
t
Y ny
2
= B
t
X
t
Y ny
2
.

Ademas
s
2
y
=
1
n
Y
t
Y y
2
Dem: ns
2
y
=
n
i =1
(y
i
y)
2
=
n
i =1
y
2
i
ny
2
= Y
t
Y ny
2
.
Luego
R
2
= 1
s
2
e
s
2
y
= 1
Y
t
Y B
t
X
t
Y
Y
t
Y ny
2
=
B
t
X
t
Y ny
2
Y
t
Y ny
2
.
Ademas
s
2
y
=
1
n
Y
t
Y y
2
Dem: ns
2
y
=
n
i =1
(y
i
y)
2
=
n
i =1
y
2
i
ny
2
= Y
t
Y ny
2
.
Luego
R
2
= 1
s
2
e
s
2
y
= 1
Y
t
Y B
t
X
t
Y
Y
t
Y ny
2
=
B
t
X
t
Y ny
2
Y
t
Y ny
2
.
Coeciente de Correlacion Parcial
Problema
Estudiar el grado de asociacion lineal entre las variables Y y X
i
.
Solucion 1
Una posible solucion sera calculando el coeciente de correlacion
lineal
r =
S
YX
i
s
y
s
x
i
Pero de esta manera no se tiene en cuenta que el grado de
correlacion obtenido pueda ser fruto de la inuencia que ejercen el
resto de variables X
1
, X
2
, . . . , X
i 1
, X
i +1
, . . . , X
k
Problema
Estudiar el grado de asociacion lineal entre las variables Y y X
i
.
Solucion 1
Una posible solucion sera calculando el coeciente de correlacion
lineal
r =
S
YX
i
s
y
s
x
i
Pero de esta manera no se tiene en cuenta que el grado de
correlacion obtenido pueda ser fruto de la inuencia que ejercen el
resto de variables X
1
, X
2
, . . . , X
i 1
, X
i +1
, . . . , X
k
Solucion 2
Eliminar la inuencia de X
1
, X
2
, . . . , X
i 1
, X
i +1
, . . . , X
k
Como?
En tres pasos.
1.- Obtenniendo los hiperplanos de regresion:
Y = c
0
+ c
1
X
1
+ c
2
X
2
+ + c
i 1
X
i 1
+ c
i +1
X
i +1
+ + c
k
X
k
X
i
= d
0
+ d
1
X
1
+ d
2
X
2
+ + d
i 1
X
i 1
+ d
i +1
X
i +1
+ + d
k
X
k
_
_
_
que resumen la inuencia que ejercen las variables
X
1
, X
2
, . . . , X
i 1
, X
i +1
, . . . , X
k
sobre Y y X
i
respectivamente.
Solucion 2
Eliminar la inuencia de X
1
, X
2
, . . . , X
i 1
, X
i +1
, . . . , X
k
Como?
En tres pasos.
1.- Obtenniendo los hiperplanos de regresion:
Y = c
0
+ c
1
X
1
+ c
2
X
2
+ + c
i 1
X
i 1
+ c
i +1
X
i +1
+ + c
k
X
k
X
i
= d
0
+ d
1
X
1
+ d
2
X
2
+ + d
i 1
X
i 1
+ d
i +1
X
i +1
+ + d
k
X
k
_
_
_
que resumen la inuencia que ejercen las variables
X
1
, X
2
, . . . , X
i 1
, X
i +1
, . . . , X
k
sobre Y y X
i
respectivamente.
2.- Se denen las variables:
U = Y

Y
V = X
i

X
i
_
_
_
que incorporan aquella parte de Y y X
i
respectivamente, que
queda libre de la inuencia de X
1
, X
2
, . . . , X
i 1
, X
i +1
, . . . , X
k
3.- Se dene el coeciente de correlacion parcial entre Y y X
i
como la correlacion simple entre U y V:
r
yi12...i1i+1...k
=
S
uv
s
u
s
v
2.- Se denen las variables:
U = Y

Y
V = X
i

X
i
_
_
_
que incorporan aquella parte de Y y X
i
respectivamente, que
queda libre de la inuencia de X
1
, X
2
, . . . , X
i 1
, X
i +1
, . . . , X
k
3.- Se dene el coeciente de correlacion parcial entre Y y X
i
como la correlacion simple entre U y V:
r
yi12...i1i+1...k
=
S
uv
s
u
s
v
El Problema de la Multicolinealidad
La multicolinealidad ocurre cuando existe una correlacion entre dos
o mas variables explicativas.
Esto implica que en la matriz X existen columnas que son

combinacion lineal de otras.
Por esta razon la matriz (X
t
X) no sera invertible y por tanto el
vector de coecientes B = (X
t
X)
1
X
t
Y no se puede determinar.
La multicolinealidad ocurre cuando existe una correlacion entre dos
o mas variables explicativas.
Esto implica que en la matriz X existen columnas que son

combinacion lineal de otras.
Por esta razon la matriz (X
t
X) no sera invertible y por tanto el
vector de coecientes B = (X
t
X)
1
X
t
Y no se puede determinar.
Bibliografa
Bobliografa
GARC
IA C
ORDOBA J. A. , L
OPEZ HERN
ANDEZ F. A., PALACIOS

S
ANCHEZ M
a

A. y RUIZ MAR
IN, M. (2000), Introduccion a la Estadstica para

la Empresa. Horacio Escarabajal Editores, pp 95124.
MART
IN PLIEGO L
OPEZ, F.J. (2004), Introducion a la Estadstica Economica

Y Empresarial. Ed. Prentice Hall. pp. 235372.
MONTIEL A.M., RIUS F. y BAR
ON F.J., (1997), Elementos Basicos De

Estadstica Economica Y Empresarial. Ed. Prentice Hall. pp. 147186.
NOVALES, A., (1996), Estadstica y Econometra, Madrid: Mc Graw-Hill,
pp.475-516.
SANZ J.A.; BEDATE, A.; RIVAS, A. y GONZ
ALEZ, J., (1996), Problemas De

Estadstica Descriptiva Empresarial. Ed. Ariel Economa., pp. 131284.

Regresion y Correlacion

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Regresion y Correlacion

Uploaded by

Copyright:

Available Formats

Tema 5: Regresion y Correlacion.

Indice del Tema

Segunda Condicion Para Mnimo. El Hessiano

Segunda Condicion Para Mnimo. El Hessiano

Segunda Condicion Para Mnimo. El Hessiano

Dividiendo las ecuaciones por N tenemos

Manuel Ruiz Marn Regresion y Correlacion

Dividiendo las ecuaciones por N tenemos

Manuel Ruiz Marn Regresion y Correlacion

Dividiendo las ecuaciones por N tenemos

Manuel Ruiz Marn Regresion y Correlacion

Manuel Ruiz Marn Regresion y Correlacion

Manuel Ruiz Marn Regresion y Correlacion

se cortan en el punto (x, y).

y E son incorreladas, es decir S

se cortan en el punto (x, y).

y E son incorreladas, es decir S

y E son incorreladas tenemos que

y E son incorreladas tenemos que

Manuel Ruiz Marn Regresion y Correlacion

Manuel Ruiz Marn Regresion y Correlacion

Esto implica que en la matriz X existen columnas que son

Esto implica que en la matriz X existen columnas que son

ANDEZ F. A., PALACIOS

IN, M. (2000), Introduccion a la Estadstica para

OPEZ, F.J. (2004), Introducion a la Estadstica Economica

ON F.J., (1997), Elementos Basicos De

ALEZ, J., (1996), Problemas De

You might also like