Regresin Lineal y

Regresin
Polinomial
Diego Galvez

Regresin Lineal

El ejemplo ms simple de aproximacin por mnimos

cuadrados es ajustar una lnea recta a un conjunto de
observaciones definidas por puntos:

La expresin matemtica
y a a para
x e la lnea recta es:
o

ao y a1 son coeficientes que representan la interseccin con el

eje y y la pendiente, respectivamente.

e= es el error, o diferencia, entre el modelo y las observaciones, el
cual se representa al reordenar la ecuacin(17.1) como

e y - a o - a1x

Datos con un error significativo

Ajuste polinomial oscilando mas all del rango de

los datos

Resultados ms satisfactorios mediante el ajuste por

mnimos cuadrados

El error o residuo e es la discrepancia entre el valor verdadero de y y el valor

aproximado a0 + a1x, el cual predijo la ecuacin lineal

Si se minimiza la suma de los errores residuales de todos los datos disponibles se

tiene una mejor lnea de ajuste, es decir,
ei = (yi a0 a1xi); las sumas van de i=1 hasta n=nmero de puntos
Una mejor aproximacin es minimizar la suma de los valores absolutos
|ei| = | yi a0 a1xi |; para i=1 a n
Los dos criterios anteriores, sin embargo, no son adecuados pues no dan un nico
mejor ajuste.
Un mejor criterio es el minimax, en donde la lnea de ajuste se elige para que se
minimice la mxima distancia a la que se encuentra un punto de la lnea. Esta
tcnica tiene el inconveniente de que da excesiva influencia a puntos fuera del
conjunto (un solo punto con un gran error). Minimax es una tcnica adecuada para
ajustar una funcin simple a una complicada. Consiste en minimizar la suma de los
cuadrados de los residuos entre la y medida y la calculada con el modelo lineal
Sr = ei2 = (yi,medida-yi,modelo)2 = (yi a0 a1xi)2 , para i=1 a n

Ajuste de una lnea recta por mnimos cuadrados

Para determinar los valores de ao y a1

coeficientes: S
r

ao

, se deriva con respecto a cada uno de los

2 ( yi a0 a1 xi )

S r
2 ( yi a0 a1 xi ) xi
a1

0 y i a 0 a1 xi

0 y i xi a 0 xi a1 xi2

Al igualar las derivadas a cero dar como resultado un Sr mnimo

Ahora a0 nao y expresamos las ecuaciones como un conjunto de dos
ecuaciones lineales simultneas ( con 2 incgnitas):
Ecuaciones normales
yi nao xi a1

a1 =( nxiyi -xiyi) / (nx (xi) )

a0 = prom(y) a1prom(x); prom = promedio

2
i

y x x a x a
i

2
i

Ejemplo:
Ajuste a una lnea recta los valores x y y en las primeras columnas de la tabla

Tabla. Clculos para el anlisis de error en el ajuste lineal.

Cuantificacin del error en la regresin lineal

Suma de Cuadrados:

Esto se puede interpretar por medio del principio de la mxima probabilidad y se

determina como sigue:

St es la magnitud del error residual asociado con la variable dependiente antes de la

regresin.
Sr : Suma de los cuadrados.
Suma Inexplicable de los cuadrados: St- Sr
Con esto obtenemos:

Planteamiento del problema. Calcule la desviacin estndar total, el error estndar del estimado el coeficiente de
correlacin para los datos del ejemplo anterior.
Solucin. Las sumatorias se realizan y se presentan en la tabla

Y el error estndar del estimado es

Como

, el modelo de regresion lineal es adecuado. La mejora se puede cuantificar mediante

Los resultados indican que el modelo lineal explico el 86.8% de la incertidumbre original.

Linealizacin de Relaciones No Lineales

En la regresin lineal no siempre se da el caso de que la relacin entre las variables

dependientes e independientes es lineal. Este es un dato que se debe averiguar siempre antes
de realizar cualquier anlisis de regresin. Por ejemplo, si los datos son curvilneos, no se debe
utilizar el mtodo de regresin lineal por mnimos cuadrados .

Existen ocasiones en que los datos no son compatibles con la regresin lineal, por lo tanto, se
debe recurrir a una transformacin. Estas transformaciones matemticas son capaces de
manipular las ecuaciones para que resulten de una manera lineal, y despus de esto aplicar el
mtodo de regresin lineal simple para ajustar las ecuaciones a los datos .

Ejemplo: Ecuacin de Potencias

y ax b

Como se trata de una ecuacin de potencias se puede aplicar logaritmo a ambos lados de la
ecuacin. Tomando valores de a=0,5 y de b=1,75 se obtiene la siguiente ecuacin.

log y 1,75 log x 0,300

En la siguiente Tabla se observan los datos por graficar de la ecuacin de potencias sin logaritmo y con
logaritmo.
x

logx

logy

0,5

-0,301

1,7

0,301

0,226

3,4

0,477

0,534

5,7

0,602

0,753

8,4

0,699

0,922

Grfico de Y vrs X

Grfica de log(y) vrs log(x)

Regresin Polinomial

Consiste en otra alternativa, para ajustar polinomios a los datos.

Necesitamos ajustar a un polinomio de segundo grado cuadrtico:
y a 0 a1 x a 2 x 2 e

La suma de los cuadrados de los residuos es:

n

Sr ( y i a 0 a1 xi a 2 xi ) 2
2

i 1

Derivamos Sr con respecto a a0:

2 ( y i a 0 a1 x1 a 2 xi )
2

Luego con respecto a a1:

2 xi ( y i a0 a1 x1 a 2 xi )
2

Por ltimo con respecto a a2:

2 xi ( y i a 0 a1 xi a 2 xi )
2

Igualamos a 0, y reordenamos:
(n)a 0 ( xi )a1 ( xi ) a 2 y i
2

( xi )a 0 ( xi )a1 ( xi )a 2 xi y i
2

( xi ) a 0 ( xi )a1 ( xi )a 2 xi y i
2

n hasta i 1

Tenemos un sistemas de ecuaciones, con 3 incgnitas (a0,a1,a2), entonces se

puede extender un polinomio de m-simo grado como sigue:
y a0 a1 x a 2 x 2 ......a m x m e

El error estndar se calcula de la siguiente manera:

sy/ x

sr
n (m 1)

A continuacin, se propone un ejercicio para facilitar la compresin de la regresin polinomial.

Ejercicio
Ajustar a un polinomio de segundo grado los datos dados en las dos primeras columnas de la siguiente
tabla.

En donde:
m2
n6

15

y
x

152.6

i
2

55

255

979

x
x

i
i

x y 585.6
x y 2488.8
i

x 2.5

y 25.433
Entonces, las ecuaciones lineales simultneas son:
6a 0 15a1 55a3 152.6
15a 0 55a1 225a3 585.6

55a 0 225a1 979a 3 2488.8

a 0 2.47857
a1 2.35929
a 2 1.86071
Y por lo tanto tenemos la ecuacin de la forma:

y 2.47857 2.35929 x 1.86071x 2

Resolviendo el sistema por eliminacin de Gauss tenemos:

El error estndar es:

3.74657
sy / x
1.12
63
El coeficiente de determinacin es:
r2

r 2 : Coeficiente de determinacin

2513.39 3.74657
0.99851
2513.39

r 0.99925

: Coeficiente de correlacin

En un ajuste perfecto St=0 y r2=r=1,significa que la lnea explica el 100% de la variabilidad de los datos r2=r=0, Sr= St el ajuste no representa
alguna mejora. Una representacin alternativa para r que es mas conveniente para implementarse en una computadora es

n xi y i xi yi

n xi2 xi

n y i y i
2