CAPTULO 17

Regresin por mnimos

cuadrados

Cuando los datos tienen errores sustanciales, la interpolacin polinomial es inapropiada

y puede dar resultados poco satisfactorios cuando se utiliza para predecir valores inter-
medios. Con frecuencia los datos experimentales son de este tipo. Por ejemplo, en la
figura 17.1a se muestran siete datos obtenidos experimentalmente que presentan una
variabilidad significativa. Una inspeccin visual de esos datos sugiere una posible rela-
cin entre y y x. Es decir, la tendencia general indica que valores altos de y estn aso-
ciados con valores altos de x. Ahora, si un polinomio de interpolacin de sexto grado se
ajusta a estos datos (figura 17.1b), pasar exactamente a travs de todos los puntos. Sin
embargo, a causa de la variabilidad en los datos, la curva oscila mucho en el intervalo
entre los puntos. En particular, los valores interpolados para x = 1.5 y x = 6.5 parecen
estar bastante ms all del rango sugerido por los datos.
Una estrategia ms apropiada en tales casos consiste en obtener una funcin de
aproximacin que se ajuste a la forma o a la tendencia general de los datos, sin coincidir
necesariamente en todos los puntos. La figura 17.1c ilustra cmo se utiliza una lnea
recta para caracterizar de manera general la tendencia de los datos sin pasar a travs de
algn punto especfico.
Una manera para determinar la lnea de la figura 17.1c es inspeccionar en forma
visual los datos graficados y despus trazar una mejor lnea a travs de los puntos.
Aunque tales procedimientos a ojo apelan al sentido comn y son vlidos para clcu-
los superficiales, resultan deficientes por ser arbitrarios. Es decir, a menos que los
puntos definan una lnea recta perfecta (en cuyo caso la interpolacin resultara apro-
piada), diferentes analistas dibujaran lneas distintas.
Para dejar a un lado dicha subjetividad se debe encontrar algn criterio para esta-
blecer una base para el ajuste. Una forma de hacerlo es obtener una curva que minimice
la discrepancia entre los puntos y la curva. Una tcnica para lograr tal objetivo, llamada
regresin por mnimos cuadrados, se analizar en este captulo.

17.1 REGRESIN LINEAL

El ejemplo ms simple de una aproximacin por mnimos cuadrados es ajutar una lnea
recta a un conjunto de observaciones definidas por puntos: (x1, y1), (x2, y2),, (xn, yn).
La expresin matemtica para la lnea recta es

y = a0 + a1x + e (17.1)

www.FreeLibros.me
Chapra-17.indd 466 6/12/06 13:57:11
 17.1 REGRESIN LINEAL 467

0
0 5 x
a)
y

0
0 5 x
b)
y

5
FIGURA 17.1
a) Datos que muestran
un error significativo. b)
Ajuste polinomial oscilando
ms all del rango de los
datos. c) Resultados ms 0
satisfactorios mediante 0 5 x
el ajuste por mnimos c)
cuadrados.

donde a 0 y a1 son coeficientes que representan la interseccin con el eje y y la pendien-

te, respectivamente, e es el error, o diferencia, entre el modelo y las observaciones, el
cual se representa al reordenar la ecuacin (17.1) como

e = y a 0 a1x

As, el error o residuo es la discrepancia entre el valor verdadero de y y el valor aproxi-

mado, a0 + a1x, que predijo la ecuacin lineal.

www.FreeLibros.me
Chapra-17.indd 467 6/12/06 13:57:11
 468 REGRESIN POR MNIMOS CUADRADOS

17.1.1 Criterio para un mejor ajuste

Una estrategia para ajustar una mejor lnea a travs de los datos ser minimizar la
suma de los errores residuales de todos los datos disponibles, como sigue:
n n

e = (y a
i =1
i
i =1
i 0 a1 xi ) (17.2)

donde n = nmero total de puntos. Sin embargo, ste es un criterio inadecuado, como lo
muestra la figura 17.2a, la cual presenta el ajuste de una lnea recta de dos puntos. Ob-
viamente, el mejor ajuste es la lnea que une los puntos. Sin embargo, cualquier lnea

FIGURA 17.2
Ejemplo de algunos criterios para el mejor ajuste que son inadecuados para la regresin:
a) minimizar la suma de los residuos, b) minimizar la suma de los valores absolutos de los
residuos y c) minimizar el error mximo de cualquier punto individual.

Punto medio

x
a)
y

x
b)
y

Punto fuera
del conjunto
x
c)

www.FreeLibros.me
Chapra-17.indd 468 6/12/06 13:57:12
 17.1 REGRESIN LINEAL 469

recta que pase a travs del punto medio que une la lnea (excepto una lnea perfectamen-
te vertical) da como resultado un valor mnimo de la ecuacin (17.2) igual a cero, debi-
do a que los errores se cancelan.
Por lo tanto, otro criterio lgico podra ser minimizar la suma de los valores abso-
lutos de las discrepancias,
n n

i =1
ei = i =1
yi a0 a1 xi

La figura 17.2b muestra por qu este criterio tambin es inadecuado. Para los cuatro
puntos dados, cualquier lnea recta que est dentro de las lneas punteadas minimizar
el valor absoluto de la suma. As, este criterio tampoco dar un nico mejor ajuste.
Una tercera estrategia para ajustar una mejor lnea es el criterio minimax. En esta
tcnica, la lnea se elige de manera que minimice la mxima distancia a que un punto
se encuentra de la lnea. Como se ilustra en la figura 17.2c, tal estrategia es inadecuada
para la regresin, ya que da excesiva influencia a puntos fuera del conjunto; es decir, a
un solo punto con un gran error. Deber observarse que el principio minimax es, en
algunas ocasiones, adecuado para ajustar una funcin simple a una funcin complicada
(Carnahan, Luther y Wilkes, 1969).
La estrategia que supera las deficiencias de los procedimientos mencionados con-
siste en minimizar la suma de los cuadrados de los residuos entre la y medida y la y
calculada con el modelo lineal
n n n
Sr =
i =1
ei2 =
i =1
( yi,medida yi,modelo ) 2 = (y a
i =1
i 0 a1 xi ) 2 (17.3)

Este criterio tiene varias ventajas, entre ellas el hecho de que se obtiene una lnea nica
para cierto conjunto de datos. Antes de analizar tales propiedades, presentaremos una
tcnica para determinar los valores de a 0 y a1 que minimizan la ecuacin (17.3).

17.1.2 Ajuste de una lnea recta por mnimos cuadrados

Para determinar los valores de a 0 y a1, la ecuacin (17.3) se deriva con respecto a cada
uno de los coeficientes:
Sr
a0
= 2 (y a i 0 a1 xi )

Sr
a1
= 2 [( y a i 0 a1 xi ) xi ]

Observe que hemos simplificado los smbolos de la sumatoria; a menos que se indique
otra cosa, todas las sumatorias van desde i = 1 hasta n. Al igualar estas derivadas a cero,
se dar como resultado un Sr mnimo. Si se hace esto, las ecuaciones se expresan
como

0= y a a x
i 0 1 i

0= y x a x a x
i i 0 i
2
1 i

www.FreeLibros.me
Chapra-17.indd 469 6/12/06 13:57:12
 470 REGRESIN POR MNIMOS CUADRADOS

Ahora, si observamos que a 0 = na 0, expresamos las ecuaciones como un conjunto de

dos ecuaciones lineales simultneas, con dos incgnitas (a 0 y a1):

( x ) a = y
na0 + i 1 i (17.4)

( x ) a + ( x ) a = x y
i 0
2
i i i i (17.5)

stas se llaman ecuaciones normales, y se resuelven en forma simultnea

n xi yi xi yi
a1 = (17.6)
n xi2 ( xi ) 2

Este resultado se utiliza conjuntamente con la ecuacin (17.4) para obtener

a = y a x
0 1 (17.7)

donde y y x son las medias de y y x, respectivamente.

EJEMPLO 17.1 Regresin lineal

Planteamiento del problema. Ajuste a una lnea recta los valores x y y en las dos
primeras columnas de la tabla 17.1.

Solucin. Se calculan las siguientes cantidades:

n=7 x y = 119.5
i i x 2
i = 140

x = 28
28
i x= =4
7

y = 24
24
i y= = 3.428571
7
Mediante las ecuaciones (17.6) y (17.7)

7(119.5) 28(24)
a1 = = 0.8392857
7(140) (28) 2
a 0 = 3.428571 0.8392857(4) = 0.07142857

TABLA 17.1 Clculos para el anlisis de error en el ajuste lineal.

)2
xi yi (yi y (yi a0 a1xi)2

1 0.5 8.5765 0.1687

2 2.5 0.8622 0.5625
3 2.0 2.0408 0.3473
4 4.0 0.3265 0.3265
5 3.5 0.0051 0.5896
6 6.0 6.6122 0.7972
7 5.5 4.2908 0.1993
24.0 22.7143 2.9911

www.FreeLibros.me
Chapra-17.indd 470 6/12/06 13:57:12