Metodo de Mnimos Cuadrados

Universidad de San Carlos de Guatemala

Facultad de Ciencias Qumicas y Farmacia
Matematica V
Rony Jose Letona QQ 200960024
Jose Roy Morales QQ 200717695

INDICE

INDICE

Indice
1. Distancias 1
1.1. R (Recta Real) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2. R
2
(Plano Cartesiano) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3. R
3
(Espacio Tridimensional) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.4. Transformaci on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2. Vectores (Repaso) 5
2.1. Multiplicacion por una Constante . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2. Suma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.3. Vector Unitario . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.4. Producto Punto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3. Proyecciones 7
3.1. Proyecci on sobre una Recta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
3.2. Proyecci on sobre un Plano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
3.3. Matriz de Proyecci on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
4. Metodo de Mnimos Cuadrados 11
4.1. Caso de una Recta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
4.2. Generalizacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
4.3. Resolucion Diferencial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
4.4. Resolucion Algebraica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
4.5. Solucion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
5. Casos Especiales 22
5.1. Exponencial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
5.2. Logartmica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
6. Bibliografa 24
6.1. Literatura . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
6.2. Internet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
6.3. Herramientas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
0
1 DISTANCIAS
1. Distancias
Para comenzar la deduccion del metodo de mnimos cuadrados, es conveniente que se haga
un breve repaso sobre la forma en la que se miden distancias. Eso por esto que esta seccion
esta dedicada a ello.
1.1. R (Recta Real)
Figura 1: Recta real.
Para facilitar la comprensi on, se comienza con la Recta Real (ver Figura 1). En ella la medici on
de distancias es relativamente sencilla y casi intuitiva: se calcula la diferencia de distancias hacia
el origen. Notese que en el caso de los n umeros negativos, la distancia hay que tomarla en valor
absoluto. Es por esto que la formula general m as com un para la medici on de distancias en R es la
siguiente:
Sean A y B R. La distancia d entre A y B es entonces
d(A, B) = |B A| (1)
Esta forma de medir distancias en muy pr actica, pero no es la unica. Existen varias formas de
medir distancias, pero la que concierne al estudio del metodo de mnimos cuadrados es la que se
ve a continuacion.
Figura 2: Distancia entre puntos.
Considerando que el algebra al calcular con valores absolutos es relativamente complicada, la
forma utilizada para medir distancias en el metodo de mnimos cuadrados es distinta. Esta en
lugar de utilizar valores absolutos, eleva la expresion dentro del valor absoluto en la ecuacion (1)
al cuadrado. De alli su nombre: Metodo de Mnimos Cuadrados. Entonces, la f ormula general es la
siguiente:
Sean A y B R. La distancia d entre A y B es entonces
d(A, B) = (B A)
2
(2)
1
1.2 R
2
(Plano Cartesiano) 1 DISTANCIAS
1.2. R
2
(Plano Cartesiano)
Figura 3: Plano cartesiano.
En el caso del plano cartesiano, ya no se tiene una sino dos rectas reales unidas mediante un
Producto Cartesiano
1
. La ubicaci on de cada punto esta dada por pares ordenados. En este caso la
forma que se utiliza para medir distancias es la que ya se conoce.
Sean A y B puntos en R
2
tal que A =
_
x
a
y
a
_
y B =
_
x
b
y
b
_
. La distancia d entre los dos
esta dada por
d(A, B) =
_
(x)
2
+ (y)
2
=
_
(x
b
x
a
)
2
+ (y
b
y
a
)
2
(3)
Como se puede notar, esto tiene mucha similitud con el teorema de Pit agoras. Esto es porque
la distancia entre un punto y el otro en R
2
es, de hecho, la hipotenusa de un triangulo rect angulo
(ver Figura 4). En este caso los dos catetos son la distancia entre la las coordenadas en x y la
distancia entre la las coordenadas en y.
Figura 4: Distancia entre puntos (Pitgoras).
En el caso del metodo de mnimos cuadrados, esto no se utilizara de forma obvia, pero se
recomienda tener en mente la forma de la medicion.
1
Tambien llamado Producto Cruz. Este surgi o en las formulaciones de Descartes sobre geometra analtica. El
plano cartesiano es un ejemplo: (R R).
2
1.3 R
3
(Espacio Tridimensional) 1 DISTANCIAS
1.3. R
3
(Espacio Tridimensional)
Figura 5: Espacio tridimensional.
Para complementar el repaso sobre las mediciones de distancia, se analizar a un ultimo caso. R
3
se construye mediante el triple producto cartesiano de R, es decir (R R R). Son 3 rectas reales
que nos llevan a que la ubicaci on de cada punto en el espacio este dada por una triada ordenada.
La forma para medir distancias en este caso es la siguiente:
Sean A y B puntos en R
3
tal que A =
_
_
x
a
y
a
z
a
_
_
y B =
_
_
x
b
y
b
z
b
_
_
. La distancia d entre los dos
esta dada por
d(A, B) =
_
(x)
2
+ (y)
2
+ (z)
2
=
_
(x
b
x
a
)
2
+ (y
b
y
a
)
2
+ (z
b
z
a
)
2
(4)
A esta distancia se le llama distancia Euclidiana. Notese que esta es semejante al teorema de
Pit agoras, sin embargo, no es lo mismo. Algo que si se debe de tomar en cuenta es que la distancia
en R
2
conserva la misma forma que en R
3
.
Figura 6: Distancia entre puntos (Distancia Euclidiana).
Esto se puede generalizar para todos los R
n
si se conserva la forma observada en R
2
y en R
3
.
3
1.4 Transformaci on 1 DISTANCIAS
1.4. Transformacion
Figura 7: Gracas de f(x) = x
2
y g(x) = |x| en R
2
.
Si se piensa por un momento que de la forma de medir distancias vista al principio (Ecuaci on
1) y la siguiente (Ecuacion 2) no se obtiene el mismo resultado, se esta en lo cierto. Se puede argu-
mentar que a la primera forma se le fue aplicada una transformacion (elevacion al cuadrado) que
en cualquier momento puede ser revertida (raz cuadrada). La forma de la distancia transformada
no vara mucho de la forma de la distancia vista al principio (ver Figura 7). Es por esto que esta
trasnformacion es v alida. Tambien se hace mucho enfasis en que la trasformaci on se hace con el
n de facilitar los calculos que se llevar an a cabo posteriormente.
4
2 VECTORES (REPASO)
2. Vectores (Repaso)
En esta seccion se intentara denir las operaciones que se pueden realizar entre vectores en
R
2
. Por supuesto, todas estas se pueden extender a los vectores en R
n
. Solo se har a un repaso
de la multiplicaci on por un escalar, suma, vector unitario y producto punto, ya que estas son las
pertinentes para la comprensi on de este documento.
2.1. Multiplicacion por una Constante
La multiplicaci on de un vector por una constante se realiza multiplicando esta por cada com-
ponente del vector. Sea a un vector en el plano y c una constante real.
c a = c
_
a
x
a
y
_
=
_
c a
x
c a
y
_
(5)
Geometricamente, la constante solo cambia la norma del vector. Aunque si esta es negativa, la
direcci on del vector se vuelve totalmente la opuesta a su direccion original.
2.2. Suma
La suma de vectores se lleva a cabo sumando componente por componente de cada vector.
Notese que la suma de vectores da como resultado otro vector. Sean a y b vectores en R
2
, entonces
a + b se calcula de la forma siguiente.
a +b =
_
a
x
a
y
_
+
_
b
x
b
y
_
=
_
a
x
+b
x
a
y
+b
y
_
=
_
c
x
c
y
_
= c (6)
La interpretaci on geometrica de esto es el metodo llamado de punta con cola. Este consiste en
colocar un la cola de un vector en la punta del otro logrando as que entre los dos apunten a un
punto que sera el resultado. En la Figura 8 se ve que al sumar el vector A con el vector AB el
resultado es el vector B.
Figura 8: Suma de los vectores A y AB dando como resultado el vector B.
5
2.3 Vector Unitario 2 VECTORES (REPASO)
2.3. Vector Unitario
El vector unitario no es m as que un vector cuya norma es igual a 1. Para ello se toma un vector
y se lo divide por su norma. Tomese el ejemplo siguiente. Sea a un vector en R
2
. El vector unitario
de a, el cual se representa por a, se calcula de la forma siguiente.
a =
a
|a|
(7)
La representaci on geometrica de esto es un vector con la misma direcci on que a, pero de longitud
igual a 1.
2.4. Producto Punto
El producto punto o producto escalar es una operacion entre dos vectores que da como resultado
un escalar. Este se lleva a cabo multiplicando componente por componente de los vectores y
posteriormente sumando todos los resultados. Sean pues a y b vectores en R
2
.
a b =
_
a
x
a
y
_

_
b
x
b
y
_
= a
x
b
x
+a
y
b
y
(8)
Esta operacion tiene relaci on con la ortogonalidad de los vectores. Si dos vectores v
1
y v
2
son
ortogonales, entonces el producto escalar entre los dos es igual a 0.
Esta operacion se puede escribir como la multiplicaci on de un vector por la transpuesta del
otro si estos se toman como matrices de m1. Una matriz a
i,j
tiene como transpuesta a la matriz
a
j,i
. Para el caso de dos vectores a y b en R
2
, el producto
2
se vera de la siguiente forma.
a b = a
T
b =
_
a
x
a
y

_
b
x
b
y
_
= a
x
b
x
+a
y
b
y
(9)
Como se puede observar, el resultado es el mismo, por lo que ambas formas de escribir esta
operaci on son equivalentes.
2
La multiplicacion de matrices se realiza de la forma: Sumatoria de todos los productos de los elementos de cada
la por los elementos de cada columna.
6
3 PROYECCIONES
3. Proyecciones
En

Algebra Lineal, una proyecci on no es m as que la representaci on de un elemento de un
espacio vectorial a un subespacio del mismo. Con esto se quiere decir que un vector a de un
conjunto W es representado por otro vector de un conjunto V m as peque no, cuando el conjunto
V esta contenido en el conjunto W.
Figura 9: Proyeccion de un vector de un espacio a un subespacio.
Los casos m as comunes que se utilizan para ejemplicar esto, es el de un vector sobre una recta
y el de un vector sobre un plano. La generalizaci on de ambos casos termina siendo una matriz
que realiza la proyecci on de un especio a otro. La matriz es particular para cada proyecci on, sin
embargo, el concepto es el mismo en todos los casos. A esta matriz se le llama matriz de proyeccion.
3.1. Proyeccion sobre una Recta
Para ilustrar este tema, se utiliza siempre la proyecci on de un vector en R
2
sobre una recta
tambien en R
2
. En este caso se realizara la deduccion completa, sin embargo no se tratar a a ning un
ejemplo en particular.
Figura 10: Proyeccion de un vector b sobre una recta g.
Sea entonces b un vector en R
2
y g: X = 0 + t a, donde a es el vector sobre el que se proyec-
tar a b. Notese que entre a y b se comprende un angulo . La proyecci on de b sobre a se denota
como el vector p. La notacion para una proyecci on de este tipo es la siguiente: proy
a
b y se lee
como la proyecci on de b sobre a.
Considerese entonces que la norma del vector p es igual a la norma de b por el coseno de .
|p| = |b| cos () (10)
7
3.1 Proyecci on sobre una Recta 3 PROYECCIONES
Y adem as, que el coseno de se dene de la siguiente forma.
cos () =
a b
|a| |b|
(11)
Ahora, si se sustituye la ecuacion (10) con la ecuacion (11), se obtiene la norma del vector p
expresada en terminos solo de a y b.
|p| = |b|
a b
|a| |b|
=
a b
|a|
(12)
Ahora, para obtener el vector p, se debe de dar direccion a su norma. Notese que a y p son
colineales, por lo que el vector unitario para ambos casos es el mismo. Entonces, tomando las
ecuaciones (7) y (12), se calcula la proyecci on de b sobre a: el vector p.
proy
a
b = p = |p| a =
a b
|a|

a
|a|
=
a b
|a| |a|
a (13)
Ya se tiene entonces la proyecci on p de b sobre a. Si a b se le resta p, se obtendr a un vector
ortogonal a cualquier vector elemento de la recta g. Entonces puede decir que (b proy
a
b) v = 0
para todo v g.
8
3.2 Proyecci on sobre un Plano 3 PROYECCIONES
3.2. Proyeccion sobre un Plano
En la seccion anterior se hizo la deduccion de la proyecci on de un vector en R
2
a una recta, la
cual se puede considerar como un espacio unidimensional R. En el caso de una proyecci on sobre
un plano, se tomara un vector de R
3
y se proyectar a sobre un plano, el cual se puede considerar
como un espacio bidimensional R
2
.
Figura 11: Proyeccion de un vector v sobre un plano S.
Para este caso, no se conoce un vector sobre el que se pueda proyectar el vector v. Es por esto
que en este caso la proyecci on se realizara utilizando varias poryecciones y luego suma de vectores.
Primero, se debe partir de la base ortogonal del plano. En este caso basta decir que se necesitan
dos vectores v
1
, v
2
S tal que v
1
v
2
= 0. El vector v se proyecta entonces sobre cada uno de
ellos y luego el resultado de esto se suma para obtener la proyecci on de v sobre S proy
S
v.
proy
S
v = proy
v
1
v + proy
v
2
v =
v
1
v
|v
1
| |v
1
|
v
1
+
v
2
v
|v
2
| |v
2
|
v
2
(14)
Figura 12: Proyeccion de un vector v sobre vectores ortogonales para llegar a la proyeccion sobre el plano.
Al igual que en el caso de una recta, el vector proyecci on pudo ser calculado. En el caso de
un plano, tambien se cumple que si a v se le resta proy
S
v, el vector resultante sera ortogonal a
cualquier vector que sea elemento del plano S, (v proy
S
v) v
i
= 0 v
i
S.
9
3.3 Matriz de Proyecci on 3 PROYECCIONES
3.3. Matriz de Proyeccion
Como se puede observar en las dos secciones anteriores, las proyecciones no son m as que trans-
formaciones. Por lo tanto, estas pueden ser representadas tambien por una matriz: la matriz de
proyeccion. En este caso se tiene una matriz A a la que se le puede multiplicar cualquier vector v
para obtener su proyecci on sobre un espacio W.
proy
W
v = Av (15)
En un caso general, se dice que el espacio W al que se esta proyectando es el espacio generado
por las columnas de la matriz, puesto que el vector proyecci on solo puede pertenecer a ese espacio.
Para ejemplicar esto, considerese una matriz de mn y un vector v R
n
. La proyecci on estara
dada entonces por:
proy
W
v =
_

_
a
1,1
a
1,2
a
1,3
. . . a
1,m
a
2,1
a
2,2
a
2,3
. . . a
2,m
a
3,1
a
3,2
a
3,3
. . . a
3,m
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
a
n,1
a
n,2
a
n,3
. . . a
n,m
_

_
v
1
v
2
v
3
.
.
.
v
n
_

_
(16)
Al expandir esto se obtiene:
proy
W
v = v
1
_

_
a
1,1
a
2,1
a
3,1
.
.
.
a
m,1
_

_
+ v
1
_

_
a
1,2
a
2,2
a
3,2
.
.
.
a
m,2
_

_
+ v
3
_

_
a
1,3
a
2,3
a
3,3
.
.
.
a
m,3
_

_
+ . . . + v
n
_

_
a
1,n
a
2,n
a
3,n
.
.
.
a
m,n
_

_
(17)
Aqui se puede ver que si v es cualquier vector en R
n
, entonces al espacio que se esta proyectan-
do es el generado por la combinacion lineal de las columnas de A. A este subespacio se le llama
espacio columna de A.
La matriz de proyecci on es especca para cada proyecci on y para el caso del Metodo de
Mnimos Cuadrados se har a la deduccion posteriormente. Sin embargo, en un caso general, la
matriz de proyecci on puede ser construida de la siguiente forma:
proy
W
v = UU
T
v (18)
Donde U es la matriz cuyas columnas son las bases ortonormales
3
del espacio W.
3
Bases Ortonormales: Vectores ortogonales de norma igual a 1 que generan a un espacio vectorial.
10
4 M

ETODO DE M

INIMOS CUADRADOS
4. Metodo de Mnimos Cuadrados
Figura 13: Regresi on lineal y cuadr atica.
El metodo de mnimos cuadrados es un metodo de extrapolacion para encontrar la curva que
mejor se ajuste a una coleccion de puntos. Se le conoce tambien bajo el nombre de Regresion. Con
el tiempo se le han dado otros nombres como Lineal o Cuadratica dependiendo de la curva que
se desea aproximar. Para este caso en particular, se comenzara con la regresi on lineal. Luego se
generalizar a para cualquier curva que se desee.
4.1. Caso de una Recta
Se comenzara asumiendo que se tiene una cantidad n de puntos en el plano. Cada punto
tendr a una coordenada x
i
y una coordenada y
i
. Se quiere aproximar la tendencia de estos mediante
una recta de la forma:
g(x) = a + bx (19)
Se intentara hacer que todos los puntos pasen por la recta, por lo que se tendr a n ecuaciones de
una recta expersadas de la siguiente forma:
a + bx
1
= y
1
a + bx
2
= y
2
a + bx
3
= y
3
.
.
.
a + bx
n
= y
n
(20)
Donde y
i
es una aproximacion de la coordenada en y de cada punto. Esto se puede reescribir de
forma matricial de la siguiente manera:
_

_
a bx
1
a bx
2
a bx
3
.
.
.
.
.
.
a bx
n
_

_
=
_

_
y
1
y
2
y
3
.
.
.
y
n
_

_
(21)
11
4.1 Caso de una Recta 4 M

ETODO DE M

INIMOS CUADRADOS
Que, reescribiendolo, es lo mismo que:
_

_
1 x
1
1 x
2
1 x
3
.
.
.
.
.
.
1 x
n
_

_
_
a
b
_
=
_

_
y
1
y
2
y
3
.
.
.
y
n
_

_
Ax = v (22)
La matriz que contiene a los x
i
se la ha identicado como A, al vector de incognitas (a y b) como
x y al vector que contiene a las y
i
como v. Pero para todo x
i
habra un y
i
diferente de y
i
ya que
la recta no pasara realmente por todos los puntos. Entonces se cuenta con cierto error para cada
punto (ver Figura 14).
Figura 14: Distancias de las que se compone el error.
El error se medira en forma de distancias entre y
i
y y
i
. Notese que en este caso se utilizara la
forma vista con anterioridad. El error para cada x
i
estar a dado por:
e
2
i
= (y
i
y
i
)
2
= (y
i
(a + bx
i
))
2
(23)
Y entonces, el error total
2
en todo el metodo se puede expresar de la siguiente forma:

2
=
n

i=1
_
e
2
i

=
n

i=1
[y
i
y
i
]
2
=
n

i=1
[y
i
(a + bx
i
)]
2
(24)
La razon por la cual el error total y el error e
i
se escriben elevados al cuadrado se ver a a
continuacion. Ahora, si se reescribe el error de forma vectorial, se obtiene un vector e de la forma
siguiente:
e = |v Ax| =
_

_
e
1
e
2
e
3
.
.
.
e
n
_

_
=
_

_
y
1
(a + bx
1
)
y
2
(a + bx
2
)
y
3
(a + bx
3
)
.
.
.
y
n
(a + bx
n
)
_

_
(25)
12
4.1 Caso de una Recta 4 M

ETODO DE M

INIMOS CUADRADOS
Si se calcula la norma del vector de error en la ecuacion (25), se obtiene lo siguiente:
|e| =

_
e
1
e
2
e
3
.
.
.
e
n
_

=
_
e
2
1
+ e
2
2
+ e
2
3
+ . . . + e
2
n
=

_
n

i=1
[e
2
i
] = (26)
Notese que la norma |e| es igual a . Es por esto que ambos se escriben elevados al cuadrado.
Ahora, las ecuaciones (24) y (26) son pr acticamente lo mismo. Solo la ecuacion (22) sera la
excepcion, ya que de esta (igual que de las anteriores 2), se puede encontrar la solucion al problema.
Por esto, la resolucion de estas se llevar a a cabo de dos formas: Diferecial y Algebraica. Ambas
seran presentadas en las secciones 4.3 y 4.4 con el n de llegar a la solucion (secci on 4.5).
13
4.2 Generalizacion 4 M

ETODO DE M

INIMOS CUADRADOS
4.2. Generalizacion
En esta seccion se intentara generalizar el concepto que se vio en la seccion anterior. Para ello
se considerara que la curva que describe la tendencia de la coleccion de puntos es un polinomio P
de grado m. Entonces la ecuacion sera la siguiente:
P(x) =
1
+
2
x +
3
x
2
+ . . . +
m+1
x
m
= y (27)
Entonces las n ecuaciones para los puntos dados se ver an de la siguiente forma:

1
+
2
x
1
+
3
x
2
1
+ . . . +
m+1
x
m
1
= y
1

1
+
2
x
2
+
3
x
2
2
+ . . . +
m+1
x
m
2
= y
2
.
.
.

1
+
2
x
n
+
3
x
2
n
+ . . . +
m+1
x
m
n
= y
n
(28)
Lo cual, de forma matricial, se puede representar as:
_

_
1 x
1
x
2
1
. . . x
m
1
1 x
2
x
2
2
. . . x
m
2
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
1 x
n
x
2
n
. . . x
m
n
_

_
_

3
.
.
.

m+1
_

_
=
_

_
y
1
y
2
.
.
.
y
n
_

_
Ax = v (29)
Notese que la ecuacion (22) y ecuacion (29) terminan de la misma forma. Por lo que el proced-
imiento a partir de estas sera el mismo.
Ahora, se proceder a a ver el error generalizado a polinomios. Para ello la ecuacion principal
sera de la forma:
e
2
= (y
i
y
i
)
2
=
_
y
i

1
+
2
x
i
+
3
x
2
i
+ . . . +
m+1
x
m
i
__
2
(30)
Entonces el error, al igual que en la seccion anterior, se puede expresar en forma vectorial as:
e =
_

_
e
1
e
2
.
.
.
e
n
_

_
=
_

_
y
1
(
1
+
2
x
1
+
3
x
2
1
+ . . . +
m+1
x
m
1
)
y
2
(
1
+
2
x
2
+
3
x
2
2
+ . . . +
m+1
x
m
2
)
.
.
.
y
n
(
1
+
2
x
n
+
3
x
2
n
+ . . . +
m+1
x
m
n
)
_

_
(31)
Considerando la ecuacion (26), entonces el error total
2
se puede expresar de la siguiente forma:

2
= |e|
2
=
n

i=1
[e
i
]
2
=
n

i=1
[y
i
y
i
]
2
=
n

i=1
_
y
i

1
+
2
x
i
+
3
x
2
i
+ . . . +
m+1
x
m
i
_
2
(32)
Las ecuaciones (29) y (32) son equivalentes a las ecuaciones (22) y (24) de la seccion anterior,
por lo que la resolucion de el sistema ya generalizado para cualquier polinomio, se puede llevar a
14
4.2 Generalizacion 4 M

ETODO DE M

INIMOS CUADRADOS
cabo de la misma manera que con una recta. Es por ello que la resolucion que se ver a a continuacion
sera para una recta. Cualquier aspecto que cambie entre este caso y el generalizado se indicar a en
las siguientes secciones tambien.
15
4.3 Resolucion Diferencial 4 M

ETODO DE M

INIMOS CUADRADOS
4.3. Resolucion Diferencial
El problema de mnimos cuadrados intenta encontrar una curva que sea la que mejor se ajuste
a una colecci on de puntos. Siendo este el caso, se intenta minimizar
4
el error entre la curva y todos
los puntos.
En esta seccion se intentara buscar este mnimo por medio del c alculo diferencial. Para ello se
optimizar a la funcion de error
2
, lo cual implica derivarla con respecto a cada una de las variables
a y b o en el caso de un polinomio mayor, con respecto a todos los
j
donde j 1 = m, el grado
del polinimo.
Se procede entonces a derivar la funcion de error
2
(Ecuacion (24)):
(
2
)
a
=

a
_
n

i=1
[y
i
(a + bx
i
)]
2
_
=
n

i=1
_

a
(y
i
(a + bx
i
))
2
_
(33)
(
2
)
b
=

b
_
n

i=1
[y
i
(a + bx
i
)]
2
_
=
n

i=1
_

b
(y
i
(a + bx
i
))
2
_
(34)
Notese que de la sumatoria se obtendra solo coecientes de a o b sin potencia o elevados al
cuadrado
5
. El cambio entre la sumatoria y la derivada parcial (Ecuaciones (33) y (34)) es posible
de realizar gracias a las propiedades de la derivada
6
.
Se contin ua entonces con las derivadas y se igualan estas a 0 con el n de encontrar el m aximo
o mnimo.
(
2
)
a
= 2
n

i=1
[y
i
(a + bx
i
)] = 0 (35)
(
2
)
b
= 2
n

i=1
[y
i
(a + bx
i
)] x
i
= 0 (36)
Se distribuye la sumatoria y se reordenan los terminos de tal forma en que la ecuacion parezca
la de una recta.
na + b
n

i=1
[x
i
] =
n

i=1
[y
i
] (37)
a
n

i=1
[x
i
] + b
n

i=1
_
x
2
i

=
n

i=1
[x
i
y
i
] (38)
4
De aqui viene la otra parte del nombre del metodo: Mnimos Cuadrados.
5
Se puede pensar en par abolas de las que se busca el maximo o mnimo.
6
En este caso recurdese la propiedad que dicta que la derivada de una suma es la suma de las derivadas.
16
4.3 Resolucion Diferencial 4 M

ETODO DE M

INIMOS CUADRADOS
Esto se puede reescribir de forma matricial nuevamente:
_
na b

n
i=1
[x
i
]
a

n
i=1
[x
i
] b

n
i=1
[x
2
i
]
_
=
_
n
i=1
[y
i
]

n
i=1
[x
i
y
i
]
_
(39)
Que nalmente se convierte en:
_
n

n
i=1
[x
i
]

n
i=1
[x
i
]

n
i=1
[x
2
i
]
_ _
a
b
_
=
_
n
i=1
[y
i
]

n
i=1
[x
i
y
i
]
_
Bx = z (40)
En este punto, ya se ha llegado a una forma en la que el error ha sido minimizado y ambas
ecuaciones solo necesitan ser resueltas. Sin embargo el ultimo paso, la solucion a partir de la
ecuacion (40), se dejara para la seccion 4.5.
17
4.4 Resolucion Algebraica 4 M

ETODO DE M

INIMOS CUADRADOS
4.4. Resolucion Algebraica
Para la solucion de forma algebraica se parte de la ecuacion (25). Esta expresa el error de cada
punto con respecto al polinomio solucion. Sup ongase entonces que w es el vector solucion de la
distancia mnima que se busca y w es cualquier vector en R
2
si se considera el caso de una recta.
El error de la recta solucion es menor al de cualquier otra recta.
|v A w| |v Aw| (41)
Se considerara entonces a A w como una proyecci on de v sobre el espacio columna de A, seg un
lo visto en la seccion 3.3. Notese que tanto v como A w pertenecen al mismo espacio vectorial.
proy
col(A)
v = A w (42)
El error de la recta solucion se puede reescribir entonces como:
= v proy
col(A)
v (43)
Seg un lo que se mostro en las secciones 3.1 y 3.2, se sabe que el error es un vector ortogonal
a cualquier vector elemento del espacio columna de A. Siendo esto as, se puede aprovechar la
ortogonalidad para encontrar al vector solucion w. Sea r = Aw donde w es cualquier vector en
R
2
.
r
_
v proy
col(A)
v
_
= 0

Aw (v A w) = 0
(44)
El producto anterior se puede reescribir seg un se vio en la seccion 2.4 como:
(Aw)
T
(v A w) = 0 (45)
w
T
A
T
(v A w) = 0 (46)
w A
T
(v A w) = 0 (47)
Para pasar de (45) a (46) se utiliz o propiedades de la transpuesta. Notese que en la ecuacion
(47), A
T
(v A w) es otrtogonal a todo vector w. El unico vector ortogonal a todo vector en R
2
es el vector 0. Se procede entonces a resolver el sistema A
T
(v A w) = 0.
A
T
(v A w) = 0 (48)
A
T
v A
T
A w = 0 (49)
A
T
Ax = A
T
v (50)
Esto es lo mismo que:
_

_
1 x
1
1 x
2
1 x
3
.
.
.
.
.
.
1 x
n
_

_
T
_

_
1 x
1
1 x
2
1 x
3
.
.
.
.
.
.
1 x
n
_

_
_
a
b
_
=
_

_
1 x
1
1 x
2
1 x
3
.
.
.
.
.
.
1 x
n
_

_
T
_

_
y
1
y
2
y
3
.
.
.
y
n
_

_
(51)
18
4.4 Resolucion Algebraica 4 M

ETODO DE M

INIMOS CUADRADOS
Al calcular la transpuesta, se obtiene lo siguiente:
_
1 1 1 . . . 1
x
1
x
2
x
3
. . . x
n
_
_

_
1 x
1
1 x
2
1 x
3
.
.
.
.
.
.
1 x
n
_

_
_
a
b
_
=
_
1 1 1 . . . 1
x
1
x
2
x
3
. . . x
n
_
_

_
y
1
y
2
y
3
.
.
.
y
n
_

_
(52)
El resultado de la multiplicaci on de matrices del lado izquierdo da como resultado una matriz de
22, mientras que la del lado derecho da como resultado una matriz de 21. Se procede entonces
a hacer la multiplicaci on de las matrices y el resultado es el siguiente:
_
n

n
i=1
[x
i
]

n
i=1
[x
i
]

n
i=1
[x
2
i
]
_ _
a
b
_
=
_
n
i=1
[y
i
]

n
i=1
[x
i
y
i
]
_
Bx = z (53)
Notese que la ecuacion (53) es exactamente igual a la ecuacion (40). El procedimiento algebr aico
es m as comodo, sin embargo, cuando se trabaja con polinomios de grado > 1.
19
4.5 Solucion 4 M

ETODO DE M

INIMOS CUADRADOS
4.5. Soluci on
Ahora, para concluir con la deduccion, se tomara las ecuaciones (40) y (53) y se resolver a estas.
Para ello se utiliza a la matriz inversa. De esta forma se remover a la matriz de sumatorias del lado
izquierdo, dejando as al vector de coecientes
_
a
b
_
despejado.
Primero se calculara la matriz inversa de (40). Existen 2 metodos para hacer esto: Por deter-
minantes y por el metodo de Gauss-Jordan. La operatoria utilizada en el sengundo metodo es m as
larga en comparacion al metodo por determinantes, por lo que se proceder a a calcular la inversa
por deternimantes.
El determinante de la matriz, se calcula entonces:
det |B| = det

n
i=1
[x
i
]

n
i=1
[x
i
]

n
i=1
[x
2
i
]

= n
n

i=1
_
x
2
i

_
n

i=1
[x
i
]
_
2
(54)
Ya con el determinante, la matriz inversa se puede expresar de la siguiente forma:
B
1
=
_
n

n
i=1
[x
i
]

n
i=1
[x
i
]

n
i=1
[x
2
i
]
_
1
=
1
det |B|
_
n
i=1
[x
2
i
]

n
i=1
[x
i
]

n
i=1
[x
i
] n
_
(55)
Ahora, aplicando la inversa a ambos lados de la ecuacion se obtiene:
B
1
Bx = B
1
z

x = B
1
z
(56)
_
a
b
_
=
_

n
i=1
[x
2
i
]
n

n
i=1
[x
2
i
](

n
i=1
[x
i
])
2

n
i=1
[x
i
]
n

n
i=1
[x
2
i
](

n
i=1
[x
i
])
2

n
i=1
[x
i
]
n

n
i=1
[x
2
i
](

n
i=1
[x
i
])
2
n
n

n
i=1
[x
2
i
](

n
i=1
[x
i
])
2
_

_
_
n
i=1
[y
i
]

n
i=1
[x
i
y
i
]
_
(57)
Y de esto, al terminar de multiplicar se obtiene dos ecuaciones independientes:
a =

n
i=1
[x
i
]
2

n
i=1
[y
i
]

n
i=1
[x
i
]

n
i=1
[x
i
y
i
]
n

n
i=1
[x
2
i
] (

n
i=1
[x
i
])
2
(58)
b =
n

n
i=1
[x
i
y
i
]

n
i=1
[x
i
]

n
i=1
[y
i
]
n

n
i=1
[x
2
i
] (

n
i=1
[x
i
])
2
(59)
20
4.5 Solucion 4 M

ETODO DE M

INIMOS CUADRADOS
Ahora, si se considera que la media de una serie de datos w
1
, w
2
, . . . , w
i
se calcula de la siguiente
forma:
w =

n
i=1
[w
i
]
n
(60)
Entonces las ecuaciones (58) y (59), despues de un poco de manipulaci on algebr aica, se pueden
reescribir de la siguiente forma:
a =
y

n
i=1
[x
i
]
2
x

n
i=1
[x
i
y
i
]

n
i=1
[x
2
i
] n x
2
(61)
b =

n
i=1
[x
i
y
i
] n x y

n
i=1
[x
2
i
] n x
2
(62)
Y con estas dos ultimas ecuaciones se concluye la deduccion del metodo de mnimos cuadrados.
Los escalares a y b se introducen en la ecuacion (19) y con ello se logra la recta que mejor aproxima
la tendencia de la coleccion de puntos que se tena al principio.
Para el caso generalizado la solucion se deduce de la misma forma, solo que la ecuacion con que
se comienza (es decir, la ecuacion matricial obtenida de las secciones 4.3 y 4.4) sera m as grande.
De hecho, si la curva que se desea aproximar es un polinomio de grado m, entonces la matriz sera
de (m + 1) (m + 1).
21
5 CASOS ESPECIALES
5. Casos Especiales
Tomando en cuenta que no todas las curvas que se deseen aproximar son polinomios, se dedica
una seccion al caso de las curvas exponencial y logartmica. Despues de esto se espera haber dejado
claro que a cualquier coleccion de puntos se le puede aproximadar cualquier curva si se aplica la
transformacion correcta.
5.1. Exponencial
Figura 15: Regresi on exponencial.
Para el caso de una coleccion de puntos que se comportan de forma exponencial, la mejor
aproximacion sera una curva de la forma:
f(x) = y = ce
dx
(63)
En este caso, la deduccion hecha previamente aplicara si esta ecuacion se pudiera transformar
en alg un tipo de polinomio. Si a esta ecuacion se le aplica logartmo natural, notese que se puede
llevar a un polinomio de grado 1.
ln(y) = ln
_
ce
dx
_
(64)
= ln(c) + ln
_
e
dx
_
(65)
= ln(c) + dx (66)
Ahora, si todos los puntos ln(y) se utilizan como un Y , y ln(c) se toma como una constante C,
entonces la ecuacion (66) se transforma a un polinomio grado 1 de la forma:
Y = C + dx (67)
Esta ya se puede resolver con la misma deduccion planteada previamente. Una vez calculados
c = e
C
y d ya se pueden introducir estos a la ecuacion (63) y con esto obtener la curva deseada.
22
5.2 Logartmica 5 CASOS ESPECIALES
5.2. Logartmica
Figura 16: Regresi on logartmica.
Para el caso de un comportamiento logartmico, la ecuacion general que se ajustara sera de
la forma:
f(x) = y = b log
k
(cx) (68)
Este caso es un poco diferente al anterior. En este caso no se aplicar a ninguna transformacion,
sino que se reordenar a algunos terminos de la forma siguiente:
y = b log
k
(c) + b log
k
(x) (69)
Notese pues, que la ecuacion all ya tiene la forma de un polinomio de grado 1. Para que esto se
vuelva m as claro, considerese (b log
k
(c)) como una sola constante C y a log
k
(x) como X. Entonces
la ecuacion se vera as:
y = C + bX (70)
Se resuelve entonces el problema como si este fuera una recta y por ultimo se sustituyen las
constantes c y b en la ecuacion (68). Notese que para obtener c se debe de realizar la siguiente
operaci on:
c = k
C
b
(71)
23
6 BIBLIOGRAF

IA
6. Bibliografa
6.1. Literatura
Anderson et. al. 1999. Estadstica para Administracion y Economa. 7 ed. Thomson
Grossman S. 1984. Elementary Linear Algebra. 2 ed. Wadsworth
Poole D. 2004.

Algebra Lineal: Una Introduccion Moderna. Thomson
6.2. Internet
Weisstein E. 2009. Least Squares Fitting. Wolfram MathWorld.
http://mathworld.wolfram.com/LeastSquaresFitting.html
Weisstein E. 2009. Least Squares Fitting - Exponential. Wolfram MathWorld.
http://mathworld.wolfram.com/LeastSquaresFittingExponential.html
Weisstein E. 2009. Least Squares Fitting - Logarithmic. Wolfram MathWorld.
http://mathworld.wolfram.com/LeastSquaresFittingLogarithmic.html
Wiley Publishing Inc. 2009. Linear Algebra: Projection onto a Subspace. ClisNotes.
http://www.clisnotes.com/WileyCDA/ClisReviewTopic/Projection-onto-a-Subspace.topicArticleId-20807,articleId-20792.html
6.3. Herramientas
GIMP: GNU Image Manipulation Program. Version 2.6.3. 2008.
http://www.gimp.org/
OpenOce.org: The Free and Open Productivity Suite. Version 3.0.1. 2008.
http://www.openoce.org/
SAGE: Open Source Mathematics Software. Version 3.1.4. 2008.
http://www.sagemath.org/
TexMaker: Free L
A
T
E
X Editor. Version 1.7. 2008.
http://www.xm1math.net/texmaker/
24