1

BANCO CENTRAL DE RESERVA DEL PER

CURSO DE ACTUALIZACIN PARA PROFESORES
ECONOMETRA
ESTIMACIN POR MNIMOS
CUADRADOS ORDINARIOS (MCO)
Profesora: Donita Rodrguez.
Agosto 2011


2
ESQUEMA

1. Metodologa de Estimacin MCO: MRLC2.
2. Metodologa de Estimacin MCO: MRLCK.
3. Caractersticas Muestrales de los estimadores MCO.
4. Regresin Ortogonal.
5. Estimacin MCO como Proyeccin.
6. Aplicaciones

3
1. METODOLOGA DE ESTIMACIN MCO: MRLC2
Dado el modelo de regresin poblacional y el estimado:


se definen los residuos de cualquier lnea ajustada como:


Cada valor observado de la variable endgena puede expresarse
como:


) (

2 1 i i i i i
X b b Y Y Y e + = =
i i i
i i i
e X b b Y
e Y Y
+ + =
+ =
2 1

i i i
u X Y + + =
2 1
| |
i i i
X b b X Y
2 1 2 1

+ = + = | |
4
P
4

En la prctica slo observamos los puntos P.
P
3

P
2

P
1

7
Y
X X
1
X
2
X
3
X
4

1. METODOLOGA DE ESTIMACIN MCO: MRLC2
5
P
4

P
3

P
2

P
1

8
b
1

Y
X X
1
X
2
X
3
X
4

1. METODOLOGA DE ESTIMACIN MCO: MRLC2
Podemos usar los puntos P para dibujar una lnea recta que sea una
aproximacin de Y = |
1
+ |
2
X. Esta lnea estimada ser Y = b
1
+ b
2
X, donde b
1

es un estimador de |
1
y b
2
es un estimador de |
2
.
X b b Y

2 1
+ =
6
P
4

P
3

P
2

P
1

R
1

R
2

R
3

R
4

9
b
1

Y
X X
1
X
2
X
3
X
4

1. METODOLOGA DE ESTIMACIN MCO: MRLC2
X b b Y

2 1
+ =
La linea se llama modelo ajustado y los valores de Y estimados se llaman
valores ajustados de Y. Se representan por la altura de los puntos R.
7
P
4

X X
1
X
2
X
3
X
4

P
3

P
2

P
1

R
1

R
2

R
3

R
4

e
1

e
2

e
3

e
4

10
b
1

Y
1. METODOLOGA DE ESTIMACIN MCO: MRLC2
X b b Y

2 1
+ =
La discrepancia entre el valor observado y el valor ajustado de Y se conoce
como residuo.
8
P
4

P
3

P
2

P
1

R
1

R
2

R
3

R
4

b
1

11
|
1

Y
X X
1
X
2
X
3
X
4

1. METODOLOGA DE ESTIMACIN MCO: MRLC2
X b b Y

2 1
+ =
X Y
2 1
| | + =
Importante: Note que el residuo no es igual al trmino de perturbacin.
9
P
4

P
3

P
2

P
1

12
Q
2

Q
1

Q
3

Q
4

|
1

b
1

Y
X X
1
X
2
X
3
X
4

1. METODOLOGA DE ESTIMACIN MCO: MRLC2
X b b Y

2 1
+ =
X Y
2 1
| | + =
El trmino de perturbacin en cada observacin es el responsable de la
divergencia entre el valor observado y el componente no aleatorio de la
verdadera relacin.
10
P
4

P
3

P
2

P
1

R
1

R
2

R
3

R
4

13
|
1

b
1

Y
X X
1
X
2
X
3
X
4

1. METODOLOGA DE ESTIMACIN MCO: MRLC2
X b b Y

2 1
+ =
X Y
2 1
| | + =
El residuo es la discrepancia entre el valor observado y el valor ajustado de
la variable endgena.
11
14
1. METODOLOGA DE ESTIMACIN MCO: MRLC2
P
4

P
3

P
2

P
1

R
1

R
2

R
3

R
4

|
1

b
1

Y
X X
1
X
2
X
3
X
4

X b b Y

2 1
+ =
X Y
2 1
| | + =
Si la regresin es buena, los residuos y los valores del trmino de
perturbacin sern similares (ver primera y segunda obs.), pero son
conceptualmente distintos.
12
P
4

15
Q
4

u
4

|
1

b
1

Y
X X
1
X
2
X
3
X
4

1. METODOLOGA DE ESTIMACIN MCO: MRLC2
X b b Y

2 1
+ =
X Y
2 1
| | + =
4 2 1 4
X Y | | + =
Las dos rectas sern analizadas en el curso. Cada una permite la
descomposicin del valor de Y. Esta descomposicin se ilustrar con la
cuarta observacin.
13
P
4

16
Q
4

u
4

|
1

b
1

Y
X X
1
X
2
X
3
X
4

1. METODOLOGA DE ESTIMACIN MCO: MRLC2
X b b Y

2 1
+ =
X Y
2 1
| | + =
4 2 1 4
X Y | | + =
Usando la relacin terica, Y puede descomponerse en un componente no
estocstico y un componente aleatorio.
14
17
1. METODOLOGA DE ESTIMACIN MCO: MRLC2
P
4

Q
4

u
4

|
1

b
1

Y
X X
1
X
2
X
3
X
4

X b b Y

2 1
+ =
X Y
2 1
| | + =
4 2 1 4
X Y | | + =
Es una descomposicin terica porque desconocemos los valores de
1
,
2
o los valores del trmino de perturbacin.


15
P
4

18
e
4

R
4

|
1

b
1

Y
X X
1
X
2
X
3
X
4

1. METODOLOGA DE ESTIMACIN MCO: MRLC2
X b b Y

2 1
+ =
X Y
2 1
| | + =
4 2 1 4
X b b Y

+ =
La otra descomposicin es en referencia a la lnea ajustada. En cada
observacin, el valor observado de Y es igual al valor ajustado de Y ms el
residuo. Esta es una descomposicin operativa que se utilizar para usos
prcticos.
ajustado valor Y =

observado valor Y =
16
1. METODOLOGA DE ESTIMACIN MCO: MRLC2
El Principio de Mnimos Cuadrados consiste en:


Condiciones de Primer Orden.


Ecuaciones Normales:
2 2
1
1
2
,
...
2 1
n
n
i
i
b b
e e e SCR Min + + = =

=
0
1
1
2
=
c
c

=
b
e
n
i
i
0
2
1
2
=
c
c

=
b
e
n
i
i
0
1
=

=
n
i
i
e 0
1
=

=
n
i
i i
e x
23
( ) 0 2 0
2 1
1
= =
c
c
i i
X b b Y
b
SCR
1. METODOLOGA DE ESTIMACIN MCO: MRLC2
- Primera condicin de primer orden:






- Segunda condicin de primer orden:
n
X
X
i
=
X n X
i
=

0
2 1
=
i i
X b n b Y
X b Y b
2 1
=
( ) 0 2 0
2 1
2
= =
c
c
i i i
X X b b Y
b
SCR
23
1. METODOLOGA DE ESTIMACIN MCO: MRLC2
( )
( )
( )
( )( )
( )

=
= +
= +
=
=
=
= =
c
c
2 2 2
2
2
2
2
2
2
2 2
2
2 2
2
2 1
2 1
2 1
2
0
0
0
0
0
0 2 0
X X
Y Y X X
X n X
X Y n X Y
b
X b X n b X Y n X Y
X b X X b X Y X Y
X b X X b Y X Y
X b X b X Y
X X b b Y
X X b b Y
b
SCR
i
i i
i
i i
i i i
i i i i i
i i i i
i i i i
i i i
i i i
34
( )( )
( ) ( )
Y X n Y X
Y X n Y n X X n Y Y X
Y X n Y X X Y Y X
Y X Y X Y X Y X Y Y X X
i i
i i
i i i i
i i i i i i
=
+ =
+ =
+ =

1. METODOLOGA DE ESTIMACIN MCO: MRLC2
Demostracin de Resultados Importantes:





Anlogamente:
( ) ( )
2 2
2 2 2 2 2
2
2 2
X n X
X n X n X X X X X X X
i
i i i i
=
= + =

20
Estimador MCO de beta1
Estimador MCO de beta2:


Estos estimadores replican los poblacionales (normalidad):
X b Y b
2 1
=
( )( )
( )

=
=

=
n
i
i
n
i
i i
X X
Y Y X X
b
1
2
1
2
( )
( )

=
=

=
n
i
i
n
i
i
YX
X X
Y Y
r b
1
2
1
2
2
Poblacional Muestral
X
X
Y
Y X Y

o
o
= o
/
X Y | = o

X
Y
X Y
o
o
= |
/
) (
) (
/
X SE
Y SE
r
X Y
= |
Poblacional Muestral
X
X
Y
Y X Y

o
o
= o
/
X Y | = o

X
Y
X Y
o
o
= |
/
) (
) (
/
X SE
Y SE
r
X Y
= |
1. METODOLOGA DE ESTIMACIN MCO: MRLC2
X b Y b
2 1
=
YX
2
|
YX
1
|
2
b
( ) 0 : 3
1
2
>

=
n
i
i
X X SC
21
Estimador de la varianza del trmino de perturbacin.
No se puede estimar a partir de una muestra de valores de u,
pues depende de los parmetros poblacionales no observados
beta1 y beta2.
Puede obtenerse un estimado a partir de los errores de
estimacin. El estimador es:

=
n
i
i MCO
e
n
s
1
2 2 2
2
1

o
1. METODOLOGA DE ESTIMACIN MCO: MRLC2
22
2. METODOLOGA DE ESTIMACIN MCO: MRLCK
El modelo de regresin poblacional de k variables, para una
observacin o perodo de tiempo, se denota por:



y el modelo de regresin estimado:


i ik k i i i
u x x x Y + + + + + = | | | |
3 3 2 2 1
ik k i i i
ik k i i i
x x x Y
x b x b x b b Y
| | | |

3 3 2 2 1
3 3 2 2 1
+ + + + =
+ + + + =

u X y + = |
(
(
(

=
k
|
|
|
1
23
Matricialmente, para las n observaciones:



Entonces, dado , se tiene:

) 1 (
2
1
) 1 (
2
1
) (
2 1
2 22 21
1 12 11
) 1 (
2
1

(
(
(
(

+
(
(
(
(

(
(
(
(

=
(
(
(
(

n
n
k
k
k n
nk n n
k
k
n
n
u
u
u
X X X
X X X
X X X
Y
Y
Y

|
|
|
u X y + = |
Xb y

=
2. METODOLOGA DE ESTIMACIN MCO: MRLCK
e Xb e y

y + = + =
24
Suma de los cuadrados de los residuos o errores de estimacin:




De acuerdo al Principio de Mnimos Cuadrados Ordinarios, se
minimiza SCR, lo cual implica que se cumpla las C.P.O. y C.S.O:

( ) ( ) y y y y e e e b SCR
n
i
i

'

' ) (
1
2
= =

=
Xb ' X ' b y ' X ' b y ' y ) b ( SCR + 2
2. METODOLOGA DE ESTIMACIN MCO: MRLCK
Xb ' X ' b Xb ' y y ' y ) b ( SCR + 2
25




Las Ecuaciones Normales se obtienen a partir de las
Condiciones de Primer Orden (C.P.O.):
y X b X X
b
SCR
' ) ' ( 0 = =
c
c
definida positivo X ' X
' b b
SCR
2
2
=
c c
c
y ' X b ) X ' X ( = 0 = e ' X
2. METODOLOGA DE ESTIMACIN MCO: MRLCK
( ) ( )
( )
( )
( )
cuadrada matriz x x x x
A
Ax x
simtrica matriz A Ax A x
x
Ax x
A
x
Ax
a
x
x a
: ' , '
'
: , 2 ' ' 2
'
; ' ;
'
matrices de derivacin de Reglas
=
c
c
= =
c
c
=
c
c
=
c
c
26
En el modelo de regresin lineal clsico de k variables se
obtiene k ecuaciones normales: una para cada parmetro
especificado en la ecuacin de regresin.
A partir de la CPO se obtiene el vector de estimadores de
MCO del MRLCK:


Supuesto de rango completo por columnas es importante!
Para derivar el estimador MCO slo se necesita que XX
tenga inversa y ello se cumple slo si se cumple el SC 3.
( ) y

b
MCO
X' X X'
1
= = |
2. METODOLOGA DE ESTIMACIN MCO: MRLCK
27
Estimador de la Varianza s
2
.
Es razonable obtener el estimador a partir de la suma de
cuadrados de los residuos:




Donde M es una matriz simtrica e idempotente; adems:
y e
y e
y y e
Xb y e
n
M
) X' X) X(X' (I
X' X) X(X'
1
1
=
=
=
=

0 = MX
e Me =
2. METODOLOGA DE ESTIMACIN MCO: MRLCK
2
; ' M M M M = =
28
Con estas propiedades, se tiene que:


Elevando al cuadrado los residuos:


Aplicando la esperanza matemtica a esta expresin y
aprovechando las propiedades de la traza obtenemos:
2. METODOLOGA DE ESTIMACIN MCO: MRLCK
Mu e
Mu MX u X M My e
=
+ = + = = ) (
Mu u' e e'
Mu M' u' Mu ' Mu e e'
=
= = ) (
29
2. METODOLOGA DE ESTIMACIN MCO: MRLCK
30



As, el estimador de la varianza del trmino de perturbacin,
y de la regresin, es:


El error estndar de la estimacin o error estndar de la
regresin, s, es la desviacin estndar de los valores de Y
alrededor del plano de regresin.
2. METODOLOGA DE ESTIMACIN MCO: MRLCK
2
2
) ( ) (
u
u
k n
E
k n E
o =
|
.
|

\
|

o =
e e'
e e'
k n
s
u

= o
e e'
2 2

31
Presentan tres principales caractersticas asociadas a las EN:
La lnea de regresin estimada pasa por los valores medios
muestrales de las variables.
El promedio observado es igual al promedio estimado:
Los residuos de MCO tienen correlacin cero con la variable
independiente (en la muestra).
No existe correlacin muestral entre los valores estimados de
la variable endgena y los residuos.
3. CARACTERSTICAS MUESTRALES DE MCO
X b b Y
2 1
+ =
0 = ) e , X ( Corr
0 = ) e , y

( Corr
Y

Y =
32
Para el modelo de regresin clsico de k variables:
La ecuacin de regresin o hiperplano de regresin pasa por
los puntos medios del espacio k dimensional.

El promedio observado es igual al promedio estimado:
La correlacin muestral de los regresores con los residuos es
cero.
Los valores estimados de la variable dependiente no estn
correlacionados con los residuos.
k
X b X b X b b Y
3 3 3 2 2 1
+ + + + =
0 X' = e
0 y = e '

3. CARACTERSTICAS MUESTRALES DE MCO

y i y i

' ' =
b X y =
33
Sea el siguiente MRLC3:
Los estimadores MCO son:

6. REGRESIN ORTOGONAL
i i i i
u X X Y + | + | + | =
3 3 2 2 1
2
1
3 2
1
2
3
1
2
2
1
3 2
1
2
1
2
2
1
3
3
2
1
3 2
1
2
3
1
2
2
1
3 2
1
3
1
2
3
1
2
2
3 3 2 2 1
|
.
|

\
|

=
|
.
|

\
|

=
+ =




= = =
= = = =
= = =
= = = =
n
i
i i
n
i
i
n
i
i
n
i
i i
n
i
i i
n
i
i
n
i
i i
n
i
i i
n
i
i
n
i
i
n
i
i i
n
i
i i
n
i
i
n
i
i i
x x x x
x x y x x y x
b
x x x x
x x y x x y x
b
X b X b Y b
34
Si se estima el modelo de dos variables:
Los estimadores MCO son:

Adems:





Si los regresores no estn correlacionados (ortogonales), las
pendientes del modelo mltiple son iguales a las pendientes de
regresiones individuales.
4. REGRESIN ORTOGONAL
i i i
u X Y + | + | =
2 2 1

= =
=
n
i
i
n
i
i i
x y x b
1
2
2
1
2 12
2
23
32 13 12
2
1
3 2
1
2
3
1
2
2
1
3 2
1
3
1
2
3
1
2
3 12
1 r

x x x x
x x y x x y x
b
n
i
i i
n
i
i
n
i
i
n
i
i i
n
i
i i
n
i
i
n
i
i i
,

=
|
.
|

\
|

=


= = =
= = = =
| | |
35
M es la Matriz Generadora de Residuos:

M (nxn), simtrica, idempotente, dim(M)=tr(M).
M es la Matriz Aniquiladora: la proyeccin de X sobre X
es perfecta y el residuo es cero.
P es la Matriz de Proyeccin sobre el espacio columna X


P (nxn), simtrica, idempotente, dim(P)=tr(P).
La proyeccin de X sobre X es igual a X:
5. ESTIMACIN MCO COMO PROYECCIN
e My =
0 = MX
Py Xb y

= =
X PX =
36
Adems, PM = MP = 0.
Entonces, la estimacin por MCO particiona y en dos
componentes ortogonales:



Teorema de Pitgoras: Suma de Cuadrados
5. ESTIMACIN MCO COMO PROYECCIN
My Py y
e y y
+ =
+ =

e e y y y y '

'

' + =
37
Geometra de MCO:
5. ESTIMACIN MCO COMO PROYECCIN
38
Geometra de MCO:
5. ESTIMACIN MCO COMO PROYECCIN
X
1

39
Geometra de MCO:
5. ESTIMACIN MCO COMO PROYECCIN
X
1

X
2

40
Geometra de MCO:
5. ESTIMACIN MCO COMO PROYECCIN
X
1

X
2

y
41
Geometra de MCO:
5. ESTIMACIN MCO COMO PROYECCIN
X
1

X
2

y
Xb
42
Geometra de MCO:
5. ESTIMACIN MCO COMO PROYECCIN
X
1

X
2

y
e
Xb
43
Geometra de MCO:
5. ESTIMACIN MCO COMO PROYECCIN
X
1

X
2

y
e
y*
Xb
44
Geometra de MCO:
5. ESTIMACIN MCO COMO PROYECCIN
X
1

X
2

Xb
y
e
y*
Xb*
460 470 480 490 500 510 520 530 540
750
800
850
900
950
1000
log (PBI)
l
o
g

(
C
i
r
c
u
l
a
n
t
e
)


Estimado
Observado
45
A travs del uso de matrices : caso de dos variables
5. ESTIMACIN MCO COMO PROYECCIN
Se obtiene una
lnea de regresin
46
A travs del uso de matrices : caso de tres variables
5. ESTIMACIN MCO COMO PROYECCIN
85
90
95
100
105
110
115
120
125
130
460
470
480
490
500
510
520
530
540
750
800
850
900
950
1000

log (Tipo de cambio)
log (PBI)

l
o
g

(
C
i
r
c
u
l
a
n
t
e
)
Observado
Estimado
Se obtiene un plano
de regresin





1
6. APLICACIN: Estimacin del salario por hora
0
40
80
120
160
200
6 8 10 12 14 16 18 20 22
S
E
A
R
N
I
N
G
S
EARNINGS vs. S
Earnings: salario por hora
S: aos de educacin
Mayores observaciones
para eduacin bsica y
secundaria. Pocas
observaciones para
mayores aos de estudio
en la muestra analizada.





1
6. APLICACIN: Estimacin del salario por hora
Dependent Variable: EARNINGS
Method: Least Squares
Date: 07/31/11 Time: 22:59
Sample: 1 540
Included observations: 540
Variable Coefficient Std. Error t-Statistic Prob.
C -19.79196 3.585928 -5.519341 0.0000
S 2.870943 0.255034 11.25710 0.0000
R-squared 0.190639 Mean dependent var 19.93339
Adjusted R-squared 0.189135 S.D. dependent var 16.43569
S.E. of regression 14.80002 Akaike info criterion 8.230831
Sum squared resid 117843.8 Schwarz criterion 8.246725
Log likelihood -2220.324 F-statistic 126.7222
Durbin-Watson stat 1.885753 Prob(F-statistic) 0.000000





1
6. APLICACIN: Estimacin del salario por hora
Dependent Variable: EARNINGS
Method: Least Squares
Date: 07/31/11 Time: 22:59
Sample: 1 540
Included observations: 540
Variable Coefficient Std. Error t-Statistic Prob.
C -19.79196 3.585928 -5.519341 0.0000
S 2.870943 0.255034 11.25710 0.0000
R-squared 0.190639 Mean dependent var 19.93339
Adjusted R-squared 0.189135 S.D. dependent var 16.43569
S.E. of regression 14.80002 Akaike info criterion 8.230831
Sum squared resid 117843.8 Schwarz criterion 8.246725
Log likelihood -2220.324 F-statistic 126.7222
Durbin-Watson stat 1.885753 Prob(F-statistic) 0.000000
S EARNINGS 87 . 2 79 . 19 + =
50
BANCO CENTRAL DE RESERVA DEL PER
CURSO DE ACTUALIZACIN PARA PROFESORES
ECONOMETRA
ESTIMACIN POR MNIMOS
CUADRADOS ORDINARIOS (MCO)
Profesora: Donita Rodrguez.
Agosto 2011