Econometria

4. Modelo de Regresin Lineal Simple: Inferencia

Prof. Ma. Isabel Santana

MRLS: Inferencia
Hasta ahora nos hemos ocupado solamente de la estimacin de los parmetros del modelo de regresin lineal simple. Pero los estimadores MICO son variables aleatorias, que cambiarn segn la muestra. Nuestro objetivo no es solamente estimar la FRM, sino poder hacer inferencia respecto de la FRP. Para poder hacer inferencia sobre los estimadores, es necesario conocer sus distribuciones de probabilidad, algo que no hemos estudiado hasta ahora.

MRLS: Inferencia
La inferencia estadstica nos sirve para saber:
Que tan cerca estn los estimados de los parmetros poblacionales. del verdadero E (Y / X ) Que tan cerca est Y i

MRLS: Inferencia Distribucin de probabilidad de i

ki =

= kY ii 2

xi x i2

= k ( + X + ) i 1 2 i i 2
es una funcin lineal de Y . Dado que las X son fijas, 2 i es una A su vez, ki, las betas y las Xi son fijas, por lo que 2 funcin lineal de i. La distribucin de probabilidad de de la 2 depender suposicin que se hizo de la distribucin de probabilidad de i.

MLRS: Inferencia Supuestos de Normalidad

Para obtener los estimadores de 1 y 2 que sean MELI, no hicimos ningn supuesto sobre la distribucin de probabilidades de u. Ahora, para tener intervalos de confianza para los parmetros y probar cualquier hiptesis requerimos el supuesto:
Media Varianza Covarianza

E (i ) = 0

( ) E{[ E ( )][ E ( )]} = E ( ) = 0 ~ N (0, )

E [i E (i )] = E i2 = 2
2
i i j j i j

Razones para suponer distribucin normal

1. El argumento ms comn es que como u es la suma de muchos factores distintos no observados que influyen en Y, por el teorema del limite central, llegamos a la conclusin de que u tiene una distribucin normal. Una variante del teorema del lmite central, establece que aunque el nmero de variables no sea muy grande o no sea estrictamente independiente, su suma puede ser an normal. La distribucin de probabilidad de los estimadores MICO puede derivarse fcilmente. La distribucin normal es una distribucin sencilla, con tan slo dos parmetros: media y varianza. Podemos hacer pruebas de hiptesis (t, F, X 2) sobre los verdaderos parmetros

2.

3. 4. 5.

Crticas al Supuesto
1. Los factores que afecta u pueden tener distribuciones poblacionales muy distintas. Aunque puede sostenerse el teorema central del lmite, los resultados van a depender de cuantos factores afecten a u y que tan diferentes sean sus distribuciones. Supone adems que todos los factores afectan a u en forma lineal y aditiva La normalidad es un problema emprico (no terico). Por ejemplo, como el salario siempre es mayor que cero, estrictamente hablando no tiene una distribucin normal; adems hay leyes de salario mnimo que hacen que una parte de la poblacin gane exactamente el mnimo. Una solucin es transformar la variable, por ejemplo utilizando logaritmos [log(salario)], lo cual puede generar una distribucin que se acerque ms a la normal

2. 3.

Propiedades de los estimadores MCO bajo Normalidad

1. 2. 3. Son insesgados Tienen varianza mnima. Combinado con (1), son estimadores con varianza mnima, o eficientes. Son consistentes. A medida que el tamao de la muestra aumenta indefinidamente, los estimadores convergen hacia sus verdaderos valores poblacionales.

Propiedades de los estimadores MCO bajo Normalidad

4.
(al ser funcin lineal de ) estn y 2 i normalmente distribuidos con: 1

1
Media: Varianza:

= E 1 1
2

2
= E 2 2

( )

( )
=

X = n X

2 i 2 i

2 i

~ N , 2 1 1

~ N , 2 2 2

Distribucin normal estandarizada: Donde

Z= 1 2 1
1

Z= 2 2 2
2

Z ~ N (0,1)

Propiedades de los estimadores MCO bajo Normalidad

5.
2 / 2 ) est distribuida como la distribucin (n 2)(

(ji-cuadrada), con (n-2) grados de libertad. , ) se distribuyen de manera independiente 6. ( 1 2 con respecto a 2. y tienen varianza mnima entre todas las 7. 1 2 clases de estimadores insesgados, lineales o no lineales. E (Yi ) = 1 + 2 X i Si se supone var(Yi ) = 2
Podemos decir

Yi ~ N 1 + 2 X i , 2

Intervalos de confianza
La estimacin de un intervalo de confianza consiste en construir un intervalo alrededor del estimador puntual (ej. Dentro de dos o tres errores estndar a cada lado del estimador puntual), tal que el intervalo tenga un 95% de probabilidad de incluir el verdadero valor del parmetro. Ej. Suponga que deseamos encontrar que tan cerca est de 2 . Con este fin se trata de encontrar dos nmeros 2 positivos, y (este ltimo entre 0 y 1), tal que la - , + ) probabilidad de que el intervalo aleatorio ( 2 2 contenga el verdadero 2 sea 1 .
Intervalo de confianza Coeficiente de confianza Nivel de Significancia Limite de confianza inferior Limite de confianza superior

+ = 1 Pr 2 2 2 1

2 + 2

Intervalos de confianza
Antes es preciso recordar que: El intervalo no dice la probabilidad de que 2 est en el intervalo con una probabilidad de (1-); sino que la probabilidad de construir un intervalo que contenga 2 es de (1-). El intervalo es aleatorio; va a depender de la muestra, ya que 2 es aleatorio. Si se construyen intervalos de confianza, en promedio tales intervalos contendrn, en (1-) de los casos, el valor verdadero del parmetro.

Una vez obtenido un valor numrico especfico de 2 (en base a una muestra especfica), no puedo decir que el intervalo contiene al verdadero parmetro con probabilidad (1-), sino que la probabilidad es 1 0.

Intervalos de confianza 1 y 2
Se puede utilizar la distribucin normal para hacer afirmaciones probabilsticas sobre 1 y 2 siempre que se conozca la varianza poblacional Sin embargo, 2no se conoce, y en la prctica se estima con 2. En lugar de utilizar la distribucin normal se usa la distribucin t. El intervalo de confianza se construye entonces con: Para 2

( Z=

) x
2 i

2 i

( t=

) x

Con n-2 g de l

Intervalos de confianza Para 1 y 2 al 100(1-)%:

t ee + t ee = 1 Pr 2 /2 2 2 2 /2 2
Para 1
1

( t Pr (

Pr ( t / 2 t t / 2 ) = 1 2 2 Pr t t /2 = 1 / 2 ee 2

/2

( ) ) ee(
1

( )

t ee 1 /2 1

+t 1 /2

( )) )) = 1 ee(
1

t 2 /2

( ) ) ee(
2

t / 2 ,o valor crtico t, es el valor de la variable t obtenida de la distribucin t para un nivel de significancia

de /2 y n 2 g de l. Entre ms grande el error estndar, ms amplio el intervalo de confianza, y mayor la incertidumbre de estimar el verdadero valor del parmetro.

Prueba de Hiptesis
Se utiliza para mostrar si una observacin dada es compatible o no con alguna hiptesis planteada, es decir, si la observacin est lo suficientemente cerca al valor hipottico de manera que no se rechaza la hiptesis planteada. Hiptesis Planteada: hiptesis nula (H0). Hiptesis contra la cual se prueba la hiptesis nula: Hiptesis alternativa (H1). 2 mtodos para decidir si se rechaza o no la hiptesis nula:
1. 2. Intervalo de confianza Prueba de significancia

1. Intervalo de confianza
Ej. de modelo de consumo. Supongamos que se postula:
H0: 2=0.3 H1: 20.3

Hiptesis nula: La PMC=0.3 Hiptesis alterna: La PMC es menor o mayor a 0.3 H0 es una hiptesis simple y H1 compleja, dado que puede ser mayor o menor al valor de H0. Se conoce tambin como hiptesis de dos colas. Para probar si es compatible con H0 se utiliza la estimacin de intervalos.
Regla de decisin: Constryase un intervalo de confianza para 2 al 100(1 )%. Si 2 bajo H0 se encuentra dentro de este intervalo de confianza, no se rechace H0, pero si est por fuera del intervalo, rechace H0.

1. Intervalo de confianza

0.4268

0.5914

En el ej. de consumo-ingreso estimamos que el intervalo de confianza para 2 era de (0.4268,0.5914). Siguiendo la regla planteada, es claro que H0: 2=0.3 est fuera del intervalo de confianza al 95%. Se rechaza la hiptesis nula de que la verdadera PMC sea 0.3 con 95% de confianza.
Cuando se rechaza H0, se dice que el hallazgo es estadsticamente significativo. Cuando no se rechaza H0, el hallazgo no es estadsticamente significativo.

2. Prueba de Significancia
El procedimiento se basa en utilizar un estadstico de prueba (estimador) y su distribucin muestral bajo la hiptesis nula.
( t=
2

Bajo el supuesto de normalidad: Bajo la hiptesis nula: Regin de aceptacin de H0:

) x

2 i

* * + t ee = 1 ; 2* = Valor de 2 Pr 2 t / 2ee 2 2 2 /2 2
* 2 t / 2 ee 2

( )

Con n-2 g de l

( ))

( )
)

bajo H0.

Regin de rechazo: Regin por fuera del intervalo de aceptacin de H0.

Bajo H0:

2 ~ t n -2
2

Rechazamos H0: t > tc t < -tc Rechazo H0 si |t| > tc

t=

Como

2 ,

Rechazo H0: < * t ee 2 2 /2 2

No rechazo H0

Rechazo H0 si
Rechazo H0:

( ))

> * + t ee 2 2 /2 2

( ))

2 > tc
2

2. Prueba de Significancia
Test de una cola
* H 0 : 2 = 2
* H1 : 2 > 2

2. Prueba de Significancia
Test de dos colas
* H0 : 2 = 2
* H1 : 2 2

Rechazo H0 si | t | > tc

2. Prueba de Significancia
Reglas de decisin Tipo de Hiptesis Dos colas Cola derecha Cola izquierda H0: Hiptesis nula
* 2 = 2 * 2 2 * 2 2

H1: Hiptesis alterna

* 2 2 * 2 > 2 * 2 < 2

Regla de decisin: rechazar H0 si

t > t / 2, g .de.l

t > t , g .de.l t < t , g .de.l

Notas: -Es el valor numrico de 2 hipottico. -|t| significa valor absoluto de t. -t o t/2 significa el valor crtico de t al nivel de significancia o /2. -g de l: grados de libertad, (n 2) para el modelo de dos variables, (n 3) para el modelo de 3 variables, y as sucesivamente. -Para probar hiptesis sobre 1 se sigue un procedimiento similar.

Aceptar o Rechazar la H0
Al momento de emitirse un dictamen sobre la hiptesis nula, este debe de emitirse como Rechazar H0 o No Rechazar H0. No se puede aceptar una hiptesis nula, puesto que no conocemos el verdadero valor, sino que hacemos una inferencia del mismo. Las hiptesis nulas aceptadas pueden ser muchas dependiendo de cules hiptesis est planteando.

Hiptesis nula o cero y regla prctica 2-t

La hiptesis nula H0:2=0 es usada frecuentemente en el trabajo emprico, e implica que el coeficiente de la pendiente es cero. Esta H0 es un mecanismo para establecer si Y tiene relacin con la variable X. Estas pruebas pueden abreviarse adoptando la regla de significancia 2-t:
Regla prctica 2-t: Si el nmero de grados de libertad es 20 y si , el nivel de significancia, se fija en 0.05, entonces la hiptesis nula 2=0 puede ser rechazada si el valor t = (2 2 ) calculado excede a 2 en valor absoluto.
2

Error tipo I y tipo II

H0 es cierto Rechazo H0 No Rechazo H0

H0 es falso Error tipo II

Error tipo I

Si 2 cae en alguna de las colas de la distribucin (Rechazo H0), puede ser por dos razones.
La hiptesis nula es cierta, pero se ha elegido una muestra equivocada La hiptesis nula es efectivamente falsa

La probabilidad de cometer un error de tipo I est dada por , el nivel de significancia. La probabilidad de cometer un error tipo II esta dada por , en tanto que la probabilidad de no cometer este error (1- ) se denomina potencia de la prueba.

El problema relacionado con la seleccin del valor apropiado de puede ser evitado si se utiliza el valor p o P-value que veremos a continuacin.

Error tipo I y tipo II

Lo deseable sera minimizar simultneamente tanto los errores tipo I como tipo II, pero como se puede apreciar en los grficos esto no es posible. En la prctica por lo general el error tipo I es ms grave, por lo que se trata de minimizar primero este error y luego el error tipo II.

Valor p o P-value
Nivel observado o exacto de significancia o la probabilidad exacta de cometer un error tipo I. Se define como el nivel de significancia ms bajo al cual puede rechazarse una hiptesis nula.

Anlisis de Varianza (ANOVA)

Test de significancia global del modelo. Intenta medir el ajuste de la recta de regresin con el conjunto de datos provenientes de la muestra. Este test, para el caso del modelo de regresin lineal simple, tiene como hiptesis nula:

Sabemos que

(1) (2)

Elevando al cuadrado

 Tambin sabemos que

(3)

Se puede demostrar que (2) y (3) son independientes, por lo que:

(4)

 Simplificando tenemos que:

(5)

Si sustituimos la hiptesis nula en (5)

(6)

Recordando, cuando descompusimos la suma de cuadrados tenamos:

Asociado a cada suma de cuadrados existen sus respectivos grados de libertad:

SCT: tiene n-1 grados de libertad, pues se pierde un grado de libertad al calcular la media de Y. SCE: un slo grado de libertad de calcular 2 SCR: tiene n-2 grados de libertad, pues se pierden dos grados de libertad en las ecuaciones normales.

El numerador de (6) es la SCE y el denominador es la SCR divida por sus grados de libertad.
(7)

Entonces, rechazo H0 si el valor calculado del estadstico F, es mayor que F1, n-2

Otra forma alternativa de expresar (7):

(8)

Pruebas de Normalidad
Las pruebas de hiptesis e intervalos de confianza estudiados, tienen como punto de partida el supuesto de normalidad del residuo, por lo que si u no es normal, estas pruebas no son vlidas. Existen diferentes test que permiten verificar si los residuos calculados para una muestra en particular (ei) provienen de una distribucin normal. Uno de ellos es el test de Jarque-Bera.

Test de Jarque Bera

Esta es una prueba asinttica que se basa en el tercer y cuarto momento de la distribucin (asimetra y curtosis respectivamente). Recordando: Coeficiente de simetra:

En el caso de una distribucin normal, el coeficiente de simetra es cero (S=0) y el de curtosis 3 (C=3).

Test de Jarque-Bera
Bajo la hiptesis nula de que los residuos estn normalmente distribuidos, Jarque y Bera demostraron que asintticamente el estadstico JB sigue una distribucin chicuadrado con dos grados de libertad.

Es decir, si JB es mayor que una chi-cuadrado con 2 g.l, rechazo la hiptesis nula, o sea, rechazo normalidad.

Qu pasa si los errores no se distribuyen normal?

La normalidad exacta de los estimadores MICO depende crucialmente de la distribucin del error en la poblacin (u). Si los errores u1, u2, ...., un son elecciones aleatorias de alguna distribucin que no es la normal, las j no estarn distribuidas en forma normal, lo que significa que los estadsticos t y F no tendrn distribuciones t y F, respectivamente. Este es un problema potencialmente grave porque nuestra inferencia depende de que seamos capaces de obtener valores crticos o valores p de las distribuciones t o F. La inferencia basada en los estadsticos t y F exige el supuesto de normalidad. En caso contrario quiere decir que no debemos utilizar el estadstico t para determinar qu variables son significativas estadsticamente? La respuesta es no.

Qu pasa si los errores no se distribuyen normal?

En resumen, si el tamao de la muestra no es muy grande y u no se distribuye normal, debemos de tener mucho cuidado al momento de hacer inferencia sobre los estimadores.