Regressão Linear

An alise de Regress ao Linear Simples e M ultipla
Carla Henriques
Departamento de Matem atica
Escola Superior de Tecnologia de Viseu
Carla Henriques (DepMAT ESTV) An alise de Regres. Linear Simples e M ultipla 2010/2011 1 / 44
Conceitos Iniciais
Introduc ao
A an alise de regress ao estuda o relacionamento entre uma vari avel
chamada vari avel dependente e outras vari aveis chamadas vari aveis
independentes.
Este relacionamento e representado por um modelo matem atico, isto
e, por uma equac ao que associa a vari avel dependente com as
vari aveis independentes.
Este modelo e designado por modelo de regress ao linear simples se
dene uma relac ao linear entre a vari avel dependente e uma vari avel
independente.
Se em vez de uma, forem incorporadas v arias vari aveis
independentes, o modelo passa a denominar-se modelo de regress ao
linear m ultipla.
Conceitos Iniciais
Introduc ao
A an alise de correlac ao dedica-se a infer encias estatsticas das
medidas de associac ao linear que se seguem:
coeciente de correlac ao simples: mede a forcaou graude

relacionamento linear entre 2 vari aveis;
coeciente de correlac ao m ultiplo: mede a forcaou graude

relacionamento linear entre uma vari avel e um conjunto de outras
vari aveis.
As t ecnicas de an alise de correlac ao e regress ao est ao intimamente
ligadas.
Regress ao Linear Simples
Diagrama de Dispers ao
Os dados para a an alise de regress ao e correlac ao simples s ao da
forma:
(x
1
, y
1
), (x
2
, y
2
), . . . , (x
i
, y
i
), . . . , (x
n
, y
n
)
Com os dados constr oi-se o diagrama de dispers ao. Este deve exibir
uma tend encia linear para que se possa usar a regress ao linear.
Portanto este diagrama permite decidir empiricamente se um
relacionamento linear entre X e Y deve ser assumido.
Por an alise do diagrama de dispers ao pode-se tamb em concluir
(empiricamente) se o grau de relacionamento linear entre as vari aveis
e forte ou fraco, conforme o modo como se situam os pontos em redor
de uma recta imagin aria que passa atrav es do enxame de pontos.
A correlac ao e tanto maior quanto mais os pontos se concentram, com
pequenos desvios, em relac ao a essa recta.
Se o declive da recta e positivo, conclumos que a correlac ao entre X
e Y e positiva, i.e., os fen omenos variam no mesmo sentido.
Ao contr ario, se o declive e negativo, ent ao a correlac ao entre X e Y e
negativa, i.e., os fen omenos variam em sentido inverso.
Sugerem uma regress ao n ao linear
(i.e., a relac ao entre as duas vari aveis poder a ser descrita por uma
equac ao n ao linear)
Sugerem uma regress ao linear
(i.e., a relac ao entre as duas vari aveis poder a ser descrita por uma
equac ao linear)
Exist encia de correlac ao
positiva (em m edia, quanto
maior for a altura maior ser a
o peso)
Exist encia de correlac ao
negativa (em m edia, quanto
maior for a colheita menor
ser a o preco)
Exemplo
Queremos estudar a relac ao entre a quilometragem de um carro
usado e o seu preco de venda
O Modelo de Regress ao Linear Simples
Y =
0
+
1
X +E
X vari avel explicativa ou independente medida sem erro (n ao
aleat oria);
E vari avel aleat oria residual na qual se procuram incluir todas as
inu encias no comportamento da vari avel Y que n ao podem ser
explicadas linearmente pelo comportamento da vari avel X;
0
e
1
par ametros desconhecidos do modelo (a estimar);
Y vari avel explicada ou dependente (aleat oria).
Exemplos
1. Relac ao entre o peso e a altura de um homem adulto (X: altura;
Y: peso)
2. Relac ao entre o preco do vinho e o montante da colheita em cada
ano (X: montante da colheita; Y: preco do vinho)
Num estudo de regress ao temos n observac oes da vari avel X :
x
1
, x
2
, . . . , x
n
(assume-se que estas observac oes s ao medidas sem
erro).
Temos ent ao n vari aveis aleat orias Y
1
, Y
2
, . . . , Y
n
tais que:
Y
i
=
0
+
1
x
i
+E
i
i = 1, ..., n
Admite-se que E
1
, E
2
, ..., E
n
s ao vari aveis aleat orias independentes
de m edia zero e vari ancia
2
.
Para qualquer valor x
i
de X, Y
i
e uma vari avel aleat oria de m edia
Y
i
=
0
+
1
x
i
e vari ancia
2
Os dados para a an alise de regress ao e correlac ao simples s ao da
forma: (x
1
, y
1
), (x
2
, y
2
), . . . , (x
n
, y
n
) onde x
i
e o valor da vari avel X e
y
i
a correspondente observac ao da vari avel aleat oria Y
i
(i = 1, ..., n).
Cada observac ao satisfaz a seguinte relac ao:
y
i
=
0
+
1
x
i
. .
Y
i
+
i
i = 1, ..., n
O valor observado de uma vari avel aleat oria (y

i
),
usualmente difere da sua m edia (
Y
i
) por uma
quantidade aleat oria
i
.
A partir dos dados disponveis estimamos
0
e
1
e substitumos estes
par ametros pelas suas estimativas para obter a equac ao de regress ao
estimada.
y =
Y|x
= b
0
+b
1
x
Esta equac ao estima o valor m edio de Y para um

dado valor x de X, mas e usada para estimar o
pr oprio valor de Y.
De facto, o senso comum diz-nos que uma escolha

razo avel para predizer o valor de Y para um dado x
de X, e o valor m edio estimado
Y|x
.
Estimac ao pelo M etodo dos Mnimos Quadrados
Iremos estimar os par ametros usando o m etodo dos mnimos
quadrados.
Seja d
i
= y
i

y
i
i- esimo resduo.
O objectivo e escolher b
0
e b
1
de modo a minimizar a soma dos
quadrados destes resduos.
SSE =
n
i =1
d
i
2
=
n
i =1
[y
i
(b
0
+b
1
x
i
)]
2
Para determinar b
0
e b
1
, de modo a minimizar SSE resolve-se o
seguinte sistema de equac oes:
_
_
SSE
b
0
= 0
SSE
b
1
= 0
...
_
_
b
0
= y b
1
x
b
1
=
n
i =1
x
i
y
i
n x y
n
i =1
x
2
i
n x
2
ATENC

AO:
Um conjunto de pontos d a evid encia de linearidade apenas para os valores
de X cobertos pelo conjunto de dados. Para valores de X que saem fora dos
que foram cobertos n ao h a qualquer evid encia de linearidade. Por isso e
arriscado usar uma recta de regress ao estimada para predizer valores de Y
correspondentes a valores de X que saem fora do ambito dos dados.
O perigo de extrapolar para fora do ambito dos dados amostrais e que a
mesma relac ao possa n ao mais se vericar.
Regress ao Linear M ultipla
O Modelo de Regress ao Linear M ultipla
Y =
0
+
1
X
1
+ . . . +
k
X
k
+E
X
1
, . . . , X
k
vari aveis explicativas ou independentes medidas sem
erro (n ao aleat orias);
E vari avel aleat oria residual na qual se procuram incluir todas as
inu encias no comportamento da vari avel Y que n ao podem ser
explicadas linearmente pelo comportamento das vari aveis X
1
, . . . , X
k
e
os possveis erros de medic ao;
0
, . . . ,
k
par ametros desconhecidos do modelo (a estimar);
Y vari avel explicada ou dependente (aleat oria).
Exemplo (Ex. 3 da cha n
o
8)
Relac ao entre o volume de vendas (Y) efectuadas durante um dado
perodo de tempo por um vendedor, os seus anos de experi encia (X
1
)
e o seu score num teste de intelig encia (X
2
).
Vendedores com 4 anos de experi encia (x
1
= 4) e score 3 no teste de
intelig encia (x
2
= 3), podem apresentar volumes de vendas diferentes
(Ys diferentes).
Isto e, xando a vari avel anos de experi encia - X
1
- num valor, por
exemplo 4 anos, e X
2
noutro valor, por exemplo 3, o volume de vendas
vai variar devido a outras inu encias aleat orias.
Para x
1
e x
2
xos, Y e uma vari avel aleat oria.
Num estudo de regress ao temos n observac oes de cada vari avel
independente:
i = 1 i = 2 . . . i = n
X
1
x
11
x
12
. . . x
1n
X
2
x
21
x
22
. . . x
2n
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
X
k
x
k1
x
k2
. . . x
kn
Para cada i , i.e., para x
1i
, . . . , x
ki
xos, Y
i
e uma vari avel aleat oria.
Temos ent ao n vari aveis aleat orias: Y
1
, Y
2
, . . . , Y
n
:
Y
i
=
0
+
1
x
1i
+ . . . +
k
x
ki
+E
i
i = 1, ..., n
Y
1
=
0
+
1
x
11
+ . . . +
k
x
k1
+E
1
.
.
.
Y
n
=
0
+
1
x
1n
+ . . . +
k
x
kn
+E
n
Admite-se que E
1
, . . . , E
n
s ao vari aveis aleat orias independentes de
m edia zero e vari ancia
2
Ent ao, para quaisquer valores x
1i
, . . . , x
ki
xos, Y
i
e uma vari avel
aleat oria de m edia
Y
i
=
0
+
1
x
1i
+ . . . +
k
x
ki
e vari ancia
2
.
Os dados para a an alise de regress ao e de correlac ao m ultipla s ao da
forma:
(y
1
, x
11
, x
21
, . . . , x
k1
), (y
2
, x
12
, x
22
, . . . , x
k2
), . . . , (y
n
, x
1n
, x
2n
, . . . , x
kn
)
Cada observac ao obedece ` a seguinte relac ao:
y
i
=
0
+
1
x
1i
+
2
x
2i
+ . . . +
k
x
ki
. .
Y
i
+
i
, i = 1, . . . , n.
O valor observado de uma vari avel aleat oria (y

i
),
usualmente difere da sua m edia (
Y
i
) por uma
quantidade aleat oria
i
.
Temos ent ao o seguinte sistema escrito em notac ao matricial:
_
_
y
1
y
2
.
.
.
y
n
_
_
=
_
_
1 x
11
x
21
. . . x
k1
1 x
12
x
22
. . . x
k2
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
1 x
1n
x
2n
. . . x
kn
_
_
_
1
.
.
.
k
_
_
+
_
2
.
.
.
n
_
_
y = X +
y - Vector das observac oes da vari avel dependente;
X - Matriz signicativa do modelo;
- Vector dos par ametros do modelo;
- Vector das realizac oes da vari avel aleat oria residual.
A partir dos dados disponveis estimamos
0
,
1
, . . . ,
k
e substitumos
estes par ametros pelas suas estimativas b
0
, b
1
, . . . , b
k
para obter a
equac ao de regress ao estimada.
y =
Y|x
1
,x
2
,...,x
k
= b
0
+b
1
x
1
+b
2
x
2
+ . . . +b
k
x
k
Esta equac ao estima o valor m edio de Y para um

dado conjunto de valores x
1
, x
2
, . . . , x
k
xo, mas e
usada para estimar o pr oprio valor de Y.
A cada observac ao (y
i
, x
1i
, x
2i
, . . . , x
ki
) est a associado um resduo
d
i
= y
i

y
i
= y
i
(b
0
+b
1
x
1i
+b
2
x
2i
+ . . . +b
k
x
ki
)
O objectivo e escolher b
0
, b
1
, . . . , b
k
de modo a minimizar a soma dos
quadrados dos resduos.
SSE =
n
i =1
d
i
2
=
n
i =1
(y
i
b
0
b
1
x
1i
b
2
x
2i
. . . b
k
x
ki
)
2
Para determinar b
0
, b
1
, . . . , b
k
, de modo a minimizar SSE resolve-se o
seguinte sistema de equac oes:
SSE
b
0
= 0
SSE
b
1
= 0 . . .
SSE
b
k
= 0
Obt em-se b =
_
_
b
0
b
1
.
.
.
b
k
_
_
=
_
X
T
X
_
1
X
T
y estimativa para =
_
1
.
.
.
k
_
_
O estimador e

=
_
1
.
.
.
k
_
_
=
_
X
T
X
_
1
X
T
Y.
Cada coeciente de regress ao estimado b
i
, i = 1, . . . , k (estimativa de
i
), estima o efeito sobre o valor m edio da vari avel dependente Y de
uma alterac ao unit aria da vari avel independente X
i
, mantendo-se
constantes todas as restantes vari aveis independentes.
No caso k = 1 (regress ao simples) temos:
b =
_
b
0
b
1
_
=
_
X
T
X
_
1
X
T
y,
onde X tem apenas duas colunas.
Como j a vimos, b
0
e b
1
podem tamb em ser determinados pelas
relac oes:
b
1
=
n
i =1
x
i
y
i
n x y
n
i =1
x
2
i
n x
2
e b
0
= y b
1
x.
o
8)
Os dados apresentados no quadro seguinte representam as vendas,
Y, em milhares de Euros, efectuadas por 10 empregados de uma
dada empresa, o n
o
de anos de experi encia de cada vendedor, X
1
e o
respectivo score no teste de intelig encia, X
2
.
Vendedor Vendas (Y) Anos de Score no teste
experi encia(X
1
) de intelig encia (X
2
)
1 9 6 3
2 6 5 2
3 4 3 2
4 3 1 1
5 3 4 1
6 5 3 3
7 8 6 3
8 2 2 1
9 7 4 2
10 4 2 2
o
8 - cont.)
Pretende-se determinar se o sucesso das vendas pode ser medido
em func ao das duas vari aveis explicativas X
1
e X
2
atrav es de um
modelo linear .
Matriz signicativa do modelo: X =
_
_
1 6 3
1 5 2
1 3 2
1 1 1
1 4 1
1 3 3
1 6 3
1 2 1
1 4 2
1 2 2
_
_
Vector das observac oes da var. dependente: y = [9 6 4 3 3 5 8 2 7 4]
T
o
8 - cont.)
Vector das estimativas dos coecientes de regress ao:
b =
_
_
b
0
b
1
b
2
_
_
=
_
X
T
X
_
1
X
T
y =
_
_
0.262712
0.745763
1.338983
_
_
Equac ao de regress ao estimada:
y =
Y|x
1
,x
2
= 0.262712 +0.745763x
1
+1.338983x
2
Estima-se que o volume m edio de vendas de um

vendedor (em milhares de Euros) e igual a 0.745763
vezes os seus anos de experi encia mais 1.338983 vezes
o seu score no teste de intelig encia menos 0.262712.
o
8 - cont.)
Por exemplo, o volume m edio de vendas para vendedores com 4 anos de
experi encia e com score 3 no teste de intelig encia e estimado por:
y = 0.262712 +0.745763 4 +1.338983 3 = 6.737289

b
1
= 0.745763 Em m edia, um ano extra de experi encia entre vendedores
com o mesmo score no teste de intelig encia, conduz a um aumento no
volume de vendas de uma quantidade que pode ser estimada em 745.763
Euros.
b
2
= 1.338983 Em m edia, um vendedor com score no teste de intelig encia
igual a 2 vende mais 1338.983 Euros (valor estimado) do que um vendedor
com a mesma experi encia e score 1, e menos 1338.983 Euros do que um
vendedor com a mesma experi encia e com score 3.
o
8 - cont.)
Atenc ao:
b
0
= 0.262712 n ao pode ser interpretado como sendo o volume
m edio de vendas de um vendedor hipot etico sem experi encia
pr evia e com score zero no teste de intelig encia. Com efeito,
vendas negativas s ao impossveis. Note que valores nulos de X
1
e X
2
encontram-se fora do ambito dos dados.
Trata-se de uma relac ao m edia, assim um vendedor com

determinados anos de experi encia e determinado score no teste
de intelig encia n ao obter a necessariamente o volume de vendas
exacto indicado pela equac ao.
Coeciente de Correlac ao e de Determinac ao
Qualidade do Ajustamento
A equac ao de regress ao estimada pode ser vista como uma tentativa
para explicar as variac oes na vari avel dependente Y que resultam das
alterac oes nas vari aveis independentes X
1
, X
2
, . . . , X
k
.
Seja y a m edia dos valores observados para a vari avel dependente.
Uma medida util associada ao modelo de regress ao e o grau em que
as predic oes baseadas na equac ao,

y
i
, superam as predic oes
baseadas em y.
Se a dispers ao (erro) associada ` a equac ao e muito menor que a
dispers ao (erro) associada a y, as predic oes baseadas no modelo
ser ao melhores que as baseadas em y.
Qualidade do Ajustamento
Dispers ao em torno de y - Variac ao total:
SST =
n
i =1
(y
i
y)
2
(Soma dos quadrados totais)
Dispers ao em torno da equacao de regress ao - Variac ao n ao
explicada:
SSE =
n
i =1
(y
i

y
i
)
2
(Soma dos quadrados dos resduos)
O ajustamento ser a tanto melhor quanto mais pequeno for SSE
relativamente a SST.
Pode-se mostrar que:
n
i =1
(y
i
y)
2
=
n
i =1
(y
i

y
i
)
2
+
n
i =1
(
y
i
y)
2

SST = SSE + SSR
SST Soma dos quadrados totais - Variac ao total
SSE Soma dos quadrados dos resduos - Variac ao n ao explicada
SSR Soma dos quadrados da regress ao - Variac ao explicada
Isto e:
Variac ao Total Variac ao que o Variac ao explicada
de Y ` a volta = ajustamento n ao + pelo
da sua m edia consegue explicar ajustamento
Coeciente de Determinac ao
O quociente entre SSR e SST d a-nos uma medida da proporc ao da
variac ao total que e explicada pelo modelo de regress ao. A esta
medida d a-se o nome de coeciente de determinac ao ( r
2
),
r
2
=
SSR
SST
=
SST SSE
SST
=
SST
SST

SSE
SST
= 1
SSE
SST
Note que:
0 r
2
1;
r
2

= 1 (pr oximo de 1) signica que grande parte da variac ao de Y
e explicada linearmente pelas vari aveis independentes;
r
2

= 0 (pr oximo de 0) signica que grande parte da variac ao de Y
n ao e explicada linearmente pelas vari aveis independentes.
Coeciente de Determinac ao
Este coeciente pode ser utilizado como uma medida da qualidade do
ajustamento, ou como medida da conanca depositada na equac ao
de regress ao como instrumento de previs ao:
r
2

= 0 modelo linear muito pouco adequado;
r
2

= 1 modelo linear bastante adequado.
Exemplos de diagramas (Regress ao simples)
Coeciente de Correlac ao
`
A raiz quadrada de r
2
d a-se o nome de:
coeciente de correlac ao simples se est a envolvida apenas uma

vari avel independente;
coeciente de correlac ao m ultiplo se est ao envolvidas pelo menos

duas vari aveis independentes.
Coeciente de Correlac ao Simples
r =
r
2
(com o sinal do declive b
1
)
Este coeciente e uma medida do grau de relacionamento linear entre
as vari aveis X e Y.
r varia entre 1 e 1;
r = 1 e r = 1 indicam a exist encia de uma relac ao linear

perfeita (negativa e positiva respectivamente) entre X e Y;
r = 0 indica a inexist encia de qualquer relac ao ou tend encia

linear entre X e Y;
r > 0 indica uma relac ao linear positiva entre as vari aveis X e Y,

ou seja, as vari aveis tendem a variar no mesmo sentido;
r < 0 indica uma relac ao linear negativa entre as vari aveis X e

Y, ou seja, as vari aveis tendem a variar em sentido inverso.
Coeciente de Correlac ao Simples
O coeciente de correlac ao simples r tamb em pode ser calculado a
partir da seguinte f ormula:
r =
_
b
0
n
i =1
y
i
+b
1
n
i =1
y
i
x
i
ny
2
n
i =1
y
2
i
ny
2
(com o sinal do declive b
1
)
Coeciente de Correlac ao M ultiplo
E uma medida do grau de associac ao linear entre Y e o conjunto de

vari aveis X
1
, X
2
, . . . , X
k
.
r varia entre 0 e 1;
r = 1 indica a exist encia de uma associac ao linear perfeita, ou

seja, Y pode ser expresso como uma combinac ao linear de
X
1
, X
2
, . . . , X
k
;
r = 0 indica a inexist encia de qualquer relac ao linear entre a

vari avel dependente Y e o conjunto de vari aveis independentes
X
1
, X
2
, . . . , X
k
.
o
8 - cont.)
Para o exemplo em estudo temos a seguinte tabela
i y
i
x
1i
x
2i

y
i
d
i
d
2
i
(y
i
y)
2
(
y
i
y)
2
= y
i

y
i
1 9 6 3 8,22881 0,77119 0,59473 . . . . . .
2 6 5 2 6,14407 -0,14407 0,02076 . . . . . .
3 4 3 2 4,65254 -0,65254 0,42581 . . . . . .
4 3 1 1 1,82203 1,17797 1,38760 . . . . . .
5 3 4 1 4,05932 -1,05932 1,12216 . . . . . .
6 5 3 3 5,99153 -0,99153 0,98312 . . . . . .
7 8 6 3 8,22881 -0,22881 0,05236 . . . . . .
8 2 2 1 2,56780 -0,56780 0,32239 . . . . . .
9 7 4 2 5,39831 1,60169 2,56543 . . . . . .
10 4 2 2 3,90678 0,09322 0,00869 . . . . . .
Total 51 SSE SST SSR
=7.48305 =48.9 =41.41695
o
8 - cont.)
Coeciente de determinac ao:
r
2
=
SSR
SST
=
41.41695
48.9
= 0.84697 84.7% da variac ao nas vendas
est a relacionada linearmente com variac oes nos anos de experi encia
e no QI. Por outras palavras, as duas vari aveis independentes
utilizadas no modelo linear ajudam a explicar cerca de 84.7% da
variac ao nas vendas. Ficam por explicar 15.3% das variac oes no
volume de vendas, que se devem a outros factores n ao considerados,
como por exemplo:
a simpatia do vendedor;
a reputac ao do vendedor;
etc.
o
8 - cont.)
Coeciente de correlac ao m ultiplo:
r =
0.84697 = 0.92031 indica a exist encia de uma associac ao

linear forte entre o volume de vendas e as vari aveis independentes X
1
e X
2
, anos de experi encia e score no teste de intelig encia.
Podemos ent ao concluir que o modelo linear se agura bastante
adequado para descrever o relacionamento entre a vari avel Y, volume
de vendas, e as vari aveis X
1
e X
2
.

Regressão Linear

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Regressão Linear

Uploaded by

Copyright:

Available Formats

An alise de Regress ao Linear Simples e M ultipla

coeciente de correlac ao simples: mede a forcaou graude

coeciente de correlac ao m ultiplo: mede a forcaou graude

O valor observado de uma vari avel aleat oria (y

Esta equac ao estima o valor m edio de Y para um

De facto, o senso comum diz-nos que uma escolha

O valor observado de uma vari avel aleat oria (y

Esta equac ao estima o valor m edio de Y para um

Estima-se que o volume m edio de vendas de um

y = 0.262712 +0.745763 4 +1.338983 3 = 6.737289

Trata-se de uma relac ao m edia, assim um vendedor com

coeciente de correlac ao simples se est a envolvida apenas uma

coeciente de correlac ao m ultiplo se est ao envolvidas pelo menos

r = 1 e r = 1 indicam a exist encia de uma relac ao linear

r = 0 indica a inexist encia de qualquer relac ao ou tend encia

r > 0 indica uma relac ao linear positiva entre as vari aveis X e Y,

r < 0 indica uma relac ao linear negativa entre as vari aveis X e

E uma medida do grau de associac ao linear entre Y e o conjunto de

r = 1 indica a exist encia de uma associac ao linear perfeita, ou

r = 0 indica a inexist encia de qualquer relac ao linear entre a

0.84697 = 0.92031 indica a exist encia de uma associac ao

You might also like