You are on page 1of 76

Variaveis Aleatorias Multidimensionais e Aplicacoes

Guilherme de Alencar Barreto


gbarreto@ufc.br

Grupo de Aprendizado de Maquinas GRAMA


Programa de Pos-Graduacao em Engenharia de Teleinformatica
Universidade Federal do Ceara UFC
http://www.researchgate.net/profile/Guilherme Barreto2/

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
O processamento de sinais mudou! Nao estamos mais na era na
qual a informacao na forma de sinais eletricos e processada por
meio de tradicionais dispositivos analogicos. Nos estamos solida e,
para o futuro previsvel, irrevogavelmente, no amago do
processamento de sinais digitais (amostrados ou discretos no
tempo) aleatorios.

Charles W. Therrien, 1992


Discrete Random Signals and Statistical Signal Processing

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Conteudo da Apresentacao

1 Introducao
2 Funcao Distribuicao de Probabilidade Conjunta
3 Funcao Densidade de Probabilidade Conjunta
4 Densidade de Probabilidade Gaussiana
5 Vetor de Medias e Matriz de Covariancia
6 Estimacao do Vetor de Medias e da Matriz de Covariancia
7 Contornos da Gaussiana Bivariada
8 Densidades de Probabilidade Marginal e Condicionais
9 Geracao de Variaveis Aleatorias Multidimensionais no Matlab
10 Aplicacoes em Reconhecimento de Padroes

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Pre-Requisitos

1 Variaveis Aleatorias Unidimensionais (media, variancia)


2 Fundamentos de Geometria Analtica e Algebra Linear
3 Nocoes de Reconhecimento de Padroes
4 Nocoes de Matlab/Octave/Scilab

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Referencias Importantes

1 C. W. Therrien (1992). Discrete Random Signals and


Statistical Signal Processing, 1st edition, Prentice Hall.
2 A. Papoulis & S. U. Pillai (2001). Probability, Random
Variables and Stochastic Processes, 4a edicao, McGraw-Hill.
3 A. Hyvarinen, J. Karhunen & E. Oja (2001). Independent
Component Analysis, John Wiley & Sons.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Parte I

Introducao

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
ALEA JACTA EST

Traducao: Os dados estao lancados!

General romano Julio Cesar ao tomar a decisao de cruzar com suas


legioes o rio Rubicao, que delimitava a divisa entre a Galia ao sul
do Alpes e o territorio da Italia.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Introducao

Ate agora estivemos tratando apenas de uma unica variavel


R
aleatoria X .
Em muitas aplicacoes de ETI, faz-se necessario medir e
analisar mais de uma variavel aleatoria ao mesmo tempo, por
exemplo:
Processamento de Sinais Multidimensionais
Processamento de Imagens
Reconhecimento de Padroes
Separacao de Fontes
Robotica Movel
Controle Robusto Multivariavel

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Introducao

Nestas situacoes, precisamos saber mais do que simplesmente


as leis de probabilidade de cada variavel individualmente.

Precisamos tambem das leis que regem a distribuicao


conjunta destas variaveis, visto que uma variavel pode estar
relacionada estatisticamente com outra(s).

Do exposto, e importante dominar um conjunto de


ferramentas de modelagem que permitam qualificar e
quantificar as leis de probabilidade que regem a distribuicao
simultanea das diversas variaveis aleatorias associadas ao
problema de interesse.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Vetores de Variaveis Aleatorias

Definicao de Vetor Aleatorio


Um vetor aleatorio e um vetor cujas componentes sao
variaveis aleatorias:

x = [x1 x2 xp ]T (1)

R
em que xi denota a i-esima componente do vetor, n e a
dimensao do vetor e o sobrescrito T representa o vetor
transposto.
As componentes do vetor x podem ter significados distintos
(e.g. x1 pode ser temperatura, x2 velocidade, etc).
Vetores aleatorios podem ser constitudos de uma linha (ou
coluna) inteira de pixels de uma imagem digital.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Vetores de Variaveis Aleatorias

Definicao de Vetor Aleatorio (cont.-1)


Um vetor aleatorio tambem pode ser construdo a partir das
amplitudes de um sinal discreto no tempo em instantes
consecutivos:

x(n) = [x(n) x(n 1) x(n p)]T (2)

em que p define uma janela deslizante que varre o sinal do


incio ao fim.
Esta maneira de construir vetores aleatorios e muito comum
em processamento estatstico de sinais e previsao de
series temporais.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Vetores de Variaveis Aleatorias

Definicao de Vetor Aleatorio (cont.-2)

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Vetores de Variaveis Aleatorias

Definicao de Vetor Aleatorio (cont.-3)


Por fim, as componentes de um vetor aleatorio tambem
podem de constitudas de sinais oriundos de diversas fontes
(e.g. microfones ou eletrodos).
Neste caso, costuma-se representar o vetor aleatorio no
instante n como:

x(n) = [x1 (n) x2 (n) xp (n)]T (3)

em que xi (n) e, por definicao, a amostra do sinal xi no


instante n.
Esta maneira de construir vetores aleatorios e muito comum
em problemas de separacao de fontes e analise de
componentes independentes.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Vetores de Variaveis Aleatorias

Definicao de Vetor Aleatorio (cont.-4)

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Vetores de Variaveis Aleatorias

Funcao de Distribuicao Acumulada (FDA) Conjunta


Por definicao, a FDA conjunta de duas variaveis aleatorias
quaisquer Xi e Xj e dada por:

FXi Xj (xi , xj ) = P (Xi xi , Xj xj ) , i, j (4)

em que P () denota a probabilidade do evento entre


parenteses. Noe que xi e xj , sao valores fixos que as VAs Xi
e Xj , respectivamente, podem assumir.

Vetorialmente, podemos escrever a Eq. (4) como

Fx (x0 ) = P (x x0 ), (5)

em que x0 e um vetor de valores fixos.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Vetores de Variaveis Aleatorias

Propriedades da FDA Conjunta


As seguintes propriedades sao validas para a FDA conjunta de
Xi e Xj , i, j:

1 0 FXi Xj (xi , xj ) 1.
2 FXi Xj (, xj ) = FXi Xj (xi , ) = 0.
3 FXi Xj (+, +) = 1.
4 FXi Xj (xi , xj ) e uma funcao nao-decrescente em xi e em xj .
5 P (Xi a, b Yi c) = FXi Xj (a, b) FXi Xj (b, c).

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Vetores de Variaveis Aleatorias

Grafico Tpico de uma FDA Conjunta Gaussiana Bivariada


Uma figura vale por mil palavras!

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Vetores de Variaveis Aleatorias

Funcao de Densidade de Probabilidade (FDP) Conjunta


Por extensao, a FDP conjunta de Xi e Xj e definida como:

2 FXi Xj (xi , xj )
fXi Xj (xi , xj ) = , i, j (6)
xi xj

em que FXi Xj (xi , xj ) denota a FDA conjunta de Xi e Xj .

Vetorialmente, podemos escrever a Eq. (6) como


fx (x0 ) = Fx (x) |x=x0 (7)
x1 x2 xp

em que x0 e um vetor de valores fixos.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Vetores de Variaveis Aleatorias

Obtendo a FDA conjunta a partir da FDP Conjunta


Pode-se chegar a FDA conjunta a partir da FDP conjunta por
integracao da Eq. (7):
Z xi Z xj
FXi Xj (xi , xj ) = fUi Uj (ui , uj )duj dui , i, j (8)

Vetorialmente, podemos escrever a Eq. (8) como


Z x0
Fx (x0 ) = fx (x)dx (9)

Z x0,1 Z x0,2 Z x0,p
= fx (x)dxp ...dx2 dx1

em que x0,i e a i-esima componente do vetor x0 .

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Vetores de Variaveis Aleatorias

Propriedades da FDP Conjunta


As seguintes propriedades sao validas para a FDP conjunta de
Xi e Xj , i, j:

1 fXi Xj (xi , xj ) 0.
R R
2
Xi Xj
f (xi , xj )dxi dxj = 1.
3 fXi Xj (xi , xj )dxi dxj =
P (xi < Xi xi + dxi , xj < Xj xj + dxj ).
RdRb
4 P (a < Xi b, c < Xj d) = c a fXi Xj (xi , xj )dxi dxj .

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Vetores de Variaveis Aleatorias

Propriedades da FDP Conjunta (cont.-1)


Em particular valor ressaltar a importancia da Propriedade 2,
escrevendo-a na forma vetorial:
Z
fx (x)dx = 1 , (10)

onde temos uma integral multipla.


Esta propriedade prove uma condicao apropriada de
normalizacao que uma verdadeira FDP conjunta deve
satisfazer.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Vetores de Variaveis Aleatorias

Definicao de Vetor Aleatorio Medio


O vetor aleatorio medio e definido como:
Z
= E[x] = xfx (x)dx (11)

= [E[X1 ] E[X2 ] E[Xp ]]T
= [ 1 2 p ]T

em que Z
i = E[Xi ] = xi fXi (xi )dxi

e o valor esperado da i-esima componente de .

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Covariancia entre Variaveis Aleatorias

Para caracterizar fXi (xi ), basta geralmente determinar a


media (i ) e a variancia (i2 ) de Xi .

Ja para uma FDP com multiplas variaveis, faz-se necessario


definir um momento estatstico que quantifique a variacao
conjunta de duas variaveis aleatorias, Xi e Xj , quaisquer.

Definicao de Covariancia
A covariancia de Xi e Xj , i 6= j, e definida como:

cij = E[(Xi i )(Xj j )], i, j (12)


Z Z
= (xi i )(xj j )fXi Xj (xi , xj )dxj dxi

Se i = j, entao cii = E[(Xi i )2 ] = i2 .

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Correlacao entre Variaveis Aleatorias

Um momento estatstico importante derivado da covariancia e


definido abaixo.

Definicao de Correlacao
A correlacao de Xi e Xj , i 6= j, e definida como:

rij = E[Xi Xj ], i, j (13)


Z Z
= xi xj fXi Xj (xi , xj )dxj dxi

Exerccio Proposto: Covariancia e Correlacao


Mostrar que a covariancia e correlacao estao relacionadas pela
seguinte expressao:
cij = rij i j (14)

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Coeficiente de Correlacao entre Duas Variaveis Aleatorias

Definicao de Coeficiente de Correlacao


O coeficiente de correlacao de Xi e Xj , i 6= j, e dado por:

cij E[(Xi i )(Xj j )]


ij = = , i, j (15)
i j i j

em que i e j e sao os desvios-padroes das variaveis i e j.


Em poucas palavras, ij e uma versao normalizada de cij ,
de tal forma que e possvel demonstrar que:

1 ij 1

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Coeficiente de Correlacao entre Duas Variaveis Aleatorias

Interpretacao do Coeficiente de Correlacao


Se 0 < ij 1, entao Xi e Xj estao positivamente
correlacionadas.
Quanto mais proximo estiver de 1, maior e a correlacao
positiva entre Xi e Xj .
Se 1 < ij < 0, entao Xi e Xj estao negativamente
correlacionadas.
Quanto mais proximo estiver de -1, maior e a correlacao
negativa entre Xi e Xj .
Se ij = 0, entao Xi e Xj sao nao-correlacionadas.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Independencia entre Variaveis Aleatorias

Definicao de Independencia entre Variaveis Aleatorias


Considere um vetor aleatorio x p . R
As componentes deste vetor sao variaveis aleatorias
independentes se a seguinte condicao for satisfeita:

fx (x) = fX1 (x1 ) fX2 (x2 ) fXp (xp ) (16)


Yp
= fXi (xi ) (17)
i=1

Em palavras, variaveis aleatorias sao ditas independentes


quando sua FDP conjunta puder ser fatorada no produto de
suas FDPs individuais (marginais).

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Independencia entre Variaveis Aleatorias

Covariancia e Independencia
Se xi e xj sao variaveis aleatorias independentes, entao
Z Z
cij = (xi i )(xj j )fXi Xj (xi , xj )dxj dxi
Z Z

= (xi i )(xj j )fXi (xi )fXj (xj )dxj dxi

Z Z
= (xi i )fXi (xi )dxi (xj j )fXj (xj )dxj

= 00=0 (18)

Consequentemente,

cij = rij i j = 0 rij = i j (19)

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Matriz de Covariancia

Costuma-se organizar todas as combinacoes de cij ,


i, j = 1, ..., p, em uma matriz de covariancia, Cx = [cij ]pp :

E[(X1 1 )2 ] E[(X1 1 )(X2 2 )] E[(X1 1 )(Xp p )]




. .
. .
E[(X2 2 )(X1 1 )] . .
Cx =

. . .
. . .
. . .
E[(Xp p )(X1 1 )] E[(Xp p )2 ]

Nota-se que os elementos da diagonal principal desta matriz


correspondem as variancias das p variaveis aleatorias
envolvidas no problema.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Matriz de Covariancia

Propriedades da Matriz de Covariancia


1 A matriz Cx e simetrica:

Cx = CTx

2 A matriz Cx e definida positiva:

xT Cx > 0,

para qualquer vetor x real e nao-nulo.


3 Os autovalores i de Cx sao sempre positivos.
4 O determinante de Cx e sempre positivo.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Matriz de Covariancia

Exerccio Resolvido 1 (Matriz de Covariancia)


Dada a seguinte matriz:
 
1 0, 8
A=
0, 8 4

Pede-se determinar se ela pode ser candidata a matriz de


covariancia.
Solucao:
1 Logo de cara vemos que a matriz e simetrica!
2 Seu determinante e positivo: det(A) = 3,36.
3 E seus autovalores sao positivos: 1 = 0,8 e 2 = 4,2.
Logo, conclumos que a matriz A pode de fato ser uma
matriz de covariancia.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Matriz de Covariancia

Forma Vetorial
Podemos escrever a matriz Cx como

Cx = E (x )(x )T
 
(20)

em que T indica o vetor transposto.


Desmembrando-se esta equacao chega-se a seguinte forma
alternativa da matriz de covariancia:

Cx = E xxT T
 
(21)
= Rx T

em que a matriz Rx e chamada de matriz de correlacao.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Matriz de Covariancia

Forma Vetorial (cont.-1)


Note que a matriz de covariancia Cx e a de correlacao Rx
sao equivalentes para = 0.
Neste caso temos que:

Cx = Rx = E xxT
 
(22)

Exerccio Proposto 1 (Matriz de Covariancia)


Demonstrar a equivalencia entre as Eqs. (20) e (21).

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Parte II

Estimacao de Parametros

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Estimacao de Parametros

Estimacao do Vetor de Medias e da Matriz de Correlacao


Seja um conjunto de N observacoes do vetor aleatorio
x p:R
{x(1), x(2), ..., x(N )}
O vetor de medias e estimado pela seguinte expressao:
N
1 X
x = x(i) (23)
N
i=1

A matriz de correlacao Rx e estimada pela seguinte expressao:


N
1 X
Rx = x(i)xT (i) (24)
N
i=1

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Estimacao de Parametros

Estimacao da Matriz de Correlacao - Forma Matricial


Considere que os N vetores aleatorios estao organizados como
sendo as colunas de uma matriz X pN : R
X = [x(1) | x(2) | | x(N )] (25)

Desta forma, a matriz de correlacao pode ser estimada por


meio da seguinte expressao:
1
Rx = XXT (26)
N
Esta ultima expressao e particularmente util na economia de
notacao matematica e para implementacao em ambientes de
computacao numerica, tais como Matlab, Octave e Scilab.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Estimacao de Parametros

Estimacao da Matriz de Covariancia - Forma Vetorial


A matriz de covariancia pode ser estimada diretamente por
meio da seguinte expressao:
N
1 X
Cx = [x(i) x][x(i) x]T (27)
N
i=1

Ou entao, atraves da seguinte expressao:

Cx = Rx xxT (28)

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Estimacao de Parametros

Estimacao da Matriz de Covariancia - Forma Matricial


Usando a definicao da matriz de dados X, dada em (25), a
matriz de covariancia pode ainda ser estimada por meio da
seguinte expressao:
1
Cx = [X M][X M]T (29)
N
R
em que M pN uma matriz cujas colunas sao formadas
pelo vetor medio x, repetido N vezes, ou seja:

M = [x | x | | x] (30)

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Estimacao de Parametros

Estimacao do Vetor de Medias - Forma Recursiva


A Equacao (23) utiliza todos os vetores aleatorios de uma so
vez na estimacao do vetor x.
Em muitos casos, os vetores so estao disponveis um-a-um, de
forma sequencial. Assim, deve-se estimar tal vetor
recursivamente. Por exemplo:
n1 1
x(n) = x(n 1) + x(n) (31)
n n
= x(n 1) + (1 )x(n)

em que n e a iteracao atual, x(n) e o vetor sendo observado e


0 < < 1 denota uma constante.
Na primeira iteracao do algoritmo, (i.e. n = 1), faz-se
x(0) = 0p = vetor-nulo de dimensao p 1.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Estimacao de Parametros

Estimacao da Matriz de Correlacao - Forma Recursiva


As tecnicas anteriores utilizam todos os vetores aleatorios de
uma unica vez na estimacao das matrizes Cx e Rx .
Em muitos casos, os vetores so estao disponveis um-a-um, de
forma sequencial. Assim, deve-se estimar tais matrizes
recursivamente. Por exemplo:
n1 1
Rx (n) = Rx (n 1) + x(n)xT (n) (32)
n n
= Rx (n 1) + (1 )x(n)xT (n)

em que n e a iteracao atual, x(n) e o vetor sendo observado e


0 < < 1 denota uma constante.
Em n = 1, faz-se Rx (0) = Ip = matriz identidade p p.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Estimacao de Parametros

Exemplo no Matlab: Funcoes nativas mean() e cov()


Os comandos a seguir ilustram como determinar o vetor de
medias e a matriz de covariancia para um conjunto de N
observaces de um vetor aleatorio gaussiano de dimensao 2:

>> p=2; % dim. vetor aleatorio


>> N=5000; % total de observacoes
>> X=randn(N, p); % gera vetores aleatorios
>> M=mean(X)
M = 0.0097 -0.0027
>> Cx=cov(X)
Cx = 1.0224 -0.0124
-0.0124 0.9887

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Estimacao de Parametros

Exemplo no Matlab: Funcao mcovar()


A Eq. (27) pode ser implementada pela seguinte rotina:

function C=mcovar(X)
[N p]=size(X);
soma=zeros(p);
[N p]=size(X);
M=sum(X)/N; % vetor de medias
for i=1:N,
soma = soma + (X(i,:)-M)*(X(i,:)-M);
end
C=soma/N; % Matriz de covariancia

Para executar no Matlab: >> Cx = mcovar(X);

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Estimacao de Parametros

Estimando a Matriz de Covariancia pela Funcao mcovar()


A matriz estimada pela rotina mcovar e dada por:

>> Cx=mcovar(X) % Funcao criada no Matlab


Cx = 1.0222 -0.0124
-0.0124 0.9885

Exerccio Computacional Proposto


Implementar a Eq. (28) como uma rotina do Matlab chamada
mcovar2 e comparar o resultado com o gerado pela funcao
pronta cov e pela rotina mcovar.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Parte III

Densidade Gaussiana Multivariavel

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

FDP Gaussiana Multivariada


A funcao densidade de probabilidade gaussiana (ou normal)
multivariada e definida pela seguinte expressao:
 
1 1 T 1
fx (x) = exp (x ) Cx (x )
(2)p/2 |Cx |1/2 2

em que |Cx | e C1
x denotam, respectivamente, o
determinante e a inversa da matriz de covariancia.

Resumidamente, escrevemos que um vetor aleatorio x p R


esta distribudo segundo uma FDP gaussiana multivariada da
seguinte forma:
x N (, Cx )

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

FDP Gaussiana Multivariada (cont.-1)


Alternativamente pode-se escrever a FDP gaussiana
multivariada como:
 
1 1
fx (x) = exp Q(x)
(2)p/2 |Cx |1/2 2
em que
Q(x) = (x )T C1
x (x )

em que a raiz quadrada de Q(x) e chamada de Distancia de


Mahalanobis.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

FDP Gaussiana Bivariada


Considerando p = 2, o vetor aleatorio e o vetor de medias
passam a ser representados como:
   
x1 1
x= e = (33)
x2 2

Logo, a matriz de covariancia Cx reduz-se a uma matriz


quadrada de ordem 2:

E[(x1 1 )2 ]
 
E[(x1 1 )(x2 2 )]
Cx =
E[(x2 2 )(x1 1 )] E[(x2 2 )2 ]

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

FDP Gaussiana Bivariada (cont.-1)


Uma forma alternativa da matriz de covariancia para o caso
bidimensional e dada por:

12
 
1 2
Cx = (34)
1 2 22

em que e chamado de Coeficiente de Correlacao entre x1 e


x2 :
E[(x1 1 )(x2 2 )] c12
= = (35)
1 2 1 2
em que 1 e 2 sao os desvios-padroes de x1 e x2 ,
respectivamente.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

FDP Gaussiana Bivariada (cont.-2)


Assim, o determinante da matriz de covariancia e dado por:
12

1 2
|Cx | =
22

1 2
= 12 22 (1 2 )(1 2 ) (36)
2
= (1 )12 22

E a inversa da matriz de covariancia e dada por:


"
22 1 2 1 #
1 |C | |C | (1 2 ) 2 (12 ) 2 2
Cx = x
12
x =
1
1
1 2

|C1x|2 |Cx | (1 2 ) 2 2
1 2 (1 2 ) 2
2

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

FDP Gaussiana Bivariada (cont.-3)


Finalmente, podemos escrever a FDP gaussiana bivariada
como:
 
1 1
fx (x1 , x2 ) = p exp Q(x1 , x2 ) , (37)
21 2 1 2 2
em que

(x1 1 )2 (x2 2 )2
 
1 2(x1 1 )(x2 2 )
Q(x1 , x2 ) = 2
+
(1 2 ) 1 1 2 22

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

FDP Gaussiana Bivariada (cont.-4)


Parametros: 1 = 2 = 0, 1 = 1, 2 = 2 e = 0,5.
PDF Gaussiana Bivariada (=0.5)

0.1

0.08

0.06

0.04

0.02

0
6 6
4 4
2 2
0 0
2 2
4 4
6
X X
2 1

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

FDPs Marginais da FDP Gaussiana Bivariada


As PDF gaussianas marginais de X1 e X2 sao dadas pelas
seguintes expressoes (Demonstrar!):
Z
fX1 (x1 ) = fx (x1 , x2 )dx2

(x1 1 )2
 
1
= exp
21 212
Z
fX2 (x2 ) = fx (x1 , x2 )dx1

(x2 2 )2
 
1
= exp
22 222

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

FDPs Marginais da FDP Gaussiana Bivariada (cont.-1)


Parmetros: 1 = 2 = 0, 1 = 2 = 1 e = 0.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

FDPs Condicionais a partir da FDP Gaussiana Bivariada


PDFs gaussianas condicionais em x1 ou x2 podem ser obtidas
a partir das seguintes expressoes:

fx (x1 , x2 ) fx (x1 , x2 )
fx (x1 |x2 ) = ou fx (x2 |x1 ) = (38)
fx2 (x2 ) fx1 (x1 )

Para um valor especfico de x1 ou x2 , digamos x , estas


expressoes podem ser escritas como:

fx (x1 , x2 = x )
fx (x1 |x2 = x ) = ou (39)
fx2 (x2 = x )
fx (x1 = x , x2 )
fx (x2 |x1 = x ) = (40)
fx1 (x1 = x )

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

FDPs Condicionais a partir da FDP Gaussiana Bivariada (cont.-1)


Parmetros: x2 = x = 1, 1 = 2 = 0, 1 = 2 = 1 e
= 0.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

FDP Gaussiana Bivariada com = 0.


Quando = 0, tem-se as seguintes consequencias para a
matriz de covariancia, seu determinante e sua inversa:
 2 
1 0
Cx = |Cx | = 12 22
0 22
1
" #
12
0
C1
x = 1
0 22

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

FDP Gaussiana Bivariada com = 0. (cont.-1)


Note que com = 0, podemos escrever a FDP gaussiana
bivariada como:
1 (x1 1 )2 (x2 2 )2
  
1
fx (x1 , x2 ) = exp +
21 2 2 12 22

Ou seja, podemos escrever:


   
(x1 1 )2 (x2 2 )2
1
2 2
1
2 2
fx (x1 , x2 ) = e 1 e 2
21 22

= fX1 (x1 ) fX2 (x2 ) (41)

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

Nao-Correlacao e Independencia
Regra Geral:
Se variaveis aleatorias sao independentes, entao elas
tambem sao nao-correlacionadas!
O raciocnio inverso nao e valido:
Se variaveis aleatorias sao nao-correlacionadas, isto
nao implica que elas sejam independentes!

A Eq. (41) revela uma importante excecao a regra geral:


Variaveis aleatorias gaussianas nao-correlacionadas
sao sempre independentes!!

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

FDP Gaussiana Multivariada com = 0


R
Para vetores aleatorios x p , a sua matriz de covariancia e
o determinante desta sao dados por:
2
1 0 0
0 2 0
2
Cx = .. .. . . .. = diag(12 , 22 , ..., p2 )

. . . .
0 0 p2 pp
p
Y
|Cx | = 12 22 p2 = i2
i=1

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

FDP Gaussiana Multivariada com = 0 (cont.-1)


Consequentemente, a matriz de coviariancia inversa e dada
por:
1
0 0

2
01 1 0  
22 1 1 1
C1

x = . .. .. = diag , , ..., 2

.. . .

12 22 p
1
0 0 p2 pp

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Parte IV

Analise dos Contornos da Gaussiana Bivariada

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

Contornos da FDP Gaussiana Bivariada


Vimos que o grafico da FDP gaussiana bivariada consiste em
uma superfcie tridimensional.

Na pratica, nao ha necessidade de desenhar esta superfcie


toda vez que o interesse for a analise qualitativa da
correlacao entre duas variaveis aleatorias xi e xj .

Esta analise, pode ser feita numericamente atraves do


coeficiente de correlacao ij , ou atraves das Curvas de
Contorno.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

Contornos da FDP Gaussiana Bivariada


Uma curva de contorno e a curva formada pelo lugar
geometrico dos pontos (x1 , x2 ) que satisfazem a equacao
fx (x1 , x2 ) = C, em que C > 0 e uma constante.
Matematicamente, isto e o mesmo que escrever:
 
1
fx (x1 , x2 ) exp Q(x1 , x2 ) = C, (42)
2
em que

(x1 1 )2 (x2 2 )2
 
1 2(x1 1 )(x2 2 )
Q(x1 , x2 ) = 2
+
(1 2 ) 1 1 2 22

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

Contornos da FDP Gaussiana Bivariada (cont.-1)


Geometricamente,uma curva de contorno e a curva fechada
constituda pelo perfil resultante de um corte transversal da
superfcie fx (x1 , x2 ) a uma altura C.
PDF Gaussiana bivariada fX X
(x1, x2) e curvas de contorno
1 2

0.05

0.04
(x ,x )
1 2

0.03
2
X X

0.02
1
f

0.01

0
4
2 4
2
0
0
2 2
4 4
X X1
2

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

Contornos da FDP Gaussiana Bivariada (cont.-2)


Apos alguma manipulacao algebrica chega-se a seguinte
expressao:

(x1 1 )2 2(x1 1 )(x2 2 ) (x2 2 )2


+ = C (43)
12 1 2 22

A forma da curva da Eq. (43) depende dos valores de , 1 e


2 .
Dois casos de interesse serao estudados a seguir, a saber:

1 Variaveis Nao-Correlacionadas ( = 0)
2 Variaveis Correlacionadas ( 6= 0)

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

Contornos da FDP Gaussiana Bivariada ( = 0)


Neste caso, a Eq. (43) reduz-se a seguinte expressao:

(x1 1 )2 (x2 2 )2
+ =C (44)
12 22

a partir da qual, apos dividir ambos os lados por C, chega-se


forma cannica da elipse:

(x1 1 )2 (x2 2 )2
+ =1 (45)
( C1 )2 ( C2 )2

Esta elipse tem centro na coordenada (1 , 2) e os


comprimentos dos semi-eixos sao dados por C1 e C2 .

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

Contornos da FDP Gaussiana Bivariada ( = 0) (cont.-1)


Temos 3 casos a considerar:
1 > 2 - Elipse com eixo maior ao longo da reta x2 = 0,
ou seja, mais alongada na horizontal.
1 < 2 - Elipse com eixo maior ao longo da reta x1 = 0,
ou seja, mais alongada na vertical.
1 = 2 - Elipse degenerada em uma circunferncia.

A figura no slide a seguir ilustra os trs casos supracitados.

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

Contornos da FDP Gaussiana Bivariada ( = 0) (cont.-2)


X2

C 2 2

C 2 1
X1

1 > 2 1 < 2 1 = 2

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

Contornos da FDP Gaussiana Bivariada ( 6= 0)


Neste caso, a Eq. (43), continua representando uma curva de
contorno em forma de elipse.
Contudo, torna-se importante conhecer o efeito introduzido
pelo termo
2(x1 1 )(x2 2 )
, (46)
1 2
no desenho da elipse.
Para facilitar a analise, vamos assumir 1 = 2 = 0 e
1 = 2 = 1.
Assim, a Eq. (43) passa a ser escrita da seguinte maneira:

x21 2x1 x2 + x22 = C (47)

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

Contornos da FDP Gaussiana Bivariada ( 6= 0) (cont.-1)


A Eq. (47) pode ser reorganizada de tal modo a representar
uma equacao do segundo grau em x2 :

ax22 + bx2 + c = 0 (48)

em que a = 1, b = 2x1 e c = x21 C2 .


As razes desta equacao sao calculadas pela seguinte
expressao:
b b2 4ac
x2 = (49)
2a
Usando a Eq. (48), define-se primeiramente uma faixa de
valores para x1 e, em seguida, os valores de x2 sao calculados
para cada valor de x1 usando a Eq. (49).

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

Contornos da FDP Gaussiana Bivariada ( 6= 0) (cont.-2)


A figura abaixo ilustra uma curva de contorno para variaveis
aleatorias x1 e x2 correlacionadas positivamente ( = 0,5).
Curva de Contorno Variaveis Gaussianas Correlacionadas
4
Reta suporte
(eixo maior)
3

1
2

0
X

4
4 3 2 1 0 1 2 3 4
X
1

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

Contornos da FDP Gaussiana Bivariada ( 6= 0) (cont.-3)


A figura abaixo ilustra uma curva de contorno para variaveis
aleatorias x1 e x2 correlacionadas negativamente ( = -0,5).
Curva de Contorno Variaveis Gaussianas Correlacionadas
4

3
Reta suporte
2

1
X2

4
4 3 2 1 0 1 2 3 4
X1

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

Contornos da FDP Gaussiana Bivariada ( = 0,8) (cont.-4)


Parametros: 1 = 2 = 0, 1 = 1 e 2 = 2.
120

100

0.15
80

0.1 60
f(x1,x2)

0.05 40
3
2
1
0 20
0
6 1
4 2 0 2
2 4 3
6 x1
x2 10 20 30 40 50 60

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

Geracao de Vetores Aleatorios Gaussianos Correlacionados


Passo 1 - Gerar vetores aleatorios gaussianos nao
-correlacionados:
>> X=randn(p,N);
Passo 2 - Especificar a matriz de covariancia desejada Cd :
>> Cd=[1 0.79;0.79 4];
Passo 3 - Aplicar a Decomposicao de Cholesky a matriz Cd :
>> A=chol(Cd);
Passo 4 - Aplicar transformacao linear aos dados originais:
>> Y=A*X;
Passo 5 - Conferir se a matriz de covariancia estimada Cd
esta de acordo com a matriz teorica Cd .

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

Resultados da Aplicao do Algoritmo do Slide Anterior (cont.-1)


Nao-correlacionados (esquerda) e Correlacionados (direita).
4 8

3 6

2 4

1 2

0 0

1 2

2 4

3 6

4 8
5 4 3 2 1 0 1 2 3 4 4 3 2 1 0 1 2 3 4

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes
Variaveis Aleatorias Multidimensionais
Densidade Gaussiana Multidimensional

Resultados da Aplicao do Algoritmo do Slide Anterior (cont.-2)


Para este problema a matriz de covariancia estimada Cd
resultante foi:
>> Cd=cov(Y)
Cd = 0.9983 0.7836
0.7836 3.9609
O coeficiente de correlacao teorico e dado por:
0, 79
1 2 = 0, 79 = = 0, 395
1 4
O coeficiente de correlacao estimado e dado por:
0, 7836
1 2 = 0, 7836 = = 0, 3941
0, 9983 3, 9609

c G. A. Barreto
Variaveis Aleatorias Multidimensionais e Aplicacoes

You might also like