Professional Documents
Culture Documents
Rudos e Sinais
Aleatrios
Prof. Cludio A. Fleury
Jul-2016
Agenda
1. Probabilidade e Var.s Aleatrias
2. Esperana
3. Transformao de V.A.'s
4. V.A.s Gaussianas e TLC
5. Processos Aleatrios
6. Espectro de Sinais Aleatrios
7. Processos Gaussianos e Rudos
Jul/2016
Objetivos
Analisar a informao e o rudo com ferramentas
estatsticas para conhecer as tcnicas de deteco
Modelar eventos e sinais aleatrios via experimentos
Usar variveis aleatrias (v.a.'s) para representar* a
sada de experimentos
Estudar processos aleatrios como conjunto de v.a.'s
indexado pela varivel tempo
Analisar rudos e sinais de faixa estreita em termos de
suas componentes em fase e em quadratura
Jul/2016
Introduo
Aleatoriedade, ou Imprevisibilidade, uma
propriedade fundamental da informao
Se a informao for previsvel ento ela no precisa ser
transmitida
Jul/2016
1. Probabilidade e V.A.'s
Experimento Aleatrio sempre que repetido pode ter
modificada a sua sada em relao aos valores prvios,
devido a um fenmeno aleatrio (imprevisvel)
Exemplo:
Exper. Aleatrio: observao do resultado do lanamento de uma moeda
Sadas possveis (resultados): cara ou coroa
1. Probabilidade e V.A.'s
Regularidade Estatstica
Frequncia Relativa:
nA
1
n
n
P[ A] = lim A
n n
Jul/2016
1. Probabilidade e V.A.'s
Termos usuais
conveniente modelar o experimento e suas possveis sadas num
espao e seus pontos
A cada possvel valor da sada do experimento associa-se um ponto de
amostra, sk , e ao conjunto de todos os pontos de amostra d-se o
nome de espao amostral, S
Um evento corresponde a um nico ponto amostral ou a um conjunto
de amostras
O espao amostral chamado de evento certeza
O conjunto nulo de pontos amostrais chamado de evento nulo ou
impossvel
Um ponto amostral chamado de evento elementar
sk
Espao amostral
do experimento
"lanamento de um dado"
Jul/2016
S
7
1. Probabilidade e V.A.'s
Axiomas da Probabilidade
Um sistema de probabilidade possui:
Um espao amostral, S, contendo eventos elementares (sadas do exper.)
Uma classe E de eventos que so subconjuntos de S
Uma mdia de probabilidade P[A] associada a cada evento A da classe E, a
qual possui as seguintes propriedades:
i. P[S] = 1
ii. 0 P[A] 1
iii. Se A U B a unio de dois eventos
mutuamente exclusivos da classe E,
ento: P[A U B] = P[A] + P[B]
P[A]
1. Probabilidade e V.A.'s
Varivel Aleatria (v.a.) do Experimento
Definio: uma funo cujo domnio um espao amostral e
cuja imagem um conjunto de nmeros reais (-, ) e que associa um
nmero a uma sada de um experimento aleatrio
Se a sada de um experimento s, representamos a varivel aleatria
como X(s) ou somente X
Note que X uma funo,
mesmo sendo, por razes
histricas, chamada de varivel
aleatria
Representamos a sada particular
de um experimento aleatrio por
um nmero real x, ou seja,
X(sk) = x
Jul/2016
1. Probabilidade e V.A.'s
Funes de Varivel Aleatria
Funo de Probabilidade de Massa:
Descreve a probabilidade de cada valor da varivel aleatria
Exemplo: Lanamento de uma moeda justa
Jul/2016
10
1. Probabilidade e V.A.'s
Funes de Varivel Aleatria
Funo de Distribuio de Probabilidade Acumulada (fda): a
probabilidade da varivel aleatria X assumir qualquer valor menor ou
igual a x. A funo de distribuio escrita como FX(x) tal que
FX ( x ) = P[ X x]
Propriedades da funo de distribuio de probabilidade
0 FX ( x) 1
Funo monotnica no decrescente em x: FX ( x1 ) FX ( x2 ), se x1 x2
Exemplo:
Funo de Distr. de Bernoulli:
Jul/2016
11
1. Probabilidade e V.A.'s
Funes de Varivel Aleatria
Funo de Densidade de Probabilidade (fdp): a diferencial da funo
de distribuio de probabilidade da v.a. X , FX(x),
se X for uma v.a. de valor contnuo, e
representada por fX(x) tal que
f X ( x) =
Distribuio
Uniforme
f X ( x)
X assume
valores entre
0 e 2 com
probabilidade
1/2
FX ( x )
x
Propriedades da fdp
Funo monotnica no decrescente em x:
f X ( x1 ) f X ( x2 ), se x1 x2
FX ( x) = P[ X x] =
FX ( S ) =
f X (s) d s
fX (s) d s = 1
12
1. Probabilidade e V.A.'s
Funes de Varivel Aleatria
Exemplo: Distribuio Uniforme (fdp)
rea = 1
Jul/2016
13
1. Probabilidade e V.A.'s
Varivel Aleatria Binomial
Exemplo:
n =1
Jul/2016
N
N
N!
P[Y = y ] = p y (1 p ) N y , onde: =
y
y y!( N y )!
Prof. Cludio Fleury
14
1. Probabilidade e V.A.'s
Varivel Aleatria Binomial
Exemplo: A funo de probabilidade de massa binomial, P[Y=y], para N=20 e p=1/2
Jul/2016
15
1. Probabilidade e V.A.'s
Varivel Aleatria Binomial
Funo de Densidade de Distribuio de Probabilidade:
Jul/2016
16
1. Probabilidade e V.A.'s
Varivel Aleatria Binomial
Exerccio 1: Um pacote de dados com 200 bits transmitido em um
canal de comunicao no qual a probabilidade de erro de cada bit
103. Qual a probabilidade do pacote ser recebido sem erro?
Soluo:
Admitindo que a quantidade de erros tem uma distribuio binomial
sobre a sequncia de 200 bits, X representa o nmero de erros com
p = 0,001 e N = 200. Ento a probabilidade de no haver erros ser:
Jul/2016
17
1. Probabilidade e V.A.'s
Varivel Aleatria Binomial
Exerccio 2: Suponha que o pacote de dados do exerccio anterior
inclua um cdigo de correo de erro que corrige at trs erros
localizados em qualquer posio do pacote. Qual a probabilidade de
um dado pacote de dados ser recebido com erro?
Soluo: A probabilidade de um erro no pacote de dados igual a
probabilidade de mais de 3 bits errados. Isto equivalente a um menos
a probabilidade de 0, 1, 2 ou 3 erros:
1 P[ X 3 ] = 1 (P[ X = 0] + P[ X = 1] + P[ X = 2] + P[ X = 3])
N
N
N
= 1 (1 p ) N p (1 p ) N 1 p 2 (1 p ) N 2 p 3 (1 p ) N 3
1
2
3
N .(n 1) 2
N .(n 1).(n 2) 3
= 1 (1 p ) N (1 p ) 3 + N . p.(1 p ) 2 +
p (1 p ) +
p
2
6
= 5,5 10 5
Jul/2016
18
1. Probabilidade e V.A.'s
Probabilidade Condicional
Variveis aleatrias X e Y no independentes
A probabilidade P[Y|X] chamada de probabilidade condicional de Y
dado X, ou seja, a funo de probabilidade de massa de Y dado que
X tenha ocorrido
P[Y | X ] =
P[ X , Y ]
, onde : P[ X , Y ] a prob. conjunta das duas v.a.' s
P[ X ]
P[ X , Y ] = P[ X ] .P[Y ]
O conhecimento da sada de uma varivel aleatria no nos diz nada
sobre a probabilidade da sada da outra varivel aleatria
Regra de Bayes:
P[ X | Y ].P[Y ]
P[Y | X ] =
P[ X ]
Jul/2016
19
2. Esperana
X = E[ X ] = x. f X ( x) dx
Jul/2016
n =1
2. Esperana
= ( x X ) 2 . f X ( x) dx
2
X
N 1 n =1
2
X
Jul/2016
23
2. Esperana
Exemplo: Mdia e Varincia de uma v.a. de Bernoulli
Se X uma v.a. de Bernoulli com parmetro p, ento o valor esperado
de X (a mdia) :
1
E[ X ] = X = k.P[ X = k ] = 0.(1 p ) + 1. p = p
k =0
A varincia de X (a potncia) :
1
= (k X ) 2 .P[ X = k ]
2
X
k =0
= (0 p ) 2 (1 p ) + (1 p ) 2 p
= p (1 p )
Jul/2016
2. Esperana
Ou:
Cov ( X , Y ) = E[ XY ] X Y
E[X Y ] =
x. y. f X ,Y ( x , y) dx dy
x. y. f X ,Y ( x , y) dx dy
= x. f X ( x ) dx y. fY ( y) dy = E[ X ].E[Y ]
Jul/2016
25
3. Transformao de V.A.'s
Suponha que a varivel aleatria X com funo distribuio FX(x)
transformada para Y = ax + b. Qual seria a funo de distribuio
acumulada de Y?
y b
FY ( y ) = FX
Transformao um-para-um
(
(g
)
dg ( y )
( y))
dy
Jul/2016
26
f X (x ) =
( x X )2
1
2
2
X
2 X2
< x <
Propriedades
simtrica em relao mdia X
completamente caracterizada por sua mdia e sua varincia
Uma v.a. Gaussiana mais uma constante outra v.a. Gaussiana com a mdia
ajustada pela constante
Uma v.a. Gaussiana multiplicada por uma constante outra v.a. Gaussiana na
qual tanto a mdia quanto a varincia so afetadas pela constante
A soma de duas v.a.'s Gaussianas tambm uma v.a. Gaussiana
A soma ponderada de N variveis aleatrias Gaussianas uma v.a. Gaussiana.
Se duas v.a.'s Gaussianas possuem covarincia nula (so no correlacionadas),
ento elas tambm so independentes
Jul/2016
27
f X (x ) =
Jul/2016
1
e
2
x2
2
< x <
28
29
Jul/2016
Mdia
Menor
Varincia
Menor
Mdia
Maior
Varincia
Maior
30
Jul/2016
31
32
5. Processos Aleatrios
Processo Aleatrio tambm conhecido por Processo Estocstico
Pode ser definido como um espao de amostras em que cada
elemento est associado a uma funo do tempo (um sinal)
Uma varivel aleatria tem como resultado de um experimento um
nmero real, enquanto um processo aleatrio tem uma forma de
onda, ou seja, uma funo do tempo
O conjunto das possveis sadas do experimento recebe o nome de
espao de amostra, espao amostral ou processo aleatrio
Propriedades
So funes do tempo
So aleatrios no sentido de no ser possvel predizer exatamente qual ser a
forma de onda a ser observada no futuro
Jul/2016
33
5. Processos Aleatrios
ou simplesmente
Jul/2016
34
5. Processos Aleatrios
Jul/2016
35
5. Processos Aleatrios
Tipos
Estacionrio
Se um processo aleatrio dividido em vrios intervalos de tempo, e as
vrias sesses do processo exibem essencialmente as mesmas
propriedades estatsticas, ento tal processo dito ser estacionrio
Caso contrrio, ele dito ser no estacionrio
Matematicamente:
Seja FX(t1)(x) a funo distribuio de probabilidade associada com
observaes de funes de amostra diferentes do processo aleatrio no
tempo t1. Suponha que o mesmo processo aleatrio observado no tempo
t1 + , e que a funo de distribuio correspondente FX(t1 + )(x). Se:
Jul/2016
36
5. Processos Aleatrios
Tipos
Estacionrio
Considere a amostragem do processo aleatrio X(t) em dois pontos, nos
tempos t1 e t2, com a correspondente funo de distribuio comum
FX(t1),X(t2)(x1,x2). Suponha um segundo conjunto de observaes feitas nos
tempos t1+ e t2+ e que a correspondente funo de distribuio comum
seja FX(t1+),X(t2+)(x1,x2). Se para todo t1, t2 e observamos que
Estritamente Estacionrio
Ocorre quando a distribuio comum de qualquer conjunto de variveis
aleatrias obtidas pela observao do processo aleatrio X(t) for invariante
com respeito a localizao da origem t = 0
Jul/2016
37
5. Processos Aletrios
Correlao entre Processos Aleatrios
Amostras do processo, em tempos diferentes, podem ser correlacionadas
Exemplo: se X(t1) for grande, ento podemos esperar que X(t1 + ) seja grande, se for pequeno
Autocorrelao:
R X (t , s ) = E[ X (t ). X *( s ) ], onde : X *( s ) o conjugado de X ( s )
*
Para sinais estacionrios de segunda ordem ou mais: R X (t , s ) = E[ X (t ) X ( s )] = R X (t s )
X ( t ) = cte
A covarincia quantifica a correlao entre amostras do processo:
38
5. Processos Aleatrios
Propriedades da funo Autocorrelao
Para processos aleatrios reais e estacionrios em sentido amplo
*
1. Potncia mdia do processo: R X (0) = E[ X (t ). X ( s ) ] = E[ X (t ). X( s ) ]
= E[ X 2 (t )] = ( X ) 2
2. Simetria Par:
R X ( ) = E[ X (t ). X (t + )]
= E[ X (t + ). X (t )] = R X ( )
E[ X (t ) X *( t ) ] 0
E[ X 2 (t )] 2 E[ X(t ) ].E[ X( t ) ] + E[ X 2( t ) ] 0
R X (0) 2 R X ( ) + R X (0) 0 R X (0) RX ( )
Tempo de Decorrelao 0 de um
processo estacionrio X(t) de mdia
zero: o tempo para que a amplitude da
funo de autocorrelao RX() diminua
para 1% de seu valor mximo em RX(0)
Jul/2016
39
5. Processos Aleatrios
Exemplo
R X (t , t ) = E[ X (t ). X (t )]
= A2 E[cos(2 f t + ). cos( 2 f ( t ) + )]
Mas: cos A. cos B = [cos( A B ) + cos( A + B )] / 2
A2
A2
R X (t , t ) =
cos(2 f ) +
E[cos(4 ft 2 f + 2 )]
2
2
Como distribudo uniformemente de 0 a 2:
1 2
E[cos(4ft 2 f + 2 )] =
cos( 4 f t 2 f + 2 ) d
2 0
1
2
=
sen (4 f t 2 f + 2 ) 0 = 0
4
Logo:
Jul/2016
A2
R X (t , t ) =
cos(2ft )
2
Prof. Cludio Fleury
5. Processos Aleatrios
Exerccio
R X (t , t ) = E[ X (t ). X (t )]
= E[ A2 ] cos( 2 f t). cos(2 f ( t ))
Mas: cos A. cos B = [cos( A B ) + cos( A + B )] / 2
R X (t , t ) = E[ A2 ][cos(2 f ) + cos( 4 ft 2 f )]
1
x3
1
2
2
=
E[ A ] = x dx =
0
3 0 3
1
Jul/2016
41
5. Processos Aleatrios
Processo Ergdico
o processo para o qual mdias temporais das funes de amostra podem ser
utilizadas para aproximar s esperanas do espao amostral correspondente
(mdias), se as estatsticas do processo aleatrio no mudarem com o tempo
Na maioria das aplicaes fsicas: processos estacionrios em sentido amplo so
ergdicos mdias temporais e esperanas so intercambiveis
Um processo aleatrio X(t) com N realizaes equiprovveis {xj(t): j = 1,2,.., N},
tem primeiro e segundo momentos no tempo t = tk dados pelas mdias da famlia:
E[ X (t k )] =
1
N
x (t
j
E[ X 2 (t k )] =
j =1
1
N
2
j
(t k )
j =1
1
[ x] = lim
T 2T
x(t ) dt
R X ( ) = lim
1 T
x(t ) x(t ) dt
2T T
R X ( ) = E[ X (t ). X (t )] = lim
Jul/2016
1 T
x (t ) x(t ) dt
2T
42
Jul/2016
43
Jul/2016
44
SX ( f ) = RX ( ) e j 2 f d
R X ( ) = S X ( f ) e j 2 f df
relaes de Wiener-Khintchine
Para um processo estacionrio em sentido amplo:
1. Valor mdio quadrtico:
2. No negatividade:
3. Simetria par:
4. PSD de um processo aleatrio filtrado por filtro linear com resposta em
frequncia H(f):
Jul/2016
45
A2
R X ( ) =
cos( 2 fc t)
2
Y (t ) = h(t s ) x ( s ) ds
0
H( f ) =
1
1 + jR.C.2 f
SY ( f ) = H ( f ) S X ( f )
SY ( f ) = H ( f ) [ ( f f c ) ( f f c )] / 2
transf.
inversa de
Fourier
= H ( f c ) [ ( f f c ) ( f f c )] / 2
R Y ( ) =
Jul/2016
antecipando a propriedade de
deslocamento da funo delta
de Dirac: (f fc)
1
cos( 2 fc )
1 + ( R.C.2 fc ) 2
46
distoro
rudos
Erro de bit
Se o transmissor enviar um sinal correspondente a um bit, e o receptor
medir a tenso no lado certo do limiar Vt, ento o bit ser recebido
corretamente. Caso contrrio, o resultado um erro de bit
Probabilidade de Erro de Bit (BER)
Relao Sinal-Rudo (SNR): potncia do sinal / potncia do rudo
Jul/2016
47
Jul/2016
48
Rudo Branco
FPBI
| H( f )|
1
Rudo Branco
S N ( f ) RN ( )
B
RN ( ) =
N 0 j 2 fc
B 2 e df = N 0 B sinc(2B )
49
'
N0 / 2
Jul/2016
50
51
Jul/2016
52
Suponha uma fonte de rudo branco com espectro (PSD) SW(f) = N0/2 conectada a um filtro
passa faixa arbitrrio com resposta em frequncia H(f). A potncia mdia do rudo de sada:
rea do
retngulo
O efeito do rudo no
sistema reduzido
estreitando-se a largura
de faixa do sistema
Jul/2016
53
Jul/2016
54
y0[k]
w[k]
Jul/2016
55
y[k ] = y0 [k ] + w[k ]
56
1
m=
N
N 1
w[k ]
k =0
1
s =
N
2
N 1
(w[k ] m )
k =0
57
fW ( w) =
2 2
2 2
Probabilidade:
P (w1 < w[k ] < w2 ) =
w2
w1
fW (w) dw
58
Jul/2016
Canal
BER
Fibra tica
Wireless
10 Gbps
50 Mbps
10-12
10-7 a 10-3
Proporo
1 bit em 1 trilho
1 em 10 milhes a 1 em 1 mil
59
v 2
dv
erfc( z ) =1 erf ( z) =
1
2 2
w 2 (2 2 )
e
dw
ES
Potncia do Rudo: N 0 = 2 2
2
v 2
dv
ES
1
BER = erfc
2
N
0
Jul/2016
BER =
Prof. Cludio Fleury
v 2
dv
ES N 0
60
Mai/2016
61
Exerccios
8.54 Para este experimento de lanamento de dados, um script MATLAB includo no Apndice 7. O script MATLAB
simula o lanamento de um dado polarizado 1000 vezes. Os passos do script so:
- Role o dado N vezes e salve os resultados em X.
- Calcule o histograma de X para obter as probabilidades das diferentes faces.
Repita o experimento para N = 10, 100, 1000 e 10.000. Comente sobre a definio de frequncia relativa de
probabilidade como funo de N, o nmero de lanamentos.
8.55 Para demonstrar o teorema do limite central, calculamos 20.000 amostras de Z para N = 5 e estimamos a funo
densidade de probabilidade correspondente formando um histograma dos resultados. Um script MATLAB para a
execuo deste experimento includo no Apndice 7.
Compare este histograma (escalonado para rea unitria) com a funo densidade Gaussiana tendo mesma mdia e
varincia.
8.56 Altere o script para o Problema 8.55 para determinar a distribuio da soma de variveis aleatrias de Bernoulli.
Compare-o com a distribuio Gaussiana quando N se torna grande.
8.57 Altere o script para o Problema 8.55 de forma que os valores mdios no sejam idnticos, mas que tambm
possuam uma distribuio aleatria, mas com a mesma mdia final. Calcule a distribuio da soma.
8.58 Neste experimento de computador, iremos simular digitalmente um processo aleatrio gaussiano. Um script
MATLAB no Apndice 7 gera um processo gaussiano branco em tempo discreto e o filtra com um filtro da raiz de
cosseno levantado em tempo discreto (como discutido no Captulo 6). No script, executamos os seguintes passos:
- Geramos um processo gaussiano branco em tempo discreto.
- Filtramos este processo gaussiano com um filtro da raiz de cosseno levantado com 25% de excesso de largura de
faixa.
- Calculamos o espectro do processo resultante em tempo discreto.
- Calculamos a autocorrelao do processo resultante em tempo discreto.
Jul/2016
62
Apndice 7
# -*- coding: utf-8 -*""" Problema 8.54; Haykin & Moher - kaw - 26/07/16. """
# Distribuio de probabilidade com dado batizado
from matplotlib.pyplot import hist, xlabel, ylabel, grid
from random import uniform; from numpy import zeros, arange; from math import floor
def DadoViciado():
return floor(uniform(1,6)**3) # gera uma distribuio no uniforme para as faces 1..6
def Problema8_54():
N = 1000; X = zeros(N)
for i in range(0,N):
X[i] = DadoViciado()
hist(X,arange(1,8),align='mid',rwidth=0.8); xlabel('faces'); ylabel(u'frequncia'); grid('on')
if __name__ == "__main__":
Problema8_54()
""" Problema 8.55; Haykin & Moher - kaw - 26/07/16. """
# Distribuio de probabilidade de cinco variveis uniformes
from matplotlib.pyplot import hist, plot; from random import uniform, random
from numpy import arange, exp, sqrt, pi
N = 5
# nmero de variveis aleatrias a serem somadas
nSmps = 20000
# nmero de amostras a serem geradas
#----- Gera amostras de variveis uniformes aleatrias ----Y = 2*uniform(N,nSmps)-1
# varivel aleatria em [1, +1]
cSmps = sum(Y)
# histograma com 40 bins (divises, pedaos, ...)
N1,X = hist(cSmps,40)
Delta = X[1] - X[0]
# normaliza o grfico
plot(X, N1/nSmps/Delta)
#----- Compara com a teoria ----x = arange(-5.,5.01,0.01)
# varincia de uma distribuio uniforme 1/3
sigma2 = N*(1./3.)
Gauss = exp(-x**2./2./sigma2)/sqrt(2.*pi*sigma2)
plot(x,Gauss,'r')
Jul/2016
63
Apndice 7
PROBLEMA 8.58
# -*- coding: utf-8 -*""" Problema 8.58; Haykin & Moher
@author: kaw - 26/07/16. """
#---------------------------------------------------------------------# distribuio de probabilidade de cinco variveis uniformes
#---------------------------------------------------------------------from matplotlib.pyplot import hist, xlabel, ylabel, grid, plot, figure
from random import normal
from numpy import array, arange, exp, sqrt, pi
N = 100000
x = normal(1,N)
# nmero de amostras
# gera a sequncia Gaussiana
Jul/2016
65
Resumo
Mai/2016
67