Professional Documents
Culture Documents
Informacin
La
informacin
asociada
a
un
evento
con
probabilidad
p(x)
se
dene
Un evento POCO frecuente 8ene MUCHA informacin. Un evento MUY frecuente 8ene POCA informacin.
Entropa
(discreta)
Es
el
valor
medio
de
la
informacin
N
ES UN NUMERO (un escalar). Se puede considerar una MEDIDA DE DISPERSIN de la densidad p(x). A veces se le indica como H(X) donde con X se indica la variable aleatoria con densidad p(x). Representa la incer8dumbre sobre el valor que puede tomar la variable aleatoria X.
Entropa
(discreta)
La
entropa
se
puede
considerar
una
medida
de
dispersin
porque
por
ejemplo
es
mxima
cuando
la
p(x)
es
uniforme
y
minima
cuando
p(x)
es
una
delta.
1
1 N 1 N 1 N .
1 H X = log 2 N N
HX = 0
Entropa DISCRETA minima (nula). Se asume que la forma indeterminada 0log 2 0 = 0 sea nula (por razones de con8nuidad).
La entropa discreta es simtrica respecto a permutaciones de las probabilidades, es invariante bajo traslaciones y escalados.
H aX +b = H X
Recordemos que:
IXY
IXY
HY |X HY
H XY
En un canal (con X
H X HY
H X |Y IXY HY |X
HY
H X |Y
IXY
HY |X
Este diagrama es 8l para escribir desigualdades o relaciones entre estas can8dades: H = H X |Y + IXY IXY = H X H X |Y H X XY H X + HY HY = HY |X + IXY IXY = HY HY |X H XY = H X + HY IXY
H XY = H X |Y + HY |X + IXY H XY = H X + HY |X H XY = HY + H X |Y
H X H XY H X + HY HY H XY H X + HY
Variables
independientes
H XY
H X |Y
HY |X
HY
IXY = 0 H X = H X |Y HY = HY |X H XY = H X + HY
HX
H XY
HX
HY
H X |Y
HY |X
IXY = H X = HY
IXY = H X = HY = H XY H X |Y = 0 HY |X = 0
H XY
HX
HY IXY
Relaciones
importantes
Hay
que
recordar
bien
que
p(x)
delta
p(x) uniforme
Variables
X=Y
X=Y
X=Y
independientes
Y =X+E
t= 8empo Y(t)=variable aleatoria (recepcin) al 8empo t X(t)=variable aleatoria (transmisin) al 8empo t E(t)= ruido, variable aleatoria al 8empo t
En estos casos o se da la formula arriba, o la VEROSIMILITUD (en el caso discreto, es una matriz.MATRIZ DE CANAL)
p(y t | x t )
p(y | x)
X
M
Y
L
Todas las aristas representan una probabilidad no nula. Las aristas que salen de un nodo de entrada 8ene que sumar 1.
p(x) X
M
Y L
Teniendo estas dos densidades, realmente tenemos la densidad conjunta, es decir, toda la informacin.
p(y x) |
1
M M
p(x) X
M
p(y x) |
L
p(y | x) p(x)
M
p(y | x = i) p(x = i)
i=1
p(y, x)
p(y)
p(y = j | x = s) p(y = j | x = k)
Y=j
X = k
Y
CANAL
IDEAL
Lo
peor:
X
e
Y
independientes.
Si
X
e
Y
son
independientes
cualquier
informacin
sobre
Y
no
me
aporta
nada
sobre
X.
En
este
caso
I
XY
0
(minima
informacin
mutua).
=
La
perdida
de
informacin
es
mxima
(
H
X
|Y
=
X
:
si
conozco
Y,
H
la
incer8dumbre
sobre
X
no
disminuye).
Lo
peor:
X
e
Y
independientes.
Cuando
un
canal
genera
esta
independencia
entre
X
e
Y?
Cuando
1 p(y | x) = constante = num. ramas que salen de una entrada
p(x)
p(y)
IXY = H X = HY
H X |Y = 0
HY |X = 0
Puede haber casos donde una entropa condicional sea nula pero la otra no, y Y X . Por ejemplo
1 X 2 3
4
1
Y
HY |X = 0 H X |Y 0
1 2 Y 3
4
H X |Y = 0 HY |X 0
X
2
X ero Nota que Y , p tambin este canal se podra considerar ideal (la perdida de informacin en el canal es nula).
p(x)
p(y | x)
Matriz
de
canal:
est
dada.
Capacidad
de
canal
Realmente
aunque
encontramos
la
p(x)
que
maximiza
I
YX
no
signica
que
con
esta
conguracin
logremos
I
XY
=
H
X
(que
es
el
mximo
de
la
informacin
mutua).
Hallaremos
un
valor
C = max IXY
p(x )
Capacidad
de
canal
Para
hallar
la
capacidad
de
canal
se
puede
trabajar
con
dos
expresiones
de
informacin
mutua
IXY = H X H X |Y
p(x)
p(x | y) = p(x, y) p(y | x) p(x) = = p(y) p(y) p(y | x) p(x)
M
p(y | x = i) p(x = i)
i=1
IXY = HY HY |X
M i=1
p(y | x)
Capacidad
de
canal
Esta
es
ms
fcil
de
u8lizar
en
la
prac8ca
IXY = HY HY |X
Pero
esta
es
ms
interesante
en
la
teora
IXY = H X H X |Y
Perdida
de
Informacin
en
el
canal
Informacin
a
la
entrada
Capacidad
de
canal
Otra
observacin
muy
importante
es
que
Capacidad
de
canal
Ejemplo:
Seguramente
(cualquiera
sea
la
matriz
de
canal)
puedo
u8lizar
2
entradas
sin
equivocarme.
1 2 3
4
1 2 3
4
2 3
4
Capacidad
de
canal
1 Ms
en
general
con
M
par:
1 1 2 3 2 3 3
M 1 M M Seguramente
puedo
u8lizar
M/2
entradas
sin
equivocarme.
As
que
seguramente
puedo
escribir:
M M c 2 C log 2 = log 2 M 1 2 2 1 2 3 4 M 1 M
Capacidad
de
canal
Hemos
encontrado
una
cota
inferior
para
la
capacidad
de
este
canal
1 1 M 2 C log 2 2 2 3 3
M M Pero
tambin
por
el
mismo
razonamiento
como
mucho,
en
el
caso
ideal,
podemos
u8lizar
todas
las
entradas
es
decir
M 2C M log 2 C log 2 M 2 C log 2 M C log 2 L
Cuidado:
esta
formula
es
siempre
verdadera!
No
solo
en
este
canal.
Tambin
vale
siempre
esta
desigualdad
Capacidad
de
canal
Adems
si
la
probabilidad
de
transiciones
son
equiprobables
(1/2
)
1 2
2 3 M
Canales
en
paralelo
Si
tenemos
2
canales
en
paralelo,
podemos
encontrar
la
capacidad
equivalente
(total)
C1
C2