Contrato pedagógico

http://bit.ly/2BVCjVa
Qué es la teoría de la información?

Analicemos los siguientes mensajes:

1)Mañana sale el sol

2)Mañana va a llover
3)El martes 20 de Febrero Bayern vencerá al
Besiktas.
4)Mañana va a nevar en Bogotá.
Qué es la teoría de la información?
Un evento o mensaje con probabilidad baja
provee más información que los que tienen
probabilidad mas alta.
Qué es la teoría de la información?
Por medio de un artículo escrito por Claude Shannon llamado
“ Un teoría matemática de la información” se aisló la tarea
central de la ingeniería de Telecomunicaciones que se
enfocaba principalmemte en las técnicas de transmisión y
recepción de datos por medio de la siguiente pregunta:

Dada una fuente de mensajes aleatorios, ¿cómo se pueden

representar de una manera confiable sobre un canal que
posea limitaciones fiśicas?

Es decir, como podemos enviar mensajes de manera óptima?

Qué es la teoría de la información?
Al concentrarse únicamente en el mensaje como tal,
Shannon denominó a esta disciplina “Teoría de la
información”
 Teoría de la información

Medida de la fuente
Capacidad de Canal Codificación
de información
Si la tasa de información de una fuente no excede la capacidad del
canal de comunicación, entonces existe una técnica de codificación
tal que la información puede ser transmitida sobre el canal con
tasas de error muy pequeñas a pesar de contar con presencia de
ruido.
 Que es la información?
Es un conjunto de datos que forman un mensaje cambiando el
estado de conocimiento del sistema que recibe ese mensaje.

Otra definición interesante dice que la información son los estados

de un sistema.
 Medida de la información

A medida que la probabilidad de un mensaje disminuye su

información aumenta.

Si xi Es un mensaje con una probabilidad asociada P(x i )

Shannon definió la medida de la información como:

I i=log b
1
Pi ( )
 Binit o Bit

Para este curso cambia un poco la definición de bit, aquí un bit

es una unidad de medida de la cantidad de información
mientras que un binit si es la unidad de almacenamiento en
donde podrémos poner bits.

Un binit puede llevar mas de un bit de información para

representarlo.
 Medida de la información

I i=0 Pi=1 No hay incertidumbre

I i> I j Pi < P j Información incrementa con la

incertidumbre
 Medida de la información
El estándar para teoría de la información indica que la base del logaritmo es b=2 y su
correspondiente unidad es el bit luego:

Self-information

I i=log 2
1
( )
Pi bits

Ahora supongamos que existen dos fuentes de información INDEPENDIENTES

P( x i , x j )=P i P j
Entonces

I ij =log 2
( 1
)
P(x i , x j )
=log 2
( )
1
Pi P j
=log 2
1
Pi ( ) ( )
+log 2
1
Pi
=I i + I j
 Medida de la información
El Término:

I i=log 2 ( )
1
Pi bits

Normaliza la convención para la fuente de información mas sencilla; aquella que

tiene la posibilidad de seleccionar dos mensaje equiprobables.

Por ejemplo:

P( X 1)=P( X 2 )=0.5 I 1=I 2=log 2 (2)=1 bit

1 bit es la cantidad de información necesaria para escoger entre dos

posibilidades igualmente probables.
 Medida de la información
Calcular logaritmos base 2 utilizando base 10 o base e

ln(a) log 10 (a)

log 2(a)= =
ln(2) log 10 (2)

Ejercicio:

P(x 1 )=0.1
Calcular la cantidad de información
 Fuentes de información de memoria
nula
Supongamos que existe una fuente de información que emite
simbolos de un alfabeto de M tipos de “letras” (alfabeto M-
ario), si definimos a X como el conjunto de esos M simbolos
tenemos:

X ={x 1 , x 2 , x 3 , ... x M }
Teniendo en cuenta que la aparición de cada símbolo
posee una probablidad de P . EL conjunto de datos debe
i
satisfacer la siguiente expresión:
M

∑ Pi =1
1
 Fuentes de información de memoria
nula
Una fuente de informaciń nula cumple las siguientes
propiedadaes:
1)Es una fuente estacionaria (Las probabilidades permaneces
constantes en el tiempo).
2)Los símbolos de la fuentes son estadísticamente
independientes.
3)Los símbolos son producios a una tasa de r símbolos por
segundo.
 Fuentes de información de memoria
nula

Ahora calculemos la auto-información de cada mensaje, a partir

de estos tendremos un conjunto conformado por cada valor de
autoinformacion de cada símbolo.

I ={I 1 , I 2 , I 3 , ... I M }
Si se quiere calcular el valor esperado ( promedio?) de la cantidad de información
suministrada por la fuente utilizamos la definicón estadística de valor esperado.

M
H ( X )=∑ P i I i
1
Entropía
Sabemos que el promedio de cantidad de
información es:
M
H ( X )=∑ P i I i
1
Y reemplazando

I i=log 2( )
1
Pi

Tenemos:
M
H ( X )=∑ P i log 2
1
( )
1
Pi
 Entropía
M
H ( X )=∑ P i log 2
1
1
Pi ( ) bits/símbolo

Denota la cantidad de información esperada por

símbolo y normalmemte se define como entropía
de la fuente

Ahora supongamos que tenemos una cantidad de

n>>1 símbolos, Luego la cantidad todas de
información emitida es.

nH ( x) bits
 Entropía

Si una fuente de n símbolos tiene una tasa de transmisón de r

simbolos/segundo entonces para transmitir esos n símbolos le
tomaría un total de :

t=n / r segundos

La idea es averiguar la cantidad de bits que transmite la fuente

por segundo, cómo ya sabemos que el total de bits transmitido
es nH ( x) bits entonces la cantidad de bits por segundo
transmitidos sería:

R=nH ( x)/(n/ r )=rH (x ) bits/segundo

Esto se conoce como la tasa de información

 Entropía
Entropía máxima

0≤H ( x)≤log 2 M

Supongamos que tenemos una fuente con dos mensajes, el

primer mensaje tiene una probabilidad de p, por lo tanto el otro
mensaje será de probabilidad 1-p, si calculamos la entropía
de esta fuente tendremos lo siguiente:

H ( X )= p log 2 ( )
1
p
+(1− p) log2
1
1− p ( )
Entropía

( )
H ( X )= p log 2
1
p ( )
+(1− p) log 2
1
1− p

Horseshoe function

Ω( p)
 Ejercicio

Suponga que tiene una fuente de M=3 símbolos dónde P1=p,

P2=P3 , demuestre que

H ( X )=Ω (p)+(1−p)

Y Evalúe la entropía máxima.

Tip: la entropía máxima es cuando todas las probabilidades son

iguales.
 Entropía

Calcular la entropía de los simbolos de la tabla de la parte superior.

Suponga que estos símbolos son emitidos por una fuente de 2000
símbolos/segundo, cuál es la tasa de información?
Cantidad de información entre dos variables

Para esta parte consideremos los siguientes enunciados:

Cantidad de información entre dos variables
Entropía condicional

Para hallar la entropia de la fuente total X tenemos:

 Entropía condicional
Información mutua
Cantidad de información entre dos variables

p(x1)=p
p(x2)=1-p

I (X ; Y )=Ω(α + p−2 α p)−Ω (α )

 Entropía condicional

1)H(X)
2)H(Y)
X: Estudios 3)H(Y|X=Math)
4)H(Y|X=History)
Y:Gusto por los 5)H(Y|X=CS)
videojuegos 6)H(Y|X)

Desarrollo en clase!
Entropía condicional

Una fuente binaría tiene dos posibilidades

Y calcule la entropía

condicional total de la fuente.

 Fuentes de markov
Esta fuente de información posee memoria, es decir que la
ocurrencia de sus símbolos depende de los símbolos ocurridos
anteriormente.

La historia de una fuente de markov es almacenada en su estado

presente:
 Fuentes de markov
● La fuente solo puede encontrarse en uno de los n posibles
estados.

● La fuente cambia de un estado i a j en cada generación de

símbolos.

● El cambio de estado depende de la probabilidad pij que depende

únicamente del estado inicial i del estado final j , además
permanece constante sobre el tiempo.

● La probabilidad pij se conoce como la probabilidad de pasar del

estao i al estado j.
Fuentes de markov

Calcular la entropía de la fuente

 Fuentes de markov

Calcular la entropía de la fuente

Fuentes de markov
 Referencias

Bruce C, Crilly P, Rutledge J. (Ed.) (2007) Sistemas de comunicaciones: Una

introducción a las señales y el ruido en las comunicaciones eléctricas. México:
Editorial McGraw-Hill.
http://web-ext.u-aizu.ac.jp/~hamada/IT/L5-IT.pdf
https://www.icg.isy.liu.se/courses/tsbk02/material/markovexample.pdf
https://www.icg.isy.liu.se/en/courses/tsbk08/markoveng.pdf