Fundamentos de Informtica I

Tema 3 La informacin y sus fuentes

La Informacin y Sus Fuentes

3.1 Definicin de Informacin

La cuestin a resolver es cmo calcular la cantidad de informacin que nos proporciona el conocimiento de un determinado suceso. Una manera acorde con nuestra experiencia de valorarla, es mediante el nivel de sorpresa, o lo que es lo mismo, mediante el grado de desconocimiento que se tenga a priori del suceso: (1).-Cuanto menos esperado sea mayor ser cantidad de informacin proporcionada. Que esta forma de plantear el problema es coherente con nuestra experiencia, es inmediato de ver: los sucesos que ms nos impresionan son aquellos inesperados, de hecho, la cualidad de noticia, por ejemplo, est inherentemente unida a la falta de normalidad del hecho sucedido. Retomando el razonamiento anterior, lo que se plantea ahora es como medir el grado de sorpresa de un determinado suceso. La respuesta, es este caso, es clara: por su probabilidad de aparicin. Ambos conceptos estn ntimamente ligados, de manera que: (2).-Cuanto ms probable sea un suceso, menor ser la sorpresa que cause su conocimiento. Uniendo lo indicado en los puntos (1) y (2), se puede concluir que la cantidad de informacin proporcionada por un suceso es funcin del inverso de su probabilidad: I(suceso) = f(1/P(suceso)) Slo queda por definir la forma que ha de tener esta funcin. Para ello. vamos a partir de algunas de las propiedades que, intuitivamente, debe cumplir: 1. Cuando la ocurrencia de un suceso sea segura: P(suceso)=1, la cantidad de informacin que nos proporciona ser nula: I(suceso) = 0 2. Sean S1 y S2 dos sucesos estadsticamente independientes. La probabilidad del suceso simultaneo ser: P(S1,S2)=P(S1) P(S2)
1

Fundamentos de Informtica I

Tema 3 La informacin y sus fuentes

Por el hecho de ser independientes, es lgico que la cantidad de informacin proporcionada por el conocimiento de ambos, sea la suma de la proporcionada por cada uno: I(S1,S2)=I(S1) + I(S2) 3. Por la definicin de informacin, se ha de cumplir que: si P(S1) > P(S2) I(S1) < I(S2) Se tiene, que la funcin logaritmo aplicada al inverso de la probabilidad, proporciona valores coherentes con estas condiciones, por lo que parece razonable establecer la siguiente definicin: Sea E un suceso que puede aparecer con probabilidad P(E). Cuando E tiene lugar, decimos que hemos recibido:

I(E) = lg

1 P(E)

unidades de informacin. La eleccin de la base del logaritmo equivale a elegir la unidad de medida de la informacin. Si la base escogida es 2, la unidad correspondiente se denomina bit (BInary uniT):

I(E) = lg 2

1 bits P(E)

Si se emplean logaritmos neperianos, la unidad recibe el nombre de nat (NAtural uniT)

I(E) = ln

1 nats P(E) 1 hartleys P(E) 1 unidades de orden r P(E)

En el caso de logaritmos de base 10, la unidad de informacin es Hartley:

I(E) = lg 10

En general, empleando una base genrica r:

I(E) = lg r

El cambio de unidades es inmediata, sin ms que aplicar la siguiente relacin:

lg a x =

lg b x lg b a
1 nat = 1.44 bits

A partir de esta relacin es fcil deducir que: 1 hartley = 3.32 bits

En el resto del tema, por defecto vamos a medir la informacin en bits, de manera que para aligerar notacin se va a suponer la base del logaritmo implcita, o sea, que donde debiera aparecer "lg2", vamos a usar tan solo "lg".
2

Fundamentos de Informtica I

Tema 3 La informacin y sus fuentes

Ejemplo 1 Supongamos que tenemos un suceso de probabilidad: P(E) = 1/2, entonces: I(E) = 1 bit Por lo tanto, un bit es la cantidad de informacin obtenida al especificar una de dos posibles alternativas igualmente probables --------------------------Ejemplo 2 Calculemos la cantidad de informacin obtenida cada vez que se realiza una lectura de la hora de un reloj, suponiendo que esta se hace en horas y minutos (hh:mm): El nmero de posibles lecturas ser: 24 horas * 60 minutos = 1440, por lo que la probabilidad de encontrarnos en un determinado instante de tiempo ser:

P(hh : mm) =

1 1440

En consecuencia, cada vez que miramos la hora estamos recibiendo:

I(hh : mm) = lg
---------------------------

1
1 1440

_ 10.5 bits de informaci n

La definicin de I(E) realizada, tiene otra interpretacin muy interesante: es la informacin mnima necesaria para poder asegurar la presencia de E. Ejemplo 3 Se tiene un libro de 256 pginas, que se abre por una al azar. El conocimiento de esa pgina nos proporciona la siguiente cantidad de informacin:

I(pag.) = lg

1 1 = lg 1 = 8 bits P(pag.) 128

Bajo la interpretacin anterior, podemos afirmar que sta ser la cantidad mnima de informacin necesaria que se nos debe proporcionar, para poder indicar el nmero de pgina por dnde se ha abierto el libro. Efectivamente, si planteamos preguntas de la forma: se encuentra en la primera mitad?, haran falta, como mnimo, 8 preguntas de este tipo para poder deducir la pgina. Como cada respuesta nos proporciona 1 bit de informacin, la cantidad de sta que se nos habr proporcionado hasta llegar al final ser de 8 bits. Se demuestra que cualquier otro mtodo, en el que tambin se proceda sistemticamente, conduce a un mayor nmero de pasos hasta hallar la respuesta. --------------------------Antes de continuar es necesario realizar la siguiente reflexin:
3

Fundamentos de Informtica I

Tema 3 La informacin y sus fuentes

La definicin de cantidad de informacin, tal y como se ha planteado, surge de una manera razonada. Sin embargo, no deja de ser una eleccin ms o menos aleatoria, cuya justificacin no reside en la validez de la definicin en s misma, sino en la estructura matemtica que a partir de ella se construye. La coherencia de sta, y, sobre todo, su aplicacin prctica, aportando soluciones tiles a los problemas planteados en el fenmeno de la comunicacin, ser lo que verdaderamente la justifique.

3.2 Fuente de Informacin de Memoria Nula

En la naturaleza, los sucesos no surgen de manera espontnea, sino que son generados por algn mecanismo. Resultar til, por lo tanto, plantear la descripcin matemtica de estos mecanismos. Definimos fuente de informacin discreta, como aquel sistema capaz de generar una secuencia de smbolos pertenecientes a un alfabeto S, finito y fijo: S = { s1, s2, ..., sq } Grficamente una fuente de informacin se puede representar de la siguiente manera:

Fuente

si sj ...

Los smbolos sern emitidos de acuerdo a una determinada ley de probabilidad. El caso ms sencillo se corresponde con un fuente que los emite estadsticamente independientes, o sea, en el proceso de generar un nuevo smbolo no existe ningn tipo de influencia de los anteriormente emitidos. A este tipo de fuentes de informacin se les denomina de memoria nula, y quedan perfectamente caracterizadas mediante su alfabeto S de smbolos y las probabilidades con que cada uno de estos aparece: P(s1), P(s2), ..., P(sq) Ejemplos de fuentes de memoria nula son: una moneda lanzada al aire, la ruleta de un casino, el lanzamiento de un dado, un libro que se va abriendo sucesivamente por pginas al azar, etc. Cada vez que la fuente genere un smbolo, estar proporcionando una determinada cantidad de informacin, que de acuerdo con la definicin hecha ser:

I( si ) = lg

1 bits P( si )

Medir la cantidad media de informacin proporcionada por la fuente es inmediato:

4

Fundamentos de Informtica I

Tema 3 La informacin y sus fuentes

H(S) = P( si ) I( si )
S

bits smbolo

Y sustituyendo I(si), queda:

H(S) = P( s i ) lg
S

1 P( si )

bits smbolo

Donde la S del sumatorio indica que este se extiende a todos los smbolos de la fuente. Esta magnitud recibe el nombre de entropa, H(S), de la fuente, y es uno de los parmetros fundamentales en el desarrollo de la teora de la informacin. Ejemplo 4 Sea la fuente surgida de la suma de las caras obtenidas al lanzar dos dados. Su alfabeto ser: S={2,3,4,5,6,7,8,9,10,11,12} Con las siguientes probabilidades de cada smbolo: P(2)=1/36 P(8)=5/36 P(3)=2/36 P(9)=4/36 P(4)=3/36 P(10)=3/36 P(5)=4/36 P(11)=2/36 P(6)=5/36 P(7)=6/36 P(12)=1/36

La entropa de esta fuente ser:

H(S) = P(2) lg

1 1 1 1 + P(3) lg + P(4) lg + ... + P(12) lg = P(2) P(3) P(4) P(12) 1 1 2 1 3 1 1 1 = lg 1 + lg 2 + lg 3 + ... + lg 1 _ 3.27 bits mbolo s 36 36 36 36 36 36 36 36

--------------------------Otra forma interesante, y muy til en lo sucesivo, de interpretar la entropa, es como medida de la incertidumbre del observador ante la salida de la fuente. En cierto modo, valora el desorden interno de la fuente. Ejemplo 5 Sean dos fuentes, A y B, ambas con el mismo alfabeto: {s1,s2,s3}, diferencindose en las probabilidades de sus smbolos: Fuente A.- P(s1)=1/3 P(s2)=1/3 P(s3)=1/3 Fuente B.- P(s1)=9/10 P(s2)=1/20 P(s3)=1/20 Es fcil darse cuenta como la incertidumbre frente a la salida es mayor en la fuente A que en la B. Dicho de otra forma: puestos a intentar adivinar el smbolo que emitir la fuente, en la A fallaramos, como media, uno de cada tres, mientras que en la B, bastara con que continuamente dijramos que generar el s1 para que el acierto suba a 9 de cada 10 intentos. Veamos que esto se traduce a sus entropas de acuerdo a la interpretacin anterior:
5

Fundamentos de Informtica I

Tema 3 La informacin y sus fuentes

H(A) = 1.58 bits/smbolo

H(B) = 0.57 bits/smbolo

Como se puede comprobar, efectivamente, la entropa de A es mayor que la de B. ---------------------------

3.3 Propiedades de la Entropa

De las mltiples propiedades de la entropa, slo nos interesa analizar sus valores lmite. Sea S una fuente de memoria nula, su entropa siempre estar comprendida entre: 0 H(s) lg q Donde q es el nmero de smbolos de la fuente. Demostremos de forma razonada ambos valores extremos. a) 0 H(S) El valor mnimo se tendr cuando el conocimiento del smbolo generado por la fuente no nos proporcione ninguna informacin; dicho de otra manera, no existe incertidumbre alguna ante la salida de la fuente. Es fcil darse cuenta que esto ocurrir cuando la probabilidad de algn smbolo de la fuente sea 1, y, por lo tanto, la del resto 0: si / P(si)=1 P(sj)=0 j i Si sustituimos en la expresin de la entropa, y teniendo en cuenta que:

lg 1 = 0 1 1 lim x lg = 0 O sea, podemos considerar que : 0 lg = 0 x 0 x 0

Se obtiene, tal y como se buscaba: H(S) = 0 b) H(S) lg q Para su demostracin utilizaremos la siguiente propiedad de los logaritmos neperianos: ln x x-1 (1)

Sean x1,x2,...,xq e y1,y2,...,yq dos distribuciones de probabilidad sobre el alfabeto S={s1,s2, ... ,sq}. Han de cumplir:
q q

xi 0 e yj 0

i,j

y
6

xi = y j = 1
i =1 j =1

Fundamentos de Informtica I

Tema 3 La informacin y sus fuentes

Haciendo uso de la relacin entre logaritmos de distintas bases, podemos escribir:

q

xk lg
k =1 q

yk xk

y 1 q xk ln xkk ln 2 k =1 y 1 q 1 xk ( xkk - 1) = ln 2 ( ln 2 k =1
q q q

Expresin a la que aplicando la relacin (1) queda:

xk lg
k =1 q

yk xk

y k - xk ) = 0
k =1 k =1

Obteniendo, entonces:

xk lg
k =1

1 xk

x k lg
k =1

1 yk

(2)

Donde la igualdad se dar cuando xk = yk para todo k. Supongamos que definimos el conjunto de probabilidades yk de la siguiente manera:

yk =

1 q

k = 1,2,..., q

Es decir, todos los smbolos del alfabeto S son equiprobables. Sustituyendo en la expresin (2):
q

x
k =1

lg

1 xk

lg q

Donde el termino de la izquierda es la entropa de una fuente con un alfabeto S y una distribucin de probabilidades cualquiera. Queda, entonces, como buscbamos:

H(S) lg q
Por lo tanto, el valor mximo que puede tener la entropa de una fuente de q smbolos es lg q, y slo se dar cuando stos sean equiprobables. A este mismo resultado se podra haber llegado de manera intuitiva, sin ms que aplicar la definicin de entropa: sta mide la incertidumbre ante el smbolo generado por la fuente, o lo que es lo mismo, la posibilidad de poderle adivinar. Pues bien, sta ser mnima (incertidumbre mxima) cuando ningn smbolo sea ms probable que otro, es decir:

P( si ) =

1 q

si S

Que sustituyendo en la expresin de la entropa queda:

H(S) = lg q

Fundamentos de Informtica I

Tema 3 La informacin y sus fuentes

Ejemplo 6 Un caso especialmente interesante para nosotros, es el de la fuente de informacin de memoria nula binaria. Su alfabeto se reduce a dos smbolos, que representamos como 0 y 1, y que se denominan dgitos binarios: S={0,1}. Si identificamos como w a la probabilidad del 0: P(0)=w, entonces tendremos que P(1)=1-w. Sustituyendo en la expresin de la entropa, queda:

H(S) = w lg

1 1 + (1 - w) lg w 1- w
1.0

bits smbolo

H(w)
0.5 0 0 0.5

w 1.0

Vemos que es una funcin de w, cuya representacin grfica es Se puede observar como los valores de la entropa reflejan lo expuesto en este apartado: estn siempre comprendidos entre 0 y 1 bit/smbolo, valor mximo que se obtendr cuando w=1/2. ---------------------------

3.4 Extensin de una Fuente de Memoria Nula

En el tratamiento y transmisin de la informacin es frecuente la actuacin sobre combinaciones de smbolos de una fuente, en vez de sobre smbolos aislados. As por ejemplo, en nuestro modo habitual de comunicacin agrupamos las letras para formar palabras. De igual forma, como veremos, la informacin es representada en el ordenador mediante combinaciones de dgitos binarios. Es, por lo tanto, de utilidad ampliar el estudio anterior a grupos de smbolos. Podemos abordar esta situacin mediante la definicin de fuente extendida: Sea S una fuente de informacin de memoria nula, con un alfabeto: {s1,s2,...,sq}. Sea Pi la probabilidad correspondiente al smbolo si. Se llama extensin de orden n de S, Sn, a una fuente de memoria nula de qn smbolos {1,2,...,qn}. Donde el smbolo i se corresponde con una secuencia determinada de n smbolos de la fuente S. La probabilidad de i, P(i), es precisamente la probabilidad de la secuencia correspondiente, es decir, si i representa la secuencia: (si1,si2,...,sin) con sijS, entonces: P(i)=Pi1Pi2...Pin, ya que la aparicin de cada smbolo es estadsticamente independiente.
8

Fundamentos de Informtica I

Tema 3 La informacin y sus fuentes

Ejemplo 7 Supongamos que tenemos una moneda trucada en la que la cara (c) sale el doble de veces que la cruz (x). Su lanzamiento se puede considerar como una fuente de memoria nula con la siguiente descripcin: S={c,x} P(c)=2/3 P(x)=1/3

Bajo estas circunstancias, el lanzamiento simultaneo de 2 monedas de estas se puede representar mediante una fuente, que ser la extensin de orden 2 de la anterior. Su alfabeto es: S2={cc,cx,xc,xx} Con las siguientes probabilidades de aparicin:

2 2 4 P(cc) = P(c) P(c) = = 3 3 9 1 2 2 P(xc) = P(x) P(c) = = 3 3 9

---------------------------

2 1 2 P(cx) = P(c) P(x) = = 3 3 9 1 1 1 P(xx) = P(x) P(x) = = 3 3 9

La entropa de la extensin de orden n de una fuente de memoria nula ser:

H( S n ) = P( i ) lg
Sn
n

1 P( i )

Donde con el smbolo S debajo del sumatorio est indicando que la suma se extiende a los qn smbolos de Sn. Se opera de esta manera para aligerar notacin, ya que si no habra que escribir n sumatorios. Puesto que cada smbolo de la extensin de orden n de la fuente de memoria nula S, est formado por n smbolos de sta, es razonable suponer que la entropa de Sn, ser n veces mayor que la de S. Demostremos que efectivamente as es. Sustituyamos en la expresin de H(Sn), la probabilidad P(i) del logaritmo por su valor:

H( S n ) = P( i ) lg
Sn

1 Pi1 Pi2 ... Pin 1 Pi1

= P( i ) lg
Sn

1 Pi1

+ P( i ) lg
Sn

1 Pi2

+ ...+ P( i ) lg
Sn

1 Pin

(3)

Como estos n sumandos son similares, cogemos uno cualquiera:

P(
Sn

) lg

= Pi1 Pi2 ... Pin lg

Sn

1 Pi1

Expandimos el sumatorio extendido a Sn, en todos sus componentes:

P( i ) lg
S
n

1 Pi1

= ... Pi1 Pi2 ... Pin lg

i1=1 i2=1 q in=1

1 Pi1

=
q

= Pi1 lg
i1=1

Pi1 i2=1

Pi2 ... Pin = Pi1 lg

in=1 i1=1

1 Pi1

= H(S)

Fundamentos de Informtica I

Tema 3 La informacin y sus fuentes

Aplicando este resultado a la ecuacin (3), obtenemos: H(Sn) = n H(S) Ejemplo 8 Calculemos la entropa de la fuente extendida del ejemplo anterior de las dos formas indicadas, para observar que efectivamente el resultado es el mismo:

H( S 2 ) = P(cc) lg

1 1 1 1 + P(cx) lg + P(xc) lg + P(xx) lg = P(cc) P(cx) P(xc) P(xx) 4 9 2 9 2 9 1 bits = lg + lg + lg + lg9 = 1.8 smbolo 9 4 9 2 9 2 9 1 1 2 3 1 H( S 2 ) = 2 H(S) = 2 ( P(c) lg + P(x) lg ) = 2 ( lg + lg3 ) = 1.8 P(c) P(x) 3 2 3

bits smbolo

---------------------------

3.5 Fuente de Informacin de Markov

Examinemos el siguiente caso: Sea una fuente capaz de generar lenguaje en castellano. sta emitir secuencias de letras bajo unas determinadas reglas sintcticas, que hacen que aparezcan situaciones como las siguientes: - Si la ltima letra generada es, por ejemplo, una m, la probabilidad de que la siguiente sea, pongamos por caso, una r es casi nula, mientras que la de una a es bastante mayor: la combinacin ma es, desde luego, mucho ms frecuente en castellano que la mr.

- Supongamos ahora que la letra generada es una a. En este caso, la probabilidad de que se emita a continuacin una r es mucho mayor que la de que se emita una a, que es casi nula (la combinacin aa en castellano es, cuando menos, muy rara). Se tiene, entonces, que la probabilidad de emitir un smbolo depende de el/los anteriormente generados. Es inmediato observar como el modelo de fuente de memoria nula, basado en la generacin de smbolos estadsticamente independientes, no es capaz de adaptarse a situaciones como la descrita, es un modelo muy limitado. Se hace, por lo tanto, necesaria la introduccin de un nuevo tipo de fuente de carcter ms general. Este nuevo tipo de fuente de informacin se la denomina de Markov, y se caracteriza porque la probabilidad de aparicin de un determinado smbolo si, depende de cuales hayan sido los m anteriormente emitidos, donde m es el orden de la fuente. Una fuente de este tipo viene descrita, entonces, por:
10

Fundamentos de Informtica I

Tema 3 La informacin y sus fuentes

Su alfabeto: S={s1,s2,...,sq} El conjunto de probabilidades condicionales: P(si / sj1,sj2,...,sjm) con i =1,2,...,q jp=1,2,...,q

Donde si ser el smbolo a generar, y sj1,sj2,...,sjm es la secuencia de los ltimos m smbolos generados, siendo sjm el ltimo de ellos, es decir, que si ira detrs de sjm. Ejemplo 9 Un ejemplo de fuente de Markov de segundo orden sera: S={0,1} P(1/00)=0.2 P(1/01)=0.5 P(1/10)=0.5 P(1/11)=0.8

P(0/00)=0.8 P(0/01)=0.5 P(0/10)=0.5 P(0/11)=0.2 ---------------------------

Cada posible combinacin de las m ltimas salidas, define un conjunto de probabilidades distinto sobre el siguiente smbolo a generar. Lo que tenemos, en definitiva, es que cada una de esas combinaciones define un estado diferente de la fuente, de manera que la emisin de un nuevo smbolo supone un cambio en dicho estado. Esto nos proporciona un mtodo grfico de describir una fuente de Markov: mediante su diagrama de estados. En l, se representa a cada estado por un crculo, y mediante flechas que los unen las transiciones entre ellos. A cada una de estas flechas se la asocia la salida de la fuente que produce la transicin y la probabilidad de ocurrencia de sta.

Ejemplo 10 El diagrama de estados de la fuente del ejemplo 9 sera:

0 / 0.8

00
0 / 0.5 0 / 0.5 1 / 0.2

10
1 / 0.5 0 / 0.2

01
1 / 0.5

11
1 / 0.8

--------------------------11

Fundamentos de Informtica I

Tema 3 La informacin y sus fuentes

En una fuente de Markov, despus de generarse un nmero suficiente de smbolos, se llega a una distribucin de probabilidades estacionaria para el conjuntos de estados de la fuente, siendo, adems, nica. Esto quiere decir, que los distintos estados irn apareciendo con una frecuencia que slo depende de la fuente. Puesto que la distribucin estacionaria no depende de la distribucin inicial con que los estados son escogidos, puede calcularse directamente a partir de las probabilidades condicionales de los smbolos.

Ejemplo 11 Se puede demostrar que la distribucin estacionaria de probabilidades de los estados de la fuente del ejemplo 9 es: P(00)=P(11)=5/14 --------------------------P(01)=P(10)=2/14

El clculo de las probabilidades de estado a partir de las condicionales es complejo y no se aborda. Lo que s va a resultar de inters, es establecer la relacin entre esas probabilidades, las condicionales y las del suceso simultaneo (probabilidad de estar en un estado y generar un determinado smbolo). Est relacin es: P(sj1,sj2,...,sjm,si)=P(sj1,sj2,...,sjm) P(si / sj1,sj2,...,sjm) (4) Al igual que hicimos con las fuentes de memoria nula, vamos a calcular la cantidad media de informacin suministrada por una fuente de Markov, o sea, su entropa. La cantidad de informacin proporcionada por un smbolo, sabemos que depende de su probabilidad de aparicin. En el caso de fuentes de Markov, sta est condicionada por los m ltimos smbolos emitidos, o dicho de otra manera, del estado de la fuente. Tendremos, por lo tanto, que: Si (sj1,sj2,...,sjm) es el estado y si el smbolo recibido, la cantidad de informacin obtenida es:

I( si / s j1 , s j2 ,..., s jm ) = lg

1 P( si / s j1 , s j2 ,..., s jm )

A partir de esto, es inmediato calcular la cantidad media de informacin por smbolo proporcionada, cuando nos encontramos en el estado (sj1,sj2,...,sjm):
q

H(S / s j1 , s j2 ,..., s jm ) = P( s i / s j1 , s j2 ,..., s jm ) lg

i=1

1 P( s i / s j1 , s j2 ,..., s jm )

Entonces, la cantidad media de informacin por smbolo, de una fuente de Markov de orden m, se obtendr calculando el valor promedio de la cantidad anterior, extendido a todos los qm posibles estados de la fuente:

12

Fundamentos de Informtica I

Tema 3 La informacin y sus fuentes

H(S) = P( s j1 , s j2 ,..., s jm ) H(S / s j1 , s j2 ,..., s jm )

Sm

Sustituyendo:
q

H(S) = P( s j1 , s j2 ,..., s jm ) P( si / s j1 , s j2 ,..., s jm ) lg

Sm q i=1

1 P( si / s j1 , s j2 ,..., s jm ) 1 P( si / s j1 , s j2 ,..., s jm )

= P( s j1 , s j2 ,..., s jm ) P( s i / s j1 , s j2 ,..., s jm ) lg
S m i=1

Que aligerando notacin y utilizando la relacin (4), queda:

H(S) = P( s j1 , s j2 ,..., s jm , si ) lg
S m+1

1 P( si / s j1 , s j2 ,..., s jm )

Ntese que si m=0, la expresin anterior es igual a la de la entropa de una fuente de memoria nula, por lo que es fcil deducir que sta es un caso particular de fuente de Markov, en concreto la de orden 0. Ejemplo 12 Calculemos la entropa de la fuente del ejemplo 9. Vamos a empezar por la asociada a cada estado:

H(S/00) = P(0/00) lg

1 1 1 1 + P(1/00) lg = 0.8 lg + 0.2 lg _ 0.72 P(0/00) P(1/00) 0.8 0.2 1 1 1 1 + P(1/01) lg = 0.5 lg + 0.5 lg =1 P(0/01) P(1/01) 0.5 0.5 1 1 1 1 + P(1/10) lg = 0.5 lg + 0.5 lg =1 P(0/10) P(1/10) 0.5 0.5
bits s

bits s

mbolo

H(S/01) = P(0/01) lg

mbolo

H(S/10) = P(0/10) lg

bits s

mbolo

H(S/11) = P(0/11) lg

1 1 1 1 + P(1/11) lg = 0.2 lg + 0.8 lg _ 0.72 P(0/11) P(1/11) 0.2 0.8

bits s

mbolo

Por lo que la entropa de la fuente ser:

H(S) = P(00) H(S/00) + P(01) H(S/01) + P(10) H(S/10) + P(11) H(S/11) = 5 2 2 5 bits = 0.72 + 1 + 1 + 0,72 _ 0.8 smbolo 14 14 14 14
---------------------------

13

Fundamentos de Informtica I

Tema 3 La informacin y sus fuentes

3.6 Estructura del Lenguaje

Dado el tratamiento eminentemente terico llevado hasta ahora, resulta de inters realizar una aproximacin a la aplicacin de lo expuesto al estudio de algn fenmeno real. Concretamente, vamos a intentar mostrar en este apartado su utilizacin en el modelado del proceso fsico de generacin del lenguaje. Para poder extraer alguna conclusin, vamos presentar dos casos: - Idioma ingls. - Idioma castellano.

Ingls En una primera aproximacin se puede abordar el problema mediante la utilizacin de una fuente de memoria nula. Suponemos un alfabeto formado por 27 smbolos: las 26 letras del abecedario, ms el espacio. Realizando un estudio de sus probabilidades de aparicin, Reza en 1961 lleg a los siguientes resultados:

Smbolo Espacio a b c d e f g h

Probabilidad 0.1859 0.0642 0.0127 0.0218 0.0317 0.1031 0.0208 0.0152 0.0467

Smbolo i j k l m n o p q

Probabilidad 0.0575 0.0008 0.0049 0.0321 0.0198 0.0574 0.0632 0.0152 0.0008

Smbolo r s t u v w x y z

Probabilidad 0.0484 0.0514 0.0796 0.0228 0.0083 0.0175 0.0013 0.0164 0.0005

La primera conclusin que se puede extraer, es que la entropa del ingls, modelando su generacin como una fuente de memoria nula es de 4.03 bits/smbolo. Supongamos que ponemos una fuente con las caractersticas descritas a emitir smbolos, una secuencia tpica de sera (el espacio se representa por "_"): ai_ngae__itf_nnr_asaev_oie_baintha_hyroo_poer_setrygaietrwco__egdua ru_eu_c_ft_nsrem_diy_eese_ f_o_sris_p__unnashor
14

Fundamentos de Informtica I

Tema 3 La informacin y sus fuentes

Desde luego, dista mucho de parecer ingls, sin embargo, s presenta una estructura aproximada, en cuanto a longitud de palabras, y proporcin entre vocales y consonantes. Abordemos el estudio de manera ms realista, y vayamos a por una segunda aproximacin utilizando una fuente de Markov de primer orden, para intentar mejorar los resultados. Con un procedimiento ideado por Shannon para simular la salida de una fuente de este tipo, se ha generado una secuencia como la siguiente: urtesthething_ad_e_at_foule_ithaliort_wact_d_ste_mintsan_olins_twid_o uly_te_thighe_co_ys_th_hr_upavide_pad_ctaved Esta segunda aproximacin ya deja trascender un regusto a ingls: sin ser una buena aproximacin, puesto a identificarla con alguna lengua, es ms lgica la asignacin al ingls que a cualquier otra, por ejemplo castellano o francs. La tercera aproximacin es inmediata: mediante fuente de Markov de segundo orden. Ampliando el mtodo seguido en la segunda aproximacin, se obtuvo la siguiente salida simulada de una fuente de esas caractersticas: ianks_can_ou_ang_rler_thatted_of_to_shor_of_to_havemen_a_i_mand_a nd_but_whissitable_thervereer_eights_taskillis_ta Su asociacin a la lengua inglesa es evidente, incluso se ha logrado obtener algunas palabras existentes en sta. Seguir ampliando el procedimiento anterior a ordenes mayores de 2 es prcticamente imposible. Es su lugar Shannon utiliz otro enfoque: que la fuente generara palabras. Utilizando para sta una de memoria nula, obtuvo la siguiente aproximacin: representing and speedily is an good apt or come can different natural here he the a in came the to of to expert gray come to furnishes the line message had be these Si bajo el mismo enfoque, se emplea ahora una fuente de Markov de primer orden, los resultados empiezan a ser ms que aceptables. As, Shannon obtuvo la siguiente salida: the head and in frontal attack on an english writer that the character of this point is therefore another method for the letters that the time of who ever told the problem for an unexpected En palabras de Abramson, esta secuencia se aproxima al discurso incoherente emitido por un interlocutor que estuviera muy excitado.

Castellano Siguiendo la misma dinmica que la presentada en el caso del ingls, se obtienen los siguientes resultados: a) Primera aproximacin (fuente de memoria nula).
15

Fundamentos de Informtica I

Tema 3 La informacin y sus fuentes

uoalnao_nel_d_nis_etr_tegatueoec_s_asu_du_zelnntsscasosed_t_i_r_eis_tam mo_tii_uoedeo_uei_eoseela_nmslaantec Las probabilidades de aparicin de los smbolos en castellano, segn experimentos realizados por los profesores de la asignatura de Fundamentos de Informtica, sobre un texto de 286956 caracteres, son las siguientes:

Smbolo Espacio a b c d e f g h

Probabilidad 0.18885 0.00377 0.09915 0.01393 0.03109 0.03666 0.00506 0.10484 0.00519 0.00850 0.00889

Smbolo i j k l m n o p

Probabilidad 0.00907 0.04376 0.00461 0.00067 0.03723 0.02754 0.05633 0.00123 0.00580 0.07424 0.02154

Smbolo q r s t u v w x y z

Probabilidad 0.01043 0.05325 0.05639 0.03480 0.00106 0.03470 0.00800 0.00007 0.00126 0.00897 0.00311

La entropa de esta fuentes es: H(S) _ 4.133 bits/smbolo b) Segunda aproximacin (fuente de Markov de primer orden). cindeuneco_pe_cal_pros_e_las_labitejas_te_ontomecitrodresio_pay_spusel_la _s_utajaretes_olondamive_esa_s_clus_ c) Tercera aproximacin (fuente de Markov de segundo orden). rama_de_lla_el_guia_imo_sus_condias_su_e_uncondado_dea_mare_to_buer bali_a_nue_y_herarsin_de_se_sus_suparoceda Los comentarios anteriormente realizados ante cada aproximacin, siguen siendo igualmente vlidos para este caso.

Como conclusin final, se puede decir que es un estmulo comprobar como se puede simular una fuente de informacin tan compleja como es un individuo hablando, mediante unos sencillos modelos consistentes en fuentes de Markov. Aunque los resultados no
16

Fundamentos de Informtica I

Tema 3 La informacin y sus fuentes

sean totalmente aceptables, s que nos permiten extraer de forma bastante aproximada determinadas caractersticas del lenguaje, como su entropa.

3.7 Resumen
En este tema se han fijado una serie de conceptos que sern bsicos en el posterior desarrollo y aplicacin de la teora de la informacin a los problemas de la codificacin y la transmisin. As, se ha partido de la definicin de cantidad de informacin de un suceso, para aplicada al estudio de la fuentes que los generan, obtener uno de los parmetros fundamentales, y de continua referencia a partir de ahora: la entropa. Como se ve en los siguientes temas, este parmetro nos permitir valorar, tanto la eficiencia de un cdigo, como la "calidad"1 de un medio de transmisin. En cuanto al estudio de las fuentes de informacin, e ha realizado en orden creciente de complejidad conceptual, empezando por aquellas en las que la generacin de los smbolos es estadsticamente independiente: fuentes de memoria nula, ampliando este estudio al caso en que los smbolos de stas sean generados en grupos: fuente extendida, y acabando por las de Markov, en las que la aparicin de un smbolo depende de los n anteriormente emitidos. En todos los casos quedan perfectamente descritas mediante su alfabeto de smbolos, y el conjunto de probabilidades de generacin de estos correspondiente. Por ltimo, se ha acabado con una muestra de aplicacin de lo estudiado al estudio de un caso real. Concretamente, hemos realizado un aproximacin al estudio de la estructura del lenguaje.

Bibliografa
Abramson, N., Teora de la Informacin y la Codificacin, Paraninfo. 1986. Cuevas, G., Teora de la Informacin y la Codificacin, UPM 1981. Hyvrinen, L., Information Theory for Systems Engineers, Springer-Verlag. 1968. Haykin, Simon, Communication Systems, Wiley. 1994 Roman, S., Coding and Information Theory, Springer-Verlag. 1992.

Entendemos aqu por calidad, su capacidad de transmitir un mensaje sin errores.

17