Tema 4:

Cadenas de Markov
Ezequiel Lpez Rubio
Departamento de Lenguajes y
Ciencias de la Computacin
Universidad de Mlaga
Sumario

Procesos estocsticos
Concepto de cadena de Markov
Ecuaciones de Chapman-Kolmogorov
Clasificacin de estados
Cadenas absorbentes
Distribucin estacionaria
Procesos
estocsticos
Procesos estocsticos
Un sistema informtico complejo se
caracteriza por demandas de carcter
aleatorio y por ser dinmico
Necesitamos una herramienta que modele
procesos aleatorios en el tiempo, y para ello
usaremos los procesos estocsticos
Un proceso estocstico es una familia de
variables aleatorias parametrizadas por el
tiempo
Procesos estocsticos
Un proceso estocstico es una familia de
variables aleatorias definida sobre un
espacio de probabilidad. Es decir:

{ } T t X
t
e 9 O , :
( ) ( ) t X X
t
, e e e =
Procesos estocsticos
Tendremos que X es una funcin de dos
argumentos. Fijado e=e
0
, obtenemos
una funcin determinista (no aleatoria):
( ) 9 T X : ,
0
e
( )
0
,e t X t
Procesos estocsticos
Asimismo, fijado t=t
0
, obtenemos una de
las variables aleatorias de la familia:
( ) 9 O : ,
0
t X
( ) e e ,
0
t X
Procesos estocsticos
El espacio de estados S de un proceso
estocstico es el conjunto de todos los
posibles valores que puede tomar dicho
proceso:
( ) { } O e . e = e e T t X S
t
|
Ejemplo de proceso
estocstico
Lanzamos una moneda al aire 6 veces. El
jugador gana 1 cada vez que sale cara (C),
y pierde 1 cada vez que sale cruz (F).
X
i
= estado de cuentas del jugador despus
de la i-sima jugada
La familia de variables aleatorias {X
1
, X
2
,,
X
6
} constituye un proceso estocstico

Ejemplo de proceso
estocstico
O={CCCCCC,CCCCCF,}
card(O) = 2
6
= 64
P(e)=1/64 eeO
T={1, 2, 3, 4, 5, 6}
S={6, 5, , 1, 0, 1, 2, , 5, 6}
X
1
(O)={1, 1}
X
2
(O)={2, 0, 2}
Ejemplo de proceso
estocstico
Si fijo , por ejemplo e
0
=CCFFFC, obtengo
una secuencia de valores completamente
determinista:
X
1
(e
0
)=1, X
2
(e
0
)=2, X
3
(e
0
)=1, X
4
(e
0
)=0,
X
5
(e
0
)= 1, X
6
(e
0
)=0
Puedo dibujar con estos valores la trayectoria
del proceso:

Ejemplo de proceso
estocstico
-2
-1
0
1
2
3
1 2 3 4 5 6
Instante de tiempo, t
V
a
l
o
r

d
e
l

p
r
o
c
e
s
o
Ejemplo de proceso
estocstico
Si fijo t, por ejemplo t
0
=3, obtengo una de las
variables aleatorias del proceso:
9 O :
3
X
( ) e e
3
X
Los posibles valores que puede tomar el
proceso en t
0
=3 son: X
3
(O)={3, 1, 1, 3}
Ejemplo de proceso
estocstico
Podemos hallar la probabilidad de que el
proceso tome uno de estos valores:
| | | | | | | |
8
3
2
1
2
1
2
1
3 FCC P CCF P CFC P 1 ) ( X P
3
= = + + = = e
| | | |
8
1
2
1
2
1
2
1
CCC P 3 ) ( X P
3
= = = = e
| | | | | | | |
8
3
2
1
2
1
2
1
3 CFF P FFC P FCF P 1 ) ( X P
3
= = + + = = e
| | | |
8
1
2
1
2
1
2
1
FFF P 3 ) ( X P
3
= = = = e
Clasificacin de los procesos
estocsticos
S discreto S continuo
T discreto Cadena
Sucesin de
variables
aleatorias
continuas
T continuo Proceso puntual Proceso continuo
Ejemplos de los tipos de
procesos estocsticos
Cadena: Ejemplo anterior
Sucesin de variables aleatorias continuas:
cantidad de lluvia cada cada mes
Proceso puntual: Nmero de clientes
esperando en la cola de un supermercado
Proceso continuo: velocidad del viento
Funciones asociadas a los
procesos estocsticos
Funcin de distribucin de primer orden:
| | 1 , 0 :
2
9 F
( ) ( ) ( ) | | x t X P t x F t x s = e , , ,
( )
( )
x
t x F
t x f
c
c
=
,
,
Funcin de densidad de primer orden:
Funciones asociadas a los
procesos estocsticos
Funcin de distribucin de 2 orden:
| | 1 , 0 :
4
9 F
( ) ( ) ( ) ( ) ( ) ( ) | |
2 2 1 1 2 1 2 1 2 1 2 1
, , , , , , , , x t X x t X P t t x x F t t x x s . s = e e
( )
( )
2 1
2 1 2 1
2
2 1 2 1
, , ,
, , ,
x x
t t x x F
t t x x f
c c
c
=
Funcin de densidad de 2 orden:
Funciones asociadas a los
procesos estocsticos
Funcin valor medio (es determinista):
9 T m:
| |
t
X E t
Funcin varianza (es determinista):
9 T :
2
o
( )
t
X t var
Concepto de
cadena de Markov
Cadenas de Markov
Las cadenas de Markov y los procesos de
Markov son un tipo especial de procesos
estocsticos que poseen la siguiente
propiedad:
Propiedad de Markov: Conocido el estado
del proceso en un momento dado, su
comportamiento futuro no depende del
pasado. Dicho de otro modo, dado el
presente, el futuro es independiente del
pasado
Cadenas de Markov
Slo estudiaremos las cadenas de Markov,
con lo cual tendremos espacios de estados S
discretos y conjuntos de instantes de tiempo T
tambin discretos, T={t
0
, t
1
, t
2
,}
Una cadena de Markov (CM) es una sucesin
de variables aleatorias X
i
, ieN, tal que:
(

=
=
(

=
+ +
t
t
t
t
X
j X
P
X X X
j X
P
1
1 0
1
,..., ,
que es la expresin algebraica de la propiedad
de Markov para T discreto.
Probabilidades de transicin
Las CM estn completamente caracterizadas
por las probabilidades de transicin en una
etapa,
T t S j i
i X
j X
P
t
t
e e
(

=
=
+
, , ,
1
Slo trabajaremos con CM homogneas en el
tiempo, que son aquellas en las que
ij
t
t
q
i X
j X
P T t S j i =
(

=
=
e e
+1
, ,
donde q
ij
se llama probabilidad de transicin en
una etapa desde el estado i hasta el estado j
Matriz de transicin
Los q
ij
se agrupan en la denominada
matriz de transicin de la CM:
( )
S j i
ij
q
q q q
q q q
q q q
Q
e
=
|
|
|
|
|
.
|

\
|
=
,
22 21 20
12 11 10
02 01 00
... ... ... ...
...
...
...
Propiedades de la matriz de
transicin
Por ser los q
ij
probabilidades,
| | 1 , 0 , , e e
ij
q S j i
Por ser 1 la probabilidad del suceso seguro,
cada fila ha de sumar 1, es decir,
1 , = e

eS j
ij
q S i
Una matriz que cumpla estas dos propiedades
se llama matriz estocstica
Diagrama de transicin de
estados
El diagrama de transicin de estados (DTE)
de una CM es un grafo dirigido cuyos nodos
son los estados de la CM y cuyos arcos se
etiquetan con la probabilidad de transicin
entre los estados que unen. Si dicha
probabilidad es nula, no se pone arco.
i j
q
ij

Ejemplo: lnea telefnica
Sea una lnea telefnica de estados
ocupado=1 y desocupado=0. Si en el
instante t est ocupada, en el instante t+1
estar ocupada con probabilidad 0,7 y
desocupada con probabilidad 0,3. Si en el
instante t est desocupada, en el t+1 estar
ocupada con probabilidad 0,1 y desocupada
con probabilidad 0,9.
Ejemplo: lnea telefnica
|
|
.
|

\
|
=
7 , 0 3 , 0
1 , 0 9 , 0
Q
0 1
0,9
0,1
0,3
0,7
Ejemplo: buffer de E/S
Supongamos que un buffer de E/S tiene espacio
para M paquetes. En cualquier instante de tiempo
podemos insertar un paquete en el buffer con
probabilidad o o bien el buffer puede vaciarse con
probabilidad |. Si ambos casos se dan en el mismo
instante, primero se inserta y luego se vaca.
Sea X
t
=n de paquetes en el buffer en el instante t.
Suponiendo que las inserciones y vaciados son
independientes entre s e independientes de la
historia pasada, { X
t
} es una CM, donde S={0, 1, 2,
, M}
Ejemplo: buffer de E/S
0 1 2 3
o(1|) o(1|) o(1|)
1o|+o| 1o|+o| 1o|+o|
| | |

1o(1|)

M

1|
o(1|)
|
Ejemplo: Lanzamiento de un
dado
Se lanza un dado repetidas veces. Cada vez
que sale menor que 5 se pierde 1 , y cada
vez que sale 5 6 se gana 1 . El juego
acaba cuando se tienen 0 100 .
Sea X
t
=estado de cuentas en el instante t.
Tenemos que { X
t
} es una CM
S={0, 1, 2, , 100}

Ejemplo: Lanzamiento de un
dado
0 1 2 3
2/3

1
4 5

2/3 2/3 2/3 2/3 2/3
1/3 1/3 1/3 1/3
>100 99 98 97
1
2/3 2/3
1/3 1/3
2/3
1/3
1/3
1/3



Ejemplo: organismos
unicelulares
Se tiene una poblacin de organismos
unicelulares que evoluciona as: cada
organismo se duplica con probabilidad 1p o
muere con probabilidad p. Sea X
n
el n de
organismos en el instante n. La CM { X
n
}
tendr S = { 0, 1, 2, 3, } = N
Si hay i organismos en el instante n, en el
instante n+1 tendremos k organismos que se
dupliquen e ik que mueran, con lo que
habr 2k organismos.
Ejemplo: organismos
unicelulares
Mediante la distribucin binomial podemos
hallar las probabilidades de transicin q
i,2k

(el resto de probabilidades son nulas):
{ } ( )
k i
k
k i
p p
k
i
q i k

|
|
.
|

\
|
= e 1 , ,..., 2 , 1 , 0
2 ,
Ecuaciones de
Chapman-Kolmogorov
Ecuaciones de Chapman-
Kolmogorov
Teorema: Las probabilidades de
transicin en n etapas vienen dadas por
la matriz Q
n
:
) (
, ,
n
ij
t
n t
q
i X
j X
P S j i =
(

=
=
e
+
Demostracin: Por induccin sobre n
Caso base (n=1). Se sigue de la definicin
de q
ij

Ecuaciones de Chapman-
Kolmogorov
Hiptesis de induccin. Para cierto n, suponemos
cierta la conclusin del teorema.
Paso inductivo (n+1). Para cualesquiera i,jeS,
( ) ( )
=
(

=
= . =
=
(

=
=

e
+ + + + +
S k
t
n t n t
t
n t
i X
j X k X
P
i X
j X
P
1 1
{ }= =
(

=
=
(

=
=
=

e
+
+ + +
. .
1
I H
k X
j X
P
i X
k X
P
S k
n t
n t
t
n t
( ) ( ) ( ) 1
1
+
e e
+
+ +
= =
(

=
=
=

n
ij
S k
kj
n
ik
S k
n t
n t
n
ik
q q q
k X
j X
P q
Ecuaciones de Chapman-
Kolmogorov
Por este teorema sabemos que la
probabilidad de transitar de i hasta j en n
pasos es el elemento (i,j) de Q
n
. Para evitar
computaciones de potencias elevadas de
matrices, se intenta averiguar el
comportamiento del sistema en el lmite
cuando n, llamado tambin
comportamiento a largo plazo
A continuacin estudiaremos esta cuestin
Clasificacin
de estados
Clasificacin de estados
Probabilidad de alcanzar un estado:
(

=
> =
= e
i X
n j X
P S j i
n
ij
0
0 algn para
, , v
Diremos que un estado jeS es alcanzable
desde el estado ieS sii v
ij
=0. Esto significa que
existe una sucesin de arcos (camino) en el
DTE que van desde i hasta j.
Un estado jeS es absorbente sii q
jj
=1. En el
DTE,

j
1
Subconjuntos cerrados
Sea C_S, con C=C. Diremos que C es
cerrado sii ieC jeC, j no es alcanzable
desde i, o lo que es lo mismo, v
ij
=0. En
particular, si C={i}, entonces i es absorbente.
S siempre es cerrado.
Un subconjunto cerrado C_S se dice que es
irreducible sii no contiene ningn subconjunto
propio cerrado
Estados recurrentes y
transitorios
Si S es irreducible, se dice que la CM es
irreducible. En el DTE, esto ocurre sii dados
i,j cualesquiera, j es alcanzable desde i
Diremos que un estado jeS es recurrente sii
v
jj
=1. En otro caso diremos que j es
transitorio. Se demuestra que una CM slo
puede pasar por un estado transitorio como
mximo una cantidad finita de veces. En
cambio, si visitamos un estado recurrente,
entonces lo visitaremos infinitas veces.
Estados recurrentes y
transitorios
Proposicin: Sea C_S cerrado, irreducible y finito.
Entonces ieC, i es recurrente
Ejemplos: La CM de la lnea telefnica es
irreducible. Como adems es finita, todos los
estados sern recurrentes. Lo mismo ocurre con el
ejemplo del buffer
Ejemplo: En el lanzamiento del dado, tenemos los
subconjuntos cerrados {0}, {>100}, con lo que la CM
no es irreducible. Los estados 0 y >100 son
absorbentes, y el resto son transitorios
Estados recurrentes y
transitorios
Proposicin: Sea ieS recurrente, y sea jeS un
estado alcanzable desde i. Entonces j es recurrente.
Demostracin: Por reduccin al absurdo,
supongamos que j es transitorio. En tal caso, existe
un camino A que sale de j y nunca ms vuelve. Por
ser j alcanzable desde i, existe un camino B que va
desde i hasta j. Concatenando el camino B con el A,
obtengo el camino BA que sale de i y nunca ms
vuelve. Entonces i es transitorio, lo cual es absurdo
porque contradice una hiptesis.
Cadenas recurrentes y
transitorias
Proposicin: Sea X una CM irreducible.
Entonces, o bien todos sus estados son
recurrentes (y decimos que X es
recurrente), o bien todos sus estados
son transitorios (y decimos que X es
transitoria).
Ejemplo: Estado de cuentas con un to
rico (fortunes with the rich uncle).
Probabilidad p de ganar 1 y 1p de
perder 1 . Cuando me arruino, mi to
me presta dinero para la prxima tirada:
Cadenas recurrentes y
transitorias
0 1
p
2
1p
3


p p p
1p 1p 1p 1p
p
n+1
1p
p p
1p
1p
n




Cadenas recurrentes y
transitorias
Esta cadena es irreducible e infinita. Se
demuestra que es transitoria sii p>0,5 y
recurrente en otro caso (ps0,5)
La cadena es transitoria cuando la tendencia
global es ir ganando dinero. Esto implica
que una vez visitado un estado, al final
dejaremos de visitarlo porque tendremos
ms dinero.
Periodicidad
Sea jeS tal que v
jj
>0. Sea
( )
} 0 | } 0 { { > e =
n
jj
q n mcd k N
Si k>1, entonces diremos que j es peridico
de periodo k. El estado j ser peridico de
periodo k>1 sii existen caminos que llevan
desde j hasta j pero todos tienen longitud
mk, con m>0
Periodicidad
Ejemplo: En la siguiente CM todos los estados
son peridicos de periodo k=2:


Ejemplo: En la siguiente CM todos los estados son
peridicos de periodo k=3:
Periodicidad
Proposicin: Sea X una CM irreducible.
Entonces, o bien todos los estados son
peridicos de periodo k (y decimos que X es
peridica de periodo k), o bien ningn estado
es peridico (y decimos que X es aperidica)
En toda CM peridica de periodo k, existe
una particin H de S, H={A
1
, A
2
, , A
k
}, de
tal manera que todas las transiciones van
desde A
i
hasta A
(i mod k)+1

Periodicidad
Ejemplo de CM peridica de periodo k=3:
A
1

A
2

A
3

Cadenas ergdicas
Sea X una CM finita. Diremos que X es ergdica
sii es irreducible, recurrente y aperidica
Ejemplo: Analizar la siguiente CM, con S={a, b,
c, d, e}:

|
|
|
|
|
|
.
|

\
|
=
3
1
3
1
3
1
4
1
2
1
4
1
3
2
3
1
4
3
4
1
2
1
2
1
0 0
0 0
0 0 0
0 0 0
0 0 0
Q
Ejemplos
1 Dibujar el DTE:
d
b c
e
a
1/4
1/4
3/4 1/2
1/4
1/2
1/2
1/3
1/3
1/3
2/3
1/3
Ejemplos
2 Hallar los conjuntos cerrados
Tomado un estado i, construimos un conjunto
cerrado C
i
con todos los alcanzables desde l en
una o ms etapas (el propio i tambin se pone):
C
a
={a, c, e}=C
c
=C
e

C
b
={b, d, a, c, e}=C
d
=S
La CM no ser irreducible, ya que C
a
es un
subconjunto propio cerrado de S
Ejemplos
3 Clasificar los estados
Recurrentes: a, c, e
Transitorios: b, d
Peridicos: ninguno
Absorbentes: ninguno
4 Reorganizar Q. Dada una CM finita, siempre
podemos agrupar los estados recurrentes por un lado y
los transitorios por otro, y hacer:
|
|
|
|
.
|

\
|
=
os transitori
s entre Movimiento
tes a recurren
ansitorios Paso de tr
s recurrente
s entre Movimiento
Q
0
Ejemplos
En nuestro caso, la nueva ordenacin de S es
S={a, c, e, b, d}, con lo que obtenemos:
|
|
|
|
|
|
.
|

\
|
=
4
1
2
1
4
1
4
3
4
1
3
1
3
1
3
1
3
2
3
1
2
1
2
1
0 0
0 0 0
0 0
0 0 0
0 0 0
Q
5 Clasificar la cadena. No es irreducible, con
lo cual no ser peridica, ni aperidica, ni
recurrente, ni transitoria ni ergdica.
Ejemplos
Ejemplo: Analizar la siguiente CM, con
S={a, b, c, d, e, f, g}:
|
|
|
|
|
|
|
|
|
.
|

\
|
=
1 0 0 0 0 0 0
0 3 , 0 0 7 , 0 0 0 0
0 0 0 0 1 0 0
0 1 0 0 0 0 0
0 0 2 , 0 0 0 0 8 , 0
0 4 , 0 4 , 0 0 0 2 , 0 0
0 0 0 0 1 0 0
Q
Ejemplos
1 Dibujar el DTE:
a
e
c
b
f
d
g
1
0,8
1
0,2
0,4
0,2
0,4
0,7
0,3
1
1
2 Hallar los conjuntos cerrados
C
a
={a, c, e}=C
c
=C
e

C
f
={f, d}=C
d

C
g
={g}
S
3 Clasificar los estados
Recurrentes: a, c, d, e, f, g
Transitorios: b
Peridicos: a, c, e (todos de periodo 2)
Absorbentes: g
Ejemplos
4 Reorganizar Q. Cuando hay varios conjuntos
cerrados e irreducibles de estados recurrentes
(por ejemplo, n conjuntos), ponemos juntos los
estados del mismo conjunto:
|
|
|
|
|
|
|
|
.
|

\
|
=
Z Z Z Z Z
P
P
P
P
Q
n
n
3 2 1
3
2
1
0 ... 0 0 0
... ... ... ... ... ...
0 0 ... 0 0
0 0 ... 0 0
0 0 ... 0 0
Ejemplos
En nuestro caso, reordenamos S={a, c, e, d, f, g,
b} y obtenemos:
|
|
|
|
|
|
|
|
|
.
|

\
|
=
2 , 0 0 4 , 0 0 4 , 0 0 0
0 1 0 0 0 0 0
0 0 3 , 0 7 , 0 0 0 0
0 0 1 0 0 0 0
0 0 0 0 0 1 0
0 0 0 0 2 , 0 0 8 , 0
0 0 0 0 0 1 0
Q
Ejemplos
5 Clasificar la cadena. No es irreducible, con lo
cual no ser peridica, ni aperidica, ni recurrente,
ni transitoria ni ergdica.
Ejemplo: Nmero de xitos al repetir
indefinidamente una prueba de Bernouilli
(probabilidad p de xito). No es CM irreducible,
porque por ejemplo C
1
={1, 2, 3, } es cerrado.
Todos los estados son transitorios.
0 1 2 3

p
1p
p p p
1p 1p 1p
Ejemplos
Ejemplo: Recorrido aleatorio. Es una CM
irreducible y peridica de periodo 2. Se
demuestra que si psq, todos los estados son
recurrentes, y que si p>q, todos son
transitorios.
0 1
1
2
q
3


p p p
q q q
Ejemplos
La siguiente CM es irreducible, recurrente y
peridica de periodo 3. No es ergdica.
Ejemplos
La siguiente CM es irreducible, aperidica,
recurrente y ergdica.
Ejemplos
La siguiente CM es irreducible, aperidica,
recurrente y ergdica
Ejemplos
La siguiente CM es irreducible, aperidica,
recurrente y ergdica
Ejemplos
La siguiente CM es irreducible, aperidica,
recurrente y ergdica
Ejemplos
La siguiente CM no es irreducible, y por tanto no es
de ninguno de los dems tipos. 1 y 4 son
recurrentes; 2 y 3 son transitorios.
1
4 3
2
Ejemplos
La siguiente CM no es irreducible, y por tanto no es
de ninguno de los dems tipos. Todos los estados
son recurrentes y ninguno es peridico.
Ejemplos
La siguiente CM es irreducible, recurrente y
peridica de periodo 3. No es ergdica.
Ejemplos
La siguiente CM no es irreducible, y por tanto no
es de ninguno de los dems tipos. Ningn
estado es peridico. 4 es transitorio, y el resto
recurrentes. 1 es absorbente.
1
4
2
3
Ejemplos
La siguiente CM no es irreducible, y por tanto
no es de ninguno de los dems tipos. Ningn
estado es peridico. 4 y 5 son transitorios, y el
resto recurrentes. 3 es absorbente.
1
5
2
4
3
Ejemplos
La siguiente CM es no es irreducible, y por tanto
tampoco de ninguno de los dems tipos. 4 es
absorbente, y el resto son transitorios.
1
4 3
2
Ejemplos
La siguiente CM no es irreducible y por tanto no es de
ninguno de los dems tipos. 1,3 y 5 son recurrentes de
periodo 3. 2 y 6 son recurrentes, pero no peridicos. 4
es transitorio.
1
6
2
5 4
3
Cadenas absorbentes
Concepto de cadena
absorbente
Sea X una CM cuyos estados son todos
transitorios o absorbentes. En tal caso
diremos que X es absorbente.
Si X es finita y absorbente, reordenamos S
poniendo primero los estados transitorios y
obtenemos:
|
|
.
|

\
|
=
I
R Q
Q
0
'
Resultados sobre cadenas
absorbentes
Proposicin: El nmero medio de etapas
que se estar en el estado transitorio jeS
antes de la absorcin, suponiendo que
empezamos en el estado transitorio ieS,
viene dado por el elemento (i,j) de (IQ)
1

Nota: La etapa inicial tambin se cuenta, es
decir, en la diagonal de (IQ)
1
todos los
elementos son siempre mayores o iguales
que 1

Resultados sobre cadenas
absorbentes
Proposicin: La probabilidad de ser
absorbido por un estado absorbente jeS,
suponiendo que empezamos en el estado
transitorio ieS, viene dada por el elemento
(i,j) de la matriz (IQ)
1
R, que se denomina
matriz fundamental de la CM

Ejemplo de CM absorbente
En un juego participan dos jugadores, A y B.
En cada turno, se lanza una moneda al aire.
Si sale cara, A le da 1 a B. Si sale cruz, B
le da 1 a A. Al principio, A tiene 3 y B
tiene 2 . El juego contina hasta que alguno
de los dos se arruine. Calcular:
La probabilidad de que A termine arruinndose.
La probabilidad de que B termine arruinndose.
El nmero medio de tiradas que tarda en acabar
el juego.
Ejemplo de CM absorbente
Tendremos una CM con un estado por cada
posible estado de cuentas de A: S={1, 2, 3, 4,
5, 0}. Descomponemos Q:
|
|
|
|
|
.
|

\
|
=
0 5 , 0 0 0
5 , 0 0 5 , 0 0
0 5 , 0 0 5 , 0
0 0 5 , 0 0
' Q
|
|
|
|
|
.
|

\
|
=
0 5 , 0
0 0
0 0
5 , 0 0
R
|
|
|
|
|
|
|
|
.
|

\
|
=
1 0 0 0 0 0
0 1 0 0 0 0
0 5 , 0 0 5 , 0 0 0
0 0 5 , 0 0 5 , 0 0
0 0 0 5 , 0 0 5 , 0
5 , 0 0 0 0 5 , 0 0
Q
Ejemplo de CM absorbente
Realizamos los clculos necesarios:
( )
|
|
|
|
|
.
|

\
|
=
|
|
|
|
|
.
|

\
|

6 , 1 2 , 1 8 , 0 4 , 0
2 , 1 4 , 2 6 , 1 8 , 0
8 , 0 6 , 1 4 , 2 2 , 1
4 , 0 8 , 0 2 , 1 6 , 1
1 5 , 0 0 0
5 , 0 1 5 , 0 0
0 5 , 0 1 5 , 0
0 0 5 , 0 1
'
1
1
Q I
( )
|
|
|
|
|
.
|

\
|
=

2 , 0 8 , 0
4 , 0 6 , 0
6 , 0 4 , 0
8 , 0 2 , 0
'
1
R Q I
Ejemplo de CM absorbente
Probabilidad de que A termine arruinndose.
La ruina de A est representada por el estado 0, que es el
2 estado absorbente. Como empezamos en el 3
er
estado
transitorio (A empieza con 3 ), debemos consultar la 3
fila, 2 columna de (IQ)
1
R, que nos da una probabilidad
de 0,4 de que A empiece con 3 y termine en la ruina.
Probabilidad de que B termine arruinndose
Como es el suceso contrario del apartado a), su
probabilidad ser 10,4=0,6. Tambin podramos haber
consultado la 3 fila, 1 columna de (IQ)
1
R.

Ejemplo de CM absorbente
Nmero medio de tiradas que tarda en acabar el
juego
Sumamos los nmeros medios de etapas que se estar en
cualquier estado transitorio antes de la absorcin,
suponiendo que empezamos en el 3
er
estado transitorio.
Dichos nmeros medios son los que forman la 3 fila de la
matriz (IQ)
1
. El promedio es: 0,8+1,6+2,4+1,2=6 tiradas.
Nota: si observamos la 1 columna de (IQ)
1
R,
vemos que los valores van creciendo. Esto se debe
a que, cuanto ms dinero tenga al principio A, ms
probabilidad tiene de ganar el juego.
Distribucin
estacionaria
Concepto de distribucin
estacionaria
Teorema: Sea X una CM irreducible, aperidica
y recurrente. Entonces,
( ) n
ij
n
j
q
lm
p S j

= - e ,
Diremos que una CM alcanza la distribucin
estacionaria sii existen los lmites del teorema
anterior y adems se cumple que:

e
=
S j
j
p 1
Existencia de la distribucin
estacionaria
Teorema: Sea X finita y ergdica. Entonces la
distribucin estacionaria existe y viene dada por
la solucin de las siguientes ecuaciones:

e
= e
S i
ij i j
q p p S j ,

e
=
S j
j
p 1
Este teorema no slo dice cundo existe
distribucin estacionaria (en los casos finitos),
sino que adems nos dice cmo calcularla.
Nomenclatura para las
ecuaciones
A las primeras ecuaciones del teorema se les llama
ecuaciones de equilibrio, porque expresan que lo
que sale de j (izquierda) es igual a lo que entra
en j (derecha):

e e
=
S i
ij i
S i
ji j
q p q p
A la ltima ecuacin se le llama ecuacin
normalizadora, ya que obliga a que el vector formado
por los p
j
est normalizado (en la norma 1)
Ejemplos
Ejemplo: Hallar la distribucin estacionaria (si
existe) del ejemplo de la lnea telefnica.
0 1
0,9
0,1
0,3
0,7
1 Comprobar que la CM es finita y ergdica, para
as saber que existe la distribucin estacionaria.
Lo es, con lo cual dicha distribucin existe.
Ejemplos
O lo que es ms fcil,
|
|
.
|

\
|
= =
1
0
,
p
p
p donde p Q p
T

3 Plantear la ecuacin normalizadora:
1
1 0
= + p p
2 Plantear las ecuaciones de equilibrio (una por nodo):
1 0 0
3 , 0 9 , 0 : 0 p p p Nodo + =
1 0 1
7 , 0 1 , 0 : 1 p p p Nodo + =
Ejemplos
4 Resolver el sistema. Hay dos mtodos:
Utilizar un algoritmo estndar de
sistemas de ecuaciones lienales para
resolver todas las ecuaciones
conjuntamente, por ejemplo, Gauss. El
sistema debe tener solucin nica. En
nuestro caso,
25 , 0 ; 75 , 0
1 0
= = p p
Ejemplos
La solucin verdadera ser de la forma (3k,k)
T
.
Aplicando la normalizadora,
25 , 0 1 3 = = + k k k
Con lo cual la solucin verdadera es (075,025)
T

Encontrar una solucin cualquiera de las
ecuaciones de equilibrio. Para ello le daremos un
valor no nulo a nuestra eleccin a una sola de las
incgnitas. Una vez conseguida esa solucin, la
solucin verdadera ser un mltiplo de ella
(usaremos la normalizadora). En nuestro caso,
haciendo p
1
=1,
3 3 , 0 9 , 0
0 0 0
= + = p p p
Ejemplos
Ejemplo: Hallar, si existe, la distribucin
estacionaria para esta CM con S={1, 2, 3}:
|
|
|
.
|

\
|
=
6 , 0 4 , 0 0
4 , 0 0 6 , 0
2 , 0 5 , 0 3 , 0
Q
Ejemplos
1
3 2
1 Dibujamos el DTE y as comprobamos ms
fcilmente que la CM es finita y ergdica:
Ejemplos
2 y 3 Planteamos las ecuaciones:
|
|
|
.
|

\
|
|
|
|
.
|

\
|
=
|
|
|
.
|

\
|
3
2
1
3
2
1
6 , 0 4 , 0 2 , 0
4 , 0 0 5 , 0
0 6 , 0 3 , 0
p
p
p
p
p
p
1
3 2 1
= + + p p p
4 Resolvemos. Para ello fijamos p
1
=1 y
hallamos una solucin para las ecuaciones de
equilibrio:
Ejemplos
6 , 0
7 , 0
6 , 0 3 , 0 1
2 2
= + = p p
6 , 0
1
4 , 0 6 , 0
3 , 0 7 , 0
4 , 0 5 , 0
6 , 0
7 , 0
3 3
=

= + = p p
( )
T
T
k k k , 7 ' 0 , 6 ' 0
6 ' 0
1
,
6 ' 0
7 ' 0
, =
|
.
|

\
|
Por tanto la solucin verdadera ser de la forma:
Normalizamos y obtenemos la solucin verdadera:
3 ' 2
1
1 7 ' 0 6 ' 0 = = + +
( )
T
T
|
.
|

\
|
=
23
10
,
23
7
,
23
6
, 7 ' 0 , 6 ' 0
Ejemplos
Ejemplo: Hallar la distribucin estacionaria, si
existe, en el ejemplo del buffer.
1 Ya vimos que la CM es finita y ergdica
2 y 3 Planteamos las ecuaciones de equilibrio
nodo a nodo y expresndolas como
salidas=entradas (usar Q
T
sera ms difcil):
( )
0 2 1
1 ... : 0 p p p p Nodo
M
| o | | | = + + +
{ } ( ) ( ) ( )
i i i
p p p M i i Nodo | o | | o + = e

1 1 : 1 ,..., 2 , 1
1
( )
M M
p p M Nodo | | o =
1
1 :
Ejemplos
4 Podemos despejar p
i
en la ecuacin de cada
nodo i, y as observamos que los p
i
forman una
progresin geomtrica, cuya razn llamaremos :
{ }
( )
( )
1 1
1
1
, 1 ,..., 2 , 1

=
+

= e
i i i
p p p M i
| o |
| o
{ }
0
, 1 ,..., 1 , 0 p p M i
i
i
= e
Ejemplos
( ) | o |
|
+
=
1
0
p
{ }
0
, 1 ,..., 1 p p M i
i
i
= e
Usando la suma de los M1 primeros trminos
de una sucesin geomtrica y la ecuacin
normalizadora, llegamos a la solucin:
( )
0
1
1
p p
M
M
|
| o