Captulo 3:

Cadenas de Markov.
Una propiedad de especial importancia que poseen los ya estudiados caminos aleatorios
y procesos de ramicacion, es que sus valores en el nesimo paso solo dependen de
los valores en el (n 1)esimo paso, y no de los anteriores. Esta propiedad conocida
como propiedad markoviana es de gran importancia en el estudio de estos procesos, y
en el estudio general de la teora de procesos estocasticos, y por ello prestamos especial
dedicacion en este captulo. A lo largo del captulo se supondra que trabajamos con
procesos de parametro discreto, que toman valores discretos en un conjunto numerable.
3.1. Cadenas de Markov
Denicion 3.1 Un proceso X = {X
n
: n 0}, es una cadena de Markov si satisface
la siguiente condicion, llamada condici on de Markov:
P(X
n
= x
n
| X
0
= x
0
, X
1
= x
1
, . . . , X
n1
= x
n1
) = P(X
n
= x
n
| X
n1
= x
n1
)
n 1 y x
0
, x
1
, . . . , x
n1
, x
n
S.
Observacion: Intuitivamente, se interpreta esta ecuacion como que, dado el presente
del proceso, el futuro es independiente del pasado. Es decir, una cadena de Markov
es una sucesion de v.a. que ven el pasado a traves del ultimo suceso.
Nota 3.1 La propiedad markoviana es equivalente a cualquiera de las siguientespropie-
dades:
1. P(X
n
= x
n
|X
n
1
= x
n
1
, X
n
2
= x
n
2
, . . . , X
n
k
= x
n
k
) = P(X
n
= x
n
|X
n
k
= x
n
k
)
n 0, k; 0 n
1
n
2
. . . n
k
n; x
n
1
, . . . , x
n
k
, x
n
S.
2. P(X
n+m
= x
n+m
| X
0
= x
0
, . . . , X
n
= x
n
) = P(X
n+m
= x
n+m
| X
n
= x
n
)
n 0, m 1; x
0
, . . . , x
n
, x
n+m
S.
Es decir, el valor en el instante nesimo depende solamente de la ultima observacion,
que no tiene porque ser la del instante (n 1)esimo.
41
Nota 3.2 La evolucion de una cadena de Markov viene descrita por sus probabilidades
de transicion, p
n
ij
= P(X
n+1
= j | X
n
= i), que en un principio dependen de n, i y j.
Restringiremos nuestro estudio al caso de que no dependa de n , y solo sean relevantes i
y j.
No obstante, se nalar que cuando las probabilidades de transicion dependan de la etapa
n, se dira que la cadena de Markov es no homogenea.
Denicion 3.2 Diremos que una cadena de Markov X es homogenea si
P(X
n+1
= j | X
n
= i) = P(X
1
= j | X
0
= i) n,
es decir, la probabilidad de transicion no depende de la etapa n.
Nota 3.3 A partir de ahora consideraremos que todas las cadenas de Markov que tratemos
son homogeneas, a no ser que se diga explcitamente lo contrario.
Denicion 3.3 Dada una cadena de Markov X , denimos su matriz de transici on,
P, como la matriz de las probabilidades de transici on de dimension |S| |S|, Esto
es:
P = (p
ij
)
i,jS
donde p
ij
= P(X
1
= j | X
0
= i).
Ejemplo: (El clima en la tierra de Oz)
Seg un el cuento, en la tierra de Oz nunca hay dos das seguidos con buen tiempo. A
un da soleado siempre le sigue (con igual probabilidad) un da de lluvia o nieve. Por otra
parte, si un da tenemos mal tiempo hay 2 posibilidades, que el tiempo sea el mismo al da
siguiente o que cambie. De este modo, si un da nieva (o llueve) al da siguiente nevara (o
llovera) con probabilidad
1
2
; pero si cambia el tiempo solo la mitad de las veces sera un
da soleado.
Resolucion:
Sea X
n
Tiempo en la tierra de Oz el da n-esimo.
(X
n
) es una cadena de Markov, ya que el tiempo en el da n-esimo s olo
dependera del tiempo que haga el da anterior.
Para estudiar este problema, en primer lugar calculamos las probabilidades de tran-
sicion; es decir, las probabilidades de que teniendo cierto tiempo un da determinado al
da siguiente el tiempo cambie. Para ello, notaremos por s si el da esta soleado, con l si
llueve y con n si nieva.
42
p
ss
= 0 de un da soleado a un da soleado
p
sl
= 1/2 de un da soleado a un da lluvioso
p
sn
= 1/2 de un da soleado a un da con nieve
p
ll
= 1/2 de un da lluvioso a un da lluvioso
p
ls
= 1/4 de un da lluvioso a un da soleado
p
ln
= 1/4 de un da lluvioso a un da con nieve
p
nn
= 1/2 de un da con nieve a un da con nieve
p
nl
= 1/4 de un da con nieve a un da lluvioso
p
ns
= 1/4 de un da con nieve a un da soleado
Ordenamos todos estos datos en la siguiente tabla:
s l n
s 0 1/2 1/2
l 1/4 1/2 1/4
n 1/4 1/4 1/2
donde las las indican el tiempo en un da determinado, las columnas el tiempo que
hace al da siguiente y las entradas son las probabilidades de cambio o transicion.
A partir de aqu obtenemos la matriz de transicion:
P =

0 1/2 1/2
1/4 1/2 1/4
1/4 1/4 1/2

Ejemplo: Sea el proceso estocastico X = {X

n
: n 0}, denido por:
P(X
n
= j | X
n1
= i) =

p si j = i + 1
q si j = i
0 en casao contrario
donde q = 1 p.
Tenemos que,
P(X
n
= j | X
n1
= i, X
n2
= x
n2
, . . . , X
0
= x
0
) = P(X
n
= j | X
n1
= i)
Luego verica la condicion de Markov.
Veamos ahora la matriz de transicion. Dado que S = {0, 1, 2, . . .}, la matriz de transi-
cion va a ser de dimension innita:
43
P =

q p 0 0 0
0 q p 0 0
0 0 q p 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0 0 0 0 q p
0 0 0 0 0 q
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

Proposicion 3.1 La matriz de transicion de una cadena de Markov P es una matriz

estoc astica, es decir, verica:
Cada elemento de P es no negativo,
p
ij
= P(X
n+1
= j | X
n
= i) 0; i, j S.
Cada la de P suma 1,

jS
p
ij
=

jS
P(X
1
= j | X
0
= i) = 1
Estudiaremos las cadenas de Markov a corto plazo y a largo plazo. Como ya
hemos visto, la matriz de transicion nos permite el estudio a corto plazo, describiremos
la evolucion a largo plazo como sigue:
Denicion 3.4 La matriz de transici on del n-esimo paso, P
n
= (p
ij
(n)), es la
matriz de las probabilidades de transicion en el nesimo paso desde el origen,
p
ij
(n) = P(X
n
= j | X
0
= i)
Es decir, es la probabilidad de partiendo de i llegar a j en n pasos.
Nota 3.4 Trivialmente P
1
= P.
En el siguiente teorema, mostraremos la relacion que existe entre el desarrollo a largo
plazo y el desarrollo a corto plazo, y veremos como X
n
depende de la variable inicial
X
0
.
Teorema 3.1 (Ecuaciones de Chapman-Kolmogorov)
p
ij
(m + n) =

kS
p
ik
(m)p
kj
(n)
44
Demostraci on:
p
i,j
(m + n) = P(X
n+m
= j | X
0
= i)
prob. total
=
=

kS
P(X
n+m
= j, X
m
= k | X
0
= i)
P(A B|C) = P(A|B C)P(B|C)
. .. .

=
=

kS
P(X
n+m
= j | X
m
= k, X
0
= i)P(X
m
= k|X
0
= i)
cond. Markov
=
=

kS
P(X
n+m
= j | X
m
= k)P(X
m
= k|X
0
= i) =
=

kS
p
ik
(m)p
kj
(n)
Nota 3.5 De aqu se deduce que P
m+n
= P
m
P
n
y, por lo tanto, que P
n
= P
n
.
Estudiaremos ahora la funcion de probabilidad de la variable aleatoria X
n
, notaremos
x
n
i
= P(X
n
= i) Probabilidad de que la cadena en la etapa n este en el estado i.
x
n
= (x
n
1
, . . . , x
n
|S|
).
Veamos la relacion que hay entre x
n
i
y la matriz de transicion.
Lema 3.1 x
m+n
= x
m
P
n
y, por lo tanto, x
n
= x
0
P
n
.
Demostraci on:
x
m+n
j
= P(X
m+n
= j)
P.T.
=

iS
P(X
m+n
= j, X
m
= i) =
=

iS
P(X
m+n
= j | X
m
= i)P(X
m
= i) =

iS
x
m
i
p
ij
(n) = (x
m
P
n
)
j
= (x
m
P
n
)
j
.
Observacion: La evolucion aleatoria de una cadena de Markov queda completamente
determinada por su matriz de transicion P y su distribucion de densidad inicial x
0
.
Por lo tanto, el estudio de las cadenas de Markov es reducible al estudio algebraico de
las propiedades de las matrices de transicion.
Ejemplo: Camino Aleatorio.
S = {0, 1, 2, . . .}. Partcula que se mueve hacia arriba o hacia abajo.
p
ij
=

p si j = i + 1
q si j = i 1
0 e.c.c.
P = (p
ij
)
45
Calcular la matriz de transicion del nesimo paso.
Podramos intentar calcular P
n
partiendo de la matriz anterior por sucesivas multipli-
caciones, pero en este caso podemos proceder:
Si hubiese u pasos hacia arriba, tenemos
p
ij
(n) =

n
u

p
u
q
nu
como j i = u (n u) j i = 2u n u =
j i + n
2
Z. Por tanto:
p
ij
(n) =

n
n+ji
2

p
n+ji
2
q
nj+i
2
si n + j i par
0 en caso contrario
Ejemplo: N umero de caras en sucesivos lanzamientos de una moneda.
Sea la cadena Y = {Y
n
: n 0}, con Y
0
= 0, que representa el n umero de caras en n
lanzamientos.
P(Y
n+1
= s + 1 | Y
n
= s) = p
P(Y
n+1
= s | Y
n
= s) = q = 1 p

n 0; 0 < p < 1.
Calcular p
ij
(m):
p
ij
(m) = P(Y
n+m
= j | Y
n
= i) =

m
j i

p
ji
q
mj+i
, j i.
Luego que en m lanzamientos salgan j i caras Bi(m, p).
Ejemplo: Si perturbamos el proceso anterior y denimos,
X = {X
n
: n 0}
donde X
n
= Y
n
(mod. 10).
En este caso, tenemos solo 10 estados, S = {0, 1, . . . , 9}. Luego la matriz de transicion es
de orden 10 10:
P =

q p 0 0 0
0 q p 0 0
0 0 q p 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0 0 0 q p
p 0 0 0 q

46
Ejemplo:
El nivel de negocio de la Bolsa puede considerarse cada da alto (A) o bajo (B). Para un
periodo de 5301 das se dispone de la secuencia BAABBA..., y que nos permite representar
la alternancia mediante el cuadro adjunto:
B A
B 3077 543
A 588 1092
Podra indicar alguna relacion entre la duracion de ciclos de das de nivel alto con los
das de nivel bajo a tenor de dichos datos?
Debemos normalizar la matriz por las:
B A
B 0.85 0.15
A 0.35 0.65
= P
Supongamos que la bolsa esta regida por dicho matriz de probabilidad.
Si la bolsa esta baja la probabilidad de que al da siguiente este baja es 0.85.
Si elevamos la matriz al cuadrado, P
2
, signica el pasar de A a B o de B a A en dos das.
Si vamos calculando potencias de P, veamos por ejemplo P
8
,
P
8
=

359
512
153
512
357
512
155
512

observamos que las dos las se van pareciendo cada vez mas, el sistema se va estabilizando.
Nosotros estamos interesados en lo que ocurre en el lmite, es decir,
lm
n
P
n
=

0.7 0.3
0.7 0.3

(se obtiene resolviendo P = ).

Esto va a representar la fraccion de tiempo que la bolsa est a en B y la fraccion de tiempo
que la bolsa esta en A. Entonces nos dice que la bolsa esta m as tiempo en baja que en
alta.
Nota 3.6
i
probabilidad estacionaria de estar en el estado i.
Siendo
i
=
1

i
frecuencia que tarda en ser visitado el estado i.
47
As,

1
= 1.4 la bolsa tarda en volver a baja 1.4 das.

2
= 3.3 la bolsa tarda en volver a alta 3.3 das.

tarda en volver a alta mas del doble que en volver a baja.

Nota 3.7 Nos interesa, para estos modelos, ver si se ajusta a una cadena de Markov y,
en tal caso, hallar la matriz de transicion y su comportamiento lmite.
Ejemplo: Un taller de reparacion se ocupa de dos tipos de motores. La reparacion de un
motor de tipo M
1
requiere dos das y la del tipo M
2
solo un da. La probabilidad de avera
para los motores de tipo uno es de 1/3 mientras que es de 1/2 para los de tipo dos.
Los trabajos no admitidos en el taller se encargan al exterior.
Sabiendo que si una jornada de reparacion ha sido asignada a un motor de tipo uno, se
rechaza todo trabajo que pueda presentarse al da siguiente; en otro caso se admitira cual-
quier tarea si no se presenta mas que una.
Decidir que poltica es mejor: dar prioridad a los motores de tipo uno (dos) cuando se
presenten para su reparacion motores de ambos tipos.
Podemos tener el taller sin trabajo, con un motor de tipo 1 en un da,con un motor de
tipo 1 en dos das o con un motor de tipo 2. Al da siguiente el taller puede estar en tres
estados distintos, de los cuatro posibles . Intentemos determinar la matriz de transicion
dando prioridad al motor de tipo 1, M
1
:
0 1 2 3
NO TRABAJO
ESTADO: 0

1
1
3

1
1
2

1
3
0
1
2

1
1
3

M
1
(1)
ESTADO: 1
0 0 1 0
M
1
(2)
ESTADO: 2

1
1
3

1
1
2

1
3
0
1
2

1
1
3

M
2
ESTADO: 3

1
1
3

1
1
2

1
3
0
1
2

1
1
3

1/3 1/3 0 1/3

0 0 1 0
1/3 1/3 0 1/3
1/3 1/3 0 1/3

Dando prioridad al motor de tipo 2, M

2
, tenemos:
48

1/3 1/6 0 1/2

0 0 1 0
1/3 1/6 0 1/2
1/3 1/6 0 1/2

El taller tiene dos comportamientos seg un elijamos la poltica de dar prioridad a M

1
o a
M
2
, que estan regidos por las dos matrices de transicion.
Si calculamos la matriz lmite, haciendo = P tenemos:
=

1
4
,
1
4
,
1
4
,
1
4

para el primer caso.

=

2
7
,
1
7
,
1
7
,
3
7

para el segundo caso.

As, dado que no queremos tener mucho tiempo el taller parado, nos interesa la poltica
del tipo 1, pues a largo plazo tiene mas ocupado el taller,

2
7
>
1
4

.
3.2. Clasicacion de estados.
Podemos pensar en el desarrollo de una cadena como el movimiento de un partcula
que salta entre los estados de S en cada momento. Nos interesaremos por el n umero
(posiblemente innito) de instantes que tarda la partcula en regresar a su punto de
origen. Sin embargo, ha de volver la partcula a su punto inicial? Con esta pregunta en
mente realizamos la siguiente denicion.
Denicion 3.5 El estado i es persistente ( o recurrente) si:
P(X
n
= i para alg un n 1 | X
0
= i) = 1
es decir, si la probabilidad de que la partcula regrese al estado i, habiendo empezado en
i, es 1. Si el estado i no es persistente lo llamaremos al estado transitorio, es decir, si
esta probabilidad es menor que la unidad.
Tambien estamos interesados en el n umero de pasos hasta la primera visita al estado
j partiendo del estado i. La probabilidad de que partiendo del estado i lleguemos por
primera vez al estado j en n pasos la representamos por:

f
ij
(n) = P(X
1
= j, X
2
= j, . . . , X
n1
= j, X
n
= j | X
0
= i)
f
ij
(0) = 0
49
Notaremos la probabilidad de que partiendo del estado i alcancemos alguna vez el
estado j sera:
f
ij
=

n1
f
ij
(n)
Claro es que el estado i es persistente si y solo si f
ii
= 1.
Ahora buscamos un criterio para determinar si un estado es persistente o no, basando-
nos en las probabilidades de transicion. Como ya hicimos en las caminos aleatorios, de-
nimos las siguientes funciones generatrices:
P
ij
(s) =

n0
p
ij
(n)s
n
F
ij
(s) =

n1
f
ij
(n)s
n
Con la convencion de que p
ij
(0) =
ij
(delta de Kronecker) y f
ij
(0) = 0 i, j S.
Claramente se tiene que
f
ij
= F
ij
(1).
A continuacion, veremos que se verican relaciones analogas al caso de los caminos
aleatorios entre las dos funciones generatrices F
ij
y P
ij
.
Teorema 3.2 Se verican las siguientes relaciones:
1. P
ii
(s) = 1 +P
ii
(s)F
ii
(s).
2. P
ij
(s) = P
jj
(s)F
ij
(s) si i = j.
Demostraci on:
Fijamos i, j S, sea A
m
= {X
m
= j} y B
m
el suceso de que la primera visita a j
ocurra en el instante m, es decir, B
m
= {X
r
= j para 1 r < m, X
m
= j}. Los B
m
son
disjuntos luego tenemos:
P(A
m
| X
0
= i)
P.T.
=
m

r=1
P(A
m
B
r
| X
0
= i)
Utilizando la propiedad de Markov y la denicion de probabilidad condicionada tenemos:
P(A
m
B
r
| X
0
= i) = P(A
m
| B
r
X
0
= i)P(B
r
| X
0
= i) =
= P(A
m
| X
r
= j)P(B
r
| X
0
= i) = p
jj
(mr)f
ij
(r)
As pues:
p
ij
(m) = P(A
m
| X
0
= i) =
m

r=1
p
jj
(mr)f
ij
(r), m 1.
50
Ahora basta multiplicar por s
m
y sumar en m aplicando las propiedades sobre convolucion
para llegar a lo que queramos. As,

m=1
p
ij
(m)s
m
=

m=1
m

r=1
p
jj
(mr)f
ij
(r)s
m
=
=

r=1

m=r
p
jj
(mr)s
mr
f
ij
(r)s
r
=
=

m=r
p
jj
(mr)s
mr

r=1
f
ij
(r)s
r
.
Luego,
P
ij
(s)
ij
= P
jj
(s)F
ij
(s).
Veamos ahora como caracterizamos los estados a partir de las probabilidades de tran-
sicion.
Corolario 3.1 Los estados de una cadena de Markov se clasican en:
1. Un estado j es persistente

n=0
p
jj
(n) = . Ademas, en este caso:

n=0
p
ij
(n) = , i tal que f
ij
> 0.
2. Un estado j es transitorio

n=0
p
jj
(n) < . Ademas,

n=0
p
ij
(n) < , i.
Demostraci on:
1. Sea I
{Xn=i}
la variable indicador de {X
n
= i}.
I
{Xn=i}
=

1 si X
n
= i
0 si X
n
= i

I
{Xn=i}
Be(p) ; con p = P[X
n
= i|X
0
= i]
51
Sea N
i
el n umero de veces que se visita el estado i (dado X
0
= i)
E[N
i
] = E[

n=0
I
{Xn=i}
|X
0
= i] =

n=0
E[I
{Xn=i}
|X
0
= i] =

n=0
P[X
n
= i|X
0
= i] =

n=0
p
ii
(n) =
()
i es recurrente.
Ya solo quedara probar el paso ():
P[N
i
= n] = f
n1
ii
(1 f
ii
) ; n = 1, 2, ...
Ni Ge(p) ; p = 1 f
ii
.
N(i) Ge(p) =E[N
i
] =
1
p
=E[N
i
] =
1
1 f
ii
E[N
i
] = f
ii
= 0 i es recurrente.
Del apartado 1. del teorema 3.2 tenemos que P
jj
(s) =
1
1 F
jj
(s)
, |s| < 1. Entonces,
si tomamos lmite tenemos
lm
s1
P
jj
(s) = lm
s1
F
jj
(s) = 1 f
jj
= 1
es decir,
P
jj
(1) =

n=0
p
jj
(n) = j es persistente.
Cuando i = j se tiene
P
ij
(s) = F
ij
(s)P
jj
(s)
s1
=

n=0
p
ij
(n) = f
ij
....

n=0
p
jj
(n) = .
Para b,razonamos por exclusion, si la suma es innita el estado es persistente. Por
tanto, si la suma es nita el estado sera transitorio.
Corolario 3.2 Si j es transitorio p
ij
(n)
n
0, i.
Demostraci on:
Basta aplicar el corolario anterior:
j es transitorio

n=0
p
jj
(n) < , i p
ij
(n)
n
0, i.
52
Observacion: As pues cada estado es o persistente o transitorio. Es intuitivamente claro
que el n umero N(i) de veces que la cadena visita el estado i satisface:
P(N(i) = ) =

1 si i es persistente
0 si i es transitorio
Ya que tras cada visita a i el regreso es cierto si y solo si f
ii
= 1, es decir, si i es persistente.
Supongamos {X
n
: n 0} una cadena de Markov tal que X
0
= i. Otra forma de
clasicar los estados es a traves de la variable que nos indica el n umero de instantes antes
de la primera visita al estado i :
T
i
= mn{n 1 : X
n
= i}
Tomamos el convenio de que T
i
= cuando tal visita nunca ocurra.
Tenemos que P(T
i
= | X
0
= i) > 0 si y solo si i es transitorio, y en este caso,
E[T
i
| X
0
= i] = .
Denicion 3.6 Denimos el tiempo medio de recurrencia
i
del estado i como:

i
= E[T
i
| X
0
= i] =

n=0
nf
ii
(n)
es decir, como el n umero de instantes esperado para regresar al estado i por primera
vez.
Nota 3.8 Si i es transitorio =
i
= .
Nota 3.9 Puede darse el caso de que siendo i persistente el tiempo medio de recurrencia,

i
, sea innito; siendo este el caso en el que aunque el regreso a i es cierto se necesita un
tiempo innito. As pues, realizamos la siguiente distincion entre los estados persistentes.
Denicion 3.7 Sea i un estado persistente, entonces:

i es un estado persistente nulo si

i
=
i es un estado persistente no nulo si
i
<
El siguiente teorema nos da una caracterizacion para estados persistentes nulos.
Teorema 3.3 Un estado i es persistente nulo p
ii
(n)
n
0. Ademas, en este caso,
p
ji
(n)
n
0, j.
53
Nota 3.10 Destacar que al ser un estado j persistente se tiene que

n=0
p
ij
(n) = , y
as para ser persistente nulo tiene que darse que p
ij
(n)
n
0, i. Tambien destacar
que la condicion p
ij
(n)
n
0 es necesaria para que un estado sea transitorio, pero no
suciente como se mostro en el corolario 3.2.
Ejemplo: Recorrido Aleatorio.
Supongamos un recorrido aleatorio, y sean
p
0
(n) probabilidad de volver al estado 0 tras n pasos.
f
0
(n) probabilidad de 1
a
visita al estado 0 tras n pasos.
Calcular P
0
(s) y F
0
(s).
Como P
0
(s) = 1 F
0
(s)P
0
(s), basta calcular una de ellas.
p
0
(n) =

n
n
2

p
n
2
q
n
2
si n par
0 si n impar
Con p
0
(n) podemos calcular la f.g.p.:
P
0
(s) =

n=0
p
0
(n)s
n
=

k=0
p
0
(2k)s
2k
=

k=0

2k
k

p
k
q
k
s
2k
= (1 4pqs
2
)

1
2
.
Por tanto,
P
0
(s) = (1 4pqs
2
)

1
2
P
0
(s) = 1 F
0
(s)P
0
(s)

=F
0
(s) = 1 (1 4pqs
2
)

1
2
En base a ello podemos clasicar los estados de la cadena:
Si p =
1
2

n=0
p
0
(n) = P
0
(1) =

1 4
1
2

1
2
1

1
2
= .
Luego el estado 0 es persistente ( por conexion, todos los estados son persistentes).
Para ver si son persistentes nulos o no nulos, calculamos
0
:

0
=

n=0
nf
0
(n) = F

0
(1) = . . . =
s

1 s
2

s=1
=
Luego el estado 0 es persistente nulo. Aunque la probabilidad de volver al estado 0
es 1 (persistente), el n
o
medio de pasos para volver es .
54
Si p =
1
2
P
0
(1) = (1 4pq1)

1
2
< el estado 0 es transitorio.
( todos los estados son transitorios).
Finalmente, introducimos una denicion que nos permite estudiar sobre los periodos
de tiempo en los cuales el regreso al punto de partida es posible.
Denicion 3.8 Denimos el periodo d(i) de un estado i S como:
d(i) = mcd{n : p
ii
(n) > 0}
es decir, como el mayor com un divisor de los lapsos de tiempo tomados en regresar a i
cuando el regreso a i es posible. Diremos que un estado i es peri odico si d(i) > 1 y que
un estado i es aperi odico si d(i) = 1.
Las cadenas de mayor aplicacion son aquellas en las que los estados tienen mejor
comportamiento, por ello damos la siguiente denicion
Denicion 3.9 Diremos que un estado i es erg odico si es persistente no nulo y ape-
riodico. Es decir, si P(X
n
= i para alg un n 1 | X
0
= i) = 1,
i
< (el tiempo esperado
de regreso es nito) y mcd{n : p
ii
(n) > 0} = 1.
3.3. Clasicacion de las cadenas.
Comenzaremos viendo la forma en la que los estados de una cadena de Markov se
relacionan entre s.
Denicion 3.10 Sean i, j S.
Diremos que i comunica con j(se denota i j), si la cadena visita el estado j
con probabilidad positiva partiendo del estado i. Es decir, si
n 0 tal que p
ij
(n) > 0.
Diremos que i y j estan intercomunicados(se denota i j), si i j y j i.
Es decir, si
n, m 0 tales que p
ij
(n) > 0 y p
ji
(m) > 0.
Nota 3.11 La relacion es de equivalencia y, por tanto, dene una particion en el
conjunto de estados S en clases de equivalencia. Dentro de cada clase de equivalencia
todos los estados son del mismo tipo como veremos en el siguiente teorema.
Teorema 3.4 Supongamos que i j, entonces:
1. d(i) = d(j), es decir, i y j tienen el mismo periodo.
55
2. i es transitorio j es transitorio.
3. i es persistente nulo j es persistente nulo.
Demostraci on:
1. Si i j m, n tales que p
ij
(m) > 0 y p
ji
(n) > 0.
Por el teorema de Chapman-Kolmogorov, tenemos:
p
ii
(m+ n) p
ij
(m)p
ji
(n) > 0 m + n es m ultiplo de d(i). ()
p
jj
(m + n) p
ji
(n)p
ij
(m) > 0 m+ n es m ultiplo de d(j). ()
p
ii
(m+ d(j) + n) p
ij
(m)p
jj
(d(j))p
ji
(n) > 0 m + d(j) + n es m ultiplo de d(i). ()
p
jj
(m + d(i) + n) p
ij
(n)p
jj
(d(i))p
ji
(m) > 0 m + d(i) + n es m ultiplo de d(j). ()
De aqu,
() y () d(j) es m ultiplo de d(i)
() y () d(i) es m ultiplo de d(j)

d(i) = d(j).
2.
Supongamos i transitorio

n
p
ij
(n) < j,

n
p
ij
(n) < .
Supongamos ahora que i es transitorio y que hay otro estado j que comunica con el
que no lo es. As, i transitorio, j no transitorio, i j. Entonces,
m, n tales que p
ij
(m) > 0 y p
ji
(n) > 0.
Por el teorema de Chapman-Kolmogorov, tenemos:
p
ii
(m+ r + n) p
ij
(m)p
jj
(r)p
ji
(n) = p
jj
(r), r,
donde = p
ij
(m)p
ji
(n) > 0.
Sumando en r esta expresion,
>

r
p
ii
(m + r + n)

r
p
jj
(r)
>0
=

r
p
jj
(r) < j es transitorio.
3.
Supongamos i persistente no nulo p
ii
(n)
n
0.
Analogamente a la demostracion de 2., pero usando la caracterizacion anterior, se llega
a que si i es persistente nulo j tambien lo es, pues
p
ii
(m+ r + n)
n
0, y p
ii
(m+ r + n) p
jj
(r)
56
con = p
ij
(m)p
ji
(n) > 0. Entonces,
p
jj
(r)
r
0 j es persistente nulo.
Nota 3.12 Por exclusion, si i es persistente no nulo, como j no puede ser ni transitorio
ni persistente nulo j sera persistente no nulo.
A continuacion denimos distintos tipos de clases de estados:
Denicion 3.11 Sea C S un conjunto de estados, diremos que C es:
i. cerrado si i C, j / C, p
ij
= 0.
ii. irreducible si i, j C, i j.
Observacion: Una vez que la cadena toma un valor en una clase cerrada de estados C
entonces nunca la dejara en el futuro. Si un conjunto de estados cerrado esta formado por
un unico estado, a este estado se le llamara absorbente.
Es claro que las clases de equivalencia de son irreducibles. Diremos que C tiene
una propiedad si todos los estados de C tienen dicha propiedad. Si todo el conjunto de
estados S es irreducible entonces diremos que la cadena es irreducible.
Podemos ya formular el siguiente importante teorema.
Teorema 3.5 (Teorema de descomposicion de las Cadenas de Markov) El espa-
cio de estados S de una cadena de Markov X, tiene la siguiente particion unica:
S = T C
1
C
2

donde T es un conjunto de estados transitorios, y C
i
son clases cerradas e irreducibles de
estados persistentes.
Nota 3.13 El teorema de descomposicion nos muestra las posibilidades que pueden darse
en una cadena de Markov. Esto es, si X
0
C
r
, entonces la cadena nunca abandonara la
clase C
r
y entonces, podemos considerar el espacio de estados S = C
r
. Por otra parte,
si X
0
T entonces, o la cadena permanece por siempre en T o se mueve a una clase
C
k
y permanece ah por siempre. As, o la cadena siempre toma valores en el conjun-
to de estados transitorios o acaba en un conjunto cerrado persistente de estados donde
permanecera por siempre. Veamos ahora que en el caso en el que S sea nito la primera
situacion no puede darse.
Nota 3.14 Eventualmente T puede ser vaco.
Nota 3.15 Si |S| < + las cadenas son mas sencillas.
57
Teorema 3.6 Si S es nito, todos los estados no pueden ser transitorios, siendo todos
los estados persistentes no nulos.
Demostraci on:
Por reduccion al absurdo, supongamos que todos los estados son transitorios. Entonces
tendramos que
i,

jS
p
ij
(n) = 1
Ademas, por el corolario 3.2, tenemos que
p
ij
(n)
n
0, i, j S.
Luego:
1 = lm
n
1 = lm
n

jS
p
ij
(n)
fta.
=

jS
lm
n
p
ij
(n) =

jS
0 = 0
Llegaramos a la misma contradiccion si supusiesemos que existe un estado persistente
nulo, ya que en este caso tambien se tiene que p
ij
(n)
n
0.
Ejemplo: Sea S = {1, 2, 3, 4, 5, 6}.
P =

1/2 1/2 0 0 0 0
3/4 1/4 0 0 0 0
1/4 1/4 1/4 1/4 0 0
1/4 0 1/4 1/4 0 1/4
0 0 0 0 1/2 1/2
0 0 0 0 1/2 1/2

Clasicacion de los estados:

El estado 3 es transitorio, ya que para ser persistente tendra que tener probabilidad
1 de volver a 3 saliendo de 3 y si salimos al estado 1 ya no volvemos a 3.
El estado 4 tambien es transitorio. Luego,
T = {3, 4}
La clase {1, 2} es irreducible , al igual que {5, 6} .
Con la matriz de transicion es suciente para conocer una cadena.
Utilizando los teoremas anteriores, tenemos que dada una cadena de Markov sobre el
espacio S, el conjunto de estados puede descomponerse como:
S = T C
1
C
2

58
Renombrando a los estados adecuadamente llegamos a que la matriz de transicion se
puede expresar como sigue:
P =

C
1
0 0 0
0 C
2
0 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0 0 C
m
0
D
1
D
2
D
m
Q

donde C
i
son las matrices correspondientes a los estados persistentes, y D
i
a los transi-
torios.
Ejemplo: Sea X una cadena de Markov con S = {1, 2, . . . , 10}. Sea
P =

1/2 0 1/2 0 0 0 0 0 0 0
0 1/3 0 0 0 0 2/3 0 0 0
1 0 0 0 0 0 0 0 0 0
0 0 0 0 1 0 0 0 0 0
0 0 0 1/3 1/3 0 0 0 1/3 0
0 0 0 0 0 1 0 0 0 0
0 0 0 0 0 0 1/4 0 3/4 0
0 0 1/4 1/4 0 0 0 1/4 0 1/4
0 1 0 0 0 0 0 0 0 0
0 1/3 0 0 1/3 0 0 0 0 1/3

Hacemos el siguiente grafo:

3 1
10 2 7
9
5
4
6
1 , 3 8 , 5 , 4 , 10 2 , 7 , 9
8
y as,
59
{1, 3}
{2, 7, 9}
{6}

conjuntos cerrados, irreducibles, recurrentes, no nulos.

{4, 5, 8, 10} conjunto transitorio.
{1, 3, 2, 7, 9, 6} ninguno es transitorio o recurrente nulo.
{6} es absorvente.
Luego la matriz de transicion se puede expresar del siguiente modo:
P =

1 0 0 0 0 0 0 0 0 0
0 1/2 1/2 0 0 0 0 0 0 0
0 1 0 0 0 0 0 0 0 0
0 0 0 1/3 2/3 0 0 0 0 0
0 0 0 0 1/4 3/4 0 0 0 0
0 0 0 1 0 0 0 0 0 0
0 0 0 0 0 0 0 1 0 0
0 0 0 0 0 1/3 1/3 1/3 0 0
0 0 1/4 0 0 0 1/4 0 1/4 1/4
0 0 0 1/3 0 0 0 1/3 0 1/3

Ejemplo: Sean las cadenas de Markov dadas por las siguientes matrices de transicion.
Identicar gracamente el tipo de estado al que pertenecen cada uno de ellos.
a)
P
1
=

1/2 0 1/2 0 0
0 1/4 0 3/4 0
0 0 1/3 0 2/3
1/4 1/2 0 1/4 0
1/3 0 1/3 0 1/3

Hacemos en primer lugar un grafo de los estados. A traves del grafo se puede identicar
que estados son recurrentes y cuales transitorios.
Asignamos a un estado cualquiera los signos . Por ejemplo, al estado 1.
Si se se nala un estado con un signo + (por ejemplo el i) se se nalan tambien con + los
estados j que siguen al i. Por ejemplo, hemos se nalado 1 con +, entonces seguira el
estado 3 con + y, despues del estado 3, el estado 5 tambien con +.
Si se se nala un estado con signo , se se nalan tambien con a todos los estados
que lo preceden. Por ejemplo, si el 1 tiene signo , ponemos signo tambien a
los estados 4 y 5; como el 3 precede al 5 le ponemos tambien signo , y como el 2
precede al 4, le ponemos tambien signo .
60

+
1
2
3
4
5

Aquellos estados se nalados con el doble signo forman una clase de estados comuni-
cados. En nuestro caso, forman esa clase los estados 1,3,5.
Para ver lo que les ocurre a los estados restantes, le damos de partida a otro estado
que no este en la clase que ya nos ha salido y repetimos los mismos pasos. En nuestro caso,
le damos al estado 2 por ejemplo, obteniendo que {2, 4} forman una clase comunicada.

+
1
2
3
4
5
+
+
+
Tenemos entonces dos clases comunicadas, {1, 3, 5} y {2, 4}, ya que si cogemos otros
estados distintos de partida para asignarles el nos salen las mismas clases.
{2, 4} son estados transitorios porque cuando salen ya no vuelven. Una cadena nita
nunca puede tener todos sus estados transitorios.
Ahora reescribimos la matriz P
1
de forma que los elementos de una misma clase esten
juntos. As, nos queda:
61
P
1
=

1/2 1/2 0 0 0
0 1/3 2/3 0 0
1/3 1/3 1/3 0 0
0 0 0 1/4 3/4
1/4 0 0 1/2 1/4

b)
P
2
=

0 0.8 0 0 0 0 0.2
0 0.3 0 0 0 0 0.7
0 0 0.3 0.5 0.2 0 0
0 0 0.6 0 0.4 0 0
0 0 0 0.4 0.6 0 0
0.1 0.1 0.1 0.2 0.2 0.3 0
0.4 0.1 0.1 0 0.1 0.2 0.1

+
+

+
1
2
3
4
5
6
7
+
+
+

{3 , 4 , 5}
{1 , 2 , 6 , 7} Transitorios
Reescribimos la matriz P
2
:
P
2
=

0.3 0.5 0.2 0 0 0 0

0.6 0 0.4 0 0 0 0
0 0.4 0.6 0 0 0 0
0 0 0 0 0.8 0 0.2
0 0 0 0 0.3 0 0.7
0.1 0.2 0.2 0.1 0.1 0.3 0
0.1 0 0.1 0.4 0.1 0.2 0.1

Ahora nos interesa saber que ocurre con la cadena {X

n
} cuando n . La matriz P
en conjunto no tiene un estado lmite, sino cada uno de los estados que estan en la misma
clase.
62
3.4. Distribuciones estacionarias y teoremas lmite.
Como se comportara una cadena cuando haya pasado un largo perodo de tiempo?
Denicion 3.12 El vector = (
j
)
jS
es una distribuci on estacionaria de la cadena
si:
1. Es una distribucion de probabilidad, es decir:

i
0,

iS

i
= 1.
2. = P, i.e.,
j
=

iS

i
p
ij
j S.
Observacion: Se dice distribucion estacionaria, pues si iteramos se obtiene:
P
2
= (P)P = P = . . . P
n
= n 0.
Luego si X
0
sigue la distribucion dada por , se tiene que dicha distribucion no sera mo-
dicada, es decir, n, X
n
tiene la misma distribucion.
A continuacion enunciamos un teorema importante .
Teorema 3.7 (Teorema fundamental de las cadenas de Markov) Una cadena de
Markov tiene una distribucion estacionaria si y solo si todos sus estados son persistentes
no nulos; en cuyo caso, la distribucion es unica y viene dada por
i
=
1
i
para cada
i S, donde
i
es el tiempo medio de recurrencia del estado i.
Ejemplo: Sea P =

1/2 1/2
1/4 3/4

P = (
1
,
2
) = (
1
,
2
)

1/2 1/2
1/4 3/4

1
2

1
+
1
4

2
,
1
2

1
+
9
4

1
=
1
2

1
+
1
4

2
=
1
2

1
+
3
4

1
2

1
=
1
4

2
1
4

2
=
1
2

1
+
2
= 1

1
=
1
3

2
=
2
3
Nota 3.16 Observemos que:
i. Si la cadena es transitoria o recurrente nula, como
j
= , entonces
p
ij
(n)
n
0, i, j S.
63
ii. Si la cadena es persistente no nula,
p
ij
(n)
n

j
=
1
j
.
iii. P(X
n
= j) =

i
P(X
0
= i)p
ij
(n)
n

j
.
Notese que lm
n
p
ij
(n) no depende del punto inicial X
0
= i.
iv. Si X es periodica de periodo d, Y = {Y
n
= X
nd
: n 0} es una cadena aperiodica:
p
jj
(nd) = P(Y
n
= j | Y
0
= j)
n

j
.
Nota 3.17 Si X es irreducible y aperiodica, el sistema siguiente tiene solucion unica.

(j) =

iS
(i)p
ij
j S

jS
(j) = 1
Ademas, se tiene
(j) = lm
n
P
n
ij
i, j S
Una cadena de Markov no tiene porque tener distribucion estacionaria, para que as sea
ha de ser una cadena irreducible y todos sus estados deben ser persistentes no nulos.
Luego para estudiar el comportamiento lmite de una cadena cualquiera, hay que
considerar cada una de sus clases C
i
, ya que cada una va a tener un comportamiento
lmite. Tambien la clase de estados transitorios T va tener su comportamiento; aunque
acabe por desaparecer, nos interesa ver en cuanto tiempo. Por tanto, es fundamental para
el estudio del comportamiento lmite la separacion de una cadena en estados persistentes
y transitorios, pues es en la separacion donde esta el comportamiento lmite. Se estudia
cada una por separado, se hace = C
i
.
La matriz lmite de P
n
va a coincidir en cada la con la distribucion estacionaria:
P

si la cadena es irreducible.
A continuacion vemos resultados sobre el comportamiento asintotico de las cadenas
de Markov con estados periodicos.
64
Lema 3.2 Sea X una cadena de Markov irreducible con estados periodicos recurrentes
de perodo . Entonces, los estados se dividen en clases disjuntas B
1
, B
2
, . . . , B

(clases
cclicas), tales que p
ij
= 0, a menos que:
i B
1
y j B
2
o i B
2
y j B
3
o . . . o i B

y j B
1
.
Teorema 3.8 Sea P la matriz de transicion de una de cadena de Markov con estados
periodicos recurrentes de periodo , y sean B
1
, . . . , B

denidas en el lema anterior. En-

tonces, en la cadena de Markov con matriz de transicion P = P

las clases B
1
, . . . , B

son
cerradas e irreducibles de estados aperiodicos.
Del lema anterior se deduce que si i B

entonces:
P(X
m
B

| X
0
= i) = P
i
(X
m
B

) = 1, = + m(mod ).
Teorema 3.9 Sean P y B

como en el teorema anterior, y supongamos que la cadena no

es nula. Entonces para alg un m = {0, 1, . . . , 1},
lmP
n+m
ij
=

(j) si i B

j B

= + m(mod )
0 en otro caso
Supongamos que tenemos una cadena nita. Veamos el procedimiento que vamos a
seguir para calcular la matriz lmite de una cadena de Markov:
1. Identicar los conjuntos cerrados e irreducibles, es decir, las distintas clases de es-
tados persistentes.
2. Los restantes son los transitorios.
3. Estudiar la periodicidad de cada clase cerrada por separado.
Recordemos que la matriz despues de haber identicado cada clase y haber organizado
las las y columnas seg un esa clasicacion, la matriz P toma la forma:
P =

P
1
0 0 0
0 P
2
0 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0 0 P
m
0
D
1
D
2
D
m
Q

donde P
i
son los estados persistentes y D
i
los transitorios.
Aplicando los resultados anteriores tenemos la matriz

P donde las cajas P

i
que tenemos
en P se contraen a un n umero que es la unidad, es decir,
65

P =

1
1
.
.
.
1
b
1
b
2
b
m
Q

donde b
j
(i) =

kC
j
p
ik
i D.
As, la matriz

P tiene la forma:

P =

I 0
B Q

Para continuar necesitamos calcular las matrices:

F = [f
ij
]
i,jS
R = [r
ij
]
i,jS
donde R es lo que se conoce como matriz de potencial, siendo r
ij
el n umero medio de
visitas a j partiendo de i. Por f
ij
notabamos la probabilidad de alcanzar el estado j, por
primera vez, partiendo del i. Luego,
r
ij
= E[N
j
| X
0
= i]
donde N
j
representa el n umero de visitas a j.
Veamos como calcular R y F.
Calculo de R: R = (r
ij
)
i,jS
viene dada por los siguientes valores:
Si j es recurrente, entonces:
r
ij
=

0 si f
ij
= 0
si f
ij
> 0
Si j es transitorio e i es recurrente r
ij
= 0.
Si j e i son transitorios, entonces:
(r
ij
)
i,jD
= (I Q)
1
.
Calculo de F: Para calcular F = (f
ij
)
i,jS
, denimos la matriz G = (I Q)
1
B.
Si i es transitorio y k es recurrente f
ik
= g
ij
.
66
Si i, j son transitorios tal que tienen r
ij
< , entonces:

f
jj
= 1
1
r
jj
f
ij
=
r
ij
r
jj
Si i, j son recurrentes de la misma clase f
ij
= 1.
Si i es recurrente y j transitorio o recurrente de distinta clase f
ij
= 0.
Una vez que hemos calculado R y F podemos calcular la matriz lmite P

, que en
realidad es el lmite de cada una de las entradas, pues cada clase recurrente P
k
tiene su
propio lmite. Cuando llamamos a P

matriz lmite nos estamos reriendo al comporta-

miento lmite de todos los estados por separado, en conjunto no es realmente una matriz
lmite (aunque por abuso del lenguaje la llamemos as); luego podemos calcular la matriz
lmite de cada clase cerrada, no de la matriz lmite en general. As, dada una matriz P
k
,
su matriz lmite viene dada por
(k) = (k)P
k
donde

i
(k) = 1.
As, llegamos a:
P

1
P

2
.
.
.
P

m
D

1
D

2
D

m
0

donde D

k
nos indica la probabilidad de ir de los estados transitorios a los estados re-
currentes. Ademas, si i D (i.e., i es un estado transitorio), en esas cajas se verica
que:
lm
n
p
n
ij
= f
ij

j
.
Veamos ejemplos de como se lleva a la practica:
Ejemplo: Sea X una cadena de Markov donde S = {1, 2, . . . , 8}, y sea:
P =

0.4 0.3 0.3 0 0 0 0 0

0 0.6 0.4 0 0 0 0 0
0.5 0.5 0 0 0 0 0 0
0 0 0 0 1 0 0 0
0 0 0 0.8 0.2 0 0 0
0 0 0 0 0 0.4 0.6 0
0.4 0.4 0 0 0 0 0 0.2
0.1 0 0.3 0 0 0.6 0 0

67
Se observa que,
{1, 2, 3}
{4, 5}

clases de estados recurrentes, irreducibles y aperiodicos.

{6, 7, 8} clases de estados transitorios, solo pueden alcanzar los estados 1,2 y 3.
Tenemos,

P =

1 0 0 0 0
0 1 0 0 0
0 0 0.4 0.6 0
0.8 0 0 0 0.2
0.4 0 0.6 0 0

y Q =

0.4 0.6 0
0 0 0.2
0.6 0 0

Entonces,
(I Q)
1
=

0.6 0.6 0
0 1 0.2
0.6 0 1

1
=
1
66

125 75 15
15 75 15
75 45 75

Luego la matriz potencial sera:

R =

0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0 0
0 0 0 0 0 0
0 0
125
66
75
66
15
66
0 0
15
66
75
66
15
66
0 0
75
66
45
66
75
66

Por otro lado,

G =

125
66
75
66
15
66
15
66
75
66
15
66
75
66
45
66
75
66

. .. .
(IQ)
1

0 0
0.8 0
0.4 0

. .. .
B
=

1 0
1 0
1 0

ahora la matriz F, sera

F =

1 1 1 0 0 0 0 0
1 1 1 0 0 0 0 0
1 1 1 0 0 0 0 0
0 0 0 1 1 0 0 0
0 0 0 1 1 0 0 0
1 1 1 0 0 0.472 1 0.20
1 1 1 0 0 0.12 0.12 0.20
1 1 1 0 0 0.60 0.60 0.12

68
Nota 3.18 En las cadenas markovianas todas las las de la matriz del comportamiento
lmite son iguales. Esto quiere decir que es independiente del estado inicial.
La matriz lmite es de la forma,
P

1

2

3
0 0 0 0 0

1

2

3
0 0 0 0 0

1

2

3
0 0 0 0 0
0 0 0
4

5
0 0 0
0 0 0
4

5
0 0 0

1

2

3
0 0 0 0 0

1

2

3
0 0 0 0 0

1

2

3
0 0 0 0 0

donde las
i
verican los siguientes sistemas de ecuaciones:

(
1

2

3
) = (
1

2

3
)

0.4 0.3 0.3

0 0.6 0.4
0.5 0.5 0

1
+
2
+
3
= 1

(
4

5
) = (
4

5
)

0 1
0.8 0.2

4
+
5
= 1
Resolviendo los sistemas nos queda:
P

0.22 0.51 0.27 0 0 0 0 0

0.22 0.51 0.27 0 0 0 0 0
0.22 0.51 0.27 0 0 0 0 0
0 0 0 0.4 0.6 0 0 0
0 0 0 0.4 0.6 0 0 0
0.22 0.51 0.27 0 0 0 0 0
0.22 0.51 0.27 0 0 0 0 0
0.22 0.51 0.27 0 0 0 0 0

Ejemplo: Sea X una cadena de Markov donde S = {1, 2, . . . , 7}, y sea:

P =

0.2 0.8 0 0 0 0 0
0.7 0.3 0 0 0 0 0
0 0 0.3 0.5 0.2 0 0
0 0 0.6 0 0.4 0 0
0 0 0 0.4 0.6 0 0
0 0.1 0.1 0.2 0.2 0.3 0.1
0.1 0.1 0.1 0 0.1 0.2 0.4

69
Se observa que,
{1, 2}
{3, 4, 5}

clases de estados recurrentes.

{6, 7} clases de estados transitorios.
En este caso, tenemos que

P =

1 0 0 0
0 1 0 0
0.1 0.5 0.3 0.1
0.2 0.2 0.2 0.4

0.1 0.5
0.2 0.2

Por otro lado,

(I Q)
1
=

0.7 0.1
0.2 0.6

1
=
1
0.4

0.6 0.1
0.2 0.7

1.5 0.25
0.5 1.75

Luego,
G = (I Q)
1
B =

1.5 0.25
0.5 1.75

0.1 0.5
0.2 0.2

0.2 0.8
0.4 0.6

Con esto, ya podemos obtener R y F:

R =

0 0 0 0 0
0 0 0 0 0
0 0 0 0
0 0 0 0
0 0 0 0
1.5 0.25
0.5 1.75

, F =

1 1 0 0 0 0 0
1 1 0 0 0 0 0
0 0 1 1 1 0 0
0 0 1 1 1 0 0
0 0 1 1 1 0 0
0.2 0.2 0.8 0.8 0.8 0.3 0.14
0.4 0.4 0.6 0.6 0.6 0.3 0.43

En este caso, los sistemas de ecuaciones son:

(
1

2
) = (
1

2
)

0.2 0.8
0.7 0.3

1
+
2
= 1

(
3

4

5
) = (
3

4

5
)

0.3 0.5 0.2

0.6 0 0.4
0 0.4 0.6

3
+
4
+
5
= 1
70
Resolviendo los sistemas podremos escribir P

1
= 0.47 =
7
15

2
= 0.53 =
8
15

3
= 0.26 =
6
23

4
= 0.30 =
7
23

5
= 0.43 =
10
23
P

7
15
8
15
0 0 0 0 0
7
15
8
15
0 0 0 0 0
0 0
6
23
7
23
10
23
0 0
0 0
6
23
7
23
10
23
0 0
0 0
6
23
7
23
10
23
0 0
1.4
15
1.6
15
4.8
23
5.6
23
8
23
0 0
2.8
15
3.2
15
3.6
23
4.2
23
6
23
0 0

Ejemplo: Sea X una cadena de Markov donde S = {1, 2, . . . , 7}, y sea:

P =

0.5 0.5 0 0 0 0 0
0.8 0.2 0 0 0 0 0
0 0 0 0.4 0.6 0 0
0 0 1 0 0 0 0
0 0 1 0 0 0 0
0.1 0 0.2 0.2 0.1 0.3 0.1
0.1 0.1 0.1 0 0.1 0.2 0.4

Al igual que en el ejemplo anterior, se tiene

{1, 2}
{3, 4, 5}periodo2

clases de estados recurrentes.

{6, 7} clases de estados transitorios.
En este caso, la matriz

P es la misma que la del ejemplo anterior.

P =

1 0 0 0
0 1 0 0
0.1 0.5 0.3 0.1
0.2 0.2 0.2 0.4

Luego B y Q son las mismas que antes, lo que implica que G tambien coincida con la del
ejemplo anterior. En este caso, tenemos:
R =

0 0 0 0 0
0 0 0 0 0
0 0 0 0
0 0 0 0
0 0 0 0
1.5 0.25
0.5 1.75

, F =

1 1 0 0 0 0 0
1 1 0 0 0 0 0
0 0 1 1 1 0 0
0 0 1 1 1 0 0
0 0 1 1 1 0 0
0.2 0.2 0.8 0.8 0.8 0.3 0.1
0.4 0.4 0.6 0.6 0.6 0.3 0.4

71
En este caso, los sistemas de ecuaciones quedan:

(
1

2
) = (
1

2
)

0.5 0.5
0.8 0.2

1
+
2
= 1

(
3

4

5
) = (
3

4

5
)

0 0.4 0.6
1 0 0
1 0 0

3
+
4
+
5
= 2
Resolvemos los sistemas para obtener P

1
= 8/13

2
= 5/13

3
= 1

4
= 0.4

5
= 0.6
P

1
=

8/13 5/13 0 0 0 0 0
8/13 5/13 0 0 0 0 0
0 0 0 0.4 0.6 0 0
0 0 1 0 0 0 0
0 0 1 0 0 0 0
0.12 0.08 0.4 0.16 0.24 0 0
0.24 0.16 0.3 0.12 0.18 0 0

y
P

2
=

8/13 5/13 0 0 0 0 0
8/13 5/13 0 0 0 0 0
0 0 1 0 0 0 0
0 0 0 0.4 0.6 0 0
0 0 0 0.4 0.6 0 0
0.12 0.08 0.4 0.16 0.24 0 0
0.24 0.16 0.3 0.12 0.18 0 0

Cuando la cadena es innita es mas costoso identicar los estados, pues debemos resolver
un sistema innito. Ademas, puede darse el caso de que haya estados transitorios, recu-
rrentes no nulos y recurrentes nulos (en las cadenas nitas no puede haber recurrentes
nulos).
En las cadenas innitas hay que empezar identicando si hay estados no nulos dadas
las clases cerradas. Para ello, tenemos el siguiente teorema:
Teorema 3.10 Dada una cadena de Markov irreducible, consideramos el sistema:

(j) =

iS
(i)p
ij
j S

jS
(j) = 1
72
Todos los estados seran recurrentes no nulos si y solo si existe solucion unica de este
sistema.
Si el sistema anterior no tuviese solucion, tenemos el siguiente teorema:
Teorema 3.11 Sea P la matriz de transicion asociada a la cadena de Markov que estamos
estudiando, y sea Q la matriz obtenida de P al suprimir la la y la columna kesima
(k S cualquiera). Entonces, los estados son recurrentes nulos si y solo si el sistema que
la matriz Q produce tiene solucion trivial, es decir, si el sistema tiene precisamente la
solucion trivial. O sea,
h(i) =

jS\{k}
q
ij
h(j)
0 h(i) 1; i S \ {k}

= h(i) = 0.
Nota 3.19 Si existe solucion no trivial del sistema, los estados ser an transitorios.
Ejemplo: Estudiar el comportamiento de los estados de los recorridos aleatorios dados
por la matriz de transicion
P =

q p 0 0 0
q 0 p 0 0
0 q 0 p 0
0 0 q 0 p

en funcion del valor p. Determinar las distribuciones lmite.

En P, vemos que todos los estados se comunican entre s, forman una sola clase.
Resolvemos el sistema = P:

0
=
0
q +
1
q

1
=
0
p +
2
q

2
=
1
p +
3
q
.
.
.
Esto es un sistema innito. Para resolverlo tomamos
0
= 1 (ya que el sistema es ho-
mogeneo y, por tanto, tenemos un grado de libertad) y despejamos el resto de las
i
:

1
=
p
q

2
=
p
2
q
2
.
.
.
73
As, queda: =

c, c
p
q
, c
p
2
q
2
, . . .

(Tomamos
0
= c en lugar de
0
= 1, para tener todas las soluciones posibles).
Luego hemos resuelto el sistema, pero esa solucion no es buena para cualquier p, q. Ha de
ser p < q para que el sistema tenga solucion, pues al normalizar, la serie

i=0

p
q

i
c ha
de ser convergente y, como es una serie geometrica de razon
p
q
, para que sea convergente
ha de ser p < q.
Por tanto, si p < q todos los estados son recurrentes no nulos, y la solucion del sistema
sera:

j
=

1
p
q

p
q

j
, j = 0, 1, 2, . . .
pues esta es la solucion que hace que

j
= 1:
c

k=0

p
q

k
= 1 c
1
1
p
q
= 1 c = 1
p
q
.
La matriz lmite es una matriz innita.
Por otro lado, nos va a salir:
Si p = q todos los estados son recurrentes nulos.
Si p > q todos los estados son transitorios.
Para obtener esta solucion, le quitamos a P la 1
a
la y la 1
a
columna, por ejemplo, y
obtenemos as Q. Despues, volvemos a plantear el sistema anterior para ver si tiene o no
solucion.
Estudiamos entonces el sistema h = Qh:
Q =

0 p 0 0
q 0 p 0
0 q 0 p

h
1
= ph
2
h
2
= qh
1
+ ph
3
h
3
= qh
2
+ ph
4
.
.
.
Haciendo manipulaciones algebraicas obtenemos:
h
i
= c

1 +
q
p
+ +

q
p

i1

, i = 1, 2, . . .
74
Con esto:
Si p = q h
i
= c i
0 h
i
1
. .. .
= c = 0 todos los estados son recurrentes nulos.
Si p > q h
i
= 1

q
p

i
todos los estados son transitorios.
75
3.5. Tablas Resumen.
3.5.1. Clasicacion de los procesos de Markov.
Los procesos de Markov se dividen en cuatro tipos basicos seg un sea el parametro y
el espacio de estados.
P arametro T
DISCRETO CONTINUO
D
I Cadenas Cadenas
S de de
C Markov Markov
R de de
E Parametro Parametro
Espacio T Discreto Continuo
de O
Estados C Procesos Procesos
S O de de
N Markov Markov
T de de
I Parametro Parametro
N Discreto Continuo
U (Ej. Series (Ej. Difusion)
O Temporales)
3.5.2. Metodos para calcular las probabilidades de primer paso.
k
RECURRENTE NO RECURRENTE
j RECURRENTE f
jk
=

1 si j k
0 e.c.c.
f
jk
= 0
NO RECURRENTE f
jk
=

iT
p
ji
f
ik
+

iC
p
ji
f
jk
=

n
p
jk
(n)

n
p
kk
(n)
76
3.5.3. Clasicacion de una cadena de Markov irreducible.
NO RECURRENTE RECURRENTE
RECURRENTE NULA (*) RECURRENTE POSITIVA
APERIODICA
(PERIODO=1)
PERIODICA
(PERIODO>1)
POSEE DISTRIBUCION
DE LARGA DURACION
POSEE DISTRIBUCION
ESTACIONARIA
(*) Propiedad que solo puede poseer una cadena infinita.
77
3.6. Ejercicios.
Ejercicio 3.1.
Sea (X
n
) una cadena de Markov y sea un conjunto {n
r
: r 0} de n umeros enteros
ordenados en orden creciente. Demostrar que Y
r
= X
nr
constituye una cadena de Markov.
Encontrar la matriz de transicion de (Y
r
) cuando n
r
= 2r y (X
n
) es:
1. Un camino aleatorio simple.
2. Un proceso de ramicacion.
Ejercicio 3.2. Sea X
n
la maxima puntuacion obtenida en las primeras n tiradas de un
dado. Demostrar que (X
n
) es una cadena de Markov y encontrar su matriz de transicion
de probabilidades.
Ejercicio 3.3. Consideramos la secuencia aleatoria de polgonos convexos generada
de la siguiente manera: Tomamos dos lados del polgono inicial, trazamos un segmento
que unan sus puntos medios y obtenemos dos nuevos polgonos. Cogemos aleatoriamente
uno de ellos para ser el proximo en la secuencia y as sucesivamente. Sea X
n
+3 el n umero
de lados del n-esimo polgono de la secuencia as construida.
1. Encontrar E[X
n
] en terminos de X
0
.
2. Encontrar la distribucion estacionaria de la cadena de Markov (X
n
).
Nota: El n umero de lados es X
n
+3 para garantizar que el polgono inicial sea al menos
un triangulo.
Ejercicio 3.4 Sea {S
n
: n 0} una caminata al azar con S
0
= 0.
1. Demostrar que X
n
= |S
n
| es una cadena de Markov. Encontrar la matriz de transi-
cion de probabilidad de la cadena.
2. Sea M
n
= max{S
k
: 0 k n}, demostrar que Y
n
= M
n
S
n
es otra cadena de
Markov.
Ejercicio 3.5. La copia de un libro es leda por una secuencia innita de editores
detectando errores. Cada error es detectado con una probabilidad p en cada lectura.
Entre las distintas lecturas el corrector detecta errores pero introduce un n umero aleatorio
de errores nuevos (los errores pueden ser introducido incluso si no detecta ning un error).
Teniendo en cuenta, que el n umero de errores son diferentes en cada lectura del corrector
pero identicamente distribuidos:
Buscar una expresion para la funcion generatriz de probabilidad de la distribucion esta-
cionaria X
n
donde X
n
: n umero de errores despues de la n-esima lectura del corrector.
Buscar una expresion para la funcion generatriz de probabilidad explcita cuando el co-
rrector introduce un n umero de errores en cada lectura regida por una distribucion de
Poisson.
78
Ejercicio 3.6. Una partcula recorre un camino aleatorio sobre los vertices de un
grafo G conexo, el cual para simplicar suponemos que no tiene bucles. En cada etapa
la partcula se mueve de un vertice a otro de los adyacentes, teniendo cada punto igual
probabilidad de ser elegido. Si G tiene (< +) aristas, mostrar que la distribucion
estacionaria esta dada por
v
=
dv
2
donde dv es el grado del vertice.
Ejercicio 3.7. Mostrar que un camino aleatorio sobre un arbol binario innito com-
pleto es una cadena de Markov de estados transitorios.
Ejercicio 3.8. Una partcula realiza una caminata al azar sobre los vertices de un
cubo.En cada etapa permanece en el vertice en que se encuentra con una probabilidad
1
4
y
se desplaza a sus vecinos con la misma probabilidad. Sean v,w dos vertices diametralmente
opuestos y supongamos que la caminata comienza en v. Hallar:
1. El n umero medio de etapas hasta la primera visita a v.
2. El n umero medio de etapas hasta la primera visita a w.
Ejercicio 3.9. Sea la siguiente gura:
B
A
C
D
E
Comenzamos en el vertice (A). Nos piden:
1. El tiempo de primer paso por A partiendo de A (tiempo medio de recurrencia).
2. N umeros de visitas a D antes de llegar a A sabiendo que partimos de A
3. N umeros de visitas a C antes de llegar a A sabiendo que partimos de A
4. Tiempo de primer paso por A sabiendo que parte de A sin que pase por E
5. N umeros de visitas a D antes de llegar a A sabiendo que partimos de A,sin pasar
por E
Ejercicio 3.10. Sea X
n
la cantidad de agua que hay en un embalse el da n sobre el
mediodia.Ddurante las 24 horas anteriores al da n el embalse recibe agua que cuanti-
caremos en la variable Y
n
, justamente antes de cada medioda la presa arroja 1 unidad
de agua (si hay tal cantidad).La capacidad maxima del embalse es k, y si la presa recibe
79
excesiva cantidad este agua se desborda y se pierde. Suponemos que las Y
n
son indepen-
dientes e identicamente distribuidas y que todos los numeros de valoracion son enteros no
negativos.
(1)Demostrar que {X
n
: n > 0} es una cadena de Markov.
(2)Hallar la matriz de transicion de {X
n
: n 1}
(3)Encontrar una expresion de la distribucion estacionaria en terminos de la funcion
generatriz de probabilidad de Y
n
(4)Calcular cuando G
y
(s) = p(1 qs)
1
Ejercicio 3.11. Clasicar los estados de las cadenas de Markov, con matrices de
transicion siguientes:
(a)
P =

1 2p 2p 0
p 1 2p p
0 p 1 p

(b)
P =

0 p 0 1 p
1 p 0 p 0
0 1 p 0 p
p 0 1 p 0

Calcular en cada caso el comportamiento lmite.

Ejercicio 3.11
Clasicar los estados de las cadenas de Markov, con matrices de transicion siguientes:
(a)
P =

1 2p 2p 0
p 1 2p p
0 p 1 p

(b)
P =

0 p 0 1 p
1 p 0 p 0
0 1 p 0 p
p 0 1 p 0

Ademas, calcular en cada caso el comportamiento lmite. Ejercicio 3.12. Clasicar

los estados de la Cadena de Markov dada por la siguiente matriz de paso:
80
P

0 0 0.4 0.6 0
0 0.2 0 0.5 0.3
0.5 0 0.5 0 0
0 0 1 0 0
0.3 0 0.5 0 0.2

Ejercicio 3.13. Clasicar los estados de la cadena de Markov dada por la matriz
adjunta, as como su matriz lmite.

a b c d e f g
a 0.8 0 0 0 0 0.2 0
b 0 0 0 0 1 0 0
c 0.1 0 0.9 0 0 0 0
d 0 0 0 0.5 0 0 0.5
e 0 0.3 0 0 0.7 0 0
f 0 0 1 0 0 0 0
g 0 0.5 0 0 0 0.5 0

Ejercicio 3.14. Sea X una cadena de Markov con espacio de estados E={1,2,3,4,5,6,7,8}
y matriz de transicion:
P =

0.4 0.3 0.3 0 0 0 0 0

0 0.6 0.4 0 0 0 0 0
0.5 0.5 0 0 0 0 0 0
0 0 0 0 1 0 0 0
0 0 0 0.8 0.2 0 0 0
0 0 0 0 0 0.4 0.6 0
0.4 0.4 0 0 0 0 0 0.2
0.1 0 0.3 0 0 0.6 0 0

clasicar los estados y determinar la matriz lmite.

Ejercicio 3.15. Clasicar los estados de la cadena de Markov dada por la siguiente
matriz de transicion, as como determinar la matriz limite.
c)
1 2 3 4 5
1 0.5 0 0 0.5 0
2 0 0.6 0 0 0.4
3 0.3 0 0.7 0 0
4 0 0 1 0 0
5 0 1 0 0 0
Ejercicio 3.16. Clasicar los estados de la cadena de Markov con la siguiente matriz
de transicion, y su comportamiento lmite :
81
P =

0.8 0 0.2 0
0 0 1 0
1 0 0 0
0.3 0.4 0 0.3

Ejercicio 3.17. Estudiar las cadenas de Markov dadas por las matrices de transicion:
P =

p
0
p
1
p
2
p
3

p
0
p
1
p
2
p
3

0 p
0
p
1
p
2

0 0 p
0
p
2

Q =

h
0
g
0
0 0 0
h
1
g
1
g
0
0 0
h
2
g
2
g
1
g
0
0
h
3
g
3
g
2
g
1
g
0

Determinar el comportamiento de los estados a traves de las funciones generatrices de las

sucesiones {p
i
} y {g
j
}, respectivamente.
Ejercicio 3.18. Estudiar el comportamiento de los estados de los recorridos aleatorios
dados por las matrices de transicion:
P
1
=

q p 0 0 0
q 0 p 0 0
0 q 0 p 0
0 0 q 0 p

, P
2
=

0 1 0 0 0
q 0 p 0 0
0 q 0 p 0
0 0 q 0 p

en funcion del valor de p. Determinar las distribuciones lmite.

Ejercicio 3.19. El n umero de das que transcurren hasta que se recibe una peticion
para la suit presidencial de un hotel, es una v.a. G(p). Cada cliente que realiza la peticion
de la suit por un n umero de das que es una v.a. discreta X.
1. Calcular la fraccion de tiempo que la suit esta ocupada.
2. Calcular el benecio para el hotel, si la estancia de X das produce un benecio
cX + k, y un coste D.
82