Cadenas de Markov

Agenda
1. Problema de Inventario
– Revisión periódica con demanda estocástica
2. Formulación (Matricial) de Cadenas de Markov
3. Dinámica de Sistemas
4. Propiedad markoviana aplicado a tiempos
5. Proceso de Nacimiento y Muerte
 Agenda
• Una cadena de Markov es una serie de eventos, en la cual la probabilidad
de que ocurra un evento depende del evento inmediato anterior. En efecto,
las cadenas de este tipo tienen memoria, "Recuerdan" el último evento y
esto condiciona las posibilidades de los eventos futuros.
• Esta dependencia del evento anterior distingue a las cadenas de Markov de
las series de eventos independientes, como tirar una moneda al aire o un
dado.
• En los negocios, las cadenas de Markov se han utilizado para analizar los
patrones de compra, los deudores morosos, para planear las necesidades
de personal y para analizar el reemplazo de equipo.
• El análisis de Markov, llamado así en honor de un matemático ruso que
desarrollo el método en 1907, permite encontrar la probabilidad de que un
sistema se encuentre en un estado en particular en un momento dado.
• Algo más importante aún, es que permite predecir el comportamiento del
sistema a través del tiempo.
 ¿Qué es un proceso estocástico?
La sucesión de observaciones de las variables aleatorias S0, S1, ... se llama un
proceso estocástico o proceso aleatorio, donde:

t = 1,2,…

En un proceso de este tipo los valores de

Por ejemplo St podría
las observaciones no pueden predecirse
representar los niveles
con precisión de antemano. Sin embargo
de inventario al final de
puede especificarse una probabilidad de
la semana t.
observar determinado valor.
1. Problema de Inventario
Una tienda de cámaras tiene en almacén un modelo de cámara que puede
ordenar semanalmente, donde:

t  0,1, 2,...

El sábado en la noche la tienda hace un pedido que es entregado el lunes.

La política de la tienda es la siguiente: si no hay cámaras en el inventario,
ordena 3. De otra manera si se cuentan con cámaras en el almacén no se
hace pedido.
Por estudios anteriores, se sabe que la demanda semanal Dt tiene una
distribución Poisson con media 1.
Considerar S0 = 3 y que las ventas se pierden cuando la demanda excede
el inventario.
 1. Problema de Inventario
a) Deducir la función Xt(St-1) que representa la cantidad de compra semanal
b) Deducir la función St(St-1,Dt) que describe la evolución del estado en
función de la demanda, incorporando la política de compra
c) Construir la matriz de transición
d) Construir el diagrama de transición de estados
e) Obtener la distribución probabilística del estado después de una y de dos
semanas. (Es decir, obtenga la distribución prob. de S1 y de S2)

a)

La política es de comprar sólo cuando se acaba el inventario, y de comprar lotes de 3.

1. Problema de Inventario
b) Deduce la función St(St-1,Xt, Dt) que describe la evolución del estado en
función de la demanda, incorporando la política de compra

Considerando la posibilidad de que la demanda exceda a la oferta,

la evolución se da por

La política es que

Entonces,
 1. Problema de Inventario
c) Construya la matriz de transición pij = P(St = j| St-1 = i)
St 0 1 2 3
St-1
0 P(Dt>3) P(Dt = 2) P(Dt = 1) P(Dt = 0)

1 P(Dt>1) P(Dt = 0) 0 0
P= 2 P(Dt>2) P(Dt = 1) P(Dt = 0) 0
=
3 P(Dt>3) P(Dt = 2) P(Dt = 1) P(Dt = 0)

(La matriz de transición muestra la evolución St(St-1,Dt) , según la distribución de Dt)

1. Problema de Inventario

P=
d) Construya el diagrama de transición de estados
0,184
0,080 0 0,632
1 0,368

0,368 0,368 0,184

0,368

0,264
0,080

0,368 2 0,368 3 0,368

1. Problema de Inventario
e) Obtener la distribución probabilística del estado después de una y de
dos semanas. (Es decir, obtenga la distribución prob. de S1 y de S2)

• Utilicemos p(t) para representar la distribución probabilística de St, en forma

vectorial
• En el contexto de nuestro ejemplo, p(t)= [P(St = 0);P(St = 1);P(St = 2);P(St = 3)]
• Ya que So = 3, según el enunciado, p(0) = [0 0 0 1]

• Para la matriz de transición, siempre se cumple que p(t)= p(t-1)P

• Entonces, p(1) = [0,080 0,184 0,368 0,368 ]

• Luego, p(2)= p(1)P = [0,249 0,286 0,300 0,165 ]
1. Problema de Inventario
e) Obtener la distribución probabilística del estado después de una y de
dos semanas. (Es decir, obtenga la distribución prob. de S1 y de S2)
• p(1) = [0,080 0,184 0,368 0,368 ]
• p(2) = [0,249 0,286 0,300 0,165 ]
¿Cómo interpretar estos resultados?
Si empezamos con 3 cámaras, hay una probabilidad de …
• 8% que nos quede 0 después de una semana, y 24,9% después de dos semanas.
• 18,4% que nos quede 1 después de una semana, y 28,6% después de dos
semanas.
• 36,8% que nos quede 2 después de una semana, y 30% después de dos
semanas.
• 36,8% que nos quede 3 después de una semana, y 16,5% después de dos
semanas, etc.
2. Formulación de Cadenas de Markov
• Acabamos de ver un ejemplo de un proceso
estocástico, además es un ejemplo de una
Cadena de Markov
• Una cadena de Markov es un proceso estocástico
{St|t = 0…n} que tiene la propiedad markoviana:
PSt 1  j | S 0  k0 , S1  k1 ,..., St 1  kt 1 , St  i   PSt 1  j | St  i 

Es decir, la probabilidad condicional de un evento

futuro dado eventos pasados y el estado actual,
depende sólo del presente y es independiente de
eventos pasados.
2. Formulación de Cadenas de Markov
• En el contexto de Cadenas de Markov, se
pueden definir probabilidades de transición
(de un paso)
pij  P  St 1  j | St  i 
y son estacionarias (no cambian en el tiempo),
esto es:
P  St  j | St 1  i   P  S1  i | S0  j   pij t  1
 2. Formulación de Cadenas de Markov
Probabilidades de Transición
• Lo último implica que también se cumple que
para cada i, j, n n  0,1,..., t  :
PSt  j | St n  i   PSn  j | S0  i 
• Lo cual se conoce como probabilidad de
transición de n pasos.
Notación de probabilidades estacionarias:
pij  P  St  j | St 1  i 
pij( n )  P  St  j | St  n  i 
2. Formulación de Cadenas de Markov
• Las probabilidades de transición de 𝑛 pasos
(𝑛)
𝑝𝑖𝑗 son las probabilidades condicionales de
que el sistema se encuentre en el estado 𝑗
justo después de 𝑛 pasos (unidades de
tiempo), dado que comenzó en el estado 𝑖 en
un tiempo 𝑡.
2. Formulación de Cadenas de Markov
• Propiedades:
 n
• ij  0 i, j, n
p Notación conveniente:
forma matricial
M

• p
j 1
 n
ij  1 i, n
2. Formulación de Cadenas de Markov
Matriz de Transición de 𝑛 pasos:

La probabilidad de transición de cada celda se refiere a la probabilidad

de transición de 𝑛 pasos de pasar desde el estado en la fila de la celda,
al estado de la columna de la celda.
Si 𝑛 = 1, entonces la matriz se denomina simplemente Matriz de
Transición, y el superíndice 𝑛 no se escribe.
2. Formulación de Cadenas de Markov
• En las cadenas de Markov que se estudiarán en el
capítulo, se tendrán las siguientes propiedades:
• Un número finito de estados.
• Probabilidades de transición estacionarias.
• Según estos suposiciones, P(n) = p(0) Pn
Resultado de Chapman-Kolmogorov
• Además se supondrá que se conocen las
probabilidades iniciales PS 0  i , i
(corresponde al vector p(0))
2. Formulación de Cadenas de Markov
Problema de Inventario
Aplicando el resultado de Komolgov-Chapman al problema de inventario

• Entonces, p(2) = p(0) P2 = [0,249 0,286 0,300 0,165 ], igual como antes
• Ahora que tenemos P2, se puede calcular p(2) para cualquier distribución inicial p(0)
2. Formulación de Cadenas de Markov
Lo mismo se puede aplicar para la matriz de transición de 4 pasos, que se puede
obtener como P(4) = P4 = P2*P2.

• Lo cual permite obtener las mismas conclusiones previas, pero para un inventario
de 4 semanas más tarde.
• En general p(n) = p(0) Pn = nos da la distribución probabilística de estado St después
de t = n pasos
2. Formulación de Cadenas de Markov
Probabilidades
n
Condicionales v/s Incondicionales
La matriz P tiene las distribuciones probabilísticas condicionales,
pij (n) = Probabilidad de que (Sn = j), dado que (S0 = i)
= P(Sn = j|S0 = i)

Muchas veces se pone la distribución incondicional, lo cual implica una

suma ponderada, según la distribución inicial
pj (n) = Probabilidad de que (Sn = j), según la distribución inicial
= P(Sn = j)
M

= p
i 0
(0)
i pij( n)

O se lo puede escribir en forma matricial,

p(n) = p(0) Pn
como lo hemos hecho con el ejemplo del inventario con n = 2.
 4. Propiedad Markoviana aplicada a tiempos
(“Cadenas de Markov de Tiempo Continuo”)

• Existen ciertos casos en los que se requiere un parámetro de

tiempo continuo (t), pues la evolución del proceso se observa
de manera continua a través del tiempo.

Tasa promedio
(en casos discretos se pone probabilidades)
 Importancia de la distribución exponencial

• Cada vez que el proceso entra en el estado 𝑖, la

cantidad de tiempo que pasa en ese estado antes de
moverse a uno diferente es una variable aleatoria 𝑇𝑖
donde 𝑖 = 0, 1, … , 𝑀.
• La propiedad markoviana indica que
 Importancia de la distribución exponencial

Esto es la propiedad de carencia de memoria

La distribución de probabilidad continua que posee
esta propiedad es la distribución exponencial, cuyo
parámetro es l .
1. La variable aleatoria 𝑇𝑖 tiene una distribución
exponencial con media 1/𝜆𝑖 .
𝑃 𝑇𝑖 ≤ 𝑡 = 1 − 𝑒 −𝜆𝑡 , para 𝑡 ≥ 0
2. Cuando sale de un estado 𝑖, el proceso se mueve
a otro estado 𝑗, con probabilidad 𝑝𝑖𝑗 , en donde
𝑝𝑖𝑗 satisface las condiciones:
a) 𝑝𝑖𝑗 ≥ 0 , ∀𝑖. b) σ𝑀
𝑗=0 𝑝𝑖𝑗 = 1 , ∀𝑖.

3. El siguiente estado que se visita después del

estado 𝑖 es independiente del tiempo que paso
en el estado 𝑖.
El papel análogo de las probabilidades de transición en una cadena de tiempos
discretos, lo desempeñan las “intensidades de transición” en las cadenas de
tiempo continuo:
d 1  pii (t )
li   pii (0)  lim i  0,1, 2,..., M
dt t 0 t

d pij (t )
lij   pij (0)  lim  li pij , j  i
dt t 0 t
La interpretación intuitiva de li y lij es que son tasas de transición.

En particular, li es la tasa de transición hacia afuera del estado i en el sentido de

que li es el número esperado de veces que el proceso deja el estado 𝑖 por unidad
de tiempo que pasa en el estado 𝑖.

Así, l𝑖 = 1 / 𝐸[𝑇𝑖]
De manera similar, l𝑖𝑗 es la tasa de transición del estado 𝒊 al estado 𝒋 en el
sentido de que l𝑖𝑗 es el número esperado de veces que el proceso transita del
estado 𝑖 al estado 𝑗 por unidad de tiempo que pasa en el estado 𝑖.
Así, 𝜆𝑖 = σ𝑗≠𝑖 𝜆𝑖𝑗

Cada vez que el proceso entra al estado 𝑖, la cantidad de tiempo que pasará en el
estado 𝑖 antes de que ocurra una transición al estado 𝑗 (si no ocurre antes una
transición a algún otro estado) es una variable aleatoria 𝑇𝑖𝑗 , (𝑗 ≠ 𝑖)

Las 𝑇𝑖𝑗 son variables aleatorias independientes, donde cada 𝑇𝑖𝑗 tiene una
1
distribución exponencial tal que 𝐸 𝑇𝑖𝑗 =
l𝑖𝑗

El tiempo que pasa en el estado i hasta que ocurre una transición 𝑇𝑖 es el mínimo
(sobre 𝑗 ≠ 𝑖) de las 𝑇𝑖𝑗

𝜆𝑖𝑗
Cuando ocurre la transición, la probabilidad que sea al estado 𝑗 es 𝑝𝑖𝑗 =
𝜆𝑖
En resumen,

Propiedad markoviana
(carencia de memoria)
Distribución Exponencial

Variable de tiempo (duración)

• Ejercicio (Super-Conejos)
El país A está en guerra contra el país B, y ha
desarrollado unos “super-conejos” como forma de
ataque biológico. Estos conejos nunca mueren, pero
tienen una tasa de reproducción que se explica por la
siguiente fórmula: 0 si j  2
lj  
j d .o. f .
En lo cual lj se mide en conejos por semana.
a) Si se introducen 500 conejos al país B en un tiempo,
¿cuál será el tpo. esperado antes de que nazca el
conejo N° 501?
b) ¿Cuánto tpo. es de esperar hasta que nazca el conejo
N° 100.000?
a) Próximo conejo:
•La tasa promedio es de l500 = 500 conejos/semana
•Entonces, se espera ver el próximo conejo después de
t501 = ( l500 )-1= 0.002 semanas ≈ 20 minutos

b) Conejo Nº 100.000:
t100000 = ( l500 )-1 + ( l501 )-1 + … +( l99999 )-1
= 1/500 + 1/501 + … + 1/99999
= 2,997 semanas
Ejercicio (Soltero a la vida)
Juanito es muy joven, y ahora se considera como “soltero a la
vida”. Sin embargo, él es siempre fiel cuando tiene polola; es
decir que él solo busca una nueva polola cuando no tiene polola.
Cuando no tiene polola, el tiempo esperado antes de que Juanito
encuentre una nueva polola es de 4 meses. El tiempo esperado
que dure una nueva relación es de 6 meses.
En cualquier momento, ¿cuál es la probabilidad que Juanito esté
pololeando?

l = tasa para encontrar polola = 1/4

Solución:
= tasa para dejar a la polola = 1/6

p0 = probabilidad de no tener polola = ?

p1 = probabilidad de tener polola = ?
(p1 + p0 = 1)
Ejercicio (Soltero a la vida)

La tasa con que Juanito gana una polola es l, pero con condición de que él
no tiene polola. Entonces la tasa promedio de ganar polola es: lp0

De manera similar la tasa promedio de perder polola es: p1

El balance de flujos nos da

p1 =lp0
=l (1 – p1)
= l – lp1
(+l)p1 = l
p1 = l/ (+l) = (1/4) / ((1/4) + 1/6)) = 60%
En algún momento, Juanito tiene probabilidad de 60% de tener polola.
Acabamos de ver un modelo básico de colas que se identifica con una
notación “M/M/1/1”. Vamos a conversar esta notación en el próximo
capítulo.
Proceso de Poisson

Algunas veces, una cadena de Markov con pasos de tiempos

continuos, se llama “Proceso de Poisson”

El siguiente ejemplo ilustra cuál es la conexión entre la

distribución exponencial y la distribución de Poisson
• Ejercicio (Proceso de Poisson)
Los trabajos que deben realizarse en una máquina
específica llegan según un proceso de entradas Poisson
con tasa media de 2 por hora. Suponga que la máquina
se descompone y su reparación tardará 3 hora. ¿Cuál es
la probabilidad de que el número de trabajos que
llegan durante este tiempo sea:
a) 0
b) 2
c) 5

34
• Ejercicio (Proceso de Poisson)
a) ¿Cuál es la probabilidad de que el número de
trabajos sea cero? (Utilizando la distr. exponencial)
T1 = tiempo para la primera llegada (variable aleatoria)
λ = tasa esperada para una próxima llegada = 2 llegas/hora
Nota que E(T1) = 1/ λ horas,
(igual como en el ejemplo anterior)
t = tiempo total para reparar la máquina = 3 horas

Probabilidad de que haya cero llegadas = P(T1 > t)

= 1 - P(T1 < t)
t
 1   le lT1 dT1
0


 1  1  e  lt 
 e  lt  e 6 35
• Ejercicio (Proceso de Poisson)
a) ¿Cuál es la probabilidad de que el número de
trabajos sea cero? (Utilizando la distr. Poisson)
X = Cantidad de llegadas durante los tres horas (variable aleatoria)
 = Cantidad esperada de llagadas durante los tres horas = λt ≠ λ
= (2 llegadas por hora)  (3 horas)
= 6 llegadas
Según la pmf de la Poisson,

P X  x  
 x e 

l t x e  l t
x! x!
(Muchas veces, los formularios utilizan lambda en vez theta. Cuídense por está
ambigüedad).

 0e 
Bueno, el resultado anterior sale inmediatamente P X  0   e   e 6
0!
36
• Ejercicio (Proceso de Poisson)
b) ¿Cuál es la probabilidad de que el número de
trabajos sea dos? (Utilizando la distr. exponencial)
T1 = tiempo para la primera llegada
T2 = tiempo entre la primera y la segunda llegada
T3 = tiempo entre la segunda y la tercera llegada
λ = tasa esperada para una próxima llegada = 2 llegas/hora
Nota que E(T1) = E(T2) = E(T3) = 1/ λ horas,
t = tiempo total para reparar la máquina = 3 horas

Probabilidad de que haya dos llegadas = P( T1 < t , T2 < t-T1 , T3 > t-T2-T1 )
t t T1 
   le le le dT dT dT
 lT1  lT2  lT3
3 2 1
0 0 t T1 T2
(Cuídense de los límites de integración)
37
• Ejercicio (Proceso de Poisson)
b) ¿Cuál es la probabilidad de que el número de
trabajos sea dos? (Utilizando la distr. exponencial)
Probabilidad de que haya dos llegadas
t t T1 
   le le le dT dT dT
 lT1  lT2  lT3
3 2 1
0 0 t T1 T2
t t T1 
 l3  e lT1  e lT2  dT3dT2dT1
e  lT3

0 0 t T1 T2
t T1

 
t
 l2  e lT1  e lT2
e lT1  lT2 lt
 0 dT2 dT1
0 0
t t T1

 l2  e lT1  e lT1 lt

dT2 dT1
0 0 38
• Ejercicio (Proceso de Poisson)
b) ¿Cuál es la probabilidad de que el número de
trabajos sea dos? (Utilizando la distr. exponencial)
t t T1

 l2  e lT1  e lT1 lt

dT2 dT1 t

0 0
 l2e lt  t  T1dT1
0
t T1

 
t
 l2  e lT1 elT1 lt  dT2dT1  l2 e  lt t 2  12 t 2
0 0
t t T1

 l2  e lt  dT2dT1 
lt 2 e  lt
0 0
2
t t T1
 l2e lt   dT2dT1 6 2 e 6
0 0
  18e 6
2 39
• Ejercicio (Proceso de Poisson)
b) ¿Cuál es la probabilidad de que el número de
trabajos sea dos? (Utilizando la distr. Poisson)
 x e 
P X  x  
x!

 2e  62 e 6
P X  2     18e 6
2! 2

40
• Ejercicio (Proceso de Poisson)
c) ¿Cuál es la probabilidad de que el número de trabajos
sea cinco? (Utilizando la distr. Exponencial)
Probabilidad de que haya cinco llegadas
= P( (T1 < t) , (T2 < t - T1), (T3 < t - T1 - T2), (T4 < t - T1 - T2 - T3), (T5 < t - T1 - T2 - T3 - T4), (T6 > t - T1 - T2 - T3 - T4 - T5 ) )
t t T1 t T1 T2 t T1 T2 T3 t T1 T2 T3 T4 
l e  i1 i dT6 dT5 dT4 dT3 dT2 dT1
6
6 l
     
T

0 0 0 0 0 t T1 T2 T3 T4 T5

c) ¿Cuál es la probabilidad de que el número de

trabajos sea cinco? (Utilizando la distr. Poisson)
 x e 
P X  x  
x!
 5e  65 e 6
P  X  5    (64,8)e 6
5! 120
41
Mejor trabajar con la distr. Poisson, ¿cierto?