Antonio Hoyos Chaverra.

Cadenas de Markov

COSTOS ESPERADOS Y
ESTADOS ABSORBENTES
Antonio Hoyos Chaverra
Departamento de Ingeniera Industrial
Facultad de Ingeniera Universidad de Antioquia
 Antonio Hoyos Chaverra. Cadenas de Markov

Agenda
Objetivo
Introduccin
Costos esperados
Ejemplos
Estados absorbentes
Ejemplos
 Antonio Hoyos Chaverra. Cadenas de Markov

Objetivo
Aprender a calcular los costos esperados de una cadena
de Markov y la probabilidad de absorcin de un estado
determinado.
 Antonio Hoyos Chaverra. Cadenas de Markov

Introduccin
Muchas veces los estados del sistema tienen unos costos
asociados, por ejemplo en un sistema de inventarios sera
til conocer cul sera el costo de operacin a largo plazo.
 Antonio Hoyos Chaverra. Cadenas de Markov

Costos esperados
Recuerde que en cadenas de Markov ergdicas (recurrentes y
aperidicas). El siguiente lmite existe:

Si se relaja el requerimiento de que los estados sean

aperidicos, entonces el lmite anterior podra no existir.
Ejemplo:

00 = 0 si n es par

00 = 1 si n es impar
 Antonio Hoyos Chaverra. Cadenas de Markov

Costos esperados
No obstante el siguiente lmite siempre existe para una cadena de Markov
irreductible de estados finitos.

Donde las pj satisfacen las ecuaciones de estado estable.

Este resultado es importante para el clculo del costo promedio esperado por
unidad de tiempo.

Interpretacin de las pj:

1. Probabilidad a largo plazo de que el sistema se encuentre en el
estado j

2. Proporcin de tiempo que el sistema se encuentra en el estado j.

 Antonio Hoyos Chaverra. Cadenas de Markov

Costos esperados
Supongamos que se incurre en un costo C cuando el sistema se
encuentra en el estado en el tiempo t.

C es una variable aleatoria que toma cualquiera de los valores

C 0 , C 1 , , C , y la funcin C . es independiente de t.

Entonces el costo promedio esperado en los n primeros periodos esta

dado por:
 Antonio Hoyos Chaverra. Cadenas de Markov

Costos esperados
Usando

Se puede demostrar que a la larga el costo esperado por

unidad de tiempo esta dado por:
 Antonio Hoyos Chaverra. Cadenas de Markov

Ejemplo: problema de inventarios

Suponga que existe un costo de almacenamiento de 2 USD por
unidad. Cual es el costo estimado por semana del sistema?

Entonces los costos para cada estado son:

C 0 = 0, C 1 = 2, C 2 = 4, C 3 = 6

p 0 0.4005
p 0 c0 p 1 c1 p 2 c2 p 3 c3 2.1028
p 1 0.2623
p 2 0.2222 El costo esperado por semana del
sistema es de 2.1028 USD
p 3 0.1149

Cunto cuesta mantener el inventario durante un ao?

 Antonio Hoyos Chaverra. Cadenas de Markov

Insurance company Example

An insurance company charges customers annual
premiums based on their accident history in the following
fashion:

No accident in last 2 years: $250 annual premium

Accidents in each of last 2 years: $800 annual premium
Accident in only 1 of last 2 years: $400 annual premium

Historical statistics:
1. If a customer had an accident last year then they have a
10% chance of having one this year;
2. If they had no accident last year then they have a 3%
chance of having one this year.
 Antonio Hoyos Chaverra. Cadenas de Markov

Insurance company Example

Problem: Find the steady-state probability and the long-
run average annual premium paid by the customer.

Solution approach: Construct a Markov chain with four states: (N, N), (N,
Y), (Y, N), (Y,Y) where these indicate (accident last year, accident this
year).

(N, N) (N, Y) (Y, N) (Y, Y)

(N, N) 0.97 0.03 0 0
P= (N, Y) 0 0 0.90 0.10
(Y, N) 0.97 0.03 0 0
(Y, Y) 0 0 0.90 0.10
 Antonio Hoyos Chaverra. Cadenas de Markov

Solving the SteadyState Equations

m
pj = pipij, j = 0,,m p(N,N) = 0.97 p(N,N) + 0.97 p(Y,N)
i=1 p(N,Y) = 0.03 p(N,N) + 0.03 p(Y,N)
m
pj = 1, pj 0, j p(Y,N) = 0.9 p(N,Y) + 0.9 p(Y,Y)
j =1 p(N,N) + p(N,Y)+p(Y,N) + p(Y,Y) = 1

Solution:
p(N,N) = 0.939, p(N,Y) = 0.029, p(Y,N) = 0.029, p(Y,Y) = 0.003

& the long-run average annual premium is

0.939*250 + 0.029*400 + 0.029*400 + 0.003*800 = 260.5
 Antonio Hoyos Chaverra. Cadenas de Markov

Estados absorbentes
Recordemos que un estado k se llama absorbente si =
1
k

Si K es absorbente y el sistema inicia en el estado i, la

probabilidad de llegar en algn momento a k se llama
probabilidad de absorcin al estado k dado que el
sistema comenz en el estado i.

Esta probabilidad se denota

 Antonio Hoyos Chaverra. Cadenas de Markov

Estados absorbentes
Estas probabilidades se pueden calcular resolviendo el
siguiente sistema de ecuaciones lineales.

i j k
 Antonio Hoyos Chaverra. Cadenas de Markov

Ejemplo: problema del jugador 2

Suponga que hay dos jugadores A y B, cada uno con un
capital de 2 USD, el juego termina cuando alguno de los
dos quiebre. La probabilidad de que A gane es de 1/3.
Construya la matriz para A
 Antonio Hoyos Chaverra. Cadenas de Markov

Ejemplo: problema del jugador 2

 Antonio Hoyos Chaverra. Cadenas de Markov

Ejemplo: problema del jugador 2

 Antonio Hoyos Chaverra. Cadenas de Markov

Bibliografa
Hillier, Frederick S., and Gerald J. Lieberman. Introduction
to Operations Research. McGraw-Hill, 2001.
Calderon, B. (2006) Cadenas de Markov. Notas de
clase. Universidad de Antioquia.