Professional Documents
Culture Documents
CADENAS DE MARKOV
En los problemas de toma de decisiones, con frecuencia nos enfrentamos a situaciones que tienen
incertidumbre asociada a ellas. Esta incertidumbre proviene de la variación inherente a las fuentes de esa
variación que eluden el control o proviene de la inconsistencia de los fenómenos naturales. En lugar de
manejar esta variabilidad como cualitativa, puede incorporarse a un modelo matemático y manejarse en
forma cuantitativa. Por lo general, este tratamiento puede lograrse si el fenómeno natural muestra un cierto
grado de regularidad, de manera que sea posible describir la variación mediante un modelo probabilístico.
Este capitulo presenta modelos de probabilidad para procesos que evolucionan en el tiempo de una manera
probabilística. Tales procesos se llaman procesos estocásticos. Después de introducir brevemente los
procesos estocásticos generales en la primera sección, el resto del capítulo está dedicado a un tipo especial
de proceso, llamado Cadena de Markov. Las cadenas de Markov tienen la propiedad particular de que las
probabilidades que describen la forma en que el proceso evolucionará en el futuro dependen sólo del estado
actual en que se encuentra el proceso y, por lo tanto, son independientes de los eventos ocurridos en el
pasado. Muchos procesos se ajustan a esta descripción por lo que las cadenas de Markov constituyen una
clase de modelos probabilísticos de gran importancia y por lo tanto, se han aplicado con éxito en áreas tales
como educación, mercadotecnia, servicios de salud, finanzas, contabilidad y producción, entre otros.
Ejemplo 1.1 La ruina del jugador. En el tiempo 0 tengo $2000. En los tiempos 1, 2, participo en un
juego en el que solo puedo apostar $1000. Gano con probabilidad p, y pierdo con
probabilidad 1 - p. Mi meta es aumentar mi capital a $4000, y tan pronto como lo logre se
suspende el juego. El juego también se suspende si mi capital se reduce a $0.
y por lo tanto S = {0, 1, 2, 3, 4}. Entonces se puede considerar que {Xt} es un proceso
estocástico de tiempo discreto. Nótese que X0 = 2 es una constante conocida, pero que X1 y
las demás Xt son aleatorias. Por ejemplo, X1 = 3 con probabilidad p y X1 = 1 con probabilidad
1 - p. Nótese que si Xt = 4, entonces Xt+1 y todas las demás Xt también serán iguales a 4.
1
Es indiferente si se inicia a etiquetar desde 1 o desde 0.
2
Igualmente, si Xt = 0, entonces Xt+1 y todas las demás Xt serán también cero. Por razones
obvias, a estos casos se les llama problema de la ruina del jugador.
Ejemplo 1.2 Una urna contiene dos bolas, las cuales se encuentran sin pintar. Se selecciona una bola al
azar y se lanza una moneda. Si la bola elegida no está pintada y la moneda produce cara,
pintamos la bola de rojo; si la moneda produce sello, la pintamos de negro. Si la bola ya está
pintada, entonces cambiamos el color de la bola de rojo a negro o de negro a rojo,
independientemente de si la moneda produce cara o sello. Para modelar este caso como
proceso estocástico, definimos a t como el tiempo después que la moneda ha sido lanzada
por t-ésina vez y se ha pintado la bola escogida. En cualquier tiempo se puede representar el
estado del sistema mediante el vector [u, r, b], donde u es el número de bolas sin pintar en la
urna, r el número de bolas rojas y b el de bolas negras. Luego los estados del sistema serán:
Estado 1 [2, 0, 0]
Estado 2 [1, 1, 0]
Estado 3 [1, 0, 1]
Estado 4 [0, 1, 1]
Estado 5 [0, 2, 0]
Estado 6 [0, 0, 2].
Se nos dice que X0 = [2, 0, 0]. Después del primer lanzamiento una bola habrá sido pintada
ya sea de rojo o de negro y el estado será [1, 1, 0] o [1, 0, 1]. Por lo tanto, podemos asegurar
que X1 = [1, 1, 0] o X1 = [1, 0, 1]. Es claro que debe haber alguna relación entre las Xt. Por
ejemplo, si Xt = [0, 2, 0], podemos asegurar que Xt+1 será [0, 1, 1].
Ejemplo 1.3 Sea X0 el precio de una acción de la compañía de Computadoras CSL al principio de este día
hábil. También, sea Xt el precio de esa acción al principio del t-ésimo día hábil en el futuro. Es
claro que si se conocen los valores de X0, X1, , Xt estos valores dicen algo acerca
distribución de probabilidad de Xt+1; el asunto es: ¿qué nos dice el pasado (los precios de las
acciones hasta el tiempo t) acerca de Xt+1? La respuesta a esta pregunta es de importancia
crítica en finanzas. Para mayores detalles, véase la siguiente sección.
Ejemplo 1.4 Problema de inventarios. Una tienda de cámaras tiene en almacén un modelo especial
que se puede ordenar cada semana. Sean D1, D2, las demandas de este tipo de cámara
durante la primera, segunda, , t-ésima semana, respectivamente. Suponga que las Dt son
variables aleatorias independientes e idénticamente distribuidas con distribución de
probabilidad conocida. Sea Xt el número de cámaras que se tiene en el momento de iniciar el
proceso. El sábado en la noche la tienda hace un pedido que le entrega el lunes en el
momento de abrir la tienda. La tienda usa la siguiente política (s, S)2 para ordenar: Si el
número de cámaras en inventario al final de la semana es menor que s = 1 , ordena (hasta) S
= 3. De otra manera no coloca la orden. Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces {Xt} es un proceso estocástico. Los estados
posibles del proceso son:
Estado 0 Tener 0 cámaras en inventario al final de la semana
Estado 1 Tener 1 Cámara en inventario al final de la semana
Estado 2 Tener 2 cámaras en inventario al final de la semana
Estado 3 Tener 3 cámaras en inventario al final de la semana.
De hecho, es claro que las variables aleatorias Xt son dependientes y se pueden evaluar en
forma iterativa por medio de la expresión
2
Una política (s, S) es una política de revisión continua que consiste en ordenar hasta S unidades siempre que el nivel del inventario baje
de s (S s). Si el nivel de inventario es s o mayor que, no se ordena.
3
máx{(3 Dt 1 ), 0} si X t 1
X t 1 (1)
máx{( X t Dt 1 ), 0} si X t 1
Se finalizará esta sección con una explicación breve de los procesos estocásticos de tiempo continuo. Un
proceso estocástico de tiempo continuo es simplemente un proceso estocástico en el que el estado del
sistema se puede examinar en cualquier tiempo y no sólo en instantes discretos. Por ejemplo, se puede
considerar que el número de personas en un supermercado a los t minutos después de abrir, es un proceso
estocástico de tiempo continuo. Los modelos en los que intervienen estos procesos se estudiaran más
adelante. Como el precio de una acción se puede observar en cualquier tiempo, y no sólo al abrir la bolsa,
este se puede considerar como proceso estocástico de tiempo continuo. Al considerarlo así, se ha podido
llegar a importantes resultados en la teoría de finanzas, incluyendo la famosa fórmula de Black-Scholes para
opción de precio.
En esencia, la ecuación (1) dice que la distribución de probabilidad del estado en el tiempo t + 1 depende del
estado en el tiempo t (it) y no depende de los estados por los cuales pasó la cadena para llegar a it, en el
tiempo t, es decir, el estado que tomará el sistema en el futuro inmediato solo depende del presente más no
del pasado. La probabilidad condicional P X t 1 i t 1|X t i t se llama probabilidad de transición, ya que
el sistema en período pasa del estado it+1 al estado it.
Además, si para cualquier par de estados i y j ocurre P X t 1 j|X t i toma el mismo valor para todo t,
se dice que la cadena de Markov es estacionaria en el tiempo y se puede escribir:
P(Xt+1 = j | Xt = i) = P(X1 = j | X0 = i) = pij (3)
donde pij es la probabilidad de que dado que el sistema está en el estado i en el tiempo t, el sistema estará
en el estado j en el tiempo t + 1. Con frecuencia, en una cadena de Markov, a las pij, se les conoce con el
nombre de probabilidades de transición estacionarias.
La Ecc. 2 indica que la ley de probabilidad que relaciona el estado tomado en el siguiente periodo con el
estado actual del sistema no cambia, o que permanece estacionaria, en el tiempo. Por este motivo, a
menudo se llama Hipótesis de estabilidad a la ecuación (2). Toda cadena de Markov que cumple con la
Ecc. 2 se llama cadena estacionaria de Markov.
En la mayoría de las aplicaciones, las probabilidades de transición se presentan como una matriz P de
probabilidad de transición s s. La matriz de probabilidad de transición P se puede escribir como
4
Dado que el estado es i en el tiempo t, el proceso debe estar en algún lugar en el tiempo t + 1. Esto significa
que para cada i,
s s
P( X t 1 j | X t i) 1
j 1
o bien que p
j 1
ij 1
También sabemos que cada elemento de la matriz P debe ser no negativo. Por lo tanto, todos los elementos
de la matriz de probabilidad de transición son no negativos y además, los elementos de cada renglón deben
sumar 1.
El estudio de las cadenas de Markov también necesita que se defina qi como la probabilidad de que la
cadena se encuentre en el estado i en el tiempo 0; en otras palabras, P(X0 = i) = qi. Al vector q = [q1, q2, , qs]
se le llama distribución inicial de probabilidad de la cadena de Markov.
Ejemplo 2.1 La ruina del jugador (continuación). Encuentre la matriz de transición del Ejemplo 1.1.
Solución Como la cantidad de dinero que tengo después de t + 1 jugadas depende de los
antecedentes del juego sólo hasta la cantidad de efectivo que tengo después de t jugadas,
no hay duda que se trata de una cadena de Markov. Debido a que como las reglas
del juego no varían con el tiempo, también tenemos una cadena de Markov
estacionaria. La matriz de transición es la siguiente:
Estado
0 1 2 3 4
0 1 0 0 0 0
1 1-p 0 P 0 0
P = 2 0 1-p 0 P 0
3 0 0 1-p 0 p
4 0 0 0 0 1
Si el estado es 0 o 4 no juego más y, por lo tanto, el estado no puede cambiar; entonces p00 =
p44 = 1. Para los demás estados sabemos que, con probabilidad p, el estado del siguiente
periodo será mayor que el estado actual en 1, y con probabilidad 1 - p, el estado del siguiente
periodo será menor en 1 que el estado actual.
Una matriz de transición se puede representar con una gráfica en la que cada nodo
represente un estado y arc(i, j) represente la probabilidad de transición pij. La Fig. 1 es una
representación gráfica de la matriz de probabilidad de transición para este ejemplo.
Figura 1
Representación gráfica
de la matriz de
transición para el
ejemplo de la ruina del
jugador
Ejemplo 2.2 (Continuación) Determine la matriz de transición del Ejemplo 1.2 de la sección anterior.
5
Para ver cómo se forma la matriz de transición, determinaremos el renglón [1, 1, 0]. Si el
estado actual es [1, 1, 0], dadas las condiciones del problema, no es posible pasar a
cualquiera de los estados [0, 0, 2], [2, 0, 0] y [1, 1, 0] y por lo tanto la probabilidad de
transición del estado [1, 1, 0] a cualquiera de estos estados es cero. Ahora bien, si el estado
es [1, 1, 0] para alcanzar el estado [0, 2, 0] debe ocurrir que se escoge una bola sin pintar
(con probabilidad ½) y que el resultado del lanzamiento de la moneda sea cara (con
probabilidad ½), lo que da una probabilidad de ¼. Pero si lo que ocurre es que se saca una
bola sin pintar (con probabilidad ½) y el resultado del lanzamiento de la moneda es sello (con
probabilidad ½) se alcanza el estado [0, 1, 1] con probabilidad ¼. Finalmente, si se escoge la
bolla roja (con probabilidad de ½), sin importar el resultado del lanzamiento de la moneda a
esta se le cambiará el color y se alcanza así el estado [1, 0, 1] con probabilidad ½. Lo
anterior se resume en la Tabla 1.
Ejemplo 2.3 (Continuación) En los últimos años, los estudiantes de finanzas han dedicado mucho
esfuerzo a contestar la pregunta de si el precio diario de una acción se puede describir
mediante una cadena de Markov. Supongamos que el precio diario de una acción, como el
6
Ejemplo 2.4 Problema de inventario (continuación). Encontrar la matriz de transición para el ejemplo
1.4, suponiendo que Dt tiene una distribución de probabilidad Poisson con parámetro = 13.
Solución Para obtener p00 es necesario evaluar P(Xt+1=0 | Xt=0). Si Xt=0, entonces Xt+1= máx{(3 – Dt+1),
0}, según la Ecc 1. Pero como Xt+1=0, 3 – Dt+1 0 y por lo tanto Dt+1 3. Así, p00= P(Dt+1 3) = 1
- P(Dt+1 2) = .080; y p10= P(Xt+1=0 | Xt=1) se puede obtener de una manera parecida. Si Xt=1,
entonces Xt+1= máx{(1 – Dt+1), 0}. Pero como Xt+1=0, 1 – Dt+1 0 y por lo tanto la demanda debe
ser 1 o más. Por esto, p10= P(Dt+1 1) = 1 - P(Dt+1 = 0) = .632. Para encontrar p21= P(Xt+1=1 |
Xt=2), observe que Xt+1= máx{(2 – Dt+1), 0} si Xt=2. En consecuencia, si Xt+1=1, entonces la
demanda durante la semana tiene que ser exactamente 1. Por lo tanto, p21= P(Dt+1=1) = .368.
Los elementos restantes se obtienen en forma similar, lo que lleva a la siguiente matriz de
transición:
0 1 2 3
0 .080 .184 .368 .368
1 .632 .368 0 0
P
2 .264 .368 .368 0
3 .080 .184 .368 .368
Figura 3
Representación gráfica para
la matriz de transición para
el problema de inventario.
PROBLEMAS
GRUPO A 1. En una ciudad, al 90% de los días soleados siguen
días soleados, y al 80% de los días nublados
e x
Si x 0, 1, 2,
3
La distribución Poisson esta dada por: P( X x) x!
0, en cualquier otro caso
7
siguen días nublados. Con esta información descompone una máquina durante el día, se
modelar el clima de la ciudad como cadena de manda a un taller de reparación y estará
Markov. trabajando después que se descompuso. Por
ejemplo, si una máquina se descompone durante el
2. Suponga que la probabilidad de lluvia mañana es día 3, estará trabajando al principio del día 5. Si se
0.5 si hoy llueve y que la probabilidad de un día hace que el estado del sistema sea el número de
claro (sin lluvia) mañana es 0.9 si hoy está claro. máquinas que trabajan al principio del día, formule
Suponga además que estas probabilidades no una matriz de probabilidad de transición para este
cambian si también se proporciona información caso.
sobre el clima de días anteriores a hoy.
a) Explique por qué las suposiciones
establecidas implican que la propiedad
markoviana se cumple para la evolución del GRUPO B
clima. 6. En relación con el problema 1, suponga que el
b) Formule la evolución del clima como una tiempo de mañana en la ciudad depende del
cadena de Markov definiendo sus estados y tiempo que haya prevalecido los últimos dos días,
dando su matriz de transición (de un paso). como sigue: (1) Si los últimos dos días han sido
soleados, entonces el 95% de las veces mañana
3. Considere que si el precio de una acción sube o no será soleado. (2) Si ayer estuvo nublado y hoy
mañana depende de si subió o no hoy y ayer. Si la soleado, entonces el 70% de veces mañana estará
acción subió hoy y ayer, mañana subirá con soleado. (3) Si ayer estuvo soleado y hoy está
probabilidad 1. Si la acción subió hoy y ayer bajó, nublado, entonces el 60% de las veces mañana
mañana subirá con probabilidad 2. Si la acción estará nublado. (4) Si los últimos dos días fueron
bajó hoy y ayer subió, la probabilidad de que suba nublados, entonces el 80% de las veces mañana
mañana es 3. Por último, si la acción bajó hoy y será nublado.
ayer, la probabilidad de que suba mañana es 4. Con esta información modele el clima de la ciudad
Modele esta situación como una cadena de Markov como cadena de Markov. Si el tiempo de mañana
y determine la matriz de transición de un paso. dependiera del de los últimos tres días, ¿cuántos
4. Reconsidere el problema 3. Suponga ahora que el estados se necesitarían para modelar el clima
hecho que la acción suba mañana depende de si como cadena de Markov? Nota: El método que se
subió o no hoy, ayer y antier. ¿Puede este usa en este problema se puede aplicar para
problema formularse como una cadena de Markov? modelar un proceso estocástico de tiempo discreto
Si se puede, ¿cuáles son los estados posibles? como cadena de Markov, aun si Xt+1 depende de
Explique por qué estos estados dan al proceso la los estados anteriores a Xt, tal como Xt-1 en este
propiedad markoviana mientras que si definen ejemplo.
como se hizo para los estados en el problema 7. En el Prob. 3, suponga que una máquina que se
anterior esto no ocurre. descompone regresa al servicio tres días después.
5. Una fábrica tiene dos máquinas. Durante cualquier Por ejemplo, la máquina que se descompone
día, cada máquina que trabaja al principio del día durante el día 3 estará trabajando al principio del
tiene probabilidad x de descomponerse. Si se día 6. Determine una matriz de transición de
probabilidad para este caso.
donde pij(n) se llama probabilidad en la etapa n de una transición del estado i al estado j.
Es claro que pij(1) = pij. Para determinar pij(2) nótese que si el sistema se encuentra hoy en el estado i,
entonces para que el sistema termine en el estado j dentro de 2 periodos, debe pasar del estado i al estado
k y después pasar del estado k al estado j (Fig. 3). Este modo de razonar nos permite escribir
8
k s
p ij (2) (probabilidad de transición de i a k )( probabilidad de transición de k a j )
k 1
El segundo miembro de la ecuación (3) es tan sólo el producto escalar del renglón i de la matriz P por la
columna j de esa matriz. Por lo tanto, pij(2) es el ij-ésimo elemento de la matriz P2. Generalizando este modo
de razonar, se puede demostrar que para n > 1,
Pij(n) = elemento ij-ésimo de Pn (5)
Figura 4
pij(2) = pi1 p1j + pi2 p2j +
+ pispsj
Ejemplo 3.1 Ejemplo de Cola. Suponga que toda la industria de refrescos produce dos colas. Cuando
una persona ha comprado la cola 1, hay una probabilidad de 90% de que su siguiente
compra sea de cola 1. Si una persona compró cola 2, hay 80% de probabilidades que su
próxima compra sea de cola 2.
1. Si actualmente una persona es comprador de cola 2, ¿cuál es la probabilidad que compre
cola 1 pasadas dos compras a partir de hoy?
2. Si en la actualidad una persona es comprador de cola 1, ¿cuál es la probabilidad que
compre cola 1 pasadas tres compras a partir de ahora?
Solución Consideraremos que las compras de cada una de las personas son una cadena de Markov,
y que el estado en cualquier momento es el tipo de cola que compró la persona por última
vez. Por lo tanto, las compras de cola por parte de cada una de las personas se pueden
representar con una cadena de Markov de dos estados donde
Estado 1 = la persona acaba de comprar cola 1
Estado 2 = la persona acaba de comprar cola 2
9
Si definimos Xn como el tipo de cola que compra una persona en la n-ésima compra futura (la
compra actual = X0), entonces X0, X1, se pueden describir como una cadena de
Markov con la siguiente matriz de transición:
1 2
1 0.90 0.10
P=
2 0.20 0.80
Por lo tanto, p21(2) = 0.34. Esto significa que hay probabilidad 0.34 de que la persona que
compra cola 2 compre cola 1, después de dos compras a partir de ahora. Con la teoría
básica de probabilidad, podemos obtener esta respuesta siguiendo un camino distinto (Fig.
4). Nótese que p21(2) = (probabilidad que la siguiente compra sea cola 1 y la segunda sea
cola 1) + (probabilidad que la siguiente compra sea cola 2 y la segunda sea cola 1) = p2Ip11 +
p22p21= (0.20)(0.90) + (0.80)(0.20) = 0.34.
Figura 5
Probabilidad de que a
dos periodos a partir de
ahora, un comprador de
cola 2 compre cola 1.
En muchos casos conocemos el estado de la cadena de Markov en el tiempo 0. Como se definió en la Secc.
1.2, sea qi la probabilidad que la cadena esté en el estado i en el tiempo 0. Entonces podemos determinar la
probabilidad de que el sistema esté en el estado i en el tiempo n mediante el siguiente razonamiento
(Fig. 5):
10
Figura 6
Determinación de la
probabilidad de estar en
el estado j en el tiempo
n cuando se desconoce
el estado inicial
Para mostrar el uso de la ecuación (6) contestaremos la siguiente pregunta: supongamos que el 60% de toda
la gente toma hoy cola 1 y el 40% cola 2. A tres compras a partir de ahora, ¿qué fracción de los compradores
estará tomando cola 1? Como q = [.60, .40] y
q (columna 1 de P3) = probabilidad de que a tres compras a partir de este momento una
persona tome cola 1,
Para mostrar el comportamiento de las probabilidades de transición en n etapas para grandes valores de n,
hemos calculado algunas de las probabilidades transición de n etapas para el ejemplo de la cola y se
muestran en la Tabla 2. Cuando n es grande, p11(n) y p21(n) son casi constantes y tienden a .67. Esto quiere
decir que para n grande, independientemente del estado inicial, hay una probabilidad de 0.67 de que una
persona compre cola 1. Igualmente, vemos que para n grande, tanto p12(n) como p22(n) son casi constantes y
tienden a 0.33. Esto significa que para n grande, haciendo caso omiso del estado inicial, hay una
probabilidad 0.33 de que una persona sea comprador de cola 2. En la Secc. 1.5 estudiaremos con
detenimiento estas tendencias de probabilidad de transición en la etapa n.
PROBLEMAS
GRUPO A para n = 2, 5, 10, 20.
1. Cada familia colombiana se puede clasificar como 5. Suponga que una red de comunicaciones transmite
habitante de zona urbana, rural o suburbana. dígitos binarios, 0 o 1, en donde cada dígito se
Durante un año determinado, el 15% de todas las transmite 10 veces sucesivas. Durante cada
familias urbanas se cambian a una zona suburbana transmisión, la probabilidad de que ese dígito se
y el 5% se cambian a una zona rural. También, el transmita correctamente es de .99. En otras
6% de las familias suburbanas pasan a zona palabras, se tiene una probabilidad de .01 de que el
urbana y el 4% se mudan a zona rural. Por último, dígito transmitido se registre con el valor opuesto al
el 4% de las familias rurales pasan a una zona final de la transmisión. Si X0 denota el dígito binario
urbana y el 6% se mudan a una zona suburbana. que entra al sistema, X1 el dígito binario registrado
(a) Si una familia actualmente vive en una zona después de la primera transmisión, X2 el dígito
urbana, ¿cuál es la probabilidad que después binario registrado después de la segunda
de 2 años viva en zona urbana? ¿En zona transmisión, , entonces {Xt} es una cadena de
suburbana? ¿En zona rural? Markov.
(b) Supongamos que en la actualidad el 40% de
(a) Determine la matriz de transición.
las familias viven en zona urbana, el 35% en
zona suburbana y el 25% en zona rural.
(b) Diseñe un programa que permita encontrar la
Después de dos años, ¿qué porcentaje de las matriz de transición de 10 pasos P(10). Use
familias colombianas vivirá en zona urbana? este resultado para identificar la probabilidad
(c) ¿Qué problemas se pueden presentar si este de que un dígito que entra a la red se registre
modelo se usara para predecir la distribución correctamente después de la última
futura de la población en Colombia? transmisión.
(c) Suponga que la red se rediseña para mejorar
2. Se pregunta lo siguiente acerca del Problema de la la probabilidad de la exactitud de una sola
ruina del jugador (Secc. 1 y Secc. 2). transmisión de 0.99 a 0.999. Repita el inciso (b)
(a) Después de jugar dos veces, ¿cuál es la para encontrar la nueva probabilidad de que
probabilidad que tenga $3,000? ¿Cuál la de un dígito que entra a la red se registre
que tenga $2,000? correctamente después de la última
(b) Después de jugar tres veces, ¿cuál es la transmisión.
probabilidad que tenga $2,000?
6. Una partícula se mueve sobre un círculo por
3. En el Ejem. 2.2, determine las siguientes puntos marcados 0, 1, 2, 3, 4 (en el sentido de las
probabilidades de transición en n etapas: manecillas del reloj). La partícula comienza en el
(a) Después de haber pintado 2 bolas, ¿cuál es la punto 0. En cada paso tiene una probabilidad de
probabilidad que el estado sea [0, 2, 0]? 0.5 de moverse un punto en el sentido de las
(b) Después de haber pintado tres bolas, ¿cuál es manecillas del reloj (0 sigue al 4) y una probabilidad
la probabilidad que el estado sea [0, 1, 1]? de 0.5 de moverse un punto en el sentido opuesto.
Trace un diagrama como el de la Fig. 5. Sea Xn (n 0) la localización en el círculo después
4. Reconsidere el problema 2 de la sección anterior. del paso n; {Xn} es entonces una cadena de
(a) Encuentre la matriz de transición de n Markov.
transiciones P(n) para n = 2, 5, 10, 20. (a) Encuentre la matriz de transición.
(b) La probabilidad de que llueva hoy es 0.5. Use (b) Use el programa hecho en el problema
los resultados del inciso (a) para determinar la anterior para determinar la matriz de transición
probabilidad de que llueva dentro de n días, P(n) para n = 5, 10, 20, 40, 80.
matemáticos clasifican los estados de una cadena de Markov. La siguiente matriz de transición se usará para
mostrar la mayoría de las definiciones siguientes (Fig. 6):
0.4 0.6 0 0 0
0.5 0.5 0 0 0
P 0 0 0.3 0.7 0
0 0 0.5 0.4 0.1
0 0 0 0.8 0.2
Figura 7
Representación gráfica
de la matriz de
transición
DEFINICIÓN Un estado j es alcanzable desde un estado i si hay una trayectoria que vaya de i a j , es
decir, si para algún n 1, pij(n) > 0.
Entonces, que el estado j sea alcanzable desde el estado i significa que es posible que el sistema llegue
eventualmente al estado j si comienza en el estado i.
De la cadena de Markov con la matriz P de la Fig. 6, tanto S1 = {1, 2} como S2 = {3, 4, 5} son conjuntos
cerrados. Observe que una vez que entramos a un conjunto cerrado no podemos dejarlo nunca. En la Fig. 6
ningún arco comienza en S1 y termina en S2 o principia en S2 y termina en S1. Es evidente que todos los
estados de un conjunto cerrado se comunican y por lo tanto estos no son más que clases de equivalencia
inducidas por la relación de comunicación.
DEFINICIÓN Una cadena de Markov es irreducible si todos sus estados pertenecen al mismo
conjunto cerrado.
13
Lo anterior significa que todos los estados de la cadena pertenecen a la misma clase de equivalencia
inducida por la relación de comunicación y por lo tanto todos sus estados se comunican. El problema de
inventario corresponde a una cadena de Markov irreducible (Fig. 3), ya que todos sus estados se comunican.
Siempre que entramos a un estado de absorción, nunca lo podremos dejar. En el Ejem. 1, la ruina del
jugador, los estados 0 y 4 son absorbentes. Es natural que un estado absorbente sea un conjunto cerrado
que sólo contenga un estado.
DEFINICIÓN Un estado i es estado transitorio si exite un estado j alcanzable desde i, pero el estado
i no es alcanzable desde el estado j.
En otras palabras, un estado i es transitorio si hay manera de dejar el estado i de tal modo que nunca se
regrese a él. En el ejemplo de la ruina del jugador, los estados 1, 2 y 3 son estados transitorios. Por ejemplo
(Fig. 1), desde el estado 2 es posible pasar por la trayectoria 2—3—4, pero no hay modo de regresar al
estado 2 desde el estado 4. Igualmente, en el Ejem. 2.1, [2, 0, 0], [1, 1, 0] y [1, 0, 1] son estados transitorios.
En la Fig. 2, hay una trayectoria desde [1, 0, 1] a [0, 0, 2], pero una vez que se hayan pintado ambas bolas,
no hay manera de regresar a [1, 0, 1].
En el Ejem. 2.1, los estados 0 y 4 son estados recurrentes (y también estados absorbentes 4). En el Ejem.
2.2, [0, 2, 0], [0, 0, 2] y [0, 1, 1] son estados recurrentes. Para la matriz de transición de la Fig. 7 todos los
estados son recurrentes.
La recurrencia es una propiedad de clase, es decir, todos los estados de una clase (o conjunto cerrado) son
recurrentes o son transitorios. Entonces, todos los estados de una cadena de Markov de estado finito
irreducible son recurrentes
DEFINICIÓN Un estado i es periódico con periodo k >1 si k es el menor número tal que todas las
trayectorias que parten del estado i y regresan al estado i tienen una longitud múltiplo de
k. Si un estado recurrente no es periódico, se llama aperiódico.
Al igual que la recurrencia es una propiedad de clase, también lo es la periodicidad. Esto es, si el estado i en
una clase tiene período k, todos los estados de esta clase (o conjunto cerrado) tienen período k.
cada estado tiene periodo 3. Por ejemplo, si comenzamos en el estado 1, la única manera de regresar a ese
estado es seguir la trayectoria 1—2—3—1 durante, digamos, m veces (Fig. 8). Por lo tanto, cualquier regreso
4
Todo estado absorbente es recurrente. Lo contrario no es cierto.
14
al estado 1 tomará 3m transiciones, de modo que el estado 1 tiene periodo 3. Donde nos encontremos,
tenemos la seguridad de regresar allí tres periodos después.
Figura 8
Cadena periódica de
Markov con k = 3.
DEFINICIÓN Si todos los estados de una cadena son recurrentes, aperiódicos y se comunican entre sí,
se dice que la cadena es ergódica.
El ejemplo de la ruina del jugador no es cadena ergódica porque, por ejemplo, los estados 3 y 4 no se
comunican. El Ejem. 2 tampoco es una cadena ergódica porque, por ejemplo, [2, 0, 0] y [0, 1, 1] no se
comunican. El Ejem. 4, el ejemplo de la cola, es cadena ergódica de Markov. De las siguientes tres cadenas
de Markov, P1 y P3 son ergódicas y P2 no es ergódica.
12 12 0 0
1
3
02
3 1 1 14 1
2
1
4
0 0
P1 0 12
1
Ergódica P2 2 2
No ergódica P3 23 1
0
2
0 0 23 13 3
0 14 34 0 2
3
1
3
0 0 4 4
1 3
Ergódica
P2 no es ergódica porque hay dos clases cerradas de estados (la clase 1 = {1, 2} y la clase 2 = {3, 4}) y los
estados en clases diferentes no se comunican entre sí.
Después de las próximas dos secciones, la importancia del concepto presentado en esta sección será
aclarada.
PROBLEMAS
GRUPOA 4. Para cada una de las siguientes matrices.
1. En el Ejem. 2.1, ¿cuál es el periodo de los estados Determine si la cadena de Markov es ergódica.
1 y 3? También, para cada cadena, determine los estados
recurrentes, transitorios y absorbentes.
2. La cadena de Markov de la Secc. 1.3, Prob. 1, ¿es
0 .8 .2
ergódica?
P1 .3 .7 0
3. Se tiene la siguiente matriz de transición:
.4 .5 .1
0 0 1 0 0 0
.2 .8 0 0
0 0 0 0 0 1
0 0 .9
.1
0 0 0 0 1 0 P2
.4 .5 .1 0
P 1 1 1
4 4
0 2
0 0 0
0 0 1
1 0 0 0 0 0
5. En la Serie Mundial de Póquer de 1980 participaron
0 0 0 0 23
1
3
54 jugadores. Cada uno de ellos comenzó con
10000 dólares. Los juegos continuaron hasta que
(a) ¿Cuáles estados son transitorios? uno de los jugadores ganó todo el dinero de los
(b) ¿Cuáles estados son recurrentes? demás. Si se modelara esta Serie Mundial como
(c) Identifique todos los conjuntos cerrados de cadena de Markov, ¿cuántos estados absorbentes
estados. tendría esa cadena?
(d) ¿Es ergódica esa cadena?
15
El resultado siguiente es vital para comprender las probabilidades de estado estable y el comportamiento a
largo plazo de cadenas de Markov.
TEOREMA 1 Sea P la matriz de transición de una cadena ergódica de s estados5. Existe entonces un
vector 1 2 s tal que
1 2 s
s
lim P n 1 2
n
1 2 s
Recuerde que el ij-ésimo elemento de Pn es pij(n). El teorema 1 establece que para cualquier estado inicial i,
lim p ij (n) j
n
Observe que para n grande, Pn tiende a una matriz con renglones idénticos. Esto quiere decir que después
de mucho tiempo, la cadena de Markov se estabiliza e, independientemente del estado inicial i, hay una
probabilidad j de que nos encontremos en el estado j.
5
Para ver por qué el teorema 1 no puede ser válido para una cadena no ergódica, véanse los problemas 9 y 10 al final de esta sección.
16
Desafortunadamente, el sistema de ecuaciones que especifica la ecuación (8) tiene un número infinito de
soluciones, porque el rango de la matriz P siempre resulta 1. Para obtener valores únicos de
probabilidades de estado estable, note que para toda n y toda i,
pi1(n) + pi2(n) + ... + pis(n) = 1 (10)
Así, después de reemplazar cualquiera de las ecuaciones (9) por (11), podemos usar el nuevo conjunto de
ecuacuines para despejar las probabilidades de estado estable.
Para mostrar cómo determinar las probabilidades de estado estable, las calcularemos para el Ejem. 4, de la
Cola. Recuerde que la matriz de transición de ese ejemplo era
0.90 0.10
P
0.20 0.80
Al despejar 1 y 2, resulta que 1 = 2/3 y 2 = 1/3. Por lo tanto, después de largo tiempo, hay probabilidad 2/3
de que una persona dada compre cola 1 y 1/3 de probabilidad de que una persona dada compre cola 2.
j (1 p jj ) k p kj (12)
k j
Recuérdese que en el estado estable, la probabilidad de que el sistema esté en el estado j es j. Según esa
observación se concluye que
Probabilidad de que una transición particular deje el estado j
= (probabilidad de que el periodo actual comience en j)
x (probabilidad de que la transición actual deje j)
= j(1 pjj)
y
Probabilidad de que determinada transición entre al estado j
= k
(probabilidad de que el periodo actual comience en k j)
x (probabilidad de que la transición actual entre a j)
= k p kj
k j
Es aceptable la ecuación (12). Si fuese violada para cualquier estado, entonces para un estado j el lado
derecho de (12) sería mayor que el lado izquierdo. Esto ocasionaría una probabilidad de “acumulación” en el
estado j y no existiría una distribución de estado estable. Se puede considerar que la ecuación (12) dice que
en el estado estable, el “flujo” de probabilidad hacia cada estado debe ser igual al flujo de probabilidad que
sale de cada estado. Esto explica por qué las probabilidades de estado estable se llaman con frecuencia
probabilidades de equilibrio.
Solución En la actualidad, una fracción 1 = 2/3 de todas las compras es de cola 1. Cada compra de
cola 1 le deja al fabricante 1 dólar. Como hay un total de 52(100,000,000) = 5,200,000,000 de
compras de cola cada año, las ganancias actuales del fabricante de cola 1, al año, son
2/3(5200000000) = 3466666667 dólares
Suponga que el sistema se encuentra ahora en el estado i. Entonces, puede suceder que pase en una transición
directamente al estado j, con probabilidad pij, o que pase a cualquier estado k j, con probabilidad pik. En este último
caso, se necesitará un promedio de 1 + mkj transiciones para pasar de i a j. Este modo de pensar indica que
m ij p ij (1) [ p ik (1 m kj )] para j = 1, 2, , s
k j
mij p ij p ik p ik m kj para j = 1, 2, , s
k j k j
Como
p ij p ik 1 ,
k j
Al resolver las ecuaciones lineales representadas en (14), podemos encontrar todos los tiempos promedios
de primer pasaje. Se puede demostrar que
1
m ii
i
Para mostrar el uso de ellas, despejaremos los tiempos promedio de primer pasaje en el Ejem. 3.1.
Recordemos que 1 = 2/3 y que 2 = 1/3. Entonces
1 1
m11 2
1.5 y m 22 1
3
3 3
Resolviendo esas ecuaciones encontrarnos que m12 = 10 y m21 = 5. Esto quiere decir que, por ejemplo, una
persona que había tomado cola 1 tomará un promedio de diez botellas de refresco antes de cambiar a cola
2.
PROBLEMAS
GRUPOA de estado estable?
1. Determine las probabilidades de estado estable 3. Para cada una de las siguientes cadenas de
para el Prob. 1 de la Secc. 1.3. Markov, determine la fracción de las veces, a largo
2. En el problema de la ruina del jugador (Ejem. 3), plazo, que se ocupará cada estado.
¿por qué no es razonable hablar de probabilidades
19
6 CADENAS ABSORBENTES
Muchas aplicaciones interesantes de las cadenas de Markov incluyen cadenas en las que algunos de los
estados son absorbentes y el resto son transitorios. A esas cadenas se les llama cadenas absorbentes.
Veamos una cadena absorbente de Markov: si comenzamos en un estado transitorio, entonces al final
tendremos la seguridad de dejar el estado transitorio y terminar en uno de los estados absorbentes. Para ver
por qué nos interesan las cadenas absorbentes, describiremos las siguientes dos situaciones:
Ejempl0 6.1 Cuentas por cobrar El estado de cuentas por cobrar en una empresa se modela con
frecuencia como cadena absorbente de Markov6. Suponga que una empresa supone que
una cuenta es incobrable si han pasado más de tres meses de su fecha de vencimiento.
Entonces, al principio de cada mes, se puede clasificar cada cuenta en uno de los siguientes
estados específicos:
Supongamos que los últimos datos indican que la siguiente cadena de Markov describe
cómo cambia el estado de una cuenta de un mes al siguiente:
Por ejemplo, si al principio de un mes una cuenta lleva dos meses de vencida, hay 40% de
probabilidades de que no se pague al principio del mes siguiente y, por lo tanto, que tenga
tres meses de retraso y una probabilidad de 60% de que se pague.
Para simplificar el ejemplo, supondremos que después de tres meses, la cuenta o se cobra o
se considera incobrable. Una vez que una deuda se paga o se considera incobrable, se
cierra y no se tienen más transiciones. Por lo tanto, Pagada e Incobrable son estados
absorbentes. Como toda cuenta al final o se paga o se considera incobrable, las cuentas
Nueva, 1 mes, 2 meses y 3 meses son estados transitorios. Por ejemplo, una cuenta vencida
hace 2 meses puede seguir la trayectoria 2 meses pagada, pero no hay regreso posible de
Pagada a 2 meses.
Una cuenta nueva normal será absorbida ya sea como pagada o como incobrable. Una
pregunta de mayor interés es: ¿cuál es la probabilidad de que una cuenta nueva finalmente
se pueda cobrar? Más adelante en esta sección se encontrará la respuesta.
Ejemplo 6.2 Planificación de personal La empresa de abogados Mason y Burger emplea a tres
categorías de abogados: principiantes, con experiencia y socios. Durante un año
determinado hay una probabilidad 0.15 que un abogado principiante sea ascendido a
abogado con experiencia y una probabilidad 0.05 que deje la empresa. También, hay una
probabilidad 0.20 que un abogado con experiencia sea ascendido a socio y una probabilidad
6
Este ejemplo se basa en Cyert, Davidson y Thompson (1963).
21
0.10 que deje la empresa. También hay una probabilidad 0.05 que un socio deje la empresa.
La empresa nunca degrada a un abogado.
Surgen muchas preguntas interesantes que la empresa podría contestar. Por ejemplo, ¿cuál
es la probabilidad que un abogado principiante recién contratado se vaya antes de ser
socio? En promedio, ¿cuánto tiempo permanece un abogado principiante recién contratado
con la empresa? Las respuestas se deducirán después en esta sección.
Para toda cadena absorbente se desea conocer: (1) Si la cadena comienza en un estado determinado
transitorio, y antes de alcanzar un estado absorbente, ¿cuál el número esperado de veces que se llegará a
otro estado transitorio?, o dicho de otra manera, ¿cuántos periodos esperamos pasar por un determinado
estado transitorio antes que se efectúe la absorción, partiendo de otro estado transitorio? (2) Si una cadena
inicia en un estado transitorio dado, ¿cuál es la probabilidad terminar en cada uno de los estados
absorbentes?
Para contestar estas preguntes necesitamos formular la matriz de transición con los estados en una lista con
el siguiente orden: primero los estados transitorios y después los absorbentes. Para precisar, se supondrá
que hay s m estados transitorios (t1, t2, . . ., ts-m) y m estados absorbentes (a1, a2, . . . , am). Entonces la matriz
de transición para la cadena de absorción puede escribirse como sigue:
s -m m
Columnas columnas
P= s - m renglones Q R
m renglones 0 I
En este formato, los renglones y las columnas de P corresponden, en orden, a los estados t1, t2,, ..., ts-m, a1, a2,
..., am. En este caso, I es una matriz identidad m x m que refleja el hecho de que nunca podemos dejar un
estado absorbente; Q es una matriz (s — m) x (s — m) que representa las transiciones entre los estados
transitorios; R es una matriz (s — m) x m que representa las transiciones desde los estados transitorios a los
estados absorbentes; 0 es una matriz m x (s — m) que consta de ceros. Esto refleja el hecho de que es
imposible ir de un estado absorbente a uno transitorio.
Entonces s = 6, m = 2 y
0 0.6 0 0 0.4 0
0 0 0.5 0 0.5 0
Q R
0 0 0 0.4 0.6 0
0 0 0 0 4 4 0.7 0.3 4 2
Para el Ejem. 6.2, sean
t1 = Principiante
t2 = Experimentado
t3= Socio
a1 = Sale sin ser socio
a2 = Sale siendo socio
y podemos escribir la matriz de probabilidad de transición como
Entonces s = 3, m = 2, y
0.80 0.15 0 0.05 0
Q
0 0.70 0.20
R
0.10 0
0 0 0.95 33
0 0.05
3 2
Podemos ahora investigar algunos hechos acerca de las cadenas absorbentes (Kemeny y Snell (1960)):
(1) Si la cadena comienza en un determinado estado transitorio, y antes de alcanzar un estado absorbente,
¿cuál es entonces el número esperado de veces en las que el sistema entrará en cada estado
transitorio? ¿Cuántos períodos esperamos pasar en un estado transitorio dado antes de que se lleve a
cabo la absorción?
Respuesta: Si en este momento estamos en el estado transitorio ti, el número esperado de periodos que
pasarán en un estado transitorio tj antes de la absorción es el ij-ésimo elemento de la matriz (I — Q)-1.
Para una demostración vea el Prob. 8 al final de esta sección.
(2) Si una cadena inicia en un estado transitorio dado, ¿qué probabilidad hay de terminar en cada uno de
los estados absorbentes?
23
La matriz (I — Q)-1 a menudo se llama matriz fundamental de la cadena de Markov. El lector que se
interese en proseguir el estudio de cadenas de absorción debe consultar Kemeny y Snell (1960).
3. De la respuesta 1, sólo el 3.6% de todas las deudas son incobrables. Como las cuentas
totales del año son 1200000 dólares en promedio, (0.036)(1200000) = 43200 dólares serán
impagables al año.
t3 0 0 20
Entonces,
a1 a2
t1 0.50 0.50
(I Q) R t 2 13
1 2
3
t 3 0 1
Por lo tanto,
3. Como t3 = Socio, buscamos el número esperado de años que pasa en t3, dado que
comenzamos en t3. Este es justamente el elemento 33 de (I — Q)-1R = 20 años. Es
razonable, porque durante cada año hay una probabilidad en 20 que un socio deje el
bufete y, por lo tanto, debe tardar un promedio de 20 años en dejar la empresa.
PROBLEMAS
GRUPO A dólares cada uno, 30% permanecen entre 0 y 1.50
m, y el 20% crecen más de 1.50 m. Cada año, el
1. El departamento de admisión del colegio estatal ha 50% de los árboles de más de 1.50 m se venden a
modelado la trayectoria de un estudiante en esa 50 dólares, el 20% se venden a 30 dólares, y el 30%
institución como cadena de Markov: permanecen en el bosque.
(a) ¿Cuál es la probabilidad de que muera un
árbol de 0 a 1.50 m antes de venderse?
(b) Si se planta un árbol de menos de 1.50 m,
¿cuál es el ingreso esperado que se va a tener
con ese árbol?
1er 2o 3er 4o Sal Ter
4. Las cadenas absorbentes de Markov se usan en
1er año .10 .80 0 0 .10 0 ventas para modelar la probabilidad de que un
cliente que se localiza por teléfono compre
2o año 0 .10 .85 0 .05 0
finalmente algún producto. Considere un cliente
3er año 0 0 .15 .80 .05 0 posible a quien nunca le ha llamado acerca de
4o año 0 0 0 .10 .05 .85 comprar un producto. Después de una llamada,
hay una probabilidad de 60% de que tenga poco
Sale 0 0 0 0 1 0
interés en el producto, de 30% que muestre un gran
Termina 0 0 0 0 0 1 interés en el producto, y 10% de que sea borrado
Se observa el estado de cada estudiante al de la lista de los posibles clientes de la compañía.
principio de cada semestre de otoño. Por ejemplo, Se tiene un cliente que actualmente tiene poco
si un estudiante es de 3er año al principio de este interés en el producto. Después de otra llamada,
semestre de otoño, habrá 80% de probabilidades hay 30% de probabilidades de que compre el
de que al principio del siguiente semestre de otoño producto, 20% de probabilidades de que sea
sea de cuarto año, 15% de probabilidad de que aún borrado de la lista, 30% de que el cliente aún tenga
sea de 3er año y 5% de que salga. Suponemos que poco interés y 20% de que exprese un interés alto.
una vez que sale un estudiante ya nunca vuelve a Para un cliente que actualmente expresa alto
inscribirse. interés, después de otra llamada hay 50% de
(a) Sí un estudiante entra al colegio a primer año, probabilidades de que compre el producto, 40% de
¿cuántos años se espera que pasen siendo probabilidades de que siga teniendo gran interés y
estudiante? 10% de probabilidades que tenga poco interés.
(b) ¿Cuál es la probabilidad de que se gradúe un (a) ¿Cuál es la probabilidad de que un nuevo
estudiante de nuevo ingreso? posible cliente al final compre el producto?
(b) ¿Cuál es la probabilidad de que un posible
2. El Herald Tribble obtuvo la siguiente información cliente con poco interés sea borrado de la lista
acerca de sus suscriptores: durante el primer año finalmente?
como suscriptores, el 20% cancelan sus (c) En promedio, ¿cuántas veces habrá que
suscripciones. De los que se han suscrito por un llamar por teléfono a un nuevo posible cliente
año, el 10% cancelan durante el segundo año. De para que compre el producto, o para que sea
los que se han suscrito por más de dos años, el 4% borrado de la lista?
cancelan durante cualquier año dado. En
promedio, ¿cuánto tiempo se suscribe una persona GRUPO B
al Herald Tribble? 5. En el problema de la ruina del jugador (Ejem. 1),
suponga que p = 0.60.
3. Un bosque consta de dos tipos de árboles: los que (a) ¿Qué probabilidad hay de que alcance a ganar
tienen de 0 a 1.50 m de alto, y los que son más 4 dólares?
altos. Cada año, muere el 40% de los árboles que (b) ¿Cuál es la probabilidad de que salga sin
tienen menos de 1.50 m, el 10% se venden a 20 dinero?
26
(c) ¿Cuál es la duración esperada del juego? (b) Suponga que a Freezco le cuesta 500 dólares
cambiar un refrigerador y que vende 10,000
6. En el cuidado de pacientes ancianos en un hospital refrigeradores al año. Si la fábrica redujera el
psiquiátrico, una meta principal es la colocación plazo de garantía a dos años, ¿cuánto dinero
correcta de los pacientes en pensiones u se ahorraría en costos de reemplazo?
hospitales para ancianos. El movimiento de
pacientes entre el hospital, los hogares externos y 8. Para una matriz Q que represente las transiciones
el estado absorbente (la muerte) se puede entre estados transitorios en una cadena
describir mediante la siguiente cadena de Markov. absorbente de Markov, se puede demostrar que
La unidad de tiempo es un mes: (I — Q)-1 = I + Q + Q2 + ... + Qn + ...
Hosp Hog Muer (a) Explique por qué es posible esta expresión de
(I — Q)-1.
Hospital .991 .003 .006 (b) Defina a mij = número esperado de períodos
pasados en el estado transitorio tj antes de la
Hogares .025 .969 .006
absorción, si se sabe que iniciamos en el
Muerte 0 0 1
estado ti. Suponga que el periodo inicial se
Cada mes que pasa un paciente en el hospital pasa en el estado ti. Explicar por qué mij =
cuesta 655 dólares al estado, y cada mes que pasa (probabilidad de que estemos al principio en el
en una pensión le cuesta 226 dólares, también al estado ti) + (probabilidad que estemos en el
estado. Para mejorar la frecuencia de éxitos de estado tj después de la primera transición) +
colocación de pacientes, el estado recientemente (probabilidad que estemos en el estado tj
comenzó un "programa de resocialización después de la segunda transición) + ... +
geriátrica" (GRP) para preparar a los pacientes a (probabilidad que estemos en el estado tj
desempeñarse en las pensiones. Algunos después de la n-ésima transición) + .
pacientes se colocan en el GRP y a continuación (c) Explique por qué la probabilidad de que
pasan a pensiones. Es menos probable que estos estemos inicialmente en el estado tj =
pacientes no se puedan ajustar a sus pensiones. elemento ij-ésimo de la matriz identidad (s — m)
Otros pacientes continúan pasando en forma x (s — m). Explique por qué la probabilidad de
directa del hospital a las pensiones sin haber que estemos en el estado ti después de la n-
tomado parte en el (GRP). El estado paga 680 ésima transición = elemento ij-ésimo de Qn.
dólares cada mes lo que cuesta el paciente en el (d) Ahora explique por qué mij = elemento ij de (I
GRP. El movimiento de los pacientes está — Q)-1.
gobernado por la siguiente cadena de Markov:
GRP Hosp Pen.GRP Pensi Muer9. Defina
bij = probabilidad de terminar en un estado
GRP .854 .028 .112 0 .006 absorbente aj dado que iniciamos en un
estado transitorio tj.
Hosp .013 .978 0 .003 .006
rij = ij-ésimo elemento de R
Pen.GRP .025 0 .969 0 .006 qik = ik-ésimo elemento de Q.
B = matriz (s — m) x m cuyo ij-ésimo elemento es bij.
Pensi 0 .025 0 .969 .006
Suponga que iniciamos en el estado ti. En nuestra
Muerte 0 0 0 0 1 primera transición, pueden suceder tres tipos de
(a) El GRP, ¿ahorra fondos al estado? eventos:
(b) Bajo el sistema anterior y bajo el GRP, calcule Evento 1 Pasamos al estado absorbente aj, con
el número esperado de meses que pasa un probabilidad rij.
paciente en el hospital. Evento 2 Pasamos al estado absorbente que no es
7. Freezco, Inc., vende refrigeradores. La fábrica aj, con probabilidad k j
qik bkj .
otorga una garantía en todos los refrigeradores que Evento 3 Pasamos al estado transitorio tk, con
especifica de cambio gratis de cualquier unidad probabilidad qik.
que se descomponga antes de tres años. Se nos (a) Explique por qué
da la siguiente información: (1) el 3% de todos los k sm
refrigeradores nuevos falla durante su primer año
de funcionamiento; (2) el 5% de todos los
bij rij q
k 1
ik bkj
refrigeradores con 1 año de funcionamiento falla (b) Ahora demuestre que bij = ij-ésimo elemento
durante el segundo año de trabajo, y (3) el 7% de de (R + QB) y que B = R + QB.
todos los refrigeradores con dos años de (c) Demuestre que B = (I —Q)-1R y que bij = ij-
funcionamiento falla durante su tercer año. La ésimo elemento de B = (I — Q)-1R.
garantía no vale para el refrigerador de repuesto.
(a) Use la teoría de cadenas de Markov para GRUPO C
predecir la fracción de todos los refrigeradores 9. General Motors tiene tres divisiones automotrices
que deberá cambiar Freezco. (división 1, división 2 y división 3). También tiene
una división de contabilidad y una de consultoría
27
Tabla 4
CONTABILIDAD CONSULTORIA DIVISION 2 DIVISION 3
DE ADMON
Contabilidad 10% 30% 20% 20% 20%
Administración 30% 20% 30% 0% 20%
Más formalmente, se tiene una organización cuyos miembros se clasifican en cualquier punto en el tiempo
en uno de los s grupos (identificados como 1, 2,..., s). Durante cada periodo, una fracción pij de los que
inician un periodo en el grupo i, al siguiente periodo inician en un grupo j. También, durante cada periodo,
una fracción pis+1 de todos los miembros del grupo i dejan la organización. Sea P la matriz s x (s + 1) cuyo
elemento ij es pij. Al principio de cada periodo, la organización contrata Hi miembros del grupo i. Sea Ni(t) el
número de miembros del grupo i al principio del periodo t. Una pregunta de interés natural es si Ni(t) tiende a
un límite a medida que crece t, o no. Si existe el límite, lo llamaremos Ni. Si cada Ni(t) tiende a un límite,
llamamos a N = (N1, N2, ... ,Ns) el censo de estado estable de la organización.
Si existe censo de estado estable podemos encontrarlo al resolver un sistema de s ecuaciones que se
plantea como sigue: tan sólo nótese que para que exista ese estado, debe ser válido que, para i = 1, 2, ..., s
Número de personas que entran al grupo i durante cada periodo
= número de personas que salen del grupo i durante cada periodo (14)
Después de todo, si la ecuación (14) no fuera válida para todos los grupos, entonces el número de personas
en al menos un grupo se acumularía a medida que pasara el tiempo. Nótese que
Número de personas que entran al estado i durante
H i N k p ki
cada período k i
28
Dados los valores de las pij y de las Hi, se puede usar la ecuación (14’) para despejar el censo de estado
estable. A la inversa, dadas las pij y un censo deseado de estado estable, se puede usar la ecuación (14’)
para determinar una política de contratación, especificada por los valores de H1, H2, ... ,Hs, que logre el censo
deseado de estado estable. Podrá ser imposible mantener algunos censos de estado estable a menos que
algunas Hi sean negativas, lo que equivale a despedir empleados.
Los dos ejemplos que siguen muestran el uso de la ecuación de censo de estado estable.
Ejemplo 7.1 Suponga que se puede clasificar a cada norteamericano en uno de tres grupos: niños,
adultos que trabajan, o retirados. Durante un periodo de un año, 0.959 de los niños aún son
niños, 0.04 de los niños pasan a ser adultos que trabajan y 0.001 de los niños mueren.
Durante cualquier año, 0.96 de los adultos que trabajan permanecen como tales, 0.03 pasan
a ser retirados y 0.01 mueren. También, 0.95 de los retirados permanecen retirados y 0.05 de
los retirados mueren. Nacen mil niños cada año.
1. Determine el censo de estado estable.
2. Cada persona retirada recibe una pensión de 5000 dólares por año. El
fondo de pensión se sufraga con pagos de los adultos que trabajan. ¿Cuánto dinero
debe aportar cada adulto que trabaja, al año, para el fondo de pensión?
Solución 1.Sea
Grupo 1 = niños
Grupo 2 = adultos que trabajan
Grupo 3 = retirados
Grupo 4 = muertos
2. Como en el estado estable hay 14634.14 personas retiradas, en el estado estable reciben
14634.14 x (5000) dólares al año. Por lo tanto, cada adulto que trabaja debe pagar
14634.14 5000
3000 dolares por año
24390.24
29
Este resultado es razonable, porque en el estado estable hay 5/3 de adultos que, trabajan en
comparación con los retirados.
Ejemplo 7.2 Regresemos al bufete de abogados Mason y Burger (Ejem. 6.2). Supongamos que la meta a
largo plazo de ese bufete es tener 50 abogados principiantes, 30 con experiencia y 10
socios. Para alcanzar este censo de estado estable, ¿cuántos abogados de cada tipo deben
contratar cada año?
Solución Sean
Grupo 1 = abogados principiantes
Grupo 2 = abogados con experiencia
Grupo 3 = socios
Grupo 4 = abogados que salen del bufete
Mason y Burger desean obtener N1 = 50, N2 = 30 y N3 = 10. Recuérdese que en el Ejem. 6.2
0.80 0.15 0 0.05
P 0 0.70 0.20 0.10
0 0 0.95 0.05
La solución única de este sistema de ecuaciones es H1 = 10, H2 = 1.5, H3 = -5.5. Esto significa
que para mantener el censo deseado de estado estable, Mason y Burger deben despedir 5.5
socios cada año. Esto es razonable, porque cada año hay 0.20(30) = 6 abogados con
experiencia que pasan a ser socios, y una vez que lo hacen, permanecen en ese puesto un
promedio de 20 años. Esto muestra que para mantener el número de asociados en 10,
deben despedirse algunos de ellos. Otra solución podría ser reducir, a menos de su valor
actual de 0.20, la fracción de abogados con experiencia que pasan a ser socios cada año.
Para mayor información acerca de los modelos de planeación de personal, se aconseja consultar el
excelente libro de Grinold y Marshall (1977).
PROBLEMAS
GRUPO A Cada día 1/3 de la contaminación de Nueva York es
1. Este problema es acerca del Prob. 1 de la Secc. llevada por el viento a Newark, 1/3 se disipa y 1/3
19.6. Supongamos que cada año el colegio estatal permanece en Nueva York. También diariamente,
admite 7,000 estudiantes de nuevo ingreso, 500 de 1/3 de la contaminación de Jersey City es llevada
segundo año y 500 de tercer año. A largo plazo, por el viento a Nueva York, 1/3 permanece en
¿cuál será la composición del estudiantado en ese Jersey City y 1/3 pasa a Newark. Y por último, 1/3
colegio? de la contaminación de Newark permanece allí y el
resto pasa a Jersey City. En un día normal, ¿cuál
2. En el Ejem. 9, suponga que el progreso de la ciudad será la más contaminada?
medicina ha reducido la tasa anual de mortalidad
de retirados de 5% a 3%. ¿Cuánto aumenta la 4. Circula dinero entre los tres planetas "capitales" de
contribución anual para pensiones, debido a esto, la federación: Vulcano, Fobos y Marte. En forma
que pagan los adultos que trabajan? ideal, a la federación le gustaría tener 5 mil
millones de dólares en circulación en cada planeta.
3. La ciudad de Nueva York produce 1,000 ton de Cada mes 1/3 de todo el dinero de Vulcano sale de
contaminación al día, Jersey City 100, y Newark 50. circulación, 1/3 permanece allí y 1/3 termina en
30
Fobos. Cada mes, 1/3 del dinero en Marte determinar el orden en el que se hacen
permanece allí, 1/3 pasa a Fobos y 1/3 pasa a transfusiones de sangre (véase tabla 5).
Vulcano. También cada mes, 2/3 del dinero de
Fobos pasa a Marte y 1/3 permanece allí. La Por ejemplo, según la política 1, la sangre
federación inyecta dinero al sistema en Vulcano. tiene un 10% de probabilidades de usarse
¿Hay algún modo de tener un nivel de estado en transfusión durante su primer día en el
estable de 5 mil millones de dólares en circulación hospital. Según la política 2, la sangre
en cada planeta?
con cuatro días de antigüedad tiene el
GRUPO B 10% de probabilidad de ser usada.
5. Todos los profesores de la Facultad de Comercio Tabla 5
de una universidad se clasifican como de tiempo EDAD DE LA SANGRE
completo y de tiempo parcial. Cada año el 10% de (al inicio del día)
los de tiempo parcial pasan a ser de tiempo
completo y el 10% salen de la Facultad; el 95% de Probabilidad de uso
0 1 2 3 4
los de tiempo completo permanecen y el 5% salen. en transfusiones
La Facultad de Comercio desea mantener un Política 1 .10 .20 .30 .40 .50
profesorado de 100 miembros, de los cuales el x% Política 2 .50 .40 .30 .20 .10
son de tiempo parcial. Determine una política de (a) La política FIFO (First-in, First-out), primeras
contratación que logre esta meta. ¿Para qué entradas primeras salidas, usa primero la
valores de x se necesita despedir profesores de sangre "vieja", mientras que la política LIFO
tiempo completo, de acuerdo con la política de (Last-in, First out) últimas entradas primeras
contratación? Describa una política que mantenga salidas emplea primero la sangre "nueva".
un 10% de tiempo parcial. Describa una política de ¿Cuál política es LIFO y cuál FIFO?
contratación que mantenga 40% del profesorado (b) Para cada política, determine la probabilidad
de tiempo parcial? de que se eche a perder un medio litro de
GRUPO C sangre recién llegada al hospital.
(c) Para cada política, determine el número
6. Por simplicidad, supongamos que la sangre fresca
promedio de medios litros de sangre en
que obtiene un hospital se echa a perder si no se
inventario.
utiliza en 5 días. El hospital recibe 100 (d) Para cada política, determine la edad
medios litros de sangre fresca promedio de la sangre que se usa en
diariamente de un banco de sangre local. transfusiones.
Son posibles dos políticas para (e) Haga comentarios de los méritos relativos de
las políticas FIFO y LIFO.
8 DISTRIBUCIÓN EXPONENCIAL
En esta sección nos dedicaremos al estudio de una distribución de probabilidad que es de gran importancia
en el estudio de las cadenas de Markov de tiempo continuo, la distribución exponencial.
En la Fig. 2 se muestra la función de densidad para la distribución exponencial. Aquí se observa que f(t)
disminuye rápidamente a medida que t crece. Esto indica que son poco probables valores muy grandes de la
variable y por lo tanto
P 0 T t P t T t t
31
Figura 9
Función de densidad
para una variable
aleatoria X con
distribución
exponencial
Se puede demostrar que la función de densidad acumulada para una variable X que tenga distribución de
probabilidad exponencial esta dada por
0 si x 0
F ( X ) P( X x) x . (16)
1 e si x 0
Igualmente, e integrando por partes, podemos demostrar que el promedio de una variable aleatoria X con
distribución exponencial, E(X), está dado por
1
E( X ) . (17)
Se puede demostrar que no hay otra función de densidad que satisfaga la Ecc. (19) (véase Feller (1957)).
Por razones que se hacen evidentes, se dice que una función de densidad que satisfaga la Ecc. (19) tiene la
propiedad de amnesia, o de no memoria. Suponga que sabemos que un sistema no ha cambiado de
estado durante las últimas s horas, lo que equivale a que nos digan que T > s y que nos pregunten cuál es la
32
probabilidad que no cambie de estado durante las siguientes t horas, es decir T > t + s. Entonces, la Ecc. (19)
quiere decir que esta probabilidad no depende del valor de s, y que para todos los valores de s esta
probabilidad es igual a P[T > t]. En resumen, si conocemos que han pasado al menos s unidades de tiempo
durante las cuales el sistema se encuentra en un determinado estado, entonces la distribución del tiempo
que queda para que el sistema cambie de estado, t, no depende de s. Por ejemplo, si t = 4, entonces la Ecc.
(19) produce, para s = 5, s = 3, s = 2 y s = 0,
PT 4 5 | T 5 PT 4 3 | T 3 PT 4 2 | T 2 PT 4 0 | T 0 PT 4
TEOREMA 1 Los tiempos entre ocurrencia de un mismo tipo eventos son exponenciales con parámetro
si y sólo si el número de eventos que suceden en un intervalo t sigue una distribución
de Poisson con parámetro t.
Una variable aleatoria discreta N tiene una distribución de Poisson con parámetro si, para n = 0, 1, 2, ,
e n
P ( N n) (n 0, 1, 2, ) (21)
n!
Si N es una variable aleatoria de Poisson, se puede demostrar que E(N) = VarN = . Si hacemos que Nt sea
el número de ocurrencias de eventos de un mismo tipo durante cualquier intervalo de tiempo de longitud t, el
Teorema 1 establece que
e t ( t ) n
P ( N t n) (n 0, 1, 2, )
n!
Como Nt, es de Poisson con parámetro t, E(Nt) = Varna = t. Un promedio de t llegadas se suceden durante
un intervalo de tiempo de longitud t y, entonces se puede pensar que es el número promedio de llegadas
por unidad de tiempo, o rapidez de llegadas.
¿Qué hipótesis se necesitan para que los tiempos entre ocurrencias de un mismo tipo de eventos sean
exponenciales? El Teorema 2, más adelante, nos da una respuesta parcial. Veamos las dos hipótesis
siguientes:
1. Las ocurrencias de eventos del mismo tipo definidas en intervalos de tiempo que no se traslapan son
independientes (por ejemplo, el número de llegadas que se tiene entre los tiempos 1 y 10 no nos da
información alguna acerca del número de llegadas entre los tiempos 30 y 50).
2. Para t pequeño, y cualquier valor de t, la probabilidad de que se tenga la ocurrencia de un evento entre
los tiempos t y t + t es t + (t), donde (t) es cualquier cantidad que satisfaga
33
( t )
lim 0
t 0 t
TEOREMA 2 Si son válidas las hipótesis 1 y 2, entonces N, sigue una distribución de Poisson con
parámetro t, y los tiempos entre llegadas son exponenciales con parámetro . Esto es,
f(t) = e-t.
EJEMPLO 8.1 El número de tarros de cerveza pedidos en el Dick’s Pub sigue una distribución de Poisson
con promedio de 30 cervezas por hora.
1. Calcule la probabilidad de que se pidan exactamente 60 cervezas entre las 10 p.m. y las
12 de la noche.
2. Determine el promedio y la desviación estándar del número de cervezas pedidas entre
las 9 p.m. y la 1 a.m.
3. Calcule la probabilidad de que el tiempo entre dos pedidos consecutivos sea entre 1 y 3
minutos.
Solución 1. El número de cervezas pedido entre las 10 p.m. y las 12 de la noche sigue una
distribución de Poisson con parámetro 2(30) = 60. De la Ecc. (19), la probabilidad de que se
pidan 60 cervezas entre las 10 p.m. y la medianoche es
e 60 60 60
60!
PROBLEMAS
GRUPO A
1. El tiempo entre llegadas de autobuses sigue una distribución exponencial con promedio de 60
34
minutos. horas?
(a) ¿Cuál es la probabilidad de que lleguen
exactamente cuatro autobuses durante las (c) ¿Cuál es la probabilidad de que no lleguen
siguientes 2 horas? autobuses durante las próximas 2 horas?
(b) ¿Cuál es la probabilidad de que por lo menos (d) Acaba de llegar un autobús. ¿Cuál es la
dos autobuses lleguen durante las siguientes 2 probabilidad de que pasen entre 30 y 90
minutos para que llegue el siguiente?
Para modelar este este tipo de de procesos, como antes, se etiquetan los estados posibles del sistema como
1, , s. Comenzando en el tiempo 0 y dejando que el parámetro t’ corra continuamente, para t’ 0 sea la
variable aleatoria X(t’) el estado del sistema en el tiempo t’. Entonces X(t’) tomará uno de sus s valores
posibles en un intervalo 0 t’ < t1, después saltará a otro valor en el siguiente intervalo t1 t’ < t2 y así
sucesivamente, donde los puntos de tránsito t1, t2, … son puntos aleatorios en el tiempo (no necesariamente
enteros), tal como se ilustra en la Figura 10.
Figura 10
Estados tomados por un
sistema en diferentes
puntos del tiempo
cuando este corre de
manera continua
Por lo tanto, el estado del sistema se ha observado en los tiempos t’ = s y t’ = r. Estos estados se etiquetan
como
X(s)=i y X(r)=x(r).
Dada esta información, el paso natural es buscar la distribución de probabilidad del estado del sistema en el
tiempo t’ = s + t. En otras palabras, determinar el valor de
P[X(s+t) = j | X(s) = i y X(r) = x(r)], para cada j = 0,1,..., s.
Con frecuencia es muy difícil derivar estas probabilidades condicionales. Sin embargo, esta tarea se
simplifica considerablemente si el proceso estocástico involucrado posee la siguiente propiedad clave.
35
PROPIEDAD MARKOVIANA
Un proceso estocástico de tiempo continuo {X(t’); t’> 0} tiene la propiedad markoviana si
P[X(t+s) = j | X(s)=i y X(r) = x(r)] = P[X(t+s) = j |X(s) = i]
Para toda i,j = 0, 1,, s y para toda r > 0, s > r y t>0.
Observe que P[X(t+s) = j | X(s) = i] es una probabilidad de transición, igual a las probabilidades de transición
de las cadenas de Markov de tiempo discreto que se estudiaron en las secciones anteriores, donde la única
diferencia es que ahora no es necesario que t sea entero.
DEFINICIÓN
Si las probabilidades de transición son independientes de s, de manera que
P[X(t+s) = j | X(s) = i] = P[X(t) = j | X(0) = i]
para toda s > 0, se dice que las probabilidades de transición son estacionarias.
1, si i j
lim Pij (t)
t 0
0, si i j
Así, un proceso estocástico de tiempo continuo {X(t’); t’> 0} es una cadena de Markov de tiempo continuo si
cumple la propiedad markoviana.
Aquí se restringirá el estudio a las cadenas de Markov de tiempo continuo a aquellas con un número finito de
estados y el donde las probabilidades de transición sean estacionarias.
Suponga que el proceso entra en el estado i en el tiempo t’ = s. Entonces, para cualquier cantidad de tiempo
fija t > 0, observe que Ti > t si y sólo si X(t’) = i para toda t’ en el intervalo s t’ s + t. Por lo tanto, la
propiedad markoviana (con probabilidades de transición estacionarias) implica que
Ésta no es más que la propiedad de amnesia exhibida por la distribución de probabilidad exponencial, la cual
significa que la distribución de probabilidad del tiempo que falta para que el proceso haga una transición
fuera de un estado dado siempre es la misma, independientemente del valor s, es decir, del tiempo haya
36
Este resultado lleva a una forma equivalente de definir una cadena de Markov de tiempo continuo:
pj 0
ij 1 para toda i.
3. El siguiente estado que se visita después del estado i es independiente del tiempo que pasó en el
estado i.
Igual que las probabilidades de transición de un paso jugaron un papel primordial al describir una cadena de
Markov de tiempo discreto, el papel análogo para la cadena de Markov de tiempo continuo lo tienen las
intensidades de transición.
La interpretación intuitiva de i y ij es que son tasas de transición. En particular, i es la tasa de transición
hacia afuera del estado i en el sentido de que i es el número esperado de veces en las que el proceso deja
el estado i por unidad de tiempo que pasa en el estado i. Así, i es el recíproco del tiempo esperado de
permanencia en el estado i cada vez que este estado es visitado; es decir,
1
i . (22)
E (Ti )
De manera similar, ij es la tasa de transición del estado i al estado j en el sentido de que ij es el número
esperado de veces que el proceso transita directamente del estado i al estado j por unidad de tiempo que
pasa en el estado i. Así,
i ij (23)
j i
Igual que i es el parámetro de la distribución exponencial para Ti, cada ij es el parámetro de una
distribución exponencial para una variable aleatoria relacionada que se describe en seguida.
Cada vez que el proceso entra al estado i, la cantidad de tiempo que pasará en el estado i antes de que
ocurra una transición directa al estado j es una variable aleatoria Tij donde i, j = 0,1,, s y j i. Las Tij, son
variables aleatorias independientes, donde cada Tij tiene una distribución exponencial con parámetro ij, de
manera que
37
1
E (Tij ) . (24)
ij
El tiempo que pasa en el estado i hasta que ocurre una transición (Ti) es el mínimo (sobre j i) de las Tij.
Cuando ocurre la transición, la probabilidad de que sea al estado j es
ij
p ij . (25)
i
Se dice que un par de estados i y j se comunican si existen tiempos t1 y t2 tales que pij(t1) > 0 y pij(t2) > 0. Se
dice que todos los estados que se comunican forman una clase. Si todos los estados en una cadena forman
una sola clase, es decir, si la cadena de Markov es irreducible (lo que se supondrá de aquí en adelante),
entonces, pij(t)> 0, para toda t > 0 y todos los estados i y j. Más aún,
lim p ij (t ) j
t
siempre existe y es independiente del estado inicial de la cadena de Markov, para j = 0, 1. , s. Estas
probabilidades se conocen comúnmente como las probabilidades de estado estable (o probabilidades
estacionarias) de la cadena de Markov.
Dividiendo cada término de la anterior igualdad por t y calculando el límite cuando t tiende a cero se obtiene:
1 p (t ) p kj (t )
k lim
jj
j lim
t 0 t k j
t 0 t
j j k kj , para j 1, 2, , s (28)
k j
Este nuevo conjunto de s ecuaciones es más útil para el cálculo de las probabilidades de estado estable,
que el obtenido en las Eccs. 27. Nuevamente el conjunto de Ecc. 28 no es linealmente independiente, ya
que se obtiene del conjunto de Eccs. 27 que tampoco lo es, y por lo tanto debe eliminarse una cualquiera de
sus ecuaciones y reemplazarse por
k 0
j 1. (29)
El conjunto de Eccs. 28 tiene una interpretación intuitiva. El lado izquierdo (j j) es la tasa a la que el
proceso deja el estado j, ya que j es la probabilidad (de estado estable) de que el proceso esté en el estado
38
j y j es la tasa de transición hacia afuera del estado j dado que el proceso se encuentra en el estado j. De
manera similar, cada término de lado derecho (k kj) es la tasa a la que el proceso entra al estado j desde el
estado k, ya que kj es la tasa de transición del estado k al j dado que el proceso se encuentra en el estado k.
Sumando sobre toda k j, todo el lado derecho proporciona la tasa a la que el proceso entra al estado j
desde cualquier estado. Por eso la ecuación global establece que la tasa a la cual el proceso deja el estado j
debe ser igual a la tasa en la que el proceso entra al estado j.
Como cada una de las primeras s ecuaciones de estado estable requiere que las dos tasas estén
balanceadas (sean iguales), a veces estas ecuaciones se llaman ecuaciones de balance.
EJEMPLO 9.1 Un taller tiene dos máquinas idénticas que operan continuamente excepto cuando se
descomponen. Como lo hacen con bastante frecuencia, la tarea con más alta prioridad
para una persona de mantenimiento que trabaja tiempo completo es repararlas en cuanto
lo necesiten. El tiempo requerido para reparar una máquina tiene distribución exponencial
1
con media de 2 día. Una vez que se termina la reparación, el tiempo que transcurre hasta
la siguiente descompostura tiene distribución exponencial con media de 1 día. Estas
distribuciones son independientes.
Figura 11
Diagrama de tasas
para el ejemplo de
una cadena de
Harkov de tiempo
continuo
Se pueden usar estas tasas para calcular la tasa de transición total hacia afuera de
cada estado (Ecc. 20), así:
39
0 01 02 2
1 10 12 3
2 20 21 2
Sustituyendo todas las tasas en las ecuaciones de estado estable (Eccs 18 y 19), se
obtiene
Ecuación de balance para el estado 0: 20 = 21
Ecuación de balance para el estado 1: 31 = 20 + 22
Ecuación de balance para el estado 2: 22 = 1
Las probabilidades suman 1: 0 + 1 + 2 = 1
El siguiente capítulo (sobre teoría de colas) contiene muchos ejemplos de cadenas de Markov de tiempo
continuo. De hecho, la mayor parte de los modelos básicos de la teoría de colas caen dentro de esta
categoría. El ejemplo que se acaba de dar en realidad se ajusta a uno de estos modelos (la variación de
fuente de entrada finita al modelo M/M/s).
PROBEMAS
GRUPO A
1. Reconsidere el ejemplo presentado al final de esta trabajo, donde se permite un máximo de tres
sección. Suponga que ahora se agrega al taller una trabajos. Los trabajos llegan individualmente.
tercera máquina, idéntica a las dos primeras. La Siempre que hay menos de tres trabajos, el tiempo
persona de mantenimiento debe atender a todas que transcurre hasta la siguiente llegada tiene
las máquinas. distribución exponencial con media de de ½ día.
a) Desarrolle un diagrama de tasas para esta Los trabajos se procesan uno a la vez y dejan el
cadena de Markov. centro de inmediato. Los tiempos de procesado
b) Construya las ecuaciones de estado estable. tienen una distribución exponencial con media de ¼
c) Resuelva estas ecuaciones para obtener las de día.
probabilidades de estado estable. a) Construya el diagrama de tasas para esta
2. El estado de una cadena de Markov de tiempo cadena de Markov.
continuo está definido como el número de trabajos b) Escriba las ecuaciones de estado estable.
que hay en el momento actual en cierto centro de c) Resuelva estas ecuaciones para obtener las
probabilidades de estado estable.