Taller sobre Cadenas de Markov

Docente: Ing. Edwin Durán Blandón

1. Hay 2 fichas blancas en una urna A y 4 fichas rojas en la urna B. A cada paso del proceso
se selecciona una ficha de cada una de las urnas, y las dos fichas que han sido
seleccionadas se intercambian. Sea Xn el número de fichas rojas en la urna A después de
n intercambios.
a) ¿Es una Cadena de Markov? Si es, encontrar la matriz de transición.
b) ¿Cuál es la probabilidad de que queden 2 fichas rojas en la urna A después de 4 pasos del
proceso?
c) A la larga (distribución estacionaria) , ¿Cuál es la probabilidad de que queden 2 fichas
rojas en la urna A?.

2. Una partícula se mueve sobre un circulo a través de puntos los cuales han sido marcados
0, 1, 2, 3,4 (en sentido de las manecillas del reloj). En cada paso esta tiene una
probabilidad p de moverse a la derecha (sentido de las manecillas del reloj) y 1-p de
moverse a la izquierda (sentido contrario de las manecillas de reloj). Sea Xn denota su
posición sobre el círculo después del n-avo paso.
a) ¿Es una cadena de Markov? Si es, encuentre la matriz de transición
b) Si inicialmente está ubicado en el punto 1, ¿Cuál es la probabilidad que después de 4
pasos este ubicado en el punto 3?.
c) Calcule la distribución estacionaria.

3. Un jugador tiene $3. En cada partida de un juego, existe la probabilidad de ¾ de que

pierda $1, pero la probabilidad de ¼ de que gane $2. Deja de jugar si ha perdido sus $3
o si ha ganado por lo menos $3.
a) ¿Es una cadena de Markov? Si es, encontrar la matriz de transición
b) ¿Cuál es la probabilidad de que haya, por lo menos, 4 partidas en el juego?
c) Encontrar la distribución estacionaria.

4. Una organización tiene N empleados donde N es un número grande. Cada empleado

tiene uno de tres posibles clasificaciones de cargos y cambia la clasificación
(independientemente) de acuerdo a una Cadena de Markov con la siguiente matriz de
transición.

0.7 0.2 0.1

P= 0.2 0.6 0.2
0.1 0.4 0.5

a) A la larga, ¿Cuál es el porcentaje de empleados en cada clasificación?

5. Un sistema de reservación de aerolíneas tiene dos computadoras donde solamente una
está en operación en algún tiempo dado. Un computador puede descomponerse sobre un
día dado con probabilidad p. Hay un único técnico el cuál le toma 2 días arreglar un
computador. Las condiciones son tal que solamente un computador en el tiempo puede
estar reparándose. Los estados de este sistema son las parejas (x,y) donde x es el número
de maquinas en condición de operar en el final de un día y y es 1 si un máquina lleva un
día en reparación y 0 si no ha entrado a reparación.
a) ¿Es una cadena de markov? Si es, encuentre la matriz de transición del sistema.
b) Calcule la distribución estacionaria

6. La suerte de un jugador tiene un patrón definido. Si gana un juego, la probabilidad de

que gane el juego siguiente es 0.6. Sin embargo, si pierde un juego, la probabilidad de
que pierda el juego siguiente es 0.7. el jugador tiene igual probabilidad de ganar o perder
el primer juego.
a) ¿Es una cadena de markov? Si es, encuentre la matriz de transición
b) ¿Cuál es la probabilidad de que gane el tercer juego?
c) A la larga (distribución estacionaria), ¿Con qué frecuencia gana el jugador?

7. El diagrama siguiente muestra cuatro compartimentos con puertas que los comunican
unos a otros. Un ratón, situado en uno cualesquiera de los compartimentos puede pasar,
con igual probabilidad, por cada una de las puertas del compartimento.

a) Encontrar la matriz de transición

b) Encontrar la distribución estacionaria. 2 1

3 4

8. Suponga que si llueve o no llueve hoy depende de las condiciones previas de los dos
últimos días. Esto es, suponga que si ha llovido los dos últimos días, entonces lloverá
mañana con probabilidad de 0.7; si llovió hoy pero no ayer, entonces lloverá mañana con
probabilidad de 0.5; si llovió ayer pero no hoy, entonces lloverá mañana con probabilidad
de 0.4; si no ha llovido los dos últimos días, entonces lloverá mañana con probabilidad
de 0.2. ¿Es una cadena de markov? Si no es mire como se puede transformar a una
cadena de Markov.
a) Calcule la distribución estacionaria
b) Si inicialmente está lloviendo Lunes y Martes, cuál es la probabilidad que llueva el
Sábado?
9. La suerte de un jugador tiene un patrón definido. Si gana un juego, la probabilidad de
que gane el juego siguiente es 0.4. Sin embargo, si pierde un juego, la probabilidad de
que pierda el juego siguiente es 0.3. el jugador tiene igual probabilidad de ganar o perder
el primer juego.
d) ¿ Es una cadena de markov? Si es, encuentre la matriz de transición
e) ¿Cuál es la probabilidad de que gane el cuarto juego?
f) A la larga (distribución estacionaria) , ¿ con qué frecuencia gana el jugador?

10. Un sistema de reservación de aerolíneas tiene dos computadoras donde solamente una
está en operación en algún tiempo dado. Un computador puede descomponerse sobre un
día dado con probabilidad p. Hay un único técnico el cuál le toma 2 días arreglar un
computador. Las condiciones son tal que solamente un computador en el tiempo puede
estar reparándose. Los estados de este sistema son las parejas (x,y) donde x es el número
de maquinas en condición de operar en el final de un día y y es 1 si un máquina lleva un
día en reparación y 0 si no ha entrado a reparación.
c) ¿Es una cadena de markov? Si es, encuentre la matriz de transición del sistema.
d) Calcule la distribución estacionaria

11. Todos los años una persona cambia su automóvil por uno nuevo. Si la persona tiene un
Buick, lo cambia por un Plymouth. Si tiene un Plymouth, lo cambia por un Ford. Sin
embargo, si tiene un Ford, existe igual probabilidad de que lo cambie por un Ford nuevo
o por un Buick o un Plymouth nuevos. En 1965 la persona compró su primer automóvil
que fue un Ford.
a) ¿ Es una cadena de Markov?, si es, encontrar la matriz de transición
b) Encontrar la probabilidad de que tenga un:
i) Ford 1967 ii)Buick 1967 iii)Plymouth 1968 iv)Ford 1968.
c) A la larga (distribución estacionaria), ¿ con que frecuencia poseerá esa persona un Ford?