UNIVERSIDAD NACIONAL DE

SAN CRISTOBAL DE HUAMANGA

ESCUELA DE FORMACIÓN PROFESIONAL DE INGENIERÍA DE MINAS
FACULTAD DE INGENIERIA DE MINAS Y GEOLOGIA Y CIVIL

¨CADENA DE MARKOV, APLICACIÓN,

SOFTWARE¨
DOCENTE : Mg.CAMPOS ARZAPALO, Edmundo
ALUMNOS : CURO CAYETANO, Danny Carlos
GOMEZ MORENO, Richard
ALARCON FLORES,Aldair Jorginho
 INTRODUCCIÓN

Las cadenas de markov son modelos probabilísticos

que se usan para predecir la evolución y el
comportamiento a corto y a largo plazo de
determinados sistemas.
Ejemplos: reparto del mercado entre marcas; dinámica
de las averías de máquinas para decidir política de
mantenimiento; evolución de una enfermedad,…
 DEFINICIONES EN LOS PROCESOS DE
MARKOV
 Estados: Las condiciones en las cuales se encuentra un ente ó
sucesos posibles.
 Ensayos: Las ocurrencias repetidas de un evento que se estudia.
 Probabilidad de Transición: La probabilidad de pasar de un estado
actual al siguiente en un período ó tiempo, y se denota por pij ( la
probabilidad de pasar del estado i al estado j en una transición ó
período)
Características de los Procesos de Markov de Primer Orden:
Se pueden usar como modelo de un proceso físico ó económico que tenga
las siguientes propiedades:
a) Que la probabilidad cumpla con el principio de Markov.
b) Existencia de un número finito de estados.
c)Las pij son constante con respecto al tiempo ó período.
1

1. Definición de Cadena de Markov

• Una Cadena de Markov (CM) es:

• Un proceso estocástico
• Con un número finito de estados (M)
• Con probabilidades de transición estacionarias
• Que tiene la propiedad markoviana
 Proceso estocástico
• Es un conjunto o sucesión de variables aleatorias: {X(t)CG }
definidas en un mismo espacio de probabilidad.
• Normalmente el índice t representa un tiempo y X(t) el estado
del proceso estocástico en el instante t.
• El proceso puede ser de tiempo discreto o continuo si G es
discreto o continuo.
• Si el proceso es de tiempo discreto, usamos enteros para
representar el índice: {X1, X2, ...}
EJEMPLOS
1. Nº de clientes esperando en una cola cada 30 segundos
2. Marca de detergente que compra un consumidor cada vez que hace la compra.
Se supone que existen 7 marcas diferentes
3. Lanzamos una moneda al aire 6 veces. El jugador gana 1 € cada vez que sale
cara (C), y pierde 1 € cada vez que sale cruz (F).
** La familia de variables aleatorias {X1, X2,…, X6} constituye un proceso
estocástico
 ELEMENTOS DE UNA CADENA DE MARKOV

• Un conjunto finito de M estados, exhaustivos y

mutuamente excluyentes (ejemplo: estados de la
enfermedad)
• Ciclo de markov (“paso”) : periodo de tiempo que
sirve de base para examinar las transiciones entre
estados (ejemplo, un mes)
• Probabilidades de transición entre estados, en un
ciclo (matriz P)
• Distribución inicial del sistema entre los M estados
posibles
 CLASIFICACIÓN DE LOS PROCESOS
ESTOCÁSTICOS

S discreto S continuo

Sucesión de
variables
T discreto Cadena
aleatorias
continuas

T continuo Proceso puntual Proceso continuo

T discreto (Procesos a tiempo discreto): T = N, T = {0; 1; 2; : : : }, T = Z.

T continuo (Procesos a tiempo continuo): T = [0; 1], T = [0;∞), T = R.
En cuanto a los valores del proceso llamaremos E al espacio de estados y
consideraremos
 PROPIEDAD MARKOVIANA
Un proceso estocástico tiene la propiedad markoviana si las
probabilidades de transición en un paso sólo dependen del estado
del sistema en el período anterior (memoria limitada).
1)

2)

3)
** Una cadena de Markov tiene probabilidades de transición
estacionarias Si para cualquier par de estados Si y Sj existe una
probabilidad de transición Pij tal que:
 PROPIEDAD MARKOVIANA

P(n) es la matriz de transición en n pasos, de orden (M+1)x(M+1)

 PROPIEDAD MARKOVIANA

**La matriz de transición P de cualquier cadena de Markov finita con

probabilidades de transición estacionarias es una matriz estocástica.
 PROPIEDAD MARKOVIANA

Ejemplos:
Comportamiento (sube/baja) del precio de las
acciones hoy depende de lo ocurrido ayer

Problema de la ruina de un jugador de casino

Elección de marca: Con qué línea aérea volar a

Madrid?
 CADENAS DE MARKOV

• Sólo estudiaremos las cadenas de Markov,

con lo cual tendremos espacios de
estados S discretos y conjuntos de instantes
de tiempo T también discretos, T={t0, t1,
t2,…}
• Una cadena de Markov (CM) es una
sucesión de variables aleatorias Xi, iN, tal
que: X t 1  j   X t 1  j 
P P
 X 0 , X 1 ,..., X t   X t 

que es la expresión algebraica de la

propiedad de Markov para T discreto.
 PROBABILIDADES DE
TRANSICIÓN
• Las CM están completamente
caracterizadas por las probabilidades de
transición en una etapa,
X t 1  j
P , i, j  S , t  T
 X t  i 

 Sólo trabajaremos con CM homogéneas

en el tiempo, que son aquellas en las que
X t 1  j
i, j  S  t  T , P  q
 X t  i  ij

donde qij se llama probabilidad de transición

en una etapa desde el estado i hasta el
estado j
 MATRIZ DE TRANSICIÓN

• Los qij se agrupan en la denominada matriz de

transición de la CM:

 q00 q01 q02 ...

 
 q10
Q
q20
q11 q12
q21 q22
...
...
 qij i , jS
 
 ... 
 ... ... ...
 PROPIEDADES DE LA MATRIZ
DE TRANSICIÓN
• Por ser los qij probabilidades,
i, j  S , qij  0,1
Por ser 1 la probabilidad del suceso
seguro, cada fila ha de sumar 1, es decir,
i  S , q
jS
ij 1

 Una matriz que cumpla estas dos

propiedades se llama matriz estocástica
1

Ejercicio 2: La carrera de diplomado en CCEE tiene 3 cursos. A

partir de los datos facilitados por el decanato del centro se sabe que el
35% y el 26% de los alumnos de primero y segundo abandonarán los
estudios. El 28% de los alumnos de primero repiten curso, siendo
este porcentaje del 20% y 30% para los alumnos de segundo y
tercero respectivamente.
1

EJEMPLO 1: EL REPARTO DEL

MERCADO A LARGO PLAZO
EN UN OLIGOPOLIO
Tres laboratorios farmacéuticos (A,B y C) que compiten en un principio activo
(mismo conjunto homogéneo en la orden de precios de referencia). Hoy
sus cuotas de mercado son 30%, 20% y 50% respectivamente
Las filas suman 1

A B C
Matriz de A 0,8 0,1 0,1
transición en un B 0,15 0,82 0,03
ciclo (P) C 0,13 0,12 0,75
¿Cómo se repartirán el mercado dentro de 1
Ciclo: Mes mes, 6 meses, 1 año?, ¿A largo plazo?
1

EJEMPLO 1: EL REPARTO DEL

MERCADO A LARGO PLAZO
EN UN OLIGOPOLIO
• Este es un ejemplo de cadena de Markov irreductible y ergódica.
Todos los estados son recurrentes y están comunicados entre sí,
formando una sola clase.Hay solución de estado estable (reparto del
mercado a largo plazo, independiente de la situación inicial)

Reparto del mercado

1 mes.....P1= [0.3350 0.2540 0.4110]
después de n ciclos
= P0*Pn 2 meses ....p2 =[ 0.3595 0.2911 0.3494]
6 meses ...... p6 =[ 0.4030 0.3543 0.2427]
1 año ....... p12 = [ 0.4150 0.3704 0.2146]
2 años ...... p24 =[ 0.4165 0.3722 0.2113]

Solución de estado estable 3 años ....... p36 =[ 0.4165 0.3722 0.21131]

2 Tipos de estados y de cadenas de markov de primer orden

• Para clasificar los estados y las CM tenemos que definir

algunos conceptos:
• Tiempos del primer paso y de recurrencia
• Accesibilidad y comunicación entre estados
2 Tiempos del primer paso/recurrencia (Corto plazo)
Con lo visto hasta el momento podemos calcular la probabilidad,
dado que el proceso se encuentra en el estado i, de que el proceso se
encuentre en el estado j después de n periodos Pij(n).
2 EJEMPLO: Un vendedor de cámaras fotográficas lleva acabo la
siguiente política de inventario. Mantiene durante la semana de
trabajo hasta un máximo de 3 cámaras en el almacén para su venta. Si
al final de la semana le quedan en el almacén alguna cámara entonces
no pide ninguna al fabricante. De partida en el almacén hay 3
cámaras (x0=3).

a) Comenta el contenido de la matriz

de transición P facilitada por el
comercio.
b) Sabiendo que hay dos cámaras al
final de la primera semana (x1=2),
(x2=1), (x3=0), (x4=3) y (x5=1).
Obtener el tiempo de primera
pasada para ir del estado 3 al 1, y
el tiempo de recurrencia del
estado 3.
2 Ejemplo Identifica los distintos estados en la siguiente
matriz de transición.

Estados 0 1 2 3 4
P 0 0.25 0.75 0 0 0
1 0.5 0.5 0 0 0
2 0 0 1 0 0
3 0 0 0.33333333 0.66666667 0
4 1 0 0 0 0
 Tipos de estados y Cadenas de Markov
2
 Tipos de estados y Cadenas de Markov
2
2
Tipos de estados y Cadenas de Markov.
2
Tipos de estados y Cadenas de Markov.
4
Comportamiento a largo plazo de las
Cadenas de Markov: el caso de las cadenas
absorbentes

• CM absorbente:
– Tiene al menos un estado absorbente
– Desde cualquier estado no absorbente se puede acceder
a algún estado absorbente
• A largo plazo, termina en absorción con
probabilidad 1
• Interesa calcular:
– Probabilidad de absorción por cada estado absorbente
– Numero esperado de pasos antes de la absorción
 Software y bibliografía
• Usaremos QSB
• Un excelente texto para este tema es el de
Hillier y Lieberman (está referenciado en el
programa)