INTRODUCCIN

Las cadenas de Markov se incluyen dentro de los denominados procesos estocsticos.

Dichos estudian el comportamiento de variables aleatorias a lo largo del tiempo X (t,w). Se
definen como una coleccin de variables aleatorias {X (t,w), t I}, donde X (t,w) puede
representar por ejemplo los niveles de inventario al final de la semana t. El inters de los
procesos estocsticos es describir el comportamiento de un sistema e operacin durante
algunos periodos.
Los procesos estocsticos se pueden clasificar atendiendo a dos aspectos: si el espacio de
estados posibles de la variable aleatoria contiene valores discretos o continuos y de si los
valores del tiempo son discretos o continuos.
Las cadenas de Markov es un proceso estocstico en el que los valores del tiempo son
discretos y los estados posibles de la variable aleatoria contienen valores discretos, es
decir, es una cadena estocstica de tiempo discreto.
Las cadenas de Markov, se clasifican, adems, dentro de los procesos estocsticos de
Markov, que son aquellos en el que el estado futuro de un proceso es independiente de los
estados pasados y solamente depende del estado presente. Por lo tanto las probabilidades
de transicin entre los estados para los tiempos k-1 y k solamente depende de los estados
que la variable adquiere dichos tiempos

OBJETIVOS

OBJETIVO GENERAL

Desarrollar el modelo de Markov con un caso aplicativo.

OBJETIVOS ESPECFICOS

Conocer y familiarizarnos con el modelo de Markov.

Interpretar y contrastar los resultados de modelo de Markov.

Dar a conocer la mejor decisin basndose en los resultados ya obtenidos.

CADENA DE MARKOV

Las cadenas de Markov son unas herramientas para analizar el comportamiento y el gobierno
de determinados tipos de procesos estocsticos, esto es, procesos que evolucionan de forma
no deterministicas a lo largo del tiempo en torno a un conjunto de estados.
Una cadena de Markov, por lo tanto, representa un sistema de varia su estado a lo largo del
tiempo, siendo cada cambio una transicin del sistema. Dichos cambios no estn
predeterminado, aunque si lo esta la probabilidad del prximo estado en funcin de los
estados anteriores, probabilidad que es constante a lo largo del tiempo (sistema homogneo en
el tiempo). Eventualmente, en una transicin, el nuevo estado puede ser el mismo que el
anterior y es posible que exista la posibilidad de influir en las probabilidades de transicin
actuando adecuadamente sobre el sistema (decisin). (EPPEN, GOULD & SCHMIDT; 2000)
Reciben su nombre del matemtico ruso Andrei Andreevitch Markov (1856-1922), que las
introdujo en 1907.

ORIGEN DE LA TEORA MARKOVIANA.

Esta teora debe su nombre a Andrei Andreyevich
Markov quien naci en San Petersburgo, Rusia, el 14 de
Junio de 1856. Estudi matemticas en la Universidad
de San Petersburgo y se gradu en el ao 1878. En sus
inicios como docente, alrededor del ao 1886, focaliz
su trabajo en anlisis y teora del nmero, fracciones
continuas, lmite de integrales, teora de aproximacin y
la serie de convergencias. Tambin estuvo interesado en
la poesa e hizo estudios de los diversos estilos
poticos.
Estudi, entre otros muchos aspectos, las construcciones lingsticas a partir del clculo
matemtico (1913). As, por ejemplo, analiz la produccin literaria del gran poeta ruso

Puschkin, llamada Eugene Onieguin, y dedujo que las letras del alfabeto cirlico, como las
de cualquier otro alfabeto, iban apareciendo relacionadas con las que las precedan en la
escritura.
La nueva letra est determinada por la anterior, pero es independiente de la manera en la que
aparece respecto de las anteriores.
Markov es recordado por su estudio de cadenas secuenciales, que consisten en variables al
azar, en las que la variable futura es predeterminada por la preexistente, pero independiente de
la manera que sta se gener de sus precursores. Es decir, se trata de un sistema que sufre a lo
largo del tiempo cambios de estado o transiciones aleatorias y las probabilidades que
describen la forma en que el proceso evolucionar en el futuro, son independientes de los
eventos ocurridos en el pasado. El sistema no est desprovisto de memoria en su totalidad,
slo guarda informacin del recuerdo ms reciente de su pasado. Es muy importante comentar
que su estudio no estuvo basado en un simple anlisis estadstico, sino que intent aplicarlo a
la generacin de textos literarios.
Las cadenas de Markov se han aplicado en reas diversas, como educacin, comercializacin,
servicios de salud, finanzas, contabilidad y produccin, tras los aportes de Norbert Wiener
(1923) y Andrei Kolmogorov (1930).

Modelo de Markov
Una modelo de Markov por el nombre de Andrey Markov, es un sistema matemtico que
sufre transiciones de un estado a otro, entre un nmero finito o numerable de estados posibles.
Se trata de un proceso aleatorio generalmente caracterizado como sin memoria: el siguiente
estado depende slo del
secuencia de acontecimientos que la precedieron.
La probabilidad de transicion esta definida asi:

estado actual y no en la

La cual tiene como interpretacion lo siguiente, la propabilidad de estar en el estado j en el

tiempo n, dado que se estuvo inicialmente en el estado i en el momento inmediato anterior n1.
La cadena de markov es un proceso estocastico, ya que las variables X 1,X2,,Xn puede
interpretarse como una sucesin de variables aleatorias cuyas caractersticas pueden variar a
lo largo del tiempo.

Ejemplo:
Sea Xt la familia de estados del clima, donde X1,X2,,Xn representaran los estados del
clima en el da 1, da 2 hasta el da n.

Propiedad de Markov: Se dice que un proceso cumple la propiedad de Markov cuando toda
la historia pasada del proceso se puede resumir en la posicin actual que ocupa el proceso
para poder calcular la probabilidad de cambiar a otro estado, es decir, se cumple la propiedad
siguiente:

Para qu se utiliza?
Una de las principales utilidades que tiene el modelo de Markov es establecer las
posibilidades de cualquier evento futuro conociendo los eventos pasados. Esto puede y afecta
las decisiones que podramos tomar basndonos en la incertidumbre que provocan poseer
varios eventos futuros y todos tienen su grado de probabilidad de que sucedan.

Otro de los factores que altera la toma de decisiones es cuando estos posibles eventos futuros
se ven alterados con el paso del tiempo, para evitar este acontecimiento existe este modelo el
cual tiene la propiedad particular de que las probabilidades que describen la forma en que el
proceso evolucionara en el futuro solo dependern del estado actual en que se encuentra el
proceso y por lo tanto son independientes de los eventos ocurridos en el pasado.

Esta dependencia del evento anterior distingue a las cadenas de Mrkov de las series de
eventos independientes, como tirar una moneda al aire o un dado.

QU TIPO ES?
El Modelo de Markov es un tipo de modelo probabilstico que se usa para predecir
la evolucin y el comportamiento a corto y a largo plazo de determinados sistemas.

Matriz De Transicin:
Una matriz de transicin para una cadena de Markov de n estado es una matriz de n X n con
todos los registros no negativos y con la propiedad adicional de que la suma de los registros
de cada columna (o fila) es 1. (EPPEN, GOULD & SCHMIDT; 2000)
Por ejemplo: las siguientes son matrices de transicin.

Elementos de una cadena de Markov

 Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes (ejemplo:

estados de la enfermedad)
Ciclo de markov (paso) : periodo de tiempo que sirve de base para examinar las
transiciones entre estados (ejemplo, un mes)
Probabilidades de transicin entre estados, en un ciclo (matriz P)
Distribucin inicial del sistema entre los M estados posibles. (HAMDY A. TAHA;
2004)

Procesos estocsticos
Una sucesin de observaciones X1, X2, . . se denomina proceso estocstico
Si los valores de estas observaciones no se pueden predecir exactamente.
Pero se pueden especicar las probabilidades para los distintos valores posibles en
cualquier instante de tiempo.
x 1 : v . a que define el estadoinicial del proceso
x n : v . a que define el estado del proceso en el instante deltiempo n
Para cada posible valor del estado inicial s1 y para cada uno de los sucesivos valores sn de los
estados Xn, n = 2, 3, . . ., Especicamos:
P( x n+1=s n+1x 1=s1 , x 2=s 2,, x n =s n)

Tipos de cadenas de markov

Dependiendo del nmero de estados del sistema pueden ser:

FINITAS: Caracterizadas por que la ocurrencia de los eventos terminan en los estados
absorbentes.
Suelen ocurrir despus de un estado de procesos
Ejm: en la venta de manzanas, las manzanas terminan siendo vendidas o se pierden por
pudricin.

INFINITAS: La ocurrencia de los eventos se considera indeterminado, pero tienden a

una situacin de estabilizacin.
Ejm: los estados de clima, pueden ser soleado o nublado que ocurre el da a da, las
preferencias por canales televisivos.

Definiciones en los Procesos de Markov

Estados: Las condiciones en las cuales se encuentra un ente o sucesos posibles.
Ensayos: Las ocurrencias repetidas de un evento que se estudia.
Probabilidad de Transicin: La probabilidad de pasar de un estado actual al siguiente en un
perodo o tiempo, y se denota por pij (la probabilidad de pasar del estado i al estado j en una
transicin o perodo)
Matriz de transicin (P): Se define como una matriz cuadrada k k cuyos elementos son pij
de la siguiente forma:

El elemento en la fila i, columna j, pij = P (Xn = Sj/Xn1 = Si), representa la probabilidad de

transicin de un paso.
Es una matriz cuadrada cuyos elementos son no negativos y tal que la suma de los elementos
de cada fila es igual a 1.
Smbolos utilizados:
1.

pij: Probabilidad de cambiar del estado i al estado j.

2.

P: Matriz formada por los valores de pij (Matriz de transicin).

3.

Si (t): Probabilidad de encontrarse en el estado i en el periodo t

ESTADOS ABSORBENTES:
Un estado se llama absorbente si pik =1, es decir, si una vez que el estado llega a k,
permanece ah para siempre.

MODELO MATEMATICO: CADENA INFINITA

S1 (t) + S2 (t) + + Sn (t) = 1
pi1 + pi2 + + pin

n estados .

=1

La transicin de un periodo al siguiente se expresa como:

S (t + 1) = S (t) P
Para el primer periodo
Para el segundo periodo:
Para un periodo largo

: S (1) = S (0) P
S (2) = S (1) P = S (0) P2
: S = SP

1. MTODO RECURSIVO
Para el desarrollo de este mtodo se tiene que tener en cuenta que debemos empezar el ensayo
con un estado inicial conocido, es decir que en el tiempo inicial sea da, mes u otro se
considere un estado que estamos pasando.
Ejm: que hoy nos encontremos en un da soleado, el estado inicial es conocido.
Se debe considerar esta frmula:
S (1) = S (0) P
S (2) = S (1) P
Esto indica que la probabilidad de encontrarnos en un estado en el tiempo 1, depende de cmo
nos encontremos en el estado inicial, a la cual tenemos que multiplicar por nuestra matriz de
transicin y as sucesivamente.
S0 = [ 10 0 ]

S1 =

p 11

p 12

p 13

[ 10 0 ] p 21 p 22 p 23 =[ p 11 p 12 p 13 ]
p 31

p 32

p 11
S2 = [ p 11 p 12 p 13 ] p 21
p31

p 33

p12
p22
p32

p13
p23 =[ x
p33

z]

2. MATRIZ ESTACIONARIA
Para este caso solo se considera la matriz estacionaria y se trabaja con la definicin de que la
probabilidad de encontrarse en un estado final tienden a estabilizarse con respecto a los
sucesos anteriores.

La probabilidad condicional P(Xn+1 = sj | Xn = s), de que la cadena estar en el estado sj en

el tiempo n + 1 si est en el estado si en el tiempo n se conoce como una probabilidad de
transicin. Si para una cadena de Markov esta probabilidad de transicin tiene el mismo valor
para todo los tiempos n (n = 1, 2, 3,...) decimos que la cadena tiene probabilidades de
transicin estacionarias.

Se considera las siguientes formulas

S S .P

Si 1

El proceso de solucin es el siguiente:

[S1

S2 S 3 ] = [ S 1 S 2 S 3 ]

0.85 0.10 0.05

0.20 0.75 0.05
0.15 0.10 0.75

S 1=0.85 S1 +0.20 S 2 +0.15 S 3 0.15 S1 +0.20 S2 +0.15 S 3=0

S 2=0.10 S1 +0.75 S 2 +0.10 S 3 0.10 S 10.25 S 2 +0.10 S 3=0

Para dar solucin al sistema de ecuacin, depende que mtodo utiliza el analista.
3. rbol Markoviano
Para utilizar este mtodo se tiene que tener en consideracin un estado inicial, despus aplicar
el rbol de probabilidades.
Se detallara un ejemplo para mayor comprensin.
La probabilidad de que pasado maana est nublado si sabemos que hoy est nublado
corresponde entonces a encontrar P(X3 = n | X1 = n).
Para calcular esta probabilidad examinamos los posibles estados del da de maana y las
formas de cmo llegar a X3 = n (nublado), vemos esto en el siguiente rbol donde s (soleado):

As la probabilidad que nos interesa se puede calcular como hicimos antes, usando la frmula
de probabilidad total:
P(X3 = n | X1 = n) = (.6 X .3) + (.4 X .4) = 0.34
En trminos de nuestra notacin esto es igual a
= (p21 p12) + (p22 p22)
= P(X2 = s | X1 = n) P(X3 = n | X2 = s) + P(X2 = n | X1 = n) P(X3 = n | X2 = n).

MODELO MATEMATICO: CADENA FINITA

Es una cadena de Markov para la que existe slo un nmero finito k de estados posibles s1,.sk
y en cualquier instante de tiempo la cadena est en uno de estos k estados.
Para este caso se considera cantidades iniciales para determinar las cantidades que quedan
afectadas por los estados absorbentes, el mtodo de solucin es el siguiente:
Paso 1: matriz de transicin
Se detalla los estados en proceso y los estados absorbentes.

Paso 2: se coloca smbolos a las matrices formadas despus de separarlos por una lnea
vertical y horizontal.

Paso 3: se halla la matriz fundamental

Despus de ello se halla la nueva matriz fundamenta que es as:

NF= F.L
Como se consider cantidades iniciales en los estados de proceso, solo queda multiplicar eso
por la nueva matriz fundamental y de ese modo resulta nuestras cantidades deseadas.

MODELO MATEMATICO: CADENA FINITA

EJEMPLO PRCTICO
METODO RECURSIVO
En un pas como Per existen 3 operadores principales de telefona mvil como lo son Claro,
Entel y Movistar (estados).
Los porcentajes actuales que tiene cada operador en el mercado actual son para Claro 0.4 para
Entel 0.25 y para Movistar 0.35. (Estado inicial)
Se tiene la siguiente informacin un usuario actualmente de Claro tiene una probabilidad de
permanecer en Claro de 0.60, de pasar a Entel 0.2 y de pasarse a Movistar de 0.2; si en la
actualidad el usuario es cliente de Entel tiene una probabilidad de mantenerse en Entel del 0.5
de que esta persona se cambie a Claro 0.3 y que se pase a Movistar de 0.2; si el usuario es
cliente en la actualidad de Movistar la probabilidad que permanezca en Movistar es de 0.4 de
que se cambie a Claro de 0.3 y a Entel de 0.3.
a) Elaborar la matriz de transicin.

b) Hallar la probabilidad de aceptacin que tiene cada operador en el periodo 5.

RESOLUCION:
a) Matriz de transicin.

E1
E2
E3

CLARO
ENTEL
MOVISTAR

CLARO
0.6
0.3
0.3

ENTEL
0.2
0.5
0.3

MOVISTAR
0.2
0.2
0.4

La suma de las probabilidades de cada estado en este caso operador deben ser iguales a 1

b) Hallar la probabilidad que tiene cada operador en el periodo 5.

Po= (0.4 0.25 0.35)

estado inicial

Como podemos ver la variacin en el periodo 4 al 5 es muy mnima casi insignificante

podemos decir que ya se ha llegado al vector o estado estable.

MATRIZ ESTACIONARIA
Conforme seguimos con el proceso de Markov, encontramos que la probabilidad de que el
sistema est en un estado de particular despus de un gran nmero de periodos es
independiente del estado inicial del sistema. Las probabilidades a las cuales nos acercamos
despus de un gran nmero de transacciones se conocen como las probabilidades de estado
estable. La cual calcularemos a continuacin.

[ S1

S 2 S 3 ] = [ S1 S2 S 3 ]

0.6 0 . 20 0. 20
0 .3 0 . 50 0. 20
0 .3 0 . 30 0 . 40

S 1=0.60 S1 +0.30 S 2 +0.30 S 3 0.40 S1 +0.30 S2 +0.30 S3=0 (1)

S 2=0.20 S1 +0.50 S2 +0.30 S 3 0.20 S 10.50 S 2 +0.30 S 3=0

(2)

S 3=0.20 S1 +0.20 S2 +0.40 S 3 0.20 S 1+ 0.20 S 20.60 S 3=0

(3)

S 1 +S 2+ S 3=1 (4)
S 1 , S2 y S 3

Hallamos los valores de:

Si:
S 1=

S1
S

S 2=

S2
S
S3 = 3
S
S

Solo se resolver con las ecuaciones (2), (3) y (4), con el METODO DE CRAMER.

0.20 0.50 0.30 0.20 0.50

S= 0.20 0.20 0.60 0.20 0.20
1
1
1
1
1

[ ( 0.20 x 0.20 x 1 ) + (0.50 x0.60 x 1 ) + ( 0.30 x 0.20 x 1 ) ]

[ ( 1 x 0.20 x 0.30 ) + ( 1 x 0.60 x 0.20 ) + ( 1 x 0.20 x0.50 ) ]=0.56

0 0.50 0.30 0 0.50

S1= 0 0.20 0.60 0 0.20
1
1
1 1
1

[ ( 0 x 0.20 x 1 ) + (0.50 x0.60 x 1 ) + ( 0.30 x 0 x 1 ) ]

[ ( 1 x 0.20 x 0.30 ) + ( 1 x 0.60 x 0 ) + ( 1 x 0 x0.50 ) ]=0.24

0.20 0 0.30 0.20 0

S2= 0.20 0 0.60 0.20 0
1
1
1
1
1

[ ( 0.20 x 0 x 1 ) + ( 0 x0.60 x 1 )+ ( 0.30 x 0.20 x 1 ) ]

[ ( 1 x 0 x 0.30 ) + ( 1 x 0.60 x 0.20 ) + ( 1 x 0.20 x 0 ) ]=

0.18

0.20 0.50 0 0.20 0.50

S3= 0.20 0.20 0 0.20
0.2
1
1
1 1
1

[ ( 0.20 x 0.20 x 1 ) + (0.50 x 0 x 1 )+ ( 0 x 0.20 x 1 ) ]

[ ( 1 x 0.20 x 0 ) + ( 1 x 0 x 0.20 ) + ( 1 x 0.20 x0.50 ) ]=0.14

S 1=

0.24
0.56

S 1=0.4286

S 2=

0.18
0.14
S=
0.56 3 0.56

S 2=0.3214 S 3=0.25

La matriz estacionaria estara dada por los siguientes valores

S n=[ 0.4286 0.3214 0.25 ]

INTERPRETACION
A la luz de los resultados obtenidos, la telefonia movil, CLARO, presenta mayor porcentaje
de de aceptacion por parte de los clientes.
CLARO

0.4286

MOVISTAR

0.3214

ENTEL

0.25

CONCLUSINES
Se ha realizado un estudio marcoviano de eventos infinitos.
Se han evaluado los resultados con tre metodos (Mtodo Recursivo, Mtodo estado
Estacionario)
Los datos escogidos para la toma de decision han sido seleccionados, tomando como
refenrencia los datos de la matriz estacionaria.
La empresa de telefonia movil con mayor aceptacion en el mercado peruano el
CLARO.

RECOMENDACINES
Para el dueo de la empresa que desee generar mas utilidades con su nueva inversion
debera invertir en un negocio de la telfonia movil, el mas optimo o apropiado, seria
invertir en la telefonia movil CLARO, puesto que los calculos realizados con
probabilidades, nos da una informacion clara que CLARO, presenta

el mayor

porcentaje de preferencias por los usuarios en un periodo mes, basndose en los

resultados encontrados de la matriz estacionaria

CASO APLICATIVO CADENA FINITA DE MARKOV

La empresa industrial "DIAMANTE S.A" emplea tres tipos de trabajadores: obreros,
operarios y supervisores.

Cierto ao 10% de los obreros ascienden a operarios y aun 10% se les pide que abandonen la
empresa. Durante un ao cualquiera, 5% de los operarios ascienden a supervisores y un 13%
se les pide abandonar la empresa. Los obreros deben ascender a operarios antes de ser
supervisores. Los trabajadores que no se desempean adecuadamente jams descienden de su
categora, permanecen en su nivel o se les pide que abandonen la empresa.
Se pide determinar:
a) Cul es la probabilidad de que un obrero llegue a supervisor.
b) Cul es la probabilidad de que un obrero llegue a renunciar.
c) Cul es la probabilidad de que un operario se convierta en supervisor.
d) Cul es la probabilidad de que un operario renuncie.

Los Estados Absorbentes:

Los Estados del Proceso:

S: Supervisores

Ob: Obreros

PASO 1:
D: Despedidos
Identificamos la matriz Absorbente y no absorbente.

PASO 2:
Luego de haber identificado la matriz absorbente y no absorbente se procede a restar la matriz
Identidad con la matriz no absorbente de la siguiente manera.

PASO3:
Luego se procede a calcular la matriz inversa de la matriz fundamental.

[I - N]
=A
0.2
0

-0.1
0.181
0

A . A-1
=I
0

PASO 4:
Para obtener la repuesta multiplicamos la Inversa de la Matriz Fundamental con los
datos de la matriz principal (Matriz absorbente).

Fx
J

5
0
0.1
0.05

2.78
5.56
0.13

0.14
0.24

0.86
0.72

CONCLUSIONES:

La probabilidad de que un obrero llegue a ser supervisor es del 14%.

La probabilidad de que un obrero llegue a ser despedido es del 86%.

La probabilidad de que un operario llegue a ser supervisor es del 28%.

La probabilidad de que un operario llegue a ser despedido es del 72%.

RECOMENDACIONES:

A la luz de los resultados obtenidos se recomienda a la empresa DIAMANTE

S.A, que realice mas charlas y capacitaciones para que no tenga unalto indice
de despido de sus obreros.

Se recomienda a la empresa DIAMANTE S.A,que al momento de realizar los

contratos de sus operarios tenga mayor criterio y mas cuidado al momento de
seleccionarlos,para de esta manera evitar el despido masivo por incopetencia
y/o rendimiento.

Se sugiere a la empresa DIAMANTE S.A,

que sus capacitaciones a sus

obreros sea mas frecuente, para que estos puedan ascender de puesto y lleguen
a ser supervisores.

BIBLIOGRAFA

TAHA, Hamdy A. Investigacin de Operaciones, Una Introduccin. 1989.

Ediciones Alfaomega, S.A. Mxico. D.F. Mxico.

MONTAO, Agustn. Iniciacin al Mtodo del Camino Crtico. 1972.

Editorial Trillas, S.A. Mxico. D.F. Mxico.

MOSKOWITZ, Herbert y Gordon P. Wrigth. Investigacin de Operaciones.

1982. Prentice Hall Hispanoamericana, S.A. Naucalpan de Jurez. Mxico.

Mtodos y modelos de investigacin de operaciones [Libro] / aut. Juan Prawda

Juan Prawda Witenberg. - Mexico : Limusa, 2000. - Vol. I.

Investigacin de operaciones [Libro] / aut. Taha Hamdy A.. - Mexico : Pearson

Educacin, 2004. - Vol. Edition: 7.

Mtodos cuantitativos para los negocios [Libro] / aut. David Ray Anderson
Dennis J. Sweeney, Thomas Arthur Williams. - Mexico : Cengage Learning,
2004.