INVESTIGACION DE OPERACIONES 2

Introduccin a las cadenas de Markov

Cadenas de Markov
INTRODUCCION

REPRESENTACION GRAFICA

CLASIFICACION

CADENAS DE MARKOV
INTRODUCCION
Temas
Variables aleatorias Algunas veces se est interesado en analizar cmo cambia una variable aleatoria con el tiempo. Este estudio incluye procesos estocsticos.

Proceso Estocstico

Un tipo de proceso estocstico en particular es conocido como Cadena de Markov que se han aplicado en reas como:
Educacin Comercio Finanzas Servicios de salud Contabilidad Produccin

Cadena de Markov

Andrey Markov

CADENAS DE MARKOV
INTRODUCCION
Temas
Variables aleatorias Algunas veces se est interesado en analizar cmo cambia una variable aleatoria con el tiempo. Este estudio incluye procesos estocsticos.

Proceso Estocstico

Un tipo de proceso estocstico en particular es conocido como Cadena de Markov que se han aplicado en reas como:
Educacin Comercio Finanzas Servicios de salud Contabilidad Produccin

Cadena de Markov

Las cadenas de Markov fueron introducidas por el matemtico ruso Andrey Markov (1856-1922) alrededor de 1905. Su intencin era crear un modelo probabilstico para analizar la frecuencia con la que aparecen las vocales en poemas y textos literarios. El xito del modelo propuesto por Markov radica en que es lo suficientemente complejo como para describir ciertas caractersticas no triviales de algunos sistemas, pero al mismo tiempo es lo suficientemente sencillo para ser analizado matemticamente.

Andrey Markov

CADENAS DE MARKOV
INTRODUCCION
Temas
Variables aleatorias Proceso Estocstico Es un proceso que evoluciona en el tiempo de una manera probabilstica. Un proceso estocstico es una coleccin indexada de variables aleatorias parametrizadas por el tiempo

{Xt}={X0, X1, X2, }

Cadena de Markov Donde Xt representa una caracterstica de inters medible en el tiempo t. Por ejemplo puede representar los niveles de inventario al final de la semana t. Es una descripcin de la relacin entre las variables aleatorias X0 , X 1 , X2 ,

CADENAS DE MARKOV
INTRODUCCION
Temas
Variables aleatorias En la teora de la probabilidad, se conoce como cadena de Markov a un tipo especial de proceso estocstico en el que la probabilidad de que ocurra un evento depende del evento inmediatamente anterior. En efecto, las cadenas de este tipo tienen memoria, recuerdan el ltimo evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado. Estos modelos muestran una estructura de dependencia simple, pero muy til en muchas aplicaciones. Propiedad de Markov: Conocido el estado del proceso en un momento dado, su comportamiento futuro no depende del pasado. Dicho de otro modo, dado el presente, el futuro es independiente del pasado

Proceso Estocstico

Cadena de Markov

Notacin

CADENAS DE MARKOV
INTRODUCCION
Un proceso estocstico para t = 0, 1, 2, 3 y los estados a,b,c P( Xt+1=j | Xt=i , Xt-1=h , , X1=b , X0=a ) Es una cadena de Markov, si se depende solamente de: P( Xt+1=j | Xt=i ) La distribucin de probabilidad del estado en el tiempo t +1 depende del estado en el tiempo t y no depende de los estados por los que pasa la cadena en el camino. Luego: P( Xt+1= j | Xt= i )= pij

Donde pij es la probabilidad de que dado que el sistema est en el estado i en el tiempo t, estar en un estado j en el tiempo t+1. Si el sistema se mueve del estado i durante un perodo al estado j durante el siguiente perodo, se dice que ocurri una transicin de i a j. Las pij se denominan probabilidades de transicin para la cadena de Markov.

En la mayora de las aplicaciones, las probabilidades de transicin se muestran como una matriz de probabilidad de transicin P de orden s x s. La matriz de probabilidad de transicin P se puede escribir como:

Cadenas de Markov
INTRODUCCION

REPRESENTACION GRAFICA

CLASIFICACION

LAUREATE

CADENAS DE MARKOV
REPRESENTACION GRAFICA
Temas
Diagrama de transicin Ejemplo

INTERNATIONAL UNIVERSITIES

Es un grafo dirigido cuyos nodos son los estados y cuyos arcos se etiquetan con la probabilidad de las transiciones existentes. Es un arreglo donde se condensan las probabilidades de pasar de un estado a otro.

p ij i j

CADENAS DE MARKOV
REPRESENTACION GRAFICA
Temas
Diagrama de transicin Ejemplo: La lnea telefnica Sea una lnea telefnica de estados: desocupada (D) y ocupada (O).

Ejemplo

Si en el instante t est ocupada, en el instante t+1 estar ocupada con probabilidad 0.7 y desocupada con probabilidad 0.3. Si en el instante t est desocupada, en el instante t+1 estar ocupada con probabilidad 0.1 y desocupada con probabilidad 0.9.

Solucin

LAUREATE

CADENAS DE MARKOV
REPRESENTACION GRAFICA
Temas
Diagrama de transicin Ejemplo: La lnea telefnica

INTERNATIONAL UNIVERSITIES

Sea una lnea telefnica de estados: desocupada (D) y ocupada (O).

Ejemplo

Si en el instante t est ocupada, en el instante t+1 estar ocupada con probabilidad 0.7 y desocupada con probabilidad 0.3. Si en el instante t est desocupada, en el instante t+1 estar ocupada con probabilidad 0.1 y desocupada con probabilidad 0.9.

0.1 0.9 D 0.3

Solucin

0.7

Cadenas de Markov
INTRODUCCION

REPRESENTACION GRAFICA

CLASIFICACION

CADENAS DE MARKOV
CLASIFICACION
Matriz de transiciones:

Representacin grfica:

0.4 0.5 = 0 0 0
0.6

0.6 0.5 0 0 0

0 0 0 0 0.3 0.7 0.5 0.4 0 0.8

0.3

0 0 0 0.1 0.2
0.7 0.4 4 0.5 s2 0.2 5 0.8 0.1

0.4

0.5 0.5

s1

Dados dos estados i y j, una trayectoria de i a j es una sucesin de transiciones que comienza en i y termina en j, tal que cada transicin en la secuencia tiene una probabilidad positiva de ocurrir.

CADENAS DE MARKOV
CLASIFICACION
Matriz de transiciones:

Representacin grfica:

0.4 0.5 = 0 0 0
0.6

0.6 0.5 0 0 0

0 0 0 0 0.3 0.7 0.5 0.4 0 0.8

0.3

0 0 0 0.1 0.2
0.7 0.4 4 0.5 s2 0.2 5 0.8 0.1

0.4

0.5 0.5

s1

Un estado j es alcanzable desde el estado i si hay una trayectoria que conduzca de i a j. (El estado 5 es alcanzable desde el estado 3 a travs de la trayectoria 3-4-5, pero el estado 5 no es alcanzable desde el estado 1 no hay trayectoria que vaya de 1 a 5)

CADENAS DE MARKOV
CLASIFICACION
Matriz de transiciones:

Representacin grfica:

0.4 0.5 = 0 0 0
0.6

0.6 0.5 0 0 0

0 0 0 0 0.3 0.7 0.5 0.4 0 0.8

0.3

0 0 0 0.1 0.2
0.7 0.4 4 0.5 s2 0.2 5 0.8 0.1

0.4

0.5 0.5

s1

Se dice que dos estados i y j se comunican si j es alcanzable desde i, e i es alcanzable desde j. (Los estados 1 y 2 se comunican: podemos pasar de 1 a 2 y de 2 a 1)

CADENAS DE MARKOV
CLASIFICACION
Matriz de transiciones:

Representacin grfica:

0.4 0.5 = 0 0 0
0.6

0.6 0.5 0 0 0

0 0 0 0 0.3 0.7 0.5 0.4 0 0.8

0.3

0 0 0 0.1 0.2
0.7 0.4 4 0.5 s2 0.2 5 0.8 0.1

0.4

0.5 0.5

s1

Un conjunto de estados S en una cadena de Markov es un conjunto cerrado si una vez dentro de uno de los estados de ste permanece en el conjunto por tiempo indefinido. (Tanto S1 = {1, 2} como S2 = {3, 4, 5} son conjuntos cerrados. Observe que una vez que entramos a un conjunto cerrado no podemos dejarlo nunca)

CADENAS DE MARKOV
CLASIFICACION
Cadena irreductible:

Se dice que una cadena de Markov es irreductible si todo estado puede alcanzarse desde cualquier otro estado despus de una cantidad finita de transiciones. En este caso se comunican todos los estados de la cadena. Todos los estados de una cadena irreductible deben formar un conjunto cerrado.

CADENAS DE MARKOV
CLASIFICACION
Estado absorbente:

1 3

Un estado i es estado absorbente si pii = 1. Siempre que se entre a un estado de absorbente, nunca se saldr de l. Por supuesto, un estado absorbente es un conjunto cerrado que slo contiene un estado. (El estado 3 es un estado absorbente)

CADENAS DE MARKOV
CLASIFICACION
Estado transitorio:

1 3

Un estado i es un estado transitorio si hay un estado j alcanzable desde i, pero el estado i no es alcanzable desde el estado j. En otras palabras, un estado i es transitorio si hay manera de dejar el estado i de tal modo que nunca se regrese a l. (El estado 2 es un estado transitorio)

CADENAS DE MARKOV
CLASIFICACION
Estado recurrente:

Si un estado no es transitorio, se llama estado recurrente. Todos los estados de una cadena irreductible deben ser recurrentes. (Los estados 1 y 2 son estados recurrentes; el estado 3 es transitorio)

CADENAS DE MARKOV
CLASIFICACION
Estado peridico:

1 1 2 3 3

2 4

Un estado i es peridico con perodo k>1 si k es el nmero ms pequeo tal que las trayectorias que conducen del estado i de regreso al estado i tienen una longitud que es mltiplo de k. Si un estado recurrente no es peridico se le conoce como aperidico. Si una cadena tiene algn estado absorbente tambin es aperidica. (Ambas son cadenas de Markov con perodo 3. Sin importar donde estemos se tiene la seguridad de volver tres, o mltiplo, perodos despus)

CADENAS DE MARKOV
CLASIFICACION
Estado ergdica:

Una cadena de Markov es ergdica si es que es irreductible, recurrente y aperidica.

CADENAS DE MARKOV
CLASIFICACION
EJERCICIOS:

1
Cadena: Irreductible Recurrente Peridica (perodo 3), no es ergdica

CADENAS DE MARKOV
CLASIFICACION
EJERCICIOS:

Cadena:

Irreductible Recurrente Aperidica Ergdica

CADENAS DE MARKOV
CLASIFICACION
EJERCICIOS:

Cadena: Estados:

No irreductible 1 Absorbente 2 y 3 Recurrentes 4 Transitorio

CADENAS DE MARKOV
CLASIFICACION
EJERCICIOS:

Cadena: No irreductible Estados: 2 Absorbente; si el proceso ingresa en l (tercer rengln de la matriz) nunca sale. 3 Transitorio; una vez que el proceso ingresa en l existe la posibilidad de que no regrese si va al estado 2 4 Transitorio; cuando el proceso deja el estado nunca vuelve. 0 y 1 Recurrentes

CADENAS DE MARKOV
PROPIEDADES
PROPIEDADES DE LA CADENA DE MARKOV Irreductibilidad Una cadena de Markov se dice que es irreducible si todos los estados estn comunicados entre s. Absorbencia Una cadena de Markov es absorbente si tiene algn estado absorbente. Si una cadena de Markov es irreducible y absorbente entonces la probabilidad de caer en alguno de los estados absorbentes tiende a uno cuando el nmero de etapas tiende a infinito. Regularidad Una cadena de Markov se dice que es regular si alguna potencia de la matriz de transicin tiene todos sus elementos positivos (no hay ceros). Si una cadena es regular entonces es irreducible y no absorbente. Cada cadena de Markov debe tener al menos una cadena recurrente.