CADENAS DE MARKOV

APLICACIÓN DE LA CADENA DE MARKOV

El análisis de Markov, llamado así en honor de un

matemático ruso que desarrollo el método en 1907,
permite encontrar la probabilidad de que un sistema
se encuentre en un estado en particular en un
momento dado.

Algo más importante aún, es que permite encontrar

el promedio a la larga o las probabilidades de
estado estable para cada estado.

Con esta información se puede predecir el

comportamiento del sistema a través del tiempo

Su introducción de la cadena de Markov como un modelo para el estudio de

variables aleatorias hecho enormes cantidades de investigación posible en los
procesos estocásticos [un proceso estocástico es una familia o una colección de
variables aleatorias indexadas por un proceso de parámetros también se le llama
suerte o azar
QUE ES LA CADENA DE MARKOV

Las cadenas de markov son una herramienta para analizar el comportamiento de

determinados procesos estocásticos, estos procesos evolucionan de forma
determinantica a lo largo del tiempo en torno a un conjunto de estados.

Es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende

del evento inmediato anterior.

En efecto, las cadenas de este tipo tienen memoria. Recuerdan el último evento y
esto condiciona las posibilidades de los eventos futuros

Nota
Memoria es la ultima situación de un hecho que ya fue
concluido
EN QUE CONSTA LA CADENA DE MARKOV

La cadena de Markov costa de una secuencia X1, X2, X3, … de variables aleatorias.
El rango de estas variables, es llamado espacio estado, el valor de Xn es el estado
del proceso en el tiempo n.

Si la distribución de probabilidad condicional de Xn+1 en estados pasados es una

función de Xn por sí sola, entonces:

Donde xi es el estado del proceso en el instante i. La identidad mostrada es la

Propiedad de Markov

Nota

Sea x1 = un evento o algún suceso que

directamente afecte a nuestro estado

Xn = espacio algun suceso que pueda

pasar tomando en cuenta el suceso en el
que esta o que pueda suceder
APLICACIÓN DE LA CADENA DE MARKOV

Las cadenas de markov se usan en muchos campos de la industria entre estos el

reparto del mercado entre marcas, dinámica de las averías de máquinas para decidir
politica de mantenimiento, evolución de una enfermedad, etc. Otra de las
aplicaciones de las cadenas de markov es la administración

Dentro del las cadenas de markov

existen dos categorías las cuales son
•Continuas
•Discretas
PROBLEMA DE LA CADENA DE MARKOV

Después de mucho estudio sobre el clima, hemos visto que si un día está soleado,
en el 70% de los casos el día siguiente continua soleado y en el 30% se pone
nublado. En términos de probabilidad, lo que nos sirve entonces para predecir el
clima, vemos que la probabilidad de que continúe soleado el día siguiente es .7 y la
probabilidad de que al día siguiente esté nublado es .3.

También nos fijamos en que si un día está nublado, la probabilidad de que esté
soleado el día siguiente es .6 y la probabilidad de que se ponga
nublado es .4

XN

Estado Actual = Día Soleado (x1)

70 % 30 %
Variable aleatoria ( x1) Tiempo N Variable aleatoria ( x2 )

Mañana Pasado mañana

PROBLEMA DE LA CADENA DE MARKOV

Hoy está nublado, ¿cuál es la probabilidad de que mañana continúe nublado?

¿cuál es la probabilidad de que está nublado pasado mañana?

Pasado mañana
Tiempo de hoy Mañana
7 Soleado
6 Soleado
3 Nublado
Nublado
6 Soleado
4 Nublado
4 Nublado

podemos predecir qué ocurrirá mañana si sabemos que hoy está nublado.
Vemos que la probabilidad de que mañana continúe nublado es .4, es decir, si
hiciéramos esta predicción muchas veces estaríamos en lo correcto cerca del 40%
de las veces
PROBLEMA DE LA CADENA DE MARKOV

Si hoy está nublado, para que pasado mañana esté nublado, podríamos tener un día
de mañana soleado o nublado. Así tenemos las siguientes secuencias en orden de
(hoy, mañana, pasado mañana):
(nublado, soleado, nublado) o (nublado, nublado, nublado) donde pasado mañana es
nublado.

Estas secuencias son mutuamente excluyentes, corresponden a caminos distintos

en el árbol, así tenemos que:

P(pasado mañana nublado | hoy nublado)

= P((nublado, soleado, nublado) o (nublado, nublado, nublado))

= P(nublado, soleado, nublado) + P (nublado, nublado, nublado) = (.6 ´ .3) + (.4 ´ .4)

= .34
PROBLEMA DE LA CADENA DE MARKOV

Este resultado se obtuvo multiplicando las probabilidades condicionales a lo largo

de los caminos desde hoy nublado hasta pasado mañana nublado.

No es necesario que seamos tan específicos en términos de hoy, mañana o pasado

mañana, podemos darnos cuenta que lo realmente importante es el número de días
que pasa entre una predicción y otra

Tiempo de hoy Mañana Pasado mañana

Nublado
Soleado

Nublado
Nublado
Nublado
PROBLEMA DE LA CADENA DE MARKOV

Hoy está nublado, ¿cuál es la probabilidad de que esté nublado tres días después?

El proceso de este ejemplo sólo puede adquirir uno de dos estados posibles
x1 = nublado y x2 = soleado.

La probabilidad con que se va de un estado a otro depende del estado en que

estamos en el presente.

Dejemos que X1 represente el estado del clima del día número 1, X2 el estado del
clima del día número 2

y así sucesivamente.

En general, para n = 1, 2, ... sea Xn el estado del clima

La sucesión de observaciones X1, X2, ... se llama un proceso estocástico o

proceso aleatorio.

La primera observación X1 se conoce como el estado inicial del proceso y para n =

2, 3, ... , Xn es el estado del proceso en el tiempo n
La forma más cómoda de expresar la ley de
probabilidad condicional de una cadena de
Markov es mediante la llamada matriz de
probabilidades de transición P

Dicha matriz es cuadrada con tantas filas y

columnas como estados tiene el sistema, y los
elementos de la matriz representan la
probabilidad de que el estado próximo sea el
correspondiente a la columna si el estado actual
es el correspondiente a la fila.
 Como el sistema debe evolucionar de
t a alguno de los n estados posibles,
las probabilidades de transición
cumplirán con la propiedad
siguiente:

Además, por definición de

probabilidad, cada una de ellas ha de
ser no negativa:
Supongamos que la población de un país, está
clasificada de acuerdo con los ingresos en
Estado 1: pobre
Estado 2: ingresos medios
Estado 3: rico

Supongamos que en cada período de 20 años

tenemos los siguientes datos para la población y
su descendencia:
•De la gente pobre, el 19% pasó a ingresos
medios, y el 1% a rica.

•De la gente con ingresos medios, el 15% pasó a

pobre, y el 10% a rica.

•De la gente rica, el 5% paso a pobre, y el 30%, a

ingresos medios.
Podemos armar una matriz de
transición de la siguiente manera: