Cadenas de Markov

Proceso estocstico
Cadena de Markov
Estado
Transicin

 Probabilidad de transicin
Es la probabilidad que ocurra la transicin
del estado i al estado j, dado que se est en
el estado i.
P{ X t + 1 = j / X t = i }

 Probabilidades estacionarias de un paso

Si para cada i y j se cumple:
P{ X t + 1 = j / X t = i } = P{ X 1 = j / X 0 = i }

entonces, se dice que las probabilidades de

un paso son estacionarias
Notacin: Pij

 Probabilidad de transicin en n pasos

P{ X t + n = j / X t = i } = P{ X n = j / X 0 = i }
Notacin: Pij(n)

Propiedades de Pij(n)

1. Pij(n) 0

para todo i, j y n = 0, 1, 2,

2. S Pij(n) = 1 para todo i, j de 0 a M, y

n = 0, 1, 2,

 Notacin matricial, P (n)

0

P00(n) P01(n) P02(n)

P10(n)

P20(n)

PM0(n)

M
P0M(n)

PMM(n)

Ecuaciones de Chapman Kolmogorov

Permite calcular la probabilidad de transicin
en n pasos
Pij(n) = S Pik(m) Pkj(n-m)
para todo i, j, n, 0 m n, y la sumatoria
desde k=0, hasta k=M

La matriz de probabilidades de transicin de

n pasos se pueden obtener a partir de la
matriz de probabilidades de transicin de un
paso
P (n) = P * P * P * . * P = P(n-1) * P

Clasificacin de estados
Definiciones:
Accesibles
Comunicados

Si dos estados se comunican, pertenecen a la

misma clase
Si todos los estados pertenecen a la misma clase,
entonces la cadena es irreducible

 fii = probabilidad de que el proceso regrese

al estado i, dado que comienza en el estado
i.
Estado recurrente: fii = 1
Estado transitorio: fii < 1
Estado absorbente: pii = 1

Tiempos de primera pasada

El nmero de transiciones que hace el
proceso al ir de un estado i a un estado j por
primera vez, es el tiempo de primera
pasada
Cuando j = i, se habla de tiempo de
recurrencia para el estado i

 mij = tiempo esperado de primera pasada

mij = infinito,

si S fii (n) < 1

mij = S n * fii (n),

si S fii (n) = 1

Cuando S fii (n) = 1, se satisface la ecuacin:

mij = 1 + S { pik * mkj }
donde la sumatoria vara para todo k
distinto de j
Cuando i = j, mij se llama tiempo esperado
de recurrencia

Probabilidades de Estado Estable

Es la probabilidad de que le sistema se
encuentra en el estado j, independiente del
estado inicial
pj = lim pij (n) , con n tendiendo al infinito

pi = 1 / mii

Ecuaciones de estado estable

1. pj = S pj * pij
para j = 0, 1, , M y la
sumatoria variando de i = 0, 1, , M
2. S pj = 1

Estados Absorbentes
Si k es un estado absorbente, y el proceso
comienza en el estado i, la probabilidad de
llegar en algn momento a k se llama
probabilidad de absorcin
Notacin: fik

 Ecuaciones:
fik = S pij * fjk para todo i = 0, 1, , M; y
la sumatoria variando de j = 0 hasta M

La ecuacin anterior est sujeto a:

fkk = 1
fik = 0, si el estado i es recurrente, y
adems i es distinto de k