stemas de Markov, Ejemplo

Diagramas de
transiciones de Diagrama de transición:
estados, matriz de (Falta de flechas indican la probabilidad cero.)
transición

Un sistema de
Markov (o proceso de
Markov o cadena de
Markov) es un sistema
que puede estar en uno
de
algunos estados (enumer
ados), y que puede pasar
de un estado a otro
durante cada instante de
acuerdo a probabilidades
determinadas. Matriz:

Si un sistema de Markov
está en estado i, Hay una
determinada
probabilidad, pij, de ir a
estado j el próximo paso,
y pijes llamado
la probabilidad de
transición.
Inicio de página
Un sistema de Markov
puede ser ilustrado por
significados de
un diagrama de
transicion de estados,
que muestra todos los
estados y las
probabilidades de
transición. (Ver el
ejemplo opuesto.)

La
matriz P cuya ijo entrada
pij se llama la matriz de
transición asociada con
el sistema. Las entradas
en cada renglón suman
en total 1. Por lo tanto,
para este caso, una 2 2
matriz de
transición P podría ser
representado en la
siguiente figura.
 Inicio de página

Vectores de Ejemplo
distribución y los
poderes de la Sea
matriz de transicíon
0.2 0.8 0
Un vector de
P = 0.4 0 0.6
distribucíon es un
vector reglón no 0.5 0.5 0
negativa con una entrada
para cada estado de la y sea v = [ 100 200 300 ] una distribucíon inicial. A continuación, la
sistema. Las entradas distrubución después de un paso se expresa por
pueden representar el
número de individuos en
cada estado del sistema.

Una vector
probabilidad es un
vector en la que las 0.2 0.8 0
entradas son no negativa vP = [ 100 200 300 ] 0.4 0 0.6
y agregar hasta 1. Las 0.5 0.5 0
entradas en un vector
probabilidad pueden = [ 250 230 120 ]
representar las
probabilidades de La distribución un paso más adelante se expresa por
encontrar un sistema de
cada uno de los estados.
vP2 = (vP)P
Si v es el vector de 0.2 0.8 0
distribucíon inicial = [ 250 230 120 ] 0.4 0 0.6
y P es la matriz de 0.5 0.5 0
transicíon de un sistema = [ 202 260 138 ].
de Markov, entonces la
vector de distribucíon a
partir del paso 1 es el Para obtener la matriz 2-pasos de transicioón, calculamos
producto vP.

Distribución 0.2 0.8 0 0.2 0.8 0

después de 1 P2 = 0.4 0 0.6 0.4 0 0.6
paso: vP
0.5 0.5 0 0.5 0.5 0
La distribución un paso
más adelante, obtenido 0.36 0.16 0.48
de nuevo a través de = 0.38 0.62 0
multiplicacíon por P, es
0.3 0.4 0.3
dado por (vP)P = vP2.
Distribucíon
después del
paso 2: vP2
Del mismo , la
distribucíon depués del Así, por ejemplo, la probabilidad de pasar del estado 3 al estado 1 en dos pasos
paso n se puede obtener viene dada por la 3,1-entrada en P2, es decir, 0.3.
multiplicando v al
derecho por P n veces, o Inicio de página
multiplicando v por Pn.
Distribucíon
después
de n pasos: v
Pn

P2 es la matrtiz de
transicíon 2-etapas del
sistema de Markov. Del
mismo modo, P3 es la
matriz de transicíon 3-
estapas, y Pn es la
matriz n-etapas de
transicíon. Esto significa
que la ija entrada
de Pn es la probabilidad
de que el sistema pasará
de estado i a
estado j en n pasos.

Pruebe
nuestra herramienta en-
línea para calcular la
matriz de transicíon y las
vectores de distribución
asociadas. Aún mejor (y
mucho mas flexible) es
nuestra herramienta de
álgebra de matriz con la
que se puede calcular
simultáneamente varias
expresiones algebráicas
con matrices.

Inicio de página

Comportamiento a Ejemplo
largo plazo de los
sistemas de Markov La matriz de transición

Si P es una matriz de 0.2 0.8 0

transición de un sistema
de Markov, y si v es un P = 0.4 0 0.6
vector de distribución 0.5 0.5 0
con la propiedad
que vP = v, entonces nos El ejemplo anterior es regular, ya que sólo P3 tiene cada entrada distinto de cero.
referimos a v como (Puede comporbarlo en su graficador o en nuestra utilidad en-línea .)
un vector (distribución) El vector estado de equilibrio se expresa por
de estado de equilibrio.
v = [35/99 40/99 24/99],
Para encontrar un vector de mode que
de estado de equilibrio 0.2 0.8 0
para un sistema de
vP = [35/99 40/99 24/99] 0.4 0 0.6
Markov con matriz de
transición P, resolvemos 0.5 0.5 0
el sistema de ecuaciones = [35/99 40/99 24/99]
dados por: = v.

x+y Por lo tanto, la matriz largo plazo de transición es

+ z + =1
...
35/99 40/99 24/99
[x y [x y
z... = z.. P = 35/99 40/99 24/99
]P .] 35/99 40/99 24/99
donde su uso como
muchas incógnitas, ya (Para comprobar esto, calcular P256 en la utilidad en línea.)
que hay estados en el
sistema de Markov. Una
Usar la herramienta álgebra matiz
costante vectorial de
estado de probabilidades
se da entonces por Abra la herramienta álgebra matiz y ingrese P utilizando el siguiente formato
v = [x y z . (tenga en cuenta las comas entre cada par de entradas en cada fila.): (Si lo
..] deseas, puede copiar el texto de la siguente figura en azul y pegarlo en la ventana
Un sistema regular de de la herramienta.)
Markov es un sistema
cuya matriz de P = [0.2, 0.8, 0
transición tiene algun 0.4, 0, 0.6
poder con ningunas 0.5, 0.5, 0]
entradas de cero. Un Luego, en la fórmula, escriba la fórmula P^256 y pulse "Calcular". Si desea ver
sistema regular de la respuesta en la forma de fracciones en vez de decimales, comprueba que
Markov siempre tiene un "Fraction Mode" (ubicado debajo de los botones) está marcado.
solo vector de estado de Inicio de página
equilibrio.

Comportamiento a
largo plazo Si los
poderes más y más altos
de P se acercan a una
matriz P , nos referimos
a P como la matriz de
equilibrio o como
la matriz de transición
largo plazo. Si es
regular el sistema de
Markov, entonces la
matriz de equilibrio se
expresa por la matriz
cuadrada cuyas reglones
son iguales el uno a otro,
y iguales al vector de
estado de equilibrio

[x y z . . .].
Calcular la matriz de
estado de equilibrio
numérico

Por el uso de la
tecnología, es
frecuentemente posible
aproximar P con gran
precisión por
simplemente calcular un
gran poder de P. ¿Qué
tan grande? Sabe es
suficiente grande cuando
las filas sean los mismos
con la precisión que
desee. Para matrices
pequeñas como en el
libro de texto, P256 suele
sea suficiente. (256 es
una potencia de 2, por lo
que el cálculo de P256 es
especialmente rápido en
nuestras herramienta de
álgrebra de matriz .
Pruébelo!)

Advertencia: Si no se
estabiliza la matriz con
bastante rapidez,
entonces se corre el
riesgo de significados
errores computacionales:
lo más grande el número
de cálculos, lo más
grande se vuelve el
error.

Inicio de página

Sistemas Ejemplo
absorbentes de
Markov Diagrama de transición:
(Estados 3 y 4 están absorbiendo. Desapáreciendo flechas indican la
Unestado asorbente en probabilidad cero.)
un sistema de Markov es
un estado a partir de la
cual existe cero
probabilidad de salir.
Un sistema absorbente
de Markov es un
sistema de Markov que
contiene al menos un
estado asorbente, tal que
es posible llegar a un
estado absorbente
después de algun
número de etapas
comenzando en
caulquier estado no
absorbente.

En el análisis de los Matriz:

sistemas absorbentes,
enumeramos los estados
en tal manera que los
estados absorbentes son
los últimos. La matriz de
transición Pde un
sistema absorbente
entonces se ve como
sigue:
Inicio de página
S T
P
=
0 I

Aquí I está la matriz

unidad m m (m =
número de estados
absorbentes), S es una
matriz cuadrada (n-
m) (n-m) (n = número
total de estados, de
modo n-m = el numero
de estados
absorbentes), 0 es un
matriz cero y T es un
matriz (n-m) m.

La matriz S es la matriz
de transición para la
circulación entre los
estados de absorción.
La matriz
fundamental para el
sistema absorbente es

Q = (I-S)-1.
Inicio de página

Calcular el valor Ejemplo

esperado del
número de pasos
hasta la En el ejemplo anterior,
absorpción Para
obtener información
0.75 0 -1
sobre el tiempo de Q = (I-S)-1 =
absorción en un sistema -0.2 0.8
absorbente de Markov, 4/3 0
en primer lugar se =
1/3 5/4
calcula la matriz
fundamental Q.
Asi, por ejemplo, el número de veces, a partir del estado 2, que se espera visita
El numero de veces, a estado 1 antes de la absorción es el entrada (2,1) de Q. Pues es igual a 1/3 aquel
partir del estado i, que se entrada, si se inicia en el estado 2, se puede esperar visitar estado1 1/3 veces
espera visitar el antes de la absorción.
estado j antes de
absoprción es la El producto QT es
ijo entrada de Q.
2/3 1/3
El número esperado total QT =
1/6 5/6
de pasos antes la
absorción es igual a la
suma de los números de Pues la segunda fila es [1/6 5/6], significa que, a partir del estado 2, hay una
visitas que se espera a probabilidad de 1/6 de llegar en el primero estado de absorción (Estado 5), y en
hacer a todos los estados una probabilidad de 5/6 de llegar en el segundo estado de absorción (Estado 6).
no absorbentes. Esta es
la suma de todas las Uso de la herramienta de álgebra de matriz
entradas del io reglón
de Q. Calcular Q: Abra la herramienta de álgebra de la matriz y ingrese la
matriz S con el formato siguiente (tenga en cuenta las comas entre cada par de
El producto QT da las las entradas en cada fila), (si lo deseas, puedes copiar el texto azul de la figura
probabilidades de siguente y pegarlo en la ventana.)
terminar en los distintos
estados absorbentes. Por S = [0.25, 0
ejemplo, si el io reglón 0.2, 0.2]
de QT es [x y z t], Entonces, en el campo de fórmulas, introduzca la fórmula (I-S)^-1 y pulce
entonces, a partir de "Calcular". (La utilidad es lo suficientemente hábiles como para saber cual
estado i, hay una matriz identidad quieren decir como "I", de modo que no es necesario
probabilidad de x en especificarlo.) Si desea ver la respuesta en fracciones en lugar de decimales,
terminar en el primer asegúrese de que esta marcada "Fraction Mode".
estado de absorción, y
una probabilidad de y en
Computación de QT: Abra la herramienta de álgebra de matriz y ingrese alli las
terminar en el segundo
matrices S y T usando el siguiente formato: (Si lo deseas, puedes copiar el texto
estado de absorción, y
de color azul de la figura siguente y pegarlo en la ventana.)
así sucesivamente.
S = [0.25, 0
Inicio de página
0.2, 0.2]

T = [0.5, 0.25
0, 0.6]

Luego, en el campo de fórmulas, escriba la formula (I-S)^-1*T y pulse

"Calcular".