CADENAS DE MARKOV 4.6 Probabilidad de transicin estacionaria de n pasos.

Las ecuaciones de Chapman-Kolmogorov proporcionan un mtodo para calcular estas probabilidades de transicin de n pasos : Estas ecuaciones simplemente sealan que al ir de un estado i al estado j en n pasos, el proceso estar en algn estado k despus de exactamente m ( menor que n) pasos. As, Es solo las probabilidad condicional de que, si se comienza en el estado i, el proceso vaya al estado k despues de m pasos y despus al estado j en n- m pasos. Los casos especiales de m=1 y m=n-1 conducen a las expresiones Para toda i, j, y n de lo cual resulta que las probabilidades de transicin de n pasos se pueden obtener a partir de las probabilidades de transicin de un paso de manera recursiva. Para n=2, estas expresiones se vuelven : Note que las son los elementos de la matriz P(2) , pero tambin debe de observarse que estos elementos, se obtienen multiplicando la matriz de transicin de un paso por s misma; esto es , P(2) = P * P = P2 . En trminos ms generales, se concluye que la matriz de probabilidades de transicin de n pasos se puede obtener de la expresin : P(n) = P * P . P = Pn = PPn1 = Pn-1 P. Entonces, la matriz de probabilidades de transicin de n pasos se puede obtener calculando la n-sima potencia de la matriz de transicin de un paso. Para valores no muy grandes de n, la matriz de transicin de n pasos se puede calcular en la forma que se acaba de describir, pero cuando n es grande, tales clculos resultan tediosos y, ms an, los errores de redondeo pueden causar inexactitudes. Ejemplo : Una tienda de cmaras tiene en almacn un modelo especial de cmara que se puede ordenar cada semana. Sean D1, D2, las demandas de esta cmara durante la primera, segunda, , semana, respectivamente. Se supone que las Di son variables aleatorias independientes e idnticamente distribuidas que tienen una distribucin de probabilidad conocida. Sea X0 el nmero de cmaras que se tiene en el momento de iniciar el proceso, X1 el nmero de cmaras que se tienen al final de la semana uno, X2 el nmero de cmaras al final de la semana dos, etc. Suponga que X0 = 3 . El sbado en la noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente poltica ( s, S)1 para ordenar : si el nmero de cmaras en inventario al final de la semana es menor que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X1} para t = 0, 1, .. es un proceso

estocstico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras en inventario al final de la semana. As, dado que tiene una cmara al final de una semana, la probabilidad de que no haya cmaras en inventario dos semanas despus es 0.283; es decir, De igual manera, dado que se tienen dos cmaras al final de una semana, la probabilidad de que haya tres cmaras en el almacn dos semanas despus es 0.097; esto es, La matriz de transicin de cuatro pasos tambin se puede obtener de la siguiente manera : P(4) = P4 = P(2) * P(2) As, dado que queda una cmara al final de una semana, 0.282 es la probabilidad de que no haya cmaras en inventario 4 semanas ms tarde; es decir, De igual manera, dado que quedan dos cmaras en el almacn final de una semana, se tiene una probabilidad de 0.171 de que haya tres cmaras en el almacn 4 semanas despus; esto es,