CADENAS DE MARKOV 4.8 Probabilidad de transicin estacionarias de estados estables.

Teorema Sea P la matriz de transicin de una cadena de M estados . Existe entonces un vector tal que Se establece que para cualquier estado inicial i , . El vector a menudo se llama distribucin de estado estable, o tambin distribucin de equilibrio para la cadena de Markov. Para encontrar la distribucin de probabilidades de estacionario para una cadena dada cuya matriz de transicin es P, se !n el teorema, para n rande y para toda i , "#$ %omo Pi& "n ' #$ ( " ren ln i de Pn $"columna & de P$, podemos escribir ")$ E&emplo * Supon a que toda la industria de re+rescos produce dos colas. %uando una persona ,a comprado la cola #, ,ay una probabilidad de -. / de que su si uiente compra se de cola #. Si una persona compr cola ), ,ay un 0. / de probabilidades que su prxima compra sea de cola ). Entonces * 1l reemplazar la se unda ecuacin por la condicin , obtenemos el sistema 1l despe&ar resulta que Por lo tanto, despus de lar o tiempo, ,ay probabilidad )23 de que una persona dada compre cola # y #23 de probabilidad de que una persona compre cola ). Tiem os de rimer aso. %on +recuencia es conveniente poder ,acer a+irmaciones en trminos de probabilidades sobre el n!mero de transiciones que ,ace el proceso al ir de un estado i a un estado & por primera vez . este lapso se llama tiempos de primer paso al ir del estado i al estado &. cuando 4(i, esta tiempo de primer paso es &usto el n!mero de transiciones ,asta que el proceso re resa al estado inicial i. En este caso, el tiempo de primer paso se llama tiempo de recurrencia para el estado i. Para ilustrar estas de+iniciones, reconsidrese el e&emplo si uiente * 5na tienda de c6maras tiene en almacn un modelo especial de c6mara que se puede ordenar cada semana. Sean 7#, 7), 8 las demandas de esta c6mara durante la primera, se unda, 8 , semana, respectivamente. Se supone que las 7i son variables aleatorias independientes e idnticamente distribuidas que tienen una distribucin de probabilidad conocida. Sea 9. el n!mero de c6maras que se tiene en el momento de iniciar el proceso, 9# el n!mero de c6maras que se tienen al +inal de la semana uno, 9) el n!mero de c6maras al +inal de la semana dos, etc. Supon a que 9. ( 3 . El s6bado en la noc,e la tienda ,ace un pedido que le entre an el lunes en el momento de abrir la tienda. :a tienda ,ace un pedido que le

entre an el lunes en el momento de abrir la tienda. :a tienda usa la si uiente pol;tica " s, S$# para ordenar * si el n!mero de c6maras en inventario al +inal de la semana es menor que s (# "no ,ay c6maras en la tienda$, ordenar ",asta$ S(3. 7e otra manera, no coloca la orden "si se cuenta con una o m6s c6maras en el almacn, no se ,ace el pedido$. Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, <9#= para t ( ., #, .. es un proceso estoc6stico de la +orma que se acaba de describir. :os estados posibles del proceso son los enteros ., #, ), 3 que representan el n!mero posible de c6maras en inventario al +inal de la semana. 7onde 9t es el n!mero de c6maras en inventario al +inal de la semana t y se comienza con , Supon a que ocurri lo si uiente* En este caso, el tiempo de primer paso para ir al estado 3 al estado # es dde ) semanas, el tiempo de primer paso para ir del estado 3 al estado . es de 3 semanas y el tiempo de recurrencia del estado 3 es de > semanas. En eneral, los tiempos de primer paso son variables aleatorias y, por lo tanto, tienen una distribucin de probabilidad asociada a ellos. Estas distribuciones de probabilidad dependen de las probabilidades de transicin del proceso. En particular, denota la probabilidad de que el tiempo de primer paso del estado i al & sea i ual a n. Se puede demostrar que estas probabilidades satis+acen las si uientes relaciones recursivas* Entonces se puede calcular la probabilidad de un tiempo de primer paso del estado i al & en n pasos, de manera recursiva, a partir de las probabilidades de transicin de un paso. En el e&emplo, la distribucin de probabilidad de los tiempos de primer paso del estado 3 al estado . se obtiene como si ue* Para i y & +i&os, las son n!meros no ne ativos tales que Esta suma puede ser menor que #, lo que si ni+ica que un proceso que el iniciar se encuentra en el estado i puede no lle ar nunca al estado & . %uando la suma es i ual a #, las pueden considerarse como una distribucin de probabilidad para la variable aleatoria, el tiempo de primer paso. Para obtener el tiempo esperado de primer paso del estado i al estado &. Sea , que se de+ine como* entonces satis+ace, de manera !nica, la ecuacin* %uando i(&, se llama tiempo esperado de recurrencia. 1l aplicarlo al e&emplo del inventario, estas ecuaciones se pueden usar para calcular el tiempo esperado ,asta que ya no se ten an c6maras en el almacn, suponiendo que el proceso inicia cuando se tienen tres c6maras? es decir, se puede obtener el tiempo esperado de primer paso . %omo todos los estados son recurrentes, el sistema de ecuaciones conduce a las expresiones :a solucin simult6nea de este sistema es

7e manera que el tiempo esperado ,asta que la tienda se queda sin c6maras es de 3.@. semanas. %aso de 1plicacin.