Professional Documents
Culture Documents
Arvelo
angelf.arvelo@gmail.com
Estimados lectores:
Por ms de 40 aos, he dictado cursos de Probabilidad y
Estadstica a muy distintos niveles, y dirigidos a una muy extensa gama de
profesionales, tales como mdicos, administradores, etc., y muy especialmente a
ingenieros.
A lo largo de todo este tiempo, he podido observar que la gran dificultad en la
enseanza de la Estadstica radica en que la formacin que nuestro sistema
educativo nos proporciona es excesivamente determinstica, y esto hace que
veamos al mundo que nos rodea como un universo regido por leyes naturales, que
inexorablemente nos llevan a un destino predeterminado.
As por ejemplo, en los primeros aos de Ingeniera nos ensean las leyes de la
Fsica, de la Qumica, etc., y no conformes con ello, tambin debemos acudir a un
laboratorio para verificar que efectivamente stas leyes se cumplen, y all nos
hablan de que existe una Teora de Errores que en cierta manera explica las
diferencias encontradas entre lo establecido en aquellas leyes y lo encontrado en
la realidad.
Cuando posteriormente, corresponde enfrentar un curso de Probabilidad, ste
evidentemente constituye un vuelco en el esquema de razonamiento, pues se
viene acostumbrado a encontrar resultados ciertos. De hecho, cuando en muchas
asignaturas de diseo en ingeniera, existe un cierto nivel de incertidumbre acerca
del comportamiento de algunas variables, esto se resuelve mediante la aplicacin
de factores de seguridad.
A mi juicio, el anlisis de los PROCESOS ESTOCASTICOS, y en particular el
tema aqu tratado CADENAS DE MARKOV, constituye una de las vas ms
hermosas para adquirir una visin ms real del universo donde vivimos, donde no
todo es aleatorio, y ni tampoco todo es completamente determinstico; la evolucin
de un proceso, al igual que la vida misma, depende de mltiples circunstancias,
como las condiciones iniciales, la decisin tomada en algn paso intermedio, la
correlacin con otras variables que interactan, etc.
No pretendo con este modesto resumen editar un texto sobre PROCESOS DE
MARKOV; esto sera muy ambicioso por lo extenso y complejo del tema.
Slo me he limitado a los casos discretos llamados CADENAS, omitiendo
algunas situaciones que por la complejidad de los clculos matriciales que
involucran, he considerado poco prctico incluir.
Los principales objetivos que me impulsan a escribirlo son:
a) Organizar y darle coherencia a un extenso material que a lo largo de los aos
he logrado acumular sobre el tema, como exmenes, resmenes, guas de
estudio, etc., y que hoy en da tengo muy disperso y desorganizado.
1. INTRODUCCION
En trminos generales puede decirse que un proceso estocstico es un conjunto
de variables aleatorias que dependen de otra variable t, la cual toma valores
dentro de un conjunto T, llamado conjunto ndice o indicador: {(): }
Esta definicin, que en principio luce muy matemtica y abstracta, encuentra
muchos ejemplos en nuestra vida cotidiana.
En efecto, si se observa la evolucin del precio del oro a lo largo del tiempo, se
tiene una variable aleatoria X que es una funcin del tiempo, y que puede ser
representada en un grfico llamado Time-Run
Una grfica similar podra ser utilizada para ilustrar el comportamiento del clima en
una ciudad, o del crecimiento de la poblacin en un pas, etc.
Todos estos son ejemplos de procesos estocsticos, en donde el conjunto
indicador T es el tiempo, y el proceso est siendo monitoreado de manera
continua, de forma que se tiene un registro del valor de la variable observada en
cada instante. En ese caso, se dice que se trata de un proceso de parmetro
continuo, y se representa {(): 0} en caso de que la variable X sea continua,
o de la forma {(): 0} en caso de que X sea discreta.
Indicador
Discreto
Continuo
= Espacio de Estados
Discreto
Continuo
Cadena de Markov
con parmetro
discreto
Cadena de Markov
con parmetro
continuo
Proceso de Markov
de parmetro discreto
Proceso de Markov
con parmetro
continuo
Estos cuatro casos se analizan bajo una propiedad comn conocida como
Propiedad de Markov, que se refiere a la ausencia de memoria, segn la cual, la
manera como el proceso evoluciona hacia una situacin futura solo depende del
estado actual en que se encuentra hoy, y no de la manera como se lleg a l; es
decir, el futuro depende slo de hoy, y es independiente del pasado.
Este humilde trabajo se limitar solo al caso de cadenas de Markov con parmetro
discreto, en donde adems es un conjunto finito.
Aquellos lectores interesados en un tratamiento detallado de los casos restantes,
pueden consultar el texto Procesos Estocsticos de Emanuel Parzen
3. NOMENCLATURA EN UNA CADENA DE MARKOV
= (+1 = = )
Debido a la propiedad de falta de memoria antes sealada, se supone que
esta probabilidad es constante a lo largo del proceso para todo (i, j) pues la
probabilidad de pasar de un estado a otro, slo depende del estado en que
se encuentra, y no de la forma como lleg a l; es decir:
(+1 = = , 1 = , 2 = , , 0 = )= (+1 = = )
Esta matriz tiene la propiedad de que la suma de los elementos sobre una misma
j=k
fila siempre resulta ser igual a 1: j=0 pij = 1, debido a que representa la suma
de las probabilidades de transicin desde el estado Ei a cualquier otro estado.
Las matrices que gozan de esta propiedad se llaman Matrices Estocsticas, y
conviene mencionar que existen matrices doblemente estocsticas, que son
aquellas en donde no solo cada una de sus filas suma 1; si no tambin, cada una
de sus columnas.
El conocimiento de esta Matriz de Transicin es indispensable para
analizar cualquier cadena de Markov de parmetro discreto.
0
0
Blanca de la caja N 1 y Negra de la caja N 2 X n+1= 0
posibles resultados:
0
0
Negra de la caja N 1 y Blanca de la caja N 2 X n+1= 2
Negra de la caja N0 1 y Negra de la caja N0 2 X = 1
n +1
0 1 0
La matriz de transicin es en consecuencia P=
0 1 0
En cuanto, al vector inicial de estado, como se dispone de la informacin que
inicialmente hay dos pelotas blancas en la caja No 1, entonces se tiene certeza de
que X 0 = 2, y de all que 0 = (0 0 1)
Si no se hubiese contado con esta informacin, y se pudiera asumir que
1 1 1
inicialmente los tres estados son igualmente probables, entonces 0 =
Ejemplo 2: Supngase que cada da una mquina puede estar slo en dos
estados E 0 : Daada, E 1 : Operativa, y que la probabilidad de una mquina que se
9
encuentra operativa, al da siguiente tambin lo est es de , mientras que la de
10
P= 15
5
9
10 10
Otra manera de representar las posibles transiciones entre los estados de una
Cadena de Markov, es mediante los diagramas de estado, en donde cada uno de
los estados es representado mediante un crculo, y la transicin de un estado a
otro se representa a travs de una flecha.
Cuando una flecha comienza y termina en el mismo estado, lo que se quiere
expresar es que es posible que en el prximo paso, un estado permanezca en s
mismo.
El diagrama de estados correspondiente al Ejemplo 1 es el siguiente:
10
11
supongamos que P = 0
1
2
1
3
2
2
3
1
es la matriz de transicin.
0
3
3
12
1
3
1
3
13
En esta cadena, el conjunto de estados es: = {1,2,3}, existen tres clases {1} {2}
y {3} , pero la clase = {2} es cerrada. Tan pronto el proceso alcance el
Estado 2, ya no lo puede abandonar, y permanece en l para siempre.
Los estados absorbentes se reconocen porque = 1, es decir aquellos estados
que en la diagonal principal de la matriz de transicin tengan un uno, son
absorbentes.
=
El siguiente esquema resume los conceptos anteriormente explicados:
Estados
La diferencia entre estados recurrentes y transitorios radica en la probabilidad de regreso.
En los transitorios no es seguro el regreso, puede regresar pero quizs no lo haga
En los recurrentes es seguro el regreso
En una cadena todos los estados no pueden ser transitorios
14
Ejemplo 5: Una cadena de Markov con cuatro estados = {1, 2, 3,4} , presenta la
0.2 0.3 0.4 0.1
0 0.5 0 0.5
0
0
1
0
a) Dibuje el diagrama de estados
b) Cuntas clases tiene?
c) Qu tipo de proceso es?
d) Clasifique sus estados
Solucin: a) El diagrama de estados es
15
En esta nueva forma de definir a la matriz se observan los cuatro bloques antes
mencionados
16
0 0 0.5
0.3 0.5 0
0.2 0.3
0 0.2
17
0
01
02
1 = 00 0 + 01 1 +..+ 0 = ( 1 2 ) .
.
Si este procedimiento se repite para los dems estados j = 0,1,2,.,k se obtiene:
1 = (10 11 12 1 ) = ( 1
00 01 02 0
10 11 12 1
2 ) 20 21 22 2
.
0 1 2
18
Ejemplo 7: Con los datos del Ejemplo No1, halle las siguientes probabilidades.
a) En el cuarto paso en la caja No 1 haya dos pelotas blancas
b) La primera vez que la caja No1 tiene dos pelotas negras es en el cuarto paso
Solucin: a) En el ejemplo No 1, el proceso es:
X n = Numero de pelotas blancas en la caja No1 despus de n pasos
0 1 0
La matriz de transicin en un paso: P=
0 1 0
Inicialmente X o = 2, pues hay dos blancas en la caja No 1 0 = (0 0 1)
0
4 =
0
0
0
0
0
0
0
0
0
0
0
0
0
1 0
=32
1 0
3
16
16
5
8
11
16
5
16
5
32
3
8
16
3
5
3
16 8 16
5 3
5 11 5
= (0 0 1)
=
8 16
32 16 32
3
5
3
16 8 16
Conclusin: La probabilidad de que en el 4 paso, el proceso se encuentre en el
3
3
( 40 =Posicin 0 en el 4 paso= )
estado E 0 = 0 Blancas en la Caja No 1 es
16
16
19
20
a
De Ei a Ej ( 1 visita) en dos pasos, y de Ej a Ej en un paso
a
De Ei a Ej ( 1 visita) en tres pasos
(3)
(1) (2)
(2)
(3)
(3)
(3)
(1) (2)
(2)
= + + =
(4)
a
De Ei a Ej ( 1 visita) en dos pasos, y de Ej a Ej en dos pasos
a
De Ei a Ej ( 1 visita) en tres pasos, y de Ej a Ej en un paso
De E a Ej ( 1a visita) en cuatro pasos
i
(4)
(1) (3)
(2) (2)
(3)
(4)
= + + +
y as sucesivamente:
(4)
(4)
(1) (3)
(2) (2)
(3)
()
()
21
(1) (1)
(2) (2)
(3) (3)
(1)
(4)
sin
0
P=
8
3
4
5
8
3
0
; 2 = 8 4 8 ; 3 = 16 8 16 ; 4 = 32
0
1 1
3
1
2
4
4
8
2
3
4
1
16
5
8
11
16
5
32
3
16
5
16
(1)
20 = 20 = 0
1
1
(2)
(2)
(1)
20 = 20 20 00 = 0 =
(3)
(3)
4
(2)
(1) (2)
20 = 20 20 00 20 00 = 0 0 =
8
4
4
8
3
1 1 1 1
1
(4)
(4)
(1) (3)
(2) (2)
(3)
20 = 20 20 00 20 00 20 00 =
0 0=
16
8 4 4 8
8
Ejemplo 8: Con los datos del Ejemplo 2, que solo posee dos estados, E 0 :
3
5
9
, y sabiendo que
10 10
Solucin:
a) En virtud de que al arrancar el proceso se sabe que la mquina esta operativa,
el vector inicial de estados es 0 = (0 1)
4 =
15
5
9
10 10
34
4
13
16 16
34
4
13
16 16
=(
16
13
16
22
(4)
16
10
6
1
2
1
1 1 1
0 0
3 6 2
0 0 0 0 1
23
5 = (0 0 1 0 0)
0 3 6 2 0
1 1 1
0 0
3 6 2
0 0 0 0 1
5 =
215
432
972
24
1 1 1
4 = (0 0 1 0 0)
0 3 6 2 0
1 1 1
0 0
3 6 2
0 0 0 0 1
20 =
13 1
13
=
162 3 486
24 =
13 1
13
=
108 2 216
25
1
4
1
4
1
4
1
4
0 4 = 0 4
26
es
3
5)
05
43
576
1
43
576 3
1728
7. PROCESOS ESTACIONARIOS
Cuando el proceso se halla en su estado inicial X o , el pronstico sobre su futura
posicin cuando se hayan cumplido n pasos, viene dada por:
=
Si este pronstico es a muy largo plazo, es decir si n es muy grande, es posible
que el vector de estado para el paso n no difiera significativamente del
correspondiente para el paso n+1, es decir, es posible que el proceso tienda a
una posicin limite, y se estacione en un vector de estado constante
27
matriz de transicin:
28
P= 15
5
9
10 10
= 1
=1
Consideremos el evento E o .
3
(1)
00 = Probabilidad de primer regreso a E o en un paso = Trayectoria 00=
(2)
5
2
(3)
00 = Trayectoria 0110 =
(4)
00 = Trayectoria 01110 =
() 2 1
00 =
5 10
9 2
10
; 2
5 10 10
2 9
5 10 10 10
5 10
9 2
10
5 10
29
=2
9 2
10
()
=1
3
2 1
9 2
=
+
5
5 10
10
=2
a = Pr imer tr mino
; || < 1 , siendo
1
r = Razn de la serie
En consecuencia:
converge a
9 2
=2
10
110
= 10
()
=1
3
2 1
3 2
+
10 = + = 1
5
5 10
5 5
Peridico
Ahora bien, un estado recurrente puede ser de dos tipos
Aperidico
Un estado recurrente se dice peridico cuando existe un nmero d >1, tal que
()
()
> 0, y = 0, siempre que n no sea un mltiplo de d, y adems d es el
menor entero con esa propiedad, es decir, el proceso solo puede regresar al
estado Ei en aquellos pasos que sean mltiplos de d.
d se denomina el perodo del proceso.
0
0
Ejemplo 13: Analizar si el proceso cuya matriz de transicin es =
1
0
tiene estados peridico, y en caso de tenerlos, hallar su perodo.
1
0
0
0
0
0
0
1
0
1
0
0
30
31
Ejemplo 14: Analizar si el proceso con tres estados = {1,2, 3} y cuya matriz de
1
4
1
3
3
transicin es: P= 4 0
Solucin:
6
1
2
alcanza estacionario
32
1
33 = > 0 .
2
Con relacin al estado 2 hay duda acerca de su periodicidad porque 22 = 0, pero
dado que pertenece a la misma clase que 1 y 3, no puede ser peridico, debido a
la propiedad, segn la cual todos los estados de una misma clase tienen el mismo
periodo, y ellos tienen periodo 1 por ser aperidicos.
Se trata entonces de un proceso irreductible cuyos estados son todos recurrentes
y aperidicos, es decir ergdicos y en virtud del teorema anterior, se puede
asegurar que alcanzar un estado estacionario.
Tambin pudiera llegarse a esta misma conclusin analizando alguna de las
potencias de P.
La matriz P no es regular pues 22 = 0 , 13 = 0, pero al examinar las sucesivas
potencias de P se encuentra:
35
4
3
2
1
72
1
P2 =
19
4
1
72
1
4
3
2
P es regular P es ergdica
33
i=0
34
1
3
1 1 1
1 = 3 1 + 4 2
3 2 6
3
1
1
1
2 =
(1 2 3 ) = (1 2 3 ) 0
1 + 3
4
4
2
2
1 1
1
1
1
0 2 2
3 = 6 1 + 4 2 + 2 3
2
3
=0
3 1 4 2
1
1
1 - 2 + 3 =0
2
2
1
1
1
6 1 + 4 2 2 3 =0
i =k
i=0
=1
2
3
=0
3 1 4 2
1
1
El sistema queda 1 - 2 + 3 =0
2
2
1 + 2 + 3 =1
3
1= 8
3 =24
35
0 1 2
0 1 2
= lim = 0 1 2
3
= lim 4
0 1 2
1
2
0
1
2
6
1
4
1
2
3
8
3
=
3
1
24
7
24
3
1
24
7
1
2
36
1
6
27
57
13
13
13
=
0 0 0
13
13
El resultado obtenido es perfectamente lgico, ya que es evidente que la serie se
presenta a favor del jugador A .En cada jugada la apuesta es igualitaria, y el
1
1
jugador A tiene probabilidad de ganarla, y de perderla.
2
3
En cuanto a la matriz de estado estacionario, esta expresa la probabilidad de
acceder a cada uno de los estados absorbentes desde cada uno de los posibles
estados del proceso, y resulta ser:
37
1 0 0 0 0
1 0 0 0 0
1 1 1
38
27
0 0
0 0 0
3 6 2
65
65
1 1 1
4
9
= lim 0
0 =
0 0 0
13
3 6 2
13
8
1 1 1
57
0 0 0
0 0
65
65
3 6 2
0 0 0 0 1
0 0 0 0 1
13
13
1
4
1
4
0 0 0 0 5 )
38
1
Anlogamente 4 = 2
2
muera envenenado es de 1
permanente sea
29
44
15
44
29
44
0 0 0 0
15
44
44
1 0 0 0
11 0 0 0
5 0 0 0
lim = 11
9
0 0 0
11
8
0 0 0
11
0 0 0 0
7
se para hallar = 0 =
29
44
y la de que
0 0 0 0
15
44
1
4
1
4
0 0
4
0
11
6
0
11
2
0
11
3
0
11
0 1
1 1
4 4
0 , y
Para finalizar esta seccin, es importante hacer una aclaratoria sobre el significado
e interpretacin del vector de estado estacionario, en cada uno de los dos casos
estudiados.
En el caso de cadenas irreductibles, el proceso no se estaciona, es decir sigue
evolucionando indefinidamente a lo largo del tiempo, y permanece o cambia de
estado con probabilidad en cada uno de los sucesivos pasos.
De manera que el vector de estado estacionario no expresa la probabilidad de que
el proceso se estacione en cada uno de los estados, esto no puede ocurrir.
En cadenas irreductibles, el vector de estado estacionario debe ser interpretado
como la probabilidad de que un paso muy remoto, el proceso se encuentre en
39
cada uno de los estados, o tambin como la fraccin de tiempo que el proceso
permanece en cada uno de los estados.
En el segundo caso de procesos con estados absorbentes, la interpretacin es
completamente diferente, porque en ellos si se da la circunstancia de que el
proceso literalmente se estaciona en los estados absorbentes al no poder salir de
ellos.
De all que este segundo caso, si cabe la interpretacin acerca del vector de
estado estacionario, que representa la probabilidad de que el proceso se
estacione en cada uno de los estados absorbentes.
8. TIEMPO MEDIO DE TRANSICION ENTRE ESTADOS
En la seccin 6 se vio que el Tiempo para la primera visita al estado Ej partiendo
desde Ei ,es una variable aleatoria, y que la probabilidad de que se necesiten n
()
pasos para esta primera visita se designa por donde (n) es un suprandice, no
una potencia.
()
Es decir: = (+ = +1 , +2 , , = )
Si se designa por a esta variable aleatoria, su valor esperado se designa por
, representa el nmero medio de pasos para realizar la transicin entre Ei y Ej, y
puede ser calculado mediante la siguiente expresin:
()
= =
=1
Cuando Ei coincide con Ej, entonces este tiempo es el numero pasos necesarios
para regresar a Ei por primera vez, se denomina = Tiempo de recurrencia del
Estado i, su valor esperado se designa por , representa el nmero promedio
de pasos para regresar a Ei por primera vez, y puede ser calculado mediante la
siguiente expresin:
()
= ( ) =
=1
Ejemplo 18: Para el proceso con 2 estados de los Ejemplos 2 y 12, hallar los
tiempos de recurrencia y de transicin entre los ellos.
Solucin; En este caso = {0, 1, } mientras que
P= 15
5
9
, y en el ejemplo 12
10 10
()
9 2
; 2
el primer regreso al estado E 0 es: 00 = , 00 =
5
5 10
10
El tiempo medio de recurrencia a estado E 0 es su valor esperado
00 = (0 ) = 1
3
5
+
=2
5 10
9 2
10
= +
5
25
9 2
=2
10
40
9 2
Sea () =
; || < 1 por ser una serie geomtrica
=1 =
1
()
1
=
=
=1
1
2
2
=
=
=1
=1
=1
Haciendo =
10
2
=
=1 ( )
10
9
9
(110)2
10
10
; || < 1
(1)2
=1 2
1000
9
9
=2 ( )2
10
(1)2
1000
; 0 || < 1
10
25
01 = ( )1
5
2
5
; 1
1
01 = (01 ) =
=
=1 ( )
5
2
5
3 1 2
=1
5
5 132
5
5
2
41
=0 ,
Esta ecuacin debe ser aplicada a cada una de las transiciones posibles, haciendo
m= 0 , 1,2, .,k excepto m = j, y su demostracin es como sigue
Sea W = Primera visita desde el estado Ei al Ej ocurre en (n+1) pasos
A m = La primera transicin es a E i a E m (m j) (no visita a Ej en el primer paso)
Entonces WA m = Primera visita ocurre en n Pasos (el primero fue de Ei a Em)
Segn la frmula de la probabilidad total:
=
() =
=0,
(+1)
; ( )
Pero P(W) = = + 1 =
Sustituyendo:
(+1)
= = ( +
(+1)
Pero
=0
( ) (| )
=0
=0,
(+1)
1)
()
= ; (| ) =
()
=
=0
(+1)
(+1)
+
=0
=0
=0,
= 1 +
()
= 1 +
()
=0
()
=0,
=
()
=1
=0
= =
=0 ,
42
3
1
3 2
3 2
0 =
0 +
1
5
10
5 5
5 5
En este caso P= 1 9 (0 1) = (0 1) 1 9
= 2 + 9
10 10
10 10
1 5 0 10 1
Ambas ecuaciones del sistema resultan idnticas, por lo que una debe ser
eliminada, y sustituida por 0 + 1 = 1
1
2
1
0 =
=0
5
El sistema queda 5 0 10 1
=4
+ =1
1
0
1 5
1
1
5
Los tiempos medios de recurrencia son: 00 = 1 = 5 ; 11 = 4 =
5
=0 ,1
1
=0 ,0
0 1 1 = 1 + 00 01 = 1 + 1 =
5
1 0 10 = 1 + 11 10 = 1 +
9
=
10 10
E : Daada
En este caso, donde solo existen dos estados 0
; si se supone que la
E1 : Operativa
mquina trabaja de manera continua, cada uno de estos tiempos medios de
transicin y de recurrencia, tiene una interpretacin muy clara, y as:
=Tiempo medio entre fallas
1 = Tiempo medio de reparacin
10 = Tiempo medio de operacin
11 = Tiempo medio entre arranques
43
24
!
8
3
22 =
=3
33 =
24
7
Para encontrar los tiempos medios de transicin hay que plantear un sistema de
ecuaciones, donde las incgnitas son 12 13 21 23 31 32
1
4
1
3
3
1
1
12 =1+ 3 12 + 6 32
=1+ 1 + 1
13
3 13 2 23
=1+0 + 1
21
21
4 31
=1+ 3 + 0
23
23
4 13
1
1
31=1+ 21 + 31
2
2
1
32 =1+012 + 32
2
Resolviendo:
6
1
2
el sistema es;
12 =
2
36
=
13
104
21 =
49
34
=
23
220
31 =
49
32 =
2
44
()
1
; =
=
()
0
2
2
La matriz de transicin es = 1 0 0
1 0 0
Para analizar si se trata de una matriz ergdica, o de una peridica, es necesario
examinar las diferentes potencias de P, encontrando:
45
1
(4)
1 2
(2)
22
22 = (2 ) =
2
1
1 1
=1(2) =
=1
2
2
1
1 =
; || < 1
(1 )2
=1
22 = (2 ) =
1
(1 )2
2
=4
(3)
1 2
(21)
12
= ; 1
2
1 1
12 = (12 ) =
-
=1(2 1) 2 ==1 2
=1 2
Teniendo en cuenta que la segunda serie es geomtrica, se llega a
1 1
12 = (12 ) ==
-
=1 2
=1 2 =4 -1 = 3
Con idntico razonamiento 13 = 3
Si la persona est en Margarita, su primera visita a Caracas ser en el paso 1 con
certeza, y de all 21 = 1; al igual que si est en Mrida 31 = 1
Si la persona est en Margarita, su primera vista a Mrida slo puede tener lugar
en los pasos pares debido a que tendr que permanecer primero en Caracas
1
1
(2)
Trayectoria en dos pasos 2 1 3 ; 23 = 1 =
2
2
(4)
23
(2)
23
= ; 1
2
1 1
23 = (23 ) ==
=1(2)
2
1 1
-
=1
2
(12)2
1 2
=1 1 =
2
=4
En resumen: 12 = 13 = 3 ; 21 = 31 = 1 ; 23 = 32 = 4
46
= 1 +
=0 ,
1
12 =1+ 2 32
12 =
3
3
=1+ 1
13 =
23
13
=
2
1
Resolviendo: 21
21=1
4
23 =
=
23 =1+13
1
31
=1
4
32 =
31
32 =1+12
c) En cuanto a la proporcin de su tiempo, que esta persona permanece en cada
1
1
lugar, se tiene que en Caracas 1 =
= = 50% , lo cual resulta lgico dado el
11
47
()
= =
=1
=
=1
1 =
Para calcular el nmero esperado de pasos para la absorcin desde cada estado
transitorio, existe un procedimiento matricial, cuya metodologa es como sigue:
En primer lugar hay que escribir la matriz de transicin P por bloques de la
forma:
=
0
48
=1
Lo que equivale a decir, que lo esperado es no regresar jams a un estado
transitorio.
Igual situacin se presenta con el tiempo esperado de transicin entre dos estados
transitorios,
()
Si son ambos estados transitorios: = =
=1
Por ltimo, resulta obvio que si i es un estado absorbente, su tiempo medio de
recurrencia es 1, y su tiempo medio de transicin a cualquier otro estado es nulo
Si es un estado absorbente = 1 = 0 ;
49
1 1 1
en un paso =
0 3 6 2 0
1 1 1
0 0
3 6 2
0 0 0 0 1
En primer lugar hay que escribirla por bloques de la forma
=
para lo cual es preciso permutar el orden de los estados, y colocar los
0
transitorios primero, y los absorbentes de ltimo. Con el orden = {1, 2, 3,0,4}
1 1
1
0
0
1 1
3
6 2
0
6
2
1 1 1 0 0
3 6 2
1 1 1
P =
Q=
R=
0
0
3 6 2
0 1 1 0 1
1
1
3 6
2
0
0
2
0 0 0 1 0
3 6
0 0 0 0 1
1 0 0 61
I Q 0 1 0 31
=
0 0 1 0
( )1 =
1
2
1
6
1
3
2
6
1
5
1
6
2
3
1
5
3
6
2
1
3
0
2
6
1 5
1
2
3 6
1 5
0
3 6
0 =
1
13
65
65
13
50
12
13
24
65
30
13
12
13
18
13
114
65
60
13
198
45
= 0 0 + 1 1 + + =
0
El clculo de este costo promedio por unidad de tiempo para toda la cadena,
resulta de extrema importancia en las aplicaciones prcticas, pues evala
econmicamente el comportamiento de la cadena a largo plazo, y permite
comparar una cadena con otra a los fines de decidir cul de ellas reporta un mayor
beneficio, o bien un menor costo.
Ejemplo 22: Una famosa pastelera de Caracas es reconocida por una deliciosa
torta que diariamente fabrica. El costo de producir esta torta se estima en Bs. 400
y se vende en Bs. 1000, pero con el inconveniente de que si no se vende el mismo
da de su fabricacin se vence, y hay que botarla.
La demanda diaria de esta torta es una variable aleatoria, independiente de los
dems das, segn la siguiente distribucin de probabilidad:
Demanda
0
1
2
3
4
Probabilidad
0.05
0.10
0,35
0,30
0,20
El dueo de la pastelera enfrenta el dilema de cuantas tortas producir cada da, y
para ello solicita opinin de tres expertos asesores empresariales, quienes les dan
cada uno, una recomendacin diferente.
El primer asesor le recomienda que se guie por la moda, es decir por la demanda
ms probable, en este caso 2, y que por lo tanto produzca 2 tortas cada da.
El segundo asesor le recomienda que se guie por la media, y que por lo tanto
debe producir en promedio un nmero de tortas que se equipare con la demanda
promedio.
51
Para calcular la utilidad contable obtenida cada da, hay que tener en cuenta que
por cada torta que se bote se pierden Bs. 400, que fue lo que cost producirla,
mientras que por cada torta vendida se gana Bs.1000 Bs.400 = Bs. 600.
Se habla de utilidad contable debido a que cuando demandan ms tortas de las
producidas, se venden las producidas pero hay un costo de oportunidad por los
clientes insatisfechos, que no est siendo tomado en consideracin.
En el primer caso la produccin es constantemente de 2 tortas todos los das, y
por tanto X n = 2; , = {2} la cadena presenta un nico valor posible.
Para hallar la utilidad obtenida en el ensimo da, consideremos los siguientes
casos:
Si Dn = 0 Se pierden las dos tortas producidas Yn = -800
Si Dn = 1 Se vende una y se pierde la otra Yn = -400 +600 = 200
P( D
=
0=
)
0,05
n
52
1=
)
0,10
P( D=
n
Si = 3 , las tortas vendidas pueden ser
P( Dn = 2 ) = 0,35
P( D 3 ) = 0,30 + 0,20 = 0,50
n
Si Dn = 0 Se pierden las tres tortas producidas Yn = -1200
Los das que se produzcan dos tortas el beneficio esperado es de Bs. 1000, los
das que se produzcan tres tortas, el beneficio esperado es de Bs. 1100.
La mitad de los das se producen dos tortas, y la otra mitad tres tortas, por lo tanto
el beneficio esperado de la cadena a largo plazo es:
En efecto, es de suponer que los clientes no tienen por qu saber cuntas tortas
se produjeron ese da; ellos acuden aleatoriamente a la pastelera.
De igual manera, el dueo de la pastelera cuando fabrica las tortas en la maana,
no sabe cuntas tortas le van a requerir ese da.
Por las razones antes expuestas, es lgico suponer que y son variables
aleatorias independientes ( = = ) = ( = )
X n ; si X n = Dn
53
.05 .95 0
0
0
0
.05 .10 .85 0
La matriz de transicin es P = 0 .15 .35 .50 0
( 0
1 2
4 ) =( 0
1 2
.05 .95 0
0
0
0
.05 .10 .85 0
4 ) 0 .15 .35 .50 0
=
.05 0 + .05 1
0
El sistema queda =
.85 1 + .35 2 + .50 3
2
= .50 + .30 + .80
2
3
4
3
.20 3 + .20 4
4
=
Una de las ecuaciones sobra por ser combinacin lineal de las otras, se elimina
i= 4
i=0
=
.05 0 + .05 1
0
0 =0.00381
1 =0.07245
Resolviendo: 2 =0.41055
=0.41055
3
4 =0.10264
= 0.00381 0.07245
54
Si=
X n 2=
Dn 1 ( | = 2) = 1000
=
Yn 200 ; si
=
Yn 1200 ; si Dn 2
Yn = -1200 ; si Dn =0
1
200 ; si Dn =
Y =
( | = 3) = 1100
Si X n = 3 n
Y
800
;
si
D
2
=
=
n
n
Y 1800 ; si D 3
=
n
n
Yn = -1600 ; si Dn = 0
600 ; si Dn =
1
Yn =
Si
X n 4=
Dn 2 ( | = 4) = 900
=
=
Yn 400 ; si
Y 1400
; si Dn 3
=
=
n
Yn 2400
; si Dn 4
=
=
El beneficio diario promedio para la cadena completa resulta ser:
=4
( ) = ( | = )
=0
( ) = . ,
Del anlisis realizado, se concluye entonces que entre las tres recomendaciones,
la ptima es la segunda, debido a que es la que reporta un beneficio diario
promedio mayor.
Queda como pregunta para el lector: Identifica Ud. otra opcin mejor que esta?
Cul y por qu?
10. EJERCICIOS Y PROBLEMAS DIVERSOS
Ejemplo 23: Un mecanismo puede estar en 4 posiciones diferentes sobre una
circunferencia, de la forma como se seala en la figura:
55
4 0 4 0
A primera vista no se sabe si la cadena es irreductible o reductible, y es necesario
analizar la conectividad entre los estado.
0 1 ; 1 2 ; 2 3 Todos los estados se comunican. Es irreductible
Sin embargo, la matriz no es regular, algunos de sus elementos son iguales a 0, y
todos los de su diagonal principal son iguales a 0, y por lo tanto pudiera ser
peridica, pues ningn estado regresa a l en un paso.
Es necesario examinar las diferentes potencias de P, y si alguna resulta ser una
matriz regular, la conclusin es que se trata de una matriz ergdica.
()
2 +1
()
En general: = +1 , ; = 0,
2
En conclusin, se trata obviamente de una cadena peridica, donde slo es
posible regresar a cada uno de los estados en un nmero par de pasos.
a)El vector de estado para el cuarto paso es
32
0
1 0 0 0
15
32
4 = 0 4 = (
56
0
15
32 = 17 0 15 0
32
32
17
32
15
32
17
32
17
32
15
32
2 +1
2+1
()
, = +
2
2+1
()
; lim =
1
2
57
0.01 0.99
0.0291 0.9709
()
0.5977
= 0.9936
0,6015
()
()
58
) (1 = 1|2 = 1) =
(1 =1 2 =1)
(2 =1)
0.70.3
0.20.5+0.70.3+0.10.7
(1 =1 2 =0)
) (1 = 0|2 = 1) =
d)P(X1 = 2|X3 = 2) =
(2 =0)
(1 =0 2 =1)
(2 =1)
0.70.3
rbol,
0.42
0.52
0.38
0.21
0.38
0.20.5
= 0.5526
mediante el trmino
0.25
0.19
0.31
0.21
0.20.4+0.70.3+0.10.2 0.31
P(X1 = 2 X3 = 2)
P(X3 = 2)
= 0.6774
0.10
0.20.5+0.70.3+0.10.7 0.38
= 0.2632
59
(1 =2 3 =2)
(3 =2)
0.031
0.214
= 0.1449
(20 = 4) = 20 = 0.1143
(4)
(1) (3)
(2) (2)
(3)
20 = 20 20 00 20 00 20 00
(1)
20 = 20 = 0.2 ;
(2)
(2)
(1)
60
0
1
2
1 =0.45614
=0.23684
2
Vector de estado permanente = (0.30702 0.45614 0.23684)
g) Para hallar los tiempos medios de transicin entre estados se debe aplicar el
procedimiento explicado en la pgina 40, que conduce al siguiente sistema de
ecuaciones:
01=1+ 0.4 01 + 0.1 21
=1+
0.2
0.1
21
01
21
01=1.9231
02 =4.4444
=3.7143
10
12 =3.3333
=4
20
=1.5835
21
61
0.40
62
1
0
0
0
P=
0.1 0 0.2 0.7
0
0
1
0
63
2 = 0.2 2 + 0.7
5
Resolviendo el sistema se obtiene: 1 =
8
2 =
7
8
5
8
, mientras que si
64
()
13
=1
= (0.5)(0.3)1 (0.7)(0.2)1
=1
3
5
1 = 0.70 (0.30)2 (0.20)2 =
2
8
=2
()
5/8
65
1
5
(1 ) = (0.5)(0.3)1 = (0.5)
=
1 0.3 7
=1
(2 ) = (0.7)(0.2)1 = (0.7)
=1
5 7
1
7
=
1 0.2 8
=
1.4286 aos
(Vase Pag. 38)
=1
Anlogamente a distribucin condicional de T23 dado A2 es:
8
(23 = |2 ) = (0.7)(0.2)1 = 0.8 (0.2)1 ; 1
7
1
E(T23A2)= 0.8
= 1.25 aos
=1 (0.2)
Solucin:
El espacio de estados para Xn es = {0,1,2} , que corresponde al
nmero de mquinas que pueden estar operativas.
66
00
00 =
01
01 =
02
10
1 1
01 = =
2 4
11
02 = 0
1
8
1 1
20
1 3
11 = + =
2 4
12
1 3
3
12 = =
2 4
2 4
1 1
20 = =
4 4
21
22
2
3
1
La matriz de transicin es: = 8
16
2
1
8
1
2
1
16
1 3
21 = 2 =
4 4
3 3
22 = =
4 4
3
8
16
8
9
16
c) Se trata de una cadena irreductible, pues todos los estados se comunican entre
s, la matriz P es ergdica, y el vector de estado estacionario es nico.
= P
14
12
resulta ser =
31 31 31
El mecnico se encuentra ocioso cuando las dos mquinas se encuentran
operativas, es decir en el estado 2.
12
La proporcin de tiempo que el proceso permanece en el estado dos es
100%
31
= 38,71 % del tiempo.
67
probabilidad de lluvia es de
5
Este hombre posee un carro, de manera que est lloviendo, y el carro se
encuentra en el mismo lugar, lo toma y conduce hasta su destino; mientras que si
no est lloviendo, decide dejarlo estacionado donde se encuentra, e irse a su
destino en transporte pblico para ahorrar combustible. Si llueve, y el carro no se
encuentra en su lugar de origen, debe tomar el transporte pblico, y mojarse.
Cul es la probabilidad de que este hombre llegue mojado a su destino?
Solucin: La cadena presenta cuatro estados = {1,2,3,4}
1: (C, C): Hombre en su casa, carro en su casa
2: (C, O): Hombre en su casa, carro en su oficina
3: (O, C): Hombre en su oficina, carro en su casa
4: (O, O): Hombre en su oficina, carro en su oficina
0 ; Si llueve
Los posibles valores de la cadena son X n =
1 ; Si no llueve
Cada da se realizan dos pasos, y las posibles transiciones son:
13
13 =
14
24
31
41
42
14 =
0
1
41 =
1
5
41 =
0
0
4
5
2
3
0
0
0
1
3
2
3
24 = 1
31 = 1
3
1
0
Los estados 1 y 2 solo pueden ser visitados en pasos pares, mientras que los
estados 3 y 4 en pasos impares.
Esta periodicidad de la cadena se debe a que en los pasos pares, el hombre sale
de su casa en la maana, mientras que en los impares sale de su oficina en la
tarde.
68
Podemos entonces considerar dos subprocesos, uno que se refiere a las salidas
de su casa en la maana con dos estados 1 = {1,2}, y otro a las salidas de su
oficina en la tarde con dos estados 2 = {3,4} , cuyas matrices de transicin son:
11 4
2 1 1 0
= 3 3 1 4 = 15 15
1
4
0 1 5 5
5
5
2
1
1 0 2 1
3
= 1 4 3 3 = 3
2 13
5 5 0 1
15 15
11
La matriz se refiere a las transiciones de una maana a otra, es decir por
15
ejemplo, representa la probabilidad de que en una maana estn el hombre y el
carro en la casa, y la maana siguiente tambin.
1
La matriz se refiere a las transiciones de una tarde a otra, es decir por
3
ejemplo, representa la probabilidad de transicin del Estado 3 al 4, que en una
tarde est el hombre en la oficina y el carro en la casa, y la tarde siguiente estn
ambos en la oficina.
Cada uno de estos dos procesos, vistos por separado, son irreductibles, pues sus
correspondientes matrices de transicin son regulares.
El vector de estado estacionario cada uno de estos dos procesos resulta ser:
3 4
2 5
Para : = (
)
Para : = (
)
7 7
7 7
Lo anterior significa, que a largo plazo, la probabilidad de que en la maana, la
4
probabilidad de que el carro est en la oficina es (Estado 2), mientras que en la
7
2 21
2 35
13
105
Se deja como ejercicio para el lector generalizar este problema para el caso en
que la persona posea n carros, suponiendo que los utiliza a conveniencia para
trasladarse de su casa a su oficina y viceversa, pudindolos dejar estacionados
donde se encuentre, si al momento de salir no est lloviendo.
11. EJERCICIOS Y PROBLEMAS PROPUESTOS
1) Una tienda dedicada a la venta de computadoras aplica la siguiente poltica
para hacer sus pedidos:
69
70
Solucin: ,+1 =
; = 0 ; ,1 =
6) Demuestre que si en una Cadena de Ehrenfest, el vector inicial de estado 0 sigue una
1
distribucin binomial con parmetros n y ; entonces todos los dems vectores de
2
estados ; = 1,2,3, siguen esa misma distribucin.
7) Considere una Cadena de Markov con dos estados = {0,1}, y cuya matriz de
1
. Encuentre las siguientes probabilidades:
transicin es: =
1
()
()
) (1 = 00 = 0 2 =0)
) 00 ) 01
2
; ) 2 (1 )(1 ); ) 1 (1 )
: ) 2
+ (1 )(1 )
71
10) Una primera caja contiene inicialmente K pelotas rojas, mientras que otra
segunda caja K pelotas negras.
En cada paso, se elige aleatoriamente una pelota de caja y se intercambian de
caja.
Sea Xn= Numero de pelotas rojas en la primera caja despus de n pasos
Defina la matriz de transicin correspondiente a esta cadena
Solucin: Es una matriz cuadrada de dimensin (k+1) x (k+1) donde y adems:
p = 0
00
i2
; si j=i-1 , i=1,2,L ,k
k 2
2( k - i)
pij =
; si i = j , i 0 ,i=1,2,L k
k 2
2
( k - i) ; si j = i+1 , i=1,2,L ,k-1
k 2
0 ; en otro caso
11) Un taxista se mueve entre el aeropuerto (A) y dos hoteles (B y C), segn las
siguientes normas:
Si est en el aeropuerto, ir a alguno de los dos hoteles con la misma
probabilidad.
Si se encuentra en uno de los hoteles, volver al aeropuerto con probabilidad 3/4 o
ir al otro hotel con probabilidad 1/4.
a. Determina la matriz de probabilidades de transicin de la cadena.
b. Suponiendo que el taxista se encuentra en el aeropuerto en el instante inicial,
calcule la probabilidad de que se encuentre en cada uno de los destinos, despus
de realizar el segundo viaje
c. Cuando el taxista se encuentra en uno de los hoteles, Cul es el nmero
esperado de viajes para regresar a l?
d. Cuando el taxista se encuentra en uno de los hoteles, Cul es el nmero
esperado de viajes para visitar al otro?
3 1 1
Solucin: b) 2 = 4 8 8 c) 3.5 d) 14/5
12) Un comercio especializado en la venta de televisores, sigue al final de cada
mes, la siguiente poltica para hacer sus pedidos al proveedor:
Si el almacn no tiene existencia, realiza una orden por cuatro aparatos.
Si queda un solo aparato en existencia, emite una orden por tres nuevos aparatos.
Si quedan dos o ms en existencia, no coloca ninguna orden.
Se supone que las rdenes se hacen siempre al fin de mes, y llegan
inmediatamente, es decir, a primera hora del primer da del mes siguiente.
La demanda mensual de televisores es una variable aleatoria D, que sigue una
distribucin geomtrica de la forma: () =
1
3
; = 0,1,2,
3
72
Solucin: a)
16
81
16
81
4
9
27
16
81
8
81
8
81
2
9
4
27
8
81
4
27
4
27
1
3
2
9
4
27
2
9
2
9
0
1
3
2
9