You are on page 1of 72

Cadenas de Markov.

Arvelo
angelf.arvelo@gmail.com

ANGEL FRANCISCO ARVELO LUJAN


Angel Francisco Arvelo Lujn es un Profesor Universitario Venezolano en el rea
de Probabilidad y Estadstica, con ms de 40 aos de experiencia en las ms
reconocidas universidades del rea metropolitana de Caracas.
Universidad Catlica Andrs Bello: Profesor Titular Jubilado 1970 a 2003
Universidad Central de Venezuela: Profesor por Concurso de Oposicin desde
1993 al presente
Universidad Simn Bolvar: Profesor desde 2005 al presente
Universidad Metropolitana: Profesor desde 1973 a 1987
Universidad Nacional Abierta: Revisor de contenidos, desde 1979 hasta 2004
Sus datos personales son:
Lugar y Fecha de Nacimiento: Caracas, 16-02-1947
Correo electrnico: angelf.arvelo@gmail.com
Telfono: 58 416 6357636
Estudios realizados:
Ingeniero Industrial. UCAB Caracas 1968
Mster en Estadstica Matemtica CIENES, Universidad de Chile 1972
Cursos de Especializacin en Estadstica No Paramtrica Universidad de Michigan
1982
Doctorado en Gestin Tecnolgica: Universidad Politcnica de Madrid 2006 al
Presente
El Profesor Arvelo fue Director de la Escuela de Ingeniera Industrial de la
Universidad Catlica Andrs Bello
(1974-1979) , Coordinador de los
Laboratorios de esa misma Universidad especializados en ensayos de Calidad,
Auditor de Calidad, y autor del libro Capacidad de Procesos Industriales UCAB
1998.
En numerosas oportunidades, el Profesor Arvelo ha dictado cursos empresariales
en el rea de Estadstica General y Control Estadstico de Procesos.
Otras publicaciones del Prof. Arvelo, pueden ser obtenidos en la siguiente pgina
web: www.arvelo.com.ve

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

PROLOGO DEL AUTOR


Caracas, Mayo 21 de 2015

Estimados lectores:
Por ms de 40 aos, he dictado cursos de Probabilidad y
Estadstica a muy distintos niveles, y dirigidos a una muy extensa gama de
profesionales, tales como mdicos, administradores, etc., y muy especialmente a
ingenieros.
A lo largo de todo este tiempo, he podido observar que la gran dificultad en la
enseanza de la Estadstica radica en que la formacin que nuestro sistema
educativo nos proporciona es excesivamente determinstica, y esto hace que
veamos al mundo que nos rodea como un universo regido por leyes naturales, que
inexorablemente nos llevan a un destino predeterminado.
As por ejemplo, en los primeros aos de Ingeniera nos ensean las leyes de la
Fsica, de la Qumica, etc., y no conformes con ello, tambin debemos acudir a un
laboratorio para verificar que efectivamente stas leyes se cumplen, y all nos
hablan de que existe una Teora de Errores que en cierta manera explica las
diferencias encontradas entre lo establecido en aquellas leyes y lo encontrado en
la realidad.
Cuando posteriormente, corresponde enfrentar un curso de Probabilidad, ste
evidentemente constituye un vuelco en el esquema de razonamiento, pues se
viene acostumbrado a encontrar resultados ciertos. De hecho, cuando en muchas
asignaturas de diseo en ingeniera, existe un cierto nivel de incertidumbre acerca
del comportamiento de algunas variables, esto se resuelve mediante la aplicacin
de factores de seguridad.
A mi juicio, el anlisis de los PROCESOS ESTOCASTICOS, y en particular el
tema aqu tratado CADENAS DE MARKOV, constituye una de las vas ms
hermosas para adquirir una visin ms real del universo donde vivimos, donde no
todo es aleatorio, y ni tampoco todo es completamente determinstico; la evolucin
de un proceso, al igual que la vida misma, depende de mltiples circunstancias,
como las condiciones iniciales, la decisin tomada en algn paso intermedio, la
correlacin con otras variables que interactan, etc.
No pretendo con este modesto resumen editar un texto sobre PROCESOS DE
MARKOV; esto sera muy ambicioso por lo extenso y complejo del tema.
Slo me he limitado a los casos discretos llamados CADENAS, omitiendo
algunas situaciones que por la complejidad de los clculos matriciales que
involucran, he considerado poco prctico incluir.
Los principales objetivos que me impulsan a escribirlo son:
a) Organizar y darle coherencia a un extenso material que a lo largo de los aos
he logrado acumular sobre el tema, como exmenes, resmenes, guas de
estudio, etc., y que hoy en da tengo muy disperso y desorganizado.

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

b) Complementar muchas explicaciones que sobre el tema se encuentran


ampliamente desarrolladas en excelentes textos que existen sobre la materia, pero
que carecen de la debida ejemplificacin.
En efecto, el estudio de los procesos estocsticos es considerado como la
construccin de un modelo matemtico que pretende ajustarse a una realidad.
En la construccin de estos modelos es necesario partir de ciertos supuestos que
constituyen sus axiomas, y a partir de ellos deducir una serie de conclusiones que
son los teoremas y sus corolarios.
Cuando el estudio del modelo se centra en la demostracin de todos estos
teoremas, se pierde un poco de vista la situacin que se quiere modelar, y el lector
adquiere la sensacin de que se trata de un estudio terico y abstracto.
Las CADENAS DE MARKOV no son una excepcin, y por tal motivo muchos
textos al desarrollar el tema, olvidan incluir ejemplos que ilustren la situacin
concreta donde el teorema demostrado puede ser aplicado.
El objetivo principal de este humilde trabajo es llenar parcialmente ese vaco.
Por la razn antes expuesta, en el desarrollo del trabajo, decid omitir numerosas
rigurosas demostraciones, pues consider que para ello existen excelentes textos,
y me limit en algunos casos a enunciar la propiedad, en otros a dar una
explicacin intuitiva de la misma, y cuando fuese posible a dar una breve
demostracin, incluyendo ejemplos donde el teorema o la propiedad puedan ser
aplicados.
Lo anterior no significa que he prescindido totalmente de la matemtica; por el
contrario, para la cabal comprensin del material que aqu presento, se requiere
de un nivel relativamente alto en esta disciplina, y muy especialmente en Algebra
Matricial y en Teora de la Probabilidad.
Muchos de los ejemplos que aqu se encuentran son de mi propia cosecha, y han
sido diseados por m para ilustrar, a mi juicio, de una manera ms clara y amena,
los diferentes temas tratados a lo largo del documento.
Espero que este resumen sea de utilidad, que contribuya a una mayor difusin
sobre el tema, y quedo a disposicin de Uds., para que a travs del correo
electrnico me hagan llegar sus comentarios.
Angel Francisco Arvelo Lujn
angelf.arvelo@gmail.com

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

1. INTRODUCCION
En trminos generales puede decirse que un proceso estocstico es un conjunto
de variables aleatorias que dependen de otra variable t, la cual toma valores
dentro de un conjunto T, llamado conjunto ndice o indicador: {(): }
Esta definicin, que en principio luce muy matemtica y abstracta, encuentra
muchos ejemplos en nuestra vida cotidiana.
En efecto, si se observa la evolucin del precio del oro a lo largo del tiempo, se
tiene una variable aleatoria X que es una funcin del tiempo, y que puede ser
representada en un grfico llamado Time-Run

Una grfica similar podra ser utilizada para ilustrar el comportamiento del clima en
una ciudad, o del crecimiento de la poblacin en un pas, etc.
Todos estos son ejemplos de procesos estocsticos, en donde el conjunto
indicador T es el tiempo, y el proceso est siendo monitoreado de manera
continua, de forma que se tiene un registro del valor de la variable observada en
cada instante. En ese caso, se dice que se trata de un proceso de parmetro
continuo, y se representa {(): 0} en caso de que la variable X sea continua,
o de la forma {(): 0} en caso de que X sea discreta.

Un ejemplo de un proceso donde la variable observada es discreta, pero el


conjunto indicador es continuo, tambin llamados Procesos de Contaje, es el
Proceso de Poisson, en donde se observa a lo largo del tiempo, una variable X
que representa el nmero de veces que en un intervalo de tiempo [0; t) ha ocurrido
un evento que solo sucede de manera puntual e instantnea, como podra ser por
ejemplo, la llegada de un cliente. En una situacin como esta, la variable X solo
podra tomar los valores numerables 0, 1, 2, 3,., el proceso se representa como

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

{(): 0} , y dado que las llegadas ocurren slo en un instante de tiempo, su


Time Run es de la forma:

Otra situacin que tambin podra presentarse es cuando el conjunto indicador es


discreto, es decir cuando el proceso solo se observa en ciertos instantes de
tiempo, y no de manera continua y permanente.
Por ejemplo, imaginemos que una persona quiere estudiar la evolucin de su peso
corporal a lo largo del tiempo, y que dada la imposibilidad de registrarlo de
manera continua a lo largo de todo el da y todos los das, solo se pesa en ciertos
instantes de tiempo, por decir los das lunes a las 7 a.m.
La variable aleatoria observada Peso es continua, y el conjunto indicador es
discreto; en este caso, se dice que se trata de un proceso continuo de parmetro
discreto , y las observaciones constituyen una sucesin de variables aleatorias de
la misma naturaleza, por lo que el proceso se representa como { (): }.
Los procesos estocsticos han encontrado numerosas aplicaciones, en la Fsica
Estadstica, en los movimientos burstiles, en el estudio de los fenmenos de
espera conocidos como Teora de Colas, movimientos martimos etc., y los
diferentes modelos existentes se diferencian unos de otros en los supuestos sobre
los cuales se apoyan.
2. EL PROCESO DE MARKOV
En trminos generales, un proceso de Markov es un proceso estocstico, en
donde tanto la variable observada X(t), como el conjunto indicador T, pueden ser
discretos o continuos.
Es importante aclarar que los distintos valores o posiciones de la variable
observada X(t) se llaman los Estados del Proceso, el conjunto de estados se
denomina Espacio de Estados que se designa por ; y en el caso particular
en que sea discreto, se dice que el proceso constituye una CADENA.

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

En consecuencia, existen cuatro tipos bsicos de Procesos de Markov, que son:

Indicador
Discreto
Continuo

= Espacio de Estados
Discreto
Continuo

Cadena de Markov
con parmetro
discreto
Cadena de Markov
con parmetro
continuo

Proceso de Markov
de parmetro discreto
Proceso de Markov
con parmetro
continuo

Estos cuatro casos se analizan bajo una propiedad comn conocida como
Propiedad de Markov, que se refiere a la ausencia de memoria, segn la cual, la
manera como el proceso evoluciona hacia una situacin futura solo depende del
estado actual en que se encuentra hoy, y no de la manera como se lleg a l; es
decir, el futuro depende slo de hoy, y es independiente del pasado.
Este humilde trabajo se limitar solo al caso de cadenas de Markov con parmetro
discreto, en donde adems es un conjunto finito.
Aquellos lectores interesados en un tratamiento detallado de los casos restantes,
pueden consultar el texto Procesos Estocsticos de Emanuel Parzen
3. NOMENCLATURA EN UNA CADENA DE MARKOV

En una cadena de Markov de parmetro discreto, los posibles estados del


proceso se designarn por , 1 , 2 , , lo que significa que slo existen
(k+1) estados o valores posibles, y que por lo tanto, el espacio de estados
es = { , 1 , 2 , }

Como los distintos avances del conjunto indicador se producen de manera


discreta pues t = 1, 2, 3,., estos avances se denominan pasos, de forma
que Xn = Estado en que se encuentra el proceso al cabo de n pasos
X 0 = Estado en que el proceso se encuentra inicialmente
En cada paso el proceso puede cambiar de estado, y esta probabilidad se
designa por
= Probabilidad de que el proceso pase de Ei a Ej en un paso

= (+1 = = )
Debido a la propiedad de falta de memoria antes sealada, se supone que
esta probabilidad es constante a lo largo del proceso para todo (i, j) pues la
probabilidad de pasar de un estado a otro, slo depende del estado en que
se encuentra, y no de la forma como lleg a l; es decir:
(+1 = = , 1 = , 2 = , , 0 = )= (+1 = = )

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

En otras palabras, para pasar de Ei a Ej en el prximo paso, solo se considera


que el proceso se encuentra actualmente en Ei, y la probabilidad de pasar a Ej es
independiente (ya no se acuerda, se olvid) de los estados anteriores a Ei.
Obviamente = Probabilidad de que estando el proceso en Ei, en el prximo
paso permanezca en l, es decir que no cambie de estado.

Las diferentes probabilidades se denominan Probabilidades de


Transicin, y pueden ser organizadas de manera matricial, dando lugar a
una matriz cuadrada, de dimensin (k+1) x (k+1) llamada MATRIZ DE
TRANSICION, que se designa por P.
00 01 02 0
10 11 12 1
= 20 21 22 2
.
0 1 2

Esta matriz tiene la propiedad de que la suma de los elementos sobre una misma
j=k

fila siempre resulta ser igual a 1: j=0 pij = 1, debido a que representa la suma
de las probabilidades de transicin desde el estado Ei a cualquier otro estado.
Las matrices que gozan de esta propiedad se llaman Matrices Estocsticas, y
conviene mencionar que existen matrices doblemente estocsticas, que son
aquellas en donde no solo cada una de sus filas suma 1; si no tambin, cada una
de sus columnas.
El conocimiento de esta Matriz de Transicin es indispensable para
analizar cualquier cadena de Markov de parmetro discreto.

El estado del proceso cuando se hayan ejecutado n pasos es incierto, e


interesar calcular la probabilidad de que el mismo se encuentre en cada
uno de los estados posibles, es decir, interesar conocer la distribucin de
probabilidad de X n .
Esta distribucin de probabilidad de X n , se denomina Vector de Estados en
el ensimo paso, y se designa por = ( 1 2 ) donde:
= Probabilidad de que en el ensimo paso, el proceso se encuentre en
el estado Ej = P( X n = E j ) j = 1, 2 ,3,,k
Este vector es de dimensin 1 x ( k+1), y obviamente la suma de sus
elementos resulta igual a 1.

El vector 0 = ( 1 2 ) se denomina Vector Inicial de Estado


y representa la distribucin de probabilidad sobre el estado inicial del
proceso, es decir sobre X o
En algunos, se tiene la certeza de que inicialmente el proceso se encuentra
en un cierto estado. En ese caso, la posicin correspondiente a ese estado
lleva un 1 y 0 en las dems.
De no ser as, en el vector 0 aparece en su posicin correspondiente, la
probabilidad de cada uno de los posibles estados iniciales.

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

Para ilustrar la comprensin de toda esta nomenclatura, analicemos los siguientes


ejemplos sencillos.
Ejemplo 1: Supongamos que se tienen dos cajas, inicialmente la caja No 1
contiene dos pelotas blancas mientras que la caja No2, dos pelotas negras.
En cada paso, se seleccionan simultneamente una pelota de cada caja, y se
pasa a la otra.
Sea X n = Numero de pelotas blancas en la caja No1 despus de n pasos.
a) Definir los estados
b) Hallar la matriz de transicin
c) Definir el vector inicial de estado
Solucin: a) Los estados del proceso son los posibles valores que puede tomar la
variable X, en este caso = {0, 1, 2}

b) Para hallar la matriz de transicin, es necesario calcular cada una de las


probabilidades de transicin, para lo cual es necesario colocarse bajo el supuesto
de que X n = i, y calcular la probabilidad de que X n+1 = j
Este clculo debe ser hecho, no en la posicin inicial, si no en una posicin
cualquiera, teniendo en cuenta que entre las dos cajas siempre habr 4 pelotas, 2
blancas y 2 negras, que se encuentran repartidas aleatoriamente entre las dos
cajas, cada una de las cuales contendr siempre dos pelotas a lo largo de todo el
proceso.
Para el ejemplo se tiene:
Si X n = 0 En la caja No 1 hay 2 negras y en la caja No 2 hay 2 blancas
Por lo tanto en este caso, al seleccionar una pelota de cada caja, slo hay un
resultado posible, negra de la caja No 1, y blanca de la No 2; lo que significa que
solo hay una transicin posible que es al estado X n+1 = 1 p 01 = 1
Si X n = 1 En la caja No 1 hay 1 blanca y 1 negras, con igual contenido en la
caja No 2. En este caso, al seleccionar una pelota de cada caja, hay cuatro
Blanca de la caja N0 1 y Blanca de la caja N0 2 X n+1=1

0
0
Blanca de la caja N 1 y Negra de la caja N 2 X n+1= 0
posibles resultados:
0
0
Negra de la caja N 1 y Blanca de la caja N 2 X n+1= 2
Negra de la caja N0 1 y Negra de la caja N0 2 X = 1
n +1

Las probabilidades de transicin son entonces:


1 1
1
1 1
1 1
1
1 1
1
10 = =
; 11 = + = ; 12 = =
2

Por ltimo, si X n = 2 En la caja No 1 hay 2 blancas y en la caja No 2 hay 2


negras, y al seleccionar una pelota de cada caja, slo hay un resultado posible,
blanca de la caja No 1, y negra de la No 2, y solo existe una transicin posible
que es al estado X n+1 = 1 p 21 = 1

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

0 1 0
La matriz de transicin es en consecuencia P=
0 1 0
En cuanto, al vector inicial de estado, como se dispone de la informacin que
inicialmente hay dos pelotas blancas en la caja No 1, entonces se tiene certeza de
que X 0 = 2, y de all que 0 = (0 0 1)
Si no se hubiese contado con esta informacin, y se pudiera asumir que
1 1 1
inicialmente los tres estados son igualmente probables, entonces 0 =

Ejemplo 2: Supngase que cada da una mquina puede estar slo en dos
estados E 0 : Daada, E 1 : Operativa, y que la probabilidad de una mquina que se
9
encuentra operativa, al da siguiente tambin lo est es de , mientras que la de
10

que una mquina daada sea reparada y est operativa al da siguiente es de


5
Cul es la matriz de transicin?, y el vector inicial de estados
Solucin: Obviamente

P= 15

5
9

10 10

Si se sabe que al inicio del proceso, la mquina est operativa entonces


0 = (0 1) , si se sabe que est daada 0 = (1 0) , y si no se tiene
informacin y se piensa que los dos estados son igualmente probables, entonces
0 = ( )
4. DIAGRAMAS DE ESTADOS

Otra manera de representar las posibles transiciones entre los estados de una
Cadena de Markov, es mediante los diagramas de estado, en donde cada uno de
los estados es representado mediante un crculo, y la transicin de un estado a
otro se representa a travs de una flecha.
Cuando una flecha comienza y termina en el mismo estado, lo que se quiere
expresar es que es posible que en el prximo paso, un estado permanezca en s
mismo.
El diagrama de estados correspondiente al Ejemplo 1 es el siguiente:

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

10

Mientras que el correspondiente al Ejemplo 2 es:

5. CLASIFICACION DE LAS CADENAS Y DE LOS ESTADOS


En el anlisis de Cadenas de Markov, conviene identificar algunas situaciones
particulares, que permiten simplificar otros anlisis posteriores.
Es importante aclarar que muchos de los nombres y propiedades que a
continuacin se presentaran, estn muy ligadas a propiedades de las matrices de
transicin que identifican al proceso, por lo que se recomienda al lector, revisar los
conceptos del algebra matricial, con el fin de poder profundizar en el anlisis.
En la medida de lo posible, el autor tratar de eludir las explicaciones
matemticas, y tratar de centrarse en el concepto de lo que estas propiedades
representan.
Irreductibles
Las cadenas de Markov pueden ser de dos tipos:
Re ductibles
5.1 Cadenas irreductibles: Se dice que una cadena de Markov es irreductible,
cuando desde cualquiera de sus estados, siempre es posible ir a cualquier otro, en
un nmero finito de pasos.
Es decir, una cadena irreductible es aquella donde cualquiera de sus estados es
siempre accesible desde cualquier otro, aunque no sea de manera inmediata en
un solo paso.

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

11

El Ejemplo 1 representa una cadena irreductible, pues desde cualquiera de sus


estados, podemos acceder a cualquier otro. Para pasar del estado E 0 al E 2 no se
puede ir en un solo paso, pero si en dos, accediendo primero al E 1 , y en el paso
siguiente a E 2 , al igual que para ir de E 2 a E 0
Cuando un estado es accesible desde otro y viceversa, se dice que se comunican
y que pertenecen a una misma clase de estados, se expresa y se lee E i se
comunica con E j
Esta relacin de comunicacin entre estados tiene las siguientes propiedades:
Reflexiva: Todo estado se comunica con s mismo, pues desde l se puede
ir a s mismo en cero pasos y viceversa:
Conmutativa: Si Ei esta comunicado con Ej, entonces Ej tambin esta
comunicado con Ei
Transitiva: Si Ei esta comunicado con Ej, y Ej esta comunicado con Ek,
entonces Ei esta comunicado con Ek.
En una cadena irreducible todos sus estados son accesibles entre s y por ello se
dice que existe una nica clase de estados, y no puede ser reducida a un universo
ms pequeo
5.2 Cadenas Reductibles: Si dentro del conjunto de estados , existen estados
que no se comunican entre s, entonces se dice que la cadena es reductible o
reducible, y existen dos o ms clases de estados.
Una situacin particular de cadenas reductibles, es el caso donde dentro del
conjunto de estados , existe un subconjunto no vaco de estados C , tal que
una vez que el proceso llega a uno de los estados pertenecientes a C, ya no
puede salir de C. En ese caso se dice que la cadena posee una clase cerrada
Ejemplo 3: Consideremos un proceso con tres estados, donde = {1, 2, 3} , y
1
2

supongamos que P = 0

1
2
1
3
2

2
3
1

es la matriz de transicin.

0
3
3

Su diagrama de estados es el siguiente:

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

12

En esta cadena, el conjunto de estados es: = {1,2,3}, y el subconjunto


= {2,3} , constituye un conjunto cerrado, pues una vez que el proceso
alcanza uno de los estados de C, bien sea el 2 o el 3, ya no puede salir de C.
Evidentemente, una cadena que tenga algn conjunto cerrado, no es irreductible,
pues existen estados que no se comunican entre s, como es el caso del 1 con el
2, y del 1 con el 3.
Un proceso que tenga conjuntos cerrados se dice que es reductible o reducible,
pues tan pronto alcance uno de los estados de dichos conjuntos, quedara reducido
y confinado a los estados de ese conjunto, sin oportunidad alguna de acceder a
los restantes estados del universo.
Se llama clase a un conjunto de estados que se comunican entre s, mas no
necesariamente cerrada. Una cadena reductible tiene ms de una clase.
En el ejemplo existen dos clases, {1 } constituye una clase pues solo se
comunica con s mismo, mientras que {2 , 3 } constituyen otra clase, que es
cerrada.
El estado 1 merece un comentario especial, ntese que tiene la siguiente
propiedad: El proceso puede permanecer en el estado 1, pero una vez que sale de
l, ya jams puede regresar a l. Este tipo de estados se llaman transitorios.
En trminos generales puede decirse que un estado es transitorio cuando existe
una cierta probabilidad no nula, de jams regresar a l.
Los estados que no sean transitorios se llaman recurrentes, y son aquellos en
donde existe la certeza de que en algn paso futuro, el proceso regresar a l.
En el ejemplo, los estados 2 y 3 son recurrentes, pues cuando el proceso los
abandona, en algn momento regresar a ellos.
En un proceso irreductible todos los estados son recurrentes, mientras que en
aquellos procesos que tengan conjuntos cerrados, los que estn fuera de esos
conjuntos son transitorios.
Un caso particular de conjunto cerrado es aquel que est constituido por un
solo estado. En ese caso se dice que dicho estado es absorbente.
Ejemplo 4: Consideremos un proceso con tres estados, donde = {1, 2, 3} , y
1
1
0
2
2
supongamos que P = 0 1 0 es la matriz de transicin.
1
3

1
3

1
3

Su diagrama de estados es el siguiente:

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

13

En esta cadena, el conjunto de estados es: = {1,2,3}, existen tres clases {1} {2}
y {3} , pero la clase = {2} es cerrada. Tan pronto el proceso alcance el
Estado 2, ya no lo puede abandonar, y permanece en l para siempre.
Los estados absorbentes se reconocen porque = 1, es decir aquellos estados
que en la diagonal principal de la matriz de transicin tengan un uno, son
absorbentes.
=
El siguiente esquema resume los conceptos anteriormente explicados:

Clase: Conjunto de estados que se comunican entre si


Nmero de clases en la cadena:

Estados
La diferencia entre estados recurrentes y transitorios radica en la probabilidad de regreso.
En los transitorios no es seguro el regreso, puede regresar pero quizs no lo haga
En los recurrentes es seguro el regreso
En una cadena todos los estados no pueden ser transitorios

Una propiedad importante de destacar es este momento es la siguiente:


Todos los estados que pertenezcan a una misma clase son del mismo tipo,
es decir si en una clase un estado es recurrente, todos los restantes de su
clase tambin lo son, y si uno es transitorio, todos los restantes de su
misma clase tambin lo son.

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

14

Ejemplo 5: Una cadena de Markov con cuatro estados = {1, 2, 3,4} , presenta la
0.2 0.3 0.4 0.1

0 0.5 0 0.5

siguiente matriz de transicin P =


0.7 0
0.2 0.1

0
0
1
0
a) Dibuje el diagrama de estados
b) Cuntas clases tiene?
c) Qu tipo de proceso es?
d) Clasifique sus estados
Solucin: a) El diagrama de estados es

Para determinar el nmero de clases es necesario analizar cuales estados se


comunican entre s.
Al observar el diagrama, se encuentra que los nicos estados que se comunican
son 1 y 3, y ellos constituyen una clase.
El estado 2 slo se comunica consigo mismo, no solo porque desde l se puede
acceder nuevamente a l en el siguiente paso, si no tambin por la propiedad
reflexiva, todo estado se comunica con s mismo. Igual ocurre con el estado 4.
Cada uno de esos dos estados constituye una clase en s mismo.
En conclusin, existen tres clases {1,3} {2} {4} y por lo tanto, se trata de una
cadena reductible.
En cuanto a los estados, el 4 es absorbente, y los dems son transitorios pues
cuando el proceso alcance el estado 4, ya no podr regresar a ninguno de los tres
anteriores.
Cuando la el proceso es reductible, como el de este ejemplo, es posible permutar
el orden de los estados, y reescribir su matriz de transicin en bloques de la forma

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

15

K: Sub-matriz asociada a los estados recurrentes


Q: Sub-matriz asociada a los estados transitorios
L: Probabilidades de transicin entre estados transitorios y recurrentes
O: Sub-matriz nula
En el ejemplo, si el orden de los estados se coloca = {4, 1 2 3}, la matriz de
1 0 0 0
0.1 0.2 0.3 0.4
transicin resulta: P= 0.5 0 0.5 0
0.1 0.7 0 0.2

En esta nueva forma de definir a la matriz se observan los cuatro bloques antes
mencionados

En una cadena irreductible, esta reduccin por bloques no es posible realizar


Ejemplo 6: Escribir por bloques, a la matriz de transicin de un proceso con tres
0 0 0.4 0.6 0
0 0.2 0 0.5 0.3
estados = {1,2, 3,4,5} y cuya matriz de transicin es: P= 0.5 0 0.5 0 0
0 0 0 1 0
0.3 0 0.5 0 0.2
Solucin: Hay que comenzar identificando cuantos estados existen dentro del
proceso, para lo que es necesario analizar la conectividad entre los estados.
En este caso se identifican 3 clases: 1 = {1, 3,4} formada por estados
recurrentes, y las clases 2 = {2} 3 = {5} constituidas por estados transitorios.

Permutando el orden de los estados, y colocndolos en el orden = {1, 3,4,2,5} la


matriz de transicin queda:

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

16

La matriz P podr ser escrita de la forma: =


0 0.4 0.6
Donde; = 0.5 0.5 0
0
1 0

0 0 0.5

0.3 0.5 0


0.2 0.3

0 0.2

6. ECUACION DE CHAPMAN KOLMOGOROV


En la seccin 3 sobre nomenclatura, se vio que:
= ( 1 2 ) Vector de Estados en el ensimo paso,
representa la distribucin de probabilidad, de que en el ensimo paso, el
proceso se encuentre en cada uno de los estados posibles de
= { , 1 , 2 , } ; mientras que
0 = ( 1 2 ) Vector Inicial de Estado representa la
distribucin de probabilidad sobre el estado inicial del proceso es decir, la
probabilidad de que inicialmente el proceso se encuentre en cada uno de
los estados posibles de = { , 1 , 2 , }

Inmediatamente surge la siguiente pregunta: Es posible obtener el vector a


partir del vector 0 ?
La ecuacin de Chapman Kolmogorov dar respuesta a esta pregunta, y para ello
es necesario aplicar un razonamiento de induccin.
Comencemos con el vector 1 = (10 11 1 ) Vector de Estados en el
primer paso, donde:
1 = Probabilidad de que en el primer paso el proceso est en Ej =P(X 1 =Ej)
Al aplicar la frmula de la Probabilidad Total, se tiene:
1 = = (0 = 0 )1 = 0 = 0 + (0 = 1 )1 = 0 = 1 + + (0 = )1 = 0 =
..

La expresin puede ser reescrita en funcin de las probabilidades de transicin:

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

17

0
01

02
1 = 00 0 + 01 1 +..+ 0 = ( 1 2 ) .

.

Si este procedimiento se repite para los dems estados j = 0,1,2,.,k se obtiene:
1 = (10 11 12 1 ) = ( 1

00 01 02 0
10 11 12 1
2 ) 20 21 22 2
.
0 1 2

Que escrito con notacin matricial equivale a 1 = 0

Es decir: el vector de estado en el primer paso es igual al vector inicial de estado

multiplicado por la matriz de transicin.


Generalizando esta expresin; 2 = 1 = 0 = 0 2
y de all: = 0

Es decir: el vector de estado en el ensimo paso es igual al vector inicial de estado

multiplicado por la ensima potencia de la matriz de transicin.


()
()
()
()
00 01 02 0
()
()
()
()
10
11 12 1
La matriz = () () () () se llama matriz de transicin e n pasos
21
22
2
20

()
()
()
()
0 1 2
Cada uno de los trminos de la matriz Pn , representa la probabilidad de pasar de
un estado a otro en n pasos , es decir:
()
= = 0 = = + = = ; = 0,1,2,3
()

Es importante aclarar que debe leerse como supra n, y que no es lo


mismo que ( ) , pues la potencia de una matriz no es la matriz cuyos elementos
son las respectivas potencias de cada uno de sus elementos.
()
Pn es la matriz que resulta de multiplicar n veces la matriz P por s misma, y
representa a las elementos de esa matriz Pn

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

18

En resumen, la ecuacin de Chapman Kolmogorov escrita de manera


matricial establece:

= Vector Inicial de Estados

= Vector de Estados en el ensimo paso


P = Matriz de transicin en un paso

Ejemplo 7: Con los datos del Ejemplo No1, halle las siguientes probabilidades.
a) En el cuarto paso en la caja No 1 haya dos pelotas blancas
b) La primera vez que la caja No1 tiene dos pelotas negras es en el cuarto paso
Solucin: a) En el ejemplo No 1, el proceso es:
X n = Numero de pelotas blancas en la caja No1 despus de n pasos
0 1 0
La matriz de transicin en un paso: P=
0 1 0
Inicialmente X o = 2, pues hay dos blancas en la caja No 1 0 = (0 0 1)
0
4 =
0

0
0

0
0

0
0

0
0

0
0

0
0

1 0
=32
1 0
3
16
16
5

8
11
16
5

16
5
32
3

8
16
3
5
3
16 8 16
5 3
5 11 5
= (0 0 1)
=

8 16
32 16 32
3
5
3
16 8 16
Conclusin: La probabilidad de que en el 4 paso, el proceso se encuentre en el
3
3
( 40 =Posicin 0 en el 4 paso= )
estado E 0 = 0 Blancas en la Caja No 1 es
16

16

b) Para responder esta pregunta, es necesario realizar previamente unas


consideraciones tericas.

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

19

Cuando el proceso se encuentra en un estado Ei, e interesa conocer cuantos


pasos son necesarios para alcanzar por primera vez otro estado Ej, este nmero
de pasos es obviamente aleatorio, se denomina Tiempo para la primera visita a
Ej partiendo desde Ei, y la probabilidad de que se necesiten n pasos para
()
esta primera visita se designa por donde (n) es un suprandice, no una
potencia.
()
Es decir: = (+ = +1 , +2 , , = )
Lo anterior significa, que en el paso m el proceso se encuentra en Ei, y
despus de n pasos, alcanza por primera vez el estado Ej.
Por la ausencia de memoria del proceso, el paso m puede ser cualquiera, incluso
el inicial.
Cuando Ei = Ej, entonces este tiempo para la primera visita, es el numero pasos
necesarios para regresar a Ei , y se llama Tiempo de Recurrencia del Estado i
(4)
En el caso de la pregunta b) del Ejemplo 6, lo que se pide es 20 pues lo que se
quiere es la probabilidad de que partiendo de E 2 que es el inicial, la primera visita
a E o se realice en exactamente cuatro pasos.
(4)
20 = (4 = 0 3 0 , 2 0 , 1 0 , 0 = 2 )
Una forma de calcular la probabilidad en cuestin, es construyendo un rbol que
ilustre la evolucin del proceso.

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

20

Un rbol de probabilidades no es lo mismo que un diagrama de estados; el rbol


muestra la evolucin del proceso, mientras que el diagrama de estado, la forma
como se comunican los estados.
Al observar el rbol, se obtiene que la probabilidad de que la primera visita al
Estado 0, sea en el cuarto paso es:
1 1 1
1
1 1
(4)
20 = 1 + 1 1 =
2 2 4
4
4 8
El procedimiento basado en el rbol puede resultar largo y engorroso,
especialmente para pasos avanzados, y de all que se deban buscar
procedimientos ms sencillos.
Uno de ellos, es calcular la probabilidad total de que al cabo del ensimo paso, el
proceso se halle en el estado j, y restar la probabilidad de que con anterioridad el
proceso lo haya visitado, y luego haya regresado al Estado j.
Siguiendo este razonamiento, se obtienen las siguientes formulas por induccin:
(1)
= es obvio que la primera visita ocurre en el primer paso, cuando la
transicin se da en un paso.
(2)
es la probabilidad total de pasar de Ei a Ej en dos pasos. Esto puede ocurrir
De Ei a Ej ( 1a visita) y de Ej a Ej en un paso
dos maneras excluyentes:
a
De Ei a Ej ( 1 visita) en dos pasos
de
(2)
(1)
(2)
(2)
(2)
(1)
= + =
(3)

es la probabilidad total de pasar de Ei a Ej en tres pasos. Esto puede ocurrir


de tres maneras excluyentes:
De Ei a Ej ( 1a visita) y de Ej a Ej en dos paso

a
De Ei a Ej ( 1 visita) en dos pasos, y de Ej a Ej en un paso

a
De Ei a Ej ( 1 visita) en tres pasos
(3)
(1) (2)
(2)
(3)
(3)
(3)
(1) (2)
(2)
= + + =
(4)

es la probabilidad total de pasar de Ei a Ej en cuatro pasos. Esto puede ocurrir


de cuatro maneras excluyentes:
De Ei a Ej ( 1a visita) y de Ej a Ej en tres pasos

a
De Ei a Ej ( 1 visita) en dos pasos, y de Ej a Ej en dos pasos

a
De Ei a Ej ( 1 visita) en tres pasos, y de Ej a Ej en un paso
De E a Ej ( 1a visita) en cuatro pasos

i
(4)

(1) (3)

(2) (2)

(3)

(4)

= + + +
y as sucesivamente:

(4)

(4)

(1) (3)

(2) (2)

(3)

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

()

()

21

(1) (1)

(2) (2)

(3) (3)

(1)

(4)

Para aplicar esta frmula en la pregunta b) del Ejercicio 6, y hallar 20


necesidad de construir el rbol, el procedimiento es como sigue:
(4)
(4)
(1) (3)
(2) (2)
(3)
=

sin

Se debe calcular ahora las cuatro primeras potencias de la matriz de transicin P

0
P=

8
3

4
5

8
3

0
; 2 = 8 4 8 ; 3 = 16 8 16 ; 4 = 32
0
1 1

3
1

2
4

4
8

y aplicar sucesivamente las expresiones para la primera visita:


4
1

2
3

4
1

16
5

8
11

16
5
32
3

16
5

16

(1)

20 = 20 = 0
1
1
(2)
(2)
(1)
20 = 20 20 00 = 0 =
(3)

(3)

4
(2)

(1) (2)

20 = 20 20 00 20 00 = 0 0 =
8
4
4
8
3
1 1 1 1
1
(4)
(4)
(1) (3)
(2) (2)
(3)
20 = 20 20 00 20 00 20 00 =
0 0=
16
8 4 4 8
8
Ejemplo 8: Con los datos del Ejemplo 2, que solo posee dos estados, E 0 :
3

Daada, E 1 : Operativa, y cuya matriz de transicin es P= 15

5
9

, y sabiendo que

10 10

al inicio del proceso, la mquina est operativa, calcular las siguientes


probabilidades;
a) Que en el cuarto da est daada
b) Que el primer da en daarse sea el cuarto

Solucin:
a) En virtud de que al arrancar el proceso se sabe que la mquina esta operativa,
el vector inicial de estados es 0 = (0 1)
4 =

15

5
9

10 10

34

4
13

16 16

El vector de estado en el cuarto paso resulta ser: 0 = (0 1)

34

4
13

16 16

=(

16

13

16

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

22

(4)

P (X 4 = E 0 ) = 10 = Probabilidad de pasar de E 1 a E o en 4 pasos =

16

b) Ahora bien, el hecho de que en el da 4 la mquina est daada, no significa


que este da sea la primera vez que se daa, primera visita, pudo haberse daado
antes.
En aquellos casos donde el proceso slo presenta dos estados, calcular la
probabilidad de una primera visita se simplifica, y no es necesario construir el rbol
de probabilidades, ni tampoco, aplicar las frmulas para la primera visita como en
el ejercicio anterior.
En estos casos, se cuenta con el recurso de la Distribucin Geomtrica (Vase:
Modelos Discretos de Probabilidad. Arvelo), y la probabilidad de que partiendo de
E 1 , la primera visita al estado E 0 ocurra en el cuarto da es:
9
1
(4)
10 = ( )3 = 0,0729
10

10

Ejemplo 9: Dos apostadores A y B juegan lanzando un dado, si sale 1,2 o 3 gana


A, si sale 4 o 5 gana B, y si sale 6 no hay decisin; en cada jugada, el perdedor le
paga una moneda al ganador.
Al comenzar el juego cada uno tiene dos monedas.
Sea Xn = Nmero de monedas que posee A al terminar la jugada ensima.
a) Defina el conjunto de estados y la matriz de transicin.
b) Halle el vector de estados al terminar la quinta jugada.
c) Cul es la probabilidad de que el jugador A quede arruinado justamente al
terminar la quinta jugada?
Solucin: a) En total hay 4 monedas en circulacin, y el conjunto de estados, es
decir las que posee A en un paso cualquiera, puede ser = {0,1, 2, 3,4}
El Estado 0 El jugador A esta arruinado
El Estado 4 El jugador B esta arruinado
Ambos estados, el 0 y el 4, son absorbentes, pues al quedar arruinado uno de los
jugadores, ya no puede seguir jugando, y permanece indefinidamente en el estado
de ruina.
1
1
La probabilidad de que A gane una jugada cualquiera es , la de que pierda , y
2

la de que no haya decisin .


6
Cuando gana termina con una moneda ms de la que tena, cuando pierde con
una moneda menos, y cuando no hay decisin en el mismo estado.
1 0 0 0 0
1 1 1
0 0

6
1

2
1

La matriz de transicin es: =


0 3 6 2 0 y el diagrama de estados:

1 1 1
0 0
3 6 2
0 0 0 0 1

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

23

Conviene mencionar que este tipo de cadenas en donde, desde un estado


cualquiera, en un paso, solo es posible acceder a sus vecinos o a l mismo, se
llaman caminatas o paseos aleatorios, y este ejemplo es una situacin particular
denominada el problema de la ruina del jugador.
b) Al comenzar el juego, cada jugador posee dos monedas, lo que significa que el
proceso arranca en X 0 = 2, y el vector inicial de estados 0 = (0 0 1 0 0)

El vector de estado al terminar la quinta jugada es =


1 0 0 0 0 5
1 1 1
3 6 2 0 0
1 1 1

5 = (0 0 1 0 0)
0 3 6 2 0

1 1 1
0 0
3 6 2
0 0 0 0 1

5 =

215 269 841 269 215

972 3888 7776 2592 432

Del resultado obtenido, se deduce que al concluir la quinta jugada, la probabilidad


215
de que el jugador A ya se encuentre arruinado es
, mientras que para el jugador
B, esta probabilidad es de

215

432

972

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

24

Lo anterior no significa que el jugador se arruin justamente en la quinta jugada


(primera visita), pudo haberse arruinado en alguna de las jugadas anteriores, y
como el estado de ruina es absorbente, una vez que lo alcance, permanecer all
para todos los dems pasos sucesivos.
c) Si se quiere calcular la probabilidad de primera visita para un estado
absorbente, sin necesidad de construir un rbol, ni de aplicar las frmulas ya
conocidas, existe un nuevo recurso, basado en el siguiente razonamiento:
Para que la primera visita al estado de ruina ocurra justo en el quinto paso, es
preciso que el jugador tenga solo una moneda al finalizar la cuarta jugada, y que
pierda la quinta.
El vector de estado al finalizar la cuarta jugada es =
1 0 0 0 0 4
1 1 1
0 0

1 1 1

4 = (0 0 1 0 0)
0 3 6 2 0

1 1 1
0 0
3 6 2
0 0 0 0 1

El jugador A quedar arruinado en primera visita a la quinta jugada, si estando en


el estado 1 en la cuarta jugada pierde la quinta, en consecuencia
(5)

20 =

13 1
13
=
162 3 486

Con idntico razonamiento para el jugador B, la probabilidad de que alcance el


estado de ruina por primera vez en la quinta jugada es:
(5)

24 =

13 1
13
=
108 2 216

Ejemplo 10; Un apartamento tiene cuatro ambientes: 1. Dormitorio, 2. Sala, 3.


Cocina y 4. Comedor, que se comunican entre s a travs de puertas, tal como se
indica en la figura:

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

25

Los posibles estados son:


0 : Muerto
1: Dormitorio
2: Sala
3: Cocina
4: Comedor
5: Fugado
El dueo del apartamento conoce acerca de la presencia de un ratn dentro del
mismo, por lo que decide colocar un veneno sobre el piso que comunica la cocina
con el comedor.
Se supone que en cada etapa del proceso el ratn se muda a otro ambiente
accesible desde donde se halla, eligiendo una de las puertas con igual
probabilidad; si pasa por donde se encuentra el veneno muere, y si sale por la
puerta de entrada, se fuga y ya no regresa.
Sea X n = Estado donde se encuentra el ratn en el ensimo paso.
Al iniciarse el proceso, se sabe que el ratn est vivo dentro del apartamento, pero
se ignora en qu ambiente se encuentra, por lo que se considera que cada uno de
ellos es igualmente probable.
a) Defina la matriz de transicin
b) Cul es la probabilidad de que el ratn est muerto en el cuarto paso o antes?
c) Cul es la probabilidad de que el ratn se fugue justamente en el quinto paso?
Solucin: a) El conjunto de estados es = {0,1, 2, 3,4,5} siendo los estados 0 y 5
absorbentes. La matriz de transicin es:

El vector inicial de estados es 0 = 0

1
4

1
4

1
4

1
4

0 4 = 0 4

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

26

Por lo tanto, la probabilidad de que en el cuarto paso, el ratn se encuentre


293
muerto es
, y esta es una probabilidad total, no en primera visita, es decir
576
representa la probabilidad total de que el ratn se encuentre muerto en el cuarto
paso o antes.
Para que el ratn se fugue justamente en el quinto paso, debe encontrarse en la
sala, estado 2, en el cuarto paso, cuya probabilidad segn el vector de estado
43
y elegir la puerta de entrada en el paso 5, cuya probabilidad
para el paso 4 es
1

es
3

5)
05

43

576
1
43

576 3

1728

7. PROCESOS ESTACIONARIOS
Cuando el proceso se halla en su estado inicial X o , el pronstico sobre su futura
posicin cuando se hayan cumplido n pasos, viene dada por:
=
Si este pronstico es a muy largo plazo, es decir si n es muy grande, es posible
que el vector de estado para el paso n no difiera significativamente del
correspondiente para el paso n+1, es decir, es posible que el proceso tienda a
una posicin limite, y se estacione en un vector de estado constante

Lo anterior ocurre cuando lim = lim = existe

El vector = ( ) en caso de que exista, recibe el nombre


de vector de estado estacionario, y sus diferentes componentes probabilidades
de estado estacionario,
= Probabilidad estacionaria del estado Ei

La determinacin de este vector no es sencilla, y no siempre existe.


En algunos casos excepcionales, como el del siguiente ejemplo, es posible hallarlo
calculando el lmite.
Ejemplo 11: Consideremos un proceso con tres estados = {0,1, 2} , que
inicialmente se encuentra en el estado 1, 0 = (0 1 0 ) y con la siguiente

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

27

matriz de transicin:

Las sucesivas potencias de P son:

Por induccin, se obtiene:

El vector de estado estacionario resulta ser = 0 , lo que significa que a


2
2
largo plazo, el proceso se hallar en el estado 0 o en el estado 2, con probabilidad
1
para cada uno.
2
Este resultado es extraordinariamente lgico, pues los estados 0 y 2 son
absorbentes, y a la larga uno de los dos lo atrapar y absorber al proceso.
El procedimiento descrito en este ejemplo, de calcular el lmite no siempre es
factible de aplicar, y de serlo resulta en general muy engorroso y complicado, con
el agravante de que no siempre el lmite existe.

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

28

Surgen entonces dos preguntas:

Para responder estas dos preguntas, es necesario introducir algunos conceptos


adicionales.
Haciendo una revisin de algunos conceptos previos se tiene:
()
= Probabilidad de que partiendo de Ei, la primera visita a Ej, sea en el paso n
()

= Probabilidad de que partiendo de Ei, el primer regreso a l, sea en el paso n


()
Obviamente representa tiempo de recurrencia, pues si el proceso abandona a
Ei y luego regresa a l, est siendo recurrente en sus visitas.
()
Cuando
< 1, esto significa que existe una cierta probabilidad de que el
=1
proceso no regrese al estado Ei cuando lo abandone. Esto coincide con la
definicin de estado transitorio, ya explicada en la seccin 5.
()
= 1, esto significa que existe la certeza de que el proceso
Cuando
=1
regresar al estado Ei cuando lo abandone. Esto coincide con la definicin de
estado recurrente, ya explicada en la seccin 5.
Ejemplo 12 : Demostrar que en el proceso con dos estados, descrito en el
Ejemplo 2, ambos estados son recurrentes.
Solucin: En el Ejemplo 2, = {0, 1, } mientras que

P= 15

5
9

10 10

Para demostrar que un estado es recurrente, es necesario demostrar que


()

= 1
=1
Consideremos el evento E o .
3
(1)
00 = Probabilidad de primer regreso a E o en un paso = Trayectoria 00=
(2)

5
2

00 =Probabilidad primer regresar a E o en dos pasos=Trayectoria 010=


2

(3)

00 = Trayectoria 0110 =
(4)

00 = Trayectoria 01110 =
() 2 1
00 =
5 10

9 2


10

; 2

5 10 10
2 9

5 10 10 10

5 10

9 2


10

5 10

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

29

=2

9 2


10

()

=1

3
2 1
9 2
=
+

5
5 10
10
=2

representa la suma de una serie geomtrica, que como se sabe

a = Pr imer tr mino
; || < 1 , siendo
1
r = Razn de la serie
En consecuencia:
converge a

9 2

=2
10

110

= 10

()

=1

3
2 1
3 2
+
10 = + = 1
5
5 10
5 5

Procediendo de manera anloga se demuestra que E 1 tambin es recurrente

Peridico
Ahora bien, un estado recurrente puede ser de dos tipos
Aperidico
Un estado recurrente se dice peridico cuando existe un nmero d >1, tal que
()
()
> 0, y = 0, siempre que n no sea un mltiplo de d, y adems d es el
menor entero con esa propiedad, es decir, el proceso solo puede regresar al
estado Ei en aquellos pasos que sean mltiplos de d.
d se denomina el perodo del proceso.
0
0
Ejemplo 13: Analizar si el proceso cuya matriz de transicin es =
1
0
tiene estados peridico, y en caso de tenerlos, hallar su perodo.

1
0
0
0

0
0
0
1

0
1

0
0

Su diagrama de estado es:

Para analizar si un estado Ei es peridico, es necesario examinar las diferentes


potencias de la matriz P, y comprobar que existe un nmero entero d >1, donde
()
()
el termino > 0 cuando n es mltiplo de d , y = 0 cuando n no es
mltiplo de d.
En el ejemplo, las diferentes potencias de la matriz P son:

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

30

Por ser P4 , la matriz identidad se tiene:


P5 = P4 P = P ; P6= P4P2=P2 , P7=P4P3=P3 ,P8 = P4 P4 = P4, y asi sucesivamente
P4n+1 = P, P4n+2 = P2 , P4n+3 = P3, P4n+4 = P4 siendo n>1
()
Analizando los trminos de la diagonal principal, se observa que = 0 , cuando
()
n no es mltiplo de 4, mientras que > 0 cuando n es mltiplo de 4, por lo que
se concluye que los cuatro estados son peridicos, y su perodo es 4
En este proceso cada estado regresa a l cada cuatro pasos, y no es posible el
regreso en un nmero de pasos que no sea mltiplo de 4.
En el caso de cadenas que tengan estados peridicos, como en este Ejemplo 13,

es claro que lim no existe


No es sencillo reconocer un estado peridico, debido a que se necesita explorar
las diferentes potencias de la matriz de transicin, pero si es sencillo identificar
aquellos estados que no lo son.
Un estado que en la matriz P presente > no es peridico.
En efecto, si > 0 entonces el proceso puede regresar a Ei en el paso siguiente,
y por lo tanto ya no es peridico.
Lamentablemente esta propiedad no es vlida en sentido reciproco, es decir,
si = 0, no podemos garantizar que sea peridico.
Los estados absorbentes donde = 1 no se consideran peridicos, pues en
ellos el perodo sera igual a 1, y la definicin exige que ste sea mayor que 1.
Una propiedad til es la siguiente:
Todos los estados de una misma clase tienen el mismo periodo
Un estado Ei es aperidico, cuando no es peridico.
Si un estado es aperidico y adems recurrente, se dice que es ergdico.
Matrices ergdicas: La primera pregunta que qued planteada al comienzo de

esta seccin fue Cmo identificar a un proceso en donde lim =


existe, y en consecuencia a un proceso estacionario?
Cuando este lmite existe, se dice que la matriz P es ergdica, y una respuesta
parcial a la pregunta planteada, la proporciona el siguiente teorema:

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

31

Para que una cadena irreductible alcance el estado estacionario


es condicin necesaria y suficiente que todos
sus estados sean ergdicos;
y en este caso, la distribucin lmite
es nica e independiente del estado inicial

Una regla que permite identificar a una matriz ergdica es la siguiente:

Si en la matriz P, o en alguna de sus potencias , se verifica que todos sus


trminos son distintos de cero, entonces la matriz P es ergdica.
Una matriz donde todos sus trminos sean distintos de cero, se le dice que es una
matriz regular, y toda matriz regular es ergdica, como consecuencia de lo ya
()
explicado anteriormente, si > 0 ; ( = 0,1,2 ; = 1,2, ) , entonces el
proceso es irreductible y aperidico, todos los estados se comunican, y no es
peridico.
En resumen:
Si P, o alguna de sus potencias es una matriz regular, entonces P es
ergdica, y el Teorema anterior es aplicable

Ejemplo 14: Analizar si el proceso con tres estados = {1,2, 3} y cuya matriz de
1

4
1

3
3

transicin es: P= 4 0

Solucin:

El diagrama de estados es:

6
1
2

alcanza estacionario

Hay que comenzar analizando si se trata de


una cadena irreductible, para lo cual es
necesario analizar la comunicacin entre los
estados ( Ver seccin 5)
1 2
2 3
y por la propiedad transitiva
1 3
En consecuencia todos los estados se
comunican entre s, pertenecen a una misma
clase, y se trata de una cadena irreductible

A continuacin, se debe analizar si no hay estados peridicos.

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

32
1

A simple vista, los estados 1 y 3 son aperidicos debido a que 11 = > 0 , y


3

33 = > 0 .
2
Con relacin al estado 2 hay duda acerca de su periodicidad porque 22 = 0, pero
dado que pertenece a la misma clase que 1 y 3, no puede ser peridico, debido a
la propiedad, segn la cual todos los estados de una misma clase tienen el mismo
periodo, y ellos tienen periodo 1 por ser aperidicos.
Se trata entonces de un proceso irreductible cuyos estados son todos recurrentes
y aperidicos, es decir ergdicos y en virtud del teorema anterior, se puede
asegurar que alcanzar un estado estacionario.
Tambin pudiera llegarse a esta misma conclusin analizando alguna de las
potencias de P.
La matriz P no es regular pues 22 = 0 , 13 = 0, pero al examinar las sucesivas
potencias de P se encuentra:
35

4
3

2
1

72
1

P2 =

19

4
1

72
1

4
3

2
P es regular P es ergdica

El Teorema anterior slo da una respuesta parcial a la pregunta antes formulada,


debido a que se refiere solo a cadenas irreductibles, y por lo tanto ahora surge
otra pregunta Qu ocurre si la cadena no es irreductible, podr alcanzar el
estado estacionario?.
En caso de que la cadena no sea irreductible, tambin es posible que alcance un
estado estacionario, pero a diferencia de las irreductibles, el estado inicial puede
afectar al estado estacionario que el proceso pueda alcanzar.
En el caso de cadenas irreductibles el estado estacionario es nico, e
independiente del estado inicial; en cadenas reductibles no es as, el estado
estacionario en caso de que exista, puede no ser nico y depender del estado
inicial.
Un caso particular de procesos reductibles que pueden alcanzar el estado
estacionario, son aquellos que posean clases cerradas.
En estos casos es obvio, que si el proceso arranca de un estado transitorio, a
largo plazo una de las clases cerradas lo atrapar, ya no podr salir de all, y la
posicin lmite se reduce solo a las clases cerradas.
Resulta imposible que a largo plazo, el proceso se encuentre en un estado
transitorio, y por lo tanto, en este caso el vector de estado estacionario, tendr un
0 en todas aquellas posiciones que se refieran a estados transitorios.
Si el estado inicial es uno que pertenece a una clase cerrada, entonces el proceso
jams podr visitar a los estados fuera de esa clase, y en ese caso, el vector de
estado estacionario tendr un 0 para todos aquellos estados fuera de la clase
inicial.

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

33

Si el estado inicial es uno absorbente, ya el proceso arranca en condicin


estacionaria, y el vector de estado estacionario solo tendr un 1 en la posicin
correspondiente al estado absorbente, y 0 en las dems.
Si existen varios estados absorbentes y el estado inicial es uno transitorio,
entonces a largo plazo caer en uno absorbente, y all permanecer
indefinidamente. En este caso todas las posiciones correspondientes a estados
transitorios llevaran un 0 en el vector de estado estacionario
Lo anterior se resume con la siguiente expresin:
()
Si j es un estado transitorio: = lim = 0 ; = 0,1,2,
Determinacin del vector de estado estacionario La segunda pregunta que
quedo planteada al inicio de esta seccin fue Cmo hallar el vector de estado
estacionario?
Este vector tiene la forma = ( ) donde

= Probabilidad estacionaria del estado Ei, y se interpreta como la probabilidad


de que a largo plazo, el proceso se halle en cada uno de los estados posibles de
= {0,1,2, } , y para encontrarlo hay que distinguir dos casos:

Caso 1: La cadena es irreductible En este caso, la determinacin del vector de


estado estacionario es muy sencilla, debido a que el Teorema antes enunciado
garantiza que es nico e independiente del estado inicial del proceso.
= P

Para hallarlo basta con resolver el sistema de ecuaciones: i=k


i =1
i=0
donde la ecuacin = P representa una ecuacin matricial, que da origen a
(k+1) ecuaciones escalares con (k+1) incgnitas, que siempre tiene una que
resulta combinacin lineal de las otras.
Una vez identificada esa ecuacin, se elimina, se sustituye por la ecuacin
i =k

i=0

=1, y finalmente se resuelve el sistema.

Resulta curioso mencionar una situacin particular, en donde no es necesario


resolver el sistema, y es el que se refiere a las matrices doblemente estocsticas.
Hay un teorema segn el cual para este tipo de matrices, el vector de estado
permanente sigue una distribucin uniforme con idntica probabilidad para cada
uno de los estados.
Para una matriz de transicin doblemente estocstica como por ejemplo
0.3 0.5 0.2
1 1 1
= 0.6 0.2 0.2, sin hacer ningn clculo = (
)
3 3 3
0.1 0.3 0.6
Ejemplo 15: Hallar el vector de estado estacionario correspondiente al proceso
del Ejemplo 14.

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

34

Solucin: En el Ejemplo 14, se comprob que se trata de una cadena irreductible,


y por lo tanto hay garanta de que el vector de estado estacionario es nico e
independiente del estado inicial
Para hallarlo, se procede como sigue:
Paso 1: Escribir la ecuacin matricial = P , que en este caso es:

1
3
1 1 1
1 = 3 1 + 4 2

3 2 6
3
1
1
1
2 =
(1 2 3 ) = (1 2 3 ) 0
1 + 3
4
4
2
2

1 1
1
1
1

0 2 2
3 = 6 1 + 4 2 + 2 3

2
3
=0
3 1 4 2

1
1
1 - 2 + 3 =0
2
2
1
1
1
6 1 + 4 2 2 3 =0

La tercera ecuacin es redundante, es combinacin


lineal de las dos primeras, es la primera menos la
segunda, y puede ser eliminada

i =k

Paso 2 : Se elimina la ecuacin redundante, y en su lugar se coloca

i=0

=1

2
3
=0
3 1 4 2

1
1
El sistema queda 1 - 2 + 3 =0
2
2
1 + 2 + 3 =1

3
1= 8

Paso 3: Se resuelve el sistema obteniendo 2 =


3

3 =24

El vector de estado estacionario es =


lo que puede ser interpretado,
8
3
24
como la probabilidad de que a largo plazo, el proceso se encuentre en cada uno
de los estados E 1 , E 2 o E 3 respectivamente, o tambin como la proporcin de
tiempo que el proceso permanece en cada uno de ellos.

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

35

La matriz lim , se define como matriz de transicin en estado estacionario,


se designa como , y en el caso de cadenas irreductibles es

0 1 2

0 1 2

= lim = 0 1 2

Segn el Ejemplo 14:

3
= lim 4

0 1 2
1
2

0
1
2

6
1
4
1
2

3
8

3
=

3
1

24
7

24

3
1

24
7

Caso 2: La cadena es reductible En este caso, el clculo de = lim es


mucho ms complicado que en el anterior, debido a que se requieren una gran
cantidad de engorrosos clculos, que obligan a escribir la matriz en forma de
bloques, la determinacin de sus valores y vectores propios, y adems tener que
invertir algunas de las matrices involucradas en los bloques.
Este procedimiento ser explicado en la seccin 8, Pagina 47 en el caso que el
proceso sea reductible con estados absorbentes nicamente
Existe sin embargo otro procedimiento no matricial, que resulta muy original e
ingenioso por el razonamiento que all se aplica.
Ejemplo 16: Hallar el vector de estado estacionario correspondiente al proceso
del Ejemplo 9.
Solucin: El ejemplo 9 se refiere a la ruina del jugador, y presenta dos estados
absorbentes
El Estado 0 El jugador A esta arruinado
El Estado 4 El jugador B esta arruinado
Los restantes estados son transitorios, y por lo tanto para ellos, se verifica que
()
= lim = 0 ; = 0,1,2,

El vector de estado permanente tendr entonces la forma = (0 0 0 0 4 )


El problema se reduce entonces a encontrar 0 y 4
0 = Probabilidad de que a largo plazo el jugador A este arruinado
4 = Probabilidad de que a largo plazo el jugador A haya ganado la serie

Sea W = El evento, el jugador A gana la serie


A 1 = El evento, el jugador A gana una jugada (1 ) =

1
2

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

36

A 2 = El evento, el jugador empata una jugada (2 ) =

1
6

A 3 = El evento, el jugador pierde una jugada (3 ) =


3
Por la frmula de la probabilidad total se tiene:
() = (1 ) (|1 ) + (2 ) (|2 ) + (3 ) (|3 )
Consideremos ahora las siguientes probabilidades:

0 =Probabilidad de que A gane la serie, cuando su capital inicial es de cero monedas


1 =Probabilidad de que A gane la serie, cuando su capital inicial es de una moneda
2 =Probabilidad de que A gane la serie, cuando su capital inicial es de dos monedas
3 =Probabilidad de que A gane la serie, cuando su capital inicial es de tres monedas
4 =Probabilidad de que A gane la serie, cuando su capital inicial es de cuatro monedas

Obviamente 0 =0 mientras que 4 =1, porque cuando tiene 0 monedas esta


arruinado, y cuando tiene 4 ya gan la serie
Si el jugador tiene una moneda, su probabilidad total de ganar la serie es 1 , si
pierde la jugada queda arruinado y pierde la serie, si empata queda igual y su
probabilidad de ganar la serie sigue siendo la misma, y si gana la jugada pasa a
tener ahora una probabilidad 2 de ganar la serie.
1
1
Al aplicar la frmula de la probabilidad total resulta: 1 = 2 + 1
2
6
Repitiendo el razonamiento para los otros casos se obtiene
1
1
1
1
1
1
2 = 3 + 2 + 1
; 3 = + 3 + 2
2

27

57

Al resolver el sistema se encuentra 1 =


2 =
3 =
65
13
65
Esto significa que la probabilidad de alcanzar el estado absorbente E 4 , depende
del estado inicial de donde arranque el proceso, cosa que no ocurre cuando se
trata de una cadena irreductible.
En conclusin, si cada jugador comenz la serie de apuestas con dos monedas
9
cada uno, entonces la probabilidad de que el jugador A la gane es de y de que
la pierda es de 1

13

13

13

, y de all que el vector de estado permanente sea


4

=
0 0 0

13
13
El resultado obtenido es perfectamente lgico, ya que es evidente que la serie se
presenta a favor del jugador A .En cada jugada la apuesta es igualitaria, y el
1
1
jugador A tiene probabilidad de ganarla, y de perderla.
2
3
En cuanto a la matriz de estado estacionario, esta expresa la probabilidad de
acceder a cada uno de los estados absorbentes desde cada uno de los posibles
estados del proceso, y resulta ser:

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

37

1 0 0 0 0
1 0 0 0 0
1 1 1

38
27
0 0

0 0 0
3 6 2

65
65
1 1 1

4
9
= lim 0
0 =

0 0 0

13
3 6 2
13

8
1 1 1
57
0 0 0

0 0
65
65
3 6 2
0 0 0 0 1
0 0 0 0 1

Fcilmente se puede verificar, que si inicialmente el jugador A tiene dos monedas,


4
9
entonces 0 = ( 0 0 1 0 0) , y = 0 =
0 0 0

13

13

Ejemplo 17: Hallar el vector de estado estacionario correspondiente al proceso


del Ejemplo 10.

Solucin: El ejemplo 10 se refiere a un ratn que se encuentra dentro de un


apartamento, y presenta dos estados absorbentes
El Estado 0 El ratn est muerto
El Estado 5 El ratn se fug
Los restantes estados son transitorios, y por lo tanto para ellos, se verifica que
()
= lim = 0 ; = 0,1,2,

El vector de estado permanente tendr entonces la forma = (0


El problema se reduce entonces a encontrar 0 y 5
0 = Probabilidad de que a largo plazo el ratn est muerto
5 = Probabilidad de que a largo plazo el ratn se haya fugado
Sea W = El evento, el ratn se fug
1
A 1 = El ratn se encuentra en el dormitorio (1 ) =
A 2 = El ratn se encuentra en la sala (2 ) =

1
4

A 3 = El ratn se encuentra en la cocina (3 ) =

1
4

0 0 0 0 5 )

A 4 = El ratn se encuentra en el comedor (4 ) =


4
Por la frmula de la probabilidad total se tiene:
() = (1 ) (|1 ) + (2 ) (|2 ) + (3 ) (|3 ) + (4 ) (|4 )
Consideremos ahora las siguientes probabilidades:

1 =Probabilidad de que el ratn se fugue cuando inicialmente est en el dormitorio


2 = Probabilidad de que el ratn se fugue cuando inicialmente est en la sala
3 = Probabilidad de que el ratn se fugue cuando inicialmente est en la cocina
4 = Probabilidad de que el ratn se fugue cuando inicialmente est en el comedor

Si el ratn se encuentra en el dormitorio, puede pasar de all a la sala o a la cocina


1
con probabilidad para cada ambiente (el dormitorio tiene dos puertas), y desde
2
all, su probabilidad de fuga es 2 y 3 respectivamente.

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

38
1

Aplicando la frmula de la probabilidad total: 1 = 2 + 3


2
2
Si el ratn se encuentra en la sala, puede fugarse, o pasar de all al dormitorio o al
1
comedor, con probabilidad para cada caso (la sala tiene tres puertas), y desde
3
all, su probabilidad de fuga es 1 , 1 y 3 respectivamente.
1
1
1
Al aplicar la frmula de la probabilidad total resulta: 2 = 1 + 3 + 4
3
3
3
Si el ratn se encuentra en la cocina, puede pasar de all al dormitorio o a la
muerte si elige pasar al comedor,
1
Al aplicar la frmula de la probabilidad total resulta: 3 = 1
1

Anlogamente 4 = 2
2

Al resolver el sistema se encuentra 1 =


2 =
3 =
4 =
11
11
11
11
Al igual que en el ejemplo anterior, la probabilidad de fuga depende de donde se
encuentre inicialmente el ratn.
Como en este caso, no se conoce su ubicacin inicial:
1 4
1 6
1 2
1 3
15
() =
+
+
+
=
4 11 4 11 4 11 4 11 44
En conclusin, la probabilidad total de que el ratn se fugue es

muera envenenado es de 1
permanente sea

29

44

15
44

29

44

0 0 0 0

La matriz de estado estacionario es

15
44

, y de all que el vector de estado


15

44

1 0 0 0
11 0 0 0
5 0 0 0

lim = 11
9

0 0 0
11
8
0 0 0
11
0 0 0 0
7

En este caso, como se ignora el estado inicial entonces 0 = 0

se para hallar = 0 =

29

44

y la de que

0 0 0 0

15

44

1
4

1
4

0 0
4
0
11
6
0
11
2

0
11
3
0
11
0 1

1 1
4 4

0 , y

Para finalizar esta seccin, es importante hacer una aclaratoria sobre el significado
e interpretacin del vector de estado estacionario, en cada uno de los dos casos
estudiados.
En el caso de cadenas irreductibles, el proceso no se estaciona, es decir sigue
evolucionando indefinidamente a lo largo del tiempo, y permanece o cambia de
estado con probabilidad en cada uno de los sucesivos pasos.
De manera que el vector de estado estacionario no expresa la probabilidad de que
el proceso se estacione en cada uno de los estados, esto no puede ocurrir.
En cadenas irreductibles, el vector de estado estacionario debe ser interpretado
como la probabilidad de que un paso muy remoto, el proceso se encuentre en

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

39

cada uno de los estados, o tambin como la fraccin de tiempo que el proceso
permanece en cada uno de los estados.
En el segundo caso de procesos con estados absorbentes, la interpretacin es
completamente diferente, porque en ellos si se da la circunstancia de que el
proceso literalmente se estaciona en los estados absorbentes al no poder salir de
ellos.
De all que este segundo caso, si cabe la interpretacin acerca del vector de
estado estacionario, que representa la probabilidad de que el proceso se
estacione en cada uno de los estados absorbentes.
8. TIEMPO MEDIO DE TRANSICION ENTRE ESTADOS
En la seccin 6 se vio que el Tiempo para la primera visita al estado Ej partiendo
desde Ei ,es una variable aleatoria, y que la probabilidad de que se necesiten n
()
pasos para esta primera visita se designa por donde (n) es un suprandice, no
una potencia.
()
Es decir: = (+ = +1 , +2 , , = )
Si se designa por a esta variable aleatoria, su valor esperado se designa por
, representa el nmero medio de pasos para realizar la transicin entre Ei y Ej, y
puede ser calculado mediante la siguiente expresin:

()

= =
=1

Cuando Ei coincide con Ej, entonces este tiempo es el numero pasos necesarios
para regresar a Ei por primera vez, se denomina = Tiempo de recurrencia del
Estado i, su valor esperado se designa por , representa el nmero promedio
de pasos para regresar a Ei por primera vez, y puede ser calculado mediante la
siguiente expresin:

()

= ( ) =
=1

Ejemplo 18: Para el proceso con 2 estados de los Ejemplos 2 y 12, hallar los
tiempos de recurrencia y de transicin entre los ellos.
Solucin; En este caso = {0, 1, } mientras que

P= 15

5
9

, y en el ejemplo 12

10 10

se demostr que la distribucin de probabilidad para 0 = Nmero de pasos para


(1)

()

9 2

; 2
el primer regreso al estado E 0 es: 00 = , 00 =
5
5 10
10
El tiempo medio de recurrencia a estado E 0 es su valor esperado
00 = (0 ) = 1

3
5

+
=2

5 10

9 2


10

= +
5

25

9 2

=2
10

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

40
9 2

Para calcular el valor de la serie


es necesario recurrir al siguiente
=2 10
artificio matemtico:

Sea () =
; || < 1 por ser una serie geomtrica
=1 =
1
()

Su primera derivada es:

1
=
=
=1

1
2
2

=
=

=1
=1
=1

Haciendo =

10

2

=
=1 ( )
10

9
9
(110)2
10

10

; || < 1

(1)2

=1 2
1000

9
9

=2 ( )2
10

(1)2

1000

; 0 || < 1

10

El primer trmino n=1 de la serie es


=
= 110
9
9
9
y de all se deduce que el tiempo medio de recurrencia al estado E 0 es:
3
1
00 = + 110 = 5
5

25

Para hallar el tiempo medio de transicin de E 0 a E 1 , hay que calcular el valor


esperado del tiempo de la primera visita desde E o E 1 , de la siguiente manera:
(1)

01 = Probabilidad de la trayectoria 01=


3 2
(2)
(3)
01 = 00 = Trayectoria 001 =
5 5
3 2 2
(3)
01 = Trayectoria 0001 = ( )
5
5
()

01 = ( )1
5

2
5

; 1

1
01 = (01 ) =
=
=1 ( )
5

2
5

3 1 2

=1
5

5 132
5

5
2

Se deja como ejercicio para el lector que determine 1 y 10 , aplicando un


procedimiento anlogo, y que luego compare su resultado con el obtenido
aplicando la metodologa que se explica en el Ejemplo 19.
Se puede fcilmente intuir que el procedimiento aplicado en la resolucin de este
Ejemplo 18, no es nada atractivo, debido a que conduce al clculo de una serie, lo
cual no siempre es sencillo, y ms an si se toma en consideracin, que sta
puede resultar divergente.
Se hace necesario entonces, encontrar un camino alternativo, que permita calcular
el tiempo medio de recurrencia y el de transicin, de una manera ms simple.
Para hacer este clculo hay que distinguir varios casos:
Caso 1: La cadena es irreductible, y todos sus estados son ergdicos.
En este caso, ya se sabe segn lo explicado en la Seccin 7, que el vector de
estado estacionario es nico y tiene la forma = ( )

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

41

Cuando se da esta circunstancia el reciproco de cada uno de las componentes


del vector , representan el tiempo de recurrencia para cada uno de los estados
1
=

Para hallar el tiempo medio de transicin entre estados, es necesario resolver el


sistema de ecuaciones definido por:
= 1 +

=0 ,

Esta ecuacin debe ser aplicada a cada una de las transiciones posibles, haciendo
m= 0 , 1,2, .,k excepto m = j, y su demostracin es como sigue
Sea W = Primera visita desde el estado Ei al Ej ocurre en (n+1) pasos
A m = La primera transicin es a E i a E m (m j) (no visita a Ej en el primer paso)
Entonces WA m = Primera visita ocurre en n Pasos (el primero fue de Ei a Em)
Segn la frmula de la probabilidad total:
=

() =

=0,
(+1)

; ( )

Pero P(W) = = + 1 =
Sustituyendo:

(+1)

= = ( +

(+1)

Pero
=0

( ) (| )

=0

=0,

(+1)
1)

()

= ; (| ) =
()

=
=0

(+1)

(+1)

+
=0

=1 por ser E i y E j estados que pertenecen a una misma clase

=0

=0,

= 1 +

()

El orden de las sumatorias puede ser invertido, y queda:

= 1 +
()

=0

()

=0,
=
()

=1

=0

= =

Finalmente se llega a la formula antes mencionada:


= 1 +

=0 ,

Su aplicacin prctica es fcil de recordar, tomando en cuenta la siguiente regla:

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

42

El tiempo medio de transicin entre dos estados se iguala a 1 + la suma de las


probabilidades de ir desde el inicial a todos los restantes en el primer paso
excepto el final, multiplicadas por sus respectivos tiempos medios de transicin
desde ellos al estado final, y luego se resuelve el sistema de ecuaciones.

Ejemplo 19 : Resolver el Ejemplo 18 utilizando el vector de estado estacionario, y


la matriz de transicin.
Solucin: El proceso descrito en el ejemplo 18 es irreductible, y todos sus estados
son recurrentes y aperidicos, es decir ergdicos, y por lo tanto su vector de
= P

estado estacionario se puede encontrar resolviendo el sistema i=k


i =1
i=0

3
1
3 2
3 2
0 =
0 +
1

5
10
5 5
5 5
En este caso P= 1 9 (0 1) = (0 1) 1 9
= 2 + 9
10 10
10 10
1 5 0 10 1
Ambas ecuaciones del sistema resultan idnticas, por lo que una debe ser
eliminada, y sustituida por 0 + 1 = 1

1
2
1
0 =

=0


5
El sistema queda 5 0 10 1

=4
+ =1
1
0
1 5
1
1
5
Los tiempos medios de recurrencia son: 00 = 1 = 5 ; 11 = 4 =
5

Hay solo dos transiciones posibles, de E 0 a E 1 y de E 1 a E 0 , y para los tiempos


medios de transicin se tiene:
1 = 1 +
10 = 1 +

=0 ,1
1

=0 ,0

0 1 1 = 1 + 00 01 = 1 + 1 =
5

1 0 10 = 1 + 11 10 = 1 +

9
=
10 10

E : Daada
En este caso, donde solo existen dos estados 0
; si se supone que la
E1 : Operativa
mquina trabaja de manera continua, cada uno de estos tiempos medios de
transicin y de recurrencia, tiene una interpretacin muy clara, y as:
=Tiempo medio entre fallas
1 = Tiempo medio de reparacin
10 = Tiempo medio de operacin
11 = Tiempo medio entre arranques

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

43

Ejemplo 20 : Calcular los tiempos medios de transicin y de recurrencia para la


cadena del Ejemplo 15
Solucin: La cadena del Ejemplo 15 es irreductible, y se encontr que el vector de
3 1
7
estado permanente es = (
) , de donde se deduce que los tiempos
8

medios de recurrencia son: 11 =

24
!

8
3

22 =

=3

33 =

24
7

Para encontrar los tiempos medios de transicin hay que plantear un sistema de
ecuaciones, donde las incgnitas son 12 13 21 23 31 32
1

4
1

3
3

Teniendo en cuenta que la matriz de transicin es 4 0

1
1
12 =1+ 3 12 + 6 32

=1+ 1 + 1
13
3 13 2 23

=1+0 + 1
21
21
4 31

=1+ 3 + 0
23
23
4 13

1
1
31=1+ 21 + 31
2
2

1
32 =1+012 + 32
2

Resolviendo:

6
1
2

el sistema es;

12 =
2

36
=
13

104
21 =

49

34
=
23

220
31 =
49

32 =
2

Caso 2: La cadena es irreductible y peridica


La definicin de estado ergodico exige que ste sea recurrente y aperidico, de
manera que cuando la cadena es peridica no se cumple el requisito exigido en el

caso 1, y adems, segn lo explicado en la Seccin 7, lim no existe.


Recordemos que un estado recurrente se dice peridico cuando existe un nmero
()
()
d >1, tal que > 0, y = 0, siempre que n no sea un mltiplo de d, y
adems d es el menor entero con esa propiedad, es decir, el proceso solo puede
regresar al estado Ei en aquellos pasos que sean mltiplos de d.
d se denomina el perodo del proceso.
()
Cuando la probabilidad de recurrencia es constante para cada estado, su
tiempo medio de recurrencia, as como tambin la proporcin de tiempo que el
proceso permanece en cada estado, puede ser calculado por las siguientes
expresiones:

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

44

()

1
; =
=

()

Las expresiones anteriores se deducen al generalizar el razonamiento utilizado en


el ejemplo a continuacin:
Ejemplo 21: Una persona tiene el siguiente estilo de vida, pasa un mes en
Caracas, y el mes siguiente elige pasarlo en Margarita o Mrida con igual
probabilidad y de manera independiente cada vez. El mes subsiguiente lo pasa de
nuevo en Caracas, y as sucesivamente.
a) Calcule el tiempo medio de regreso para cada lugar.
b) Cuando se encuentra en cada uno de estos lugares, Cul es el tiempo
esperado para visitar otro lugar?
c) Qu proporcin de su tiempo permanece esta persona en cada lugar?
Solucin: a) La cadena { (): = 0,1,2, , } representa el lugar donde se
encuentra la persona en el mes t= 0, 1, 2, 3,, y est formada por tres estados
= {1, 2, 3} donde:
E 1 : La persona se encuentra en Caracas
E 2 : La persona se encuentra en Margarita
E 3 : La persona se encuentra en Mrida
1

0
2
2
La matriz de transicin es = 1 0 0
1 0 0
Para analizar si se trata de una matriz ergdica, o de una peridica, es necesario
examinar las diferentes potencias de P, encontrando:

Se trata obviamente de una cadena peridica donde d = 2 debido a que:


()
()
11 = 1 , ; 11 = 0 , ; es decir para pasos pares, la persona se
encuentra en Caracas con probabilidad 1, mientras que
1
1
()
()
()
()
22 = 33 = , ; 22 = 0 22 = 0, , es decir para pasos
2

impares la persona se encuentra en Margarita o Mrida con probabilidad


2
Para hallar el tiempo medio de recurrencia entre estados basta con aplicar el
siguiente razonamiento:
Si la persona se encuentra en Caracas, es seguro que su primer regreso ser en
(2)
el segundo paso: Trayectoria 1 2 3 1 11 = 1 11 = 2
Si la persona se encuentra en Margarita, su primer regreso solo puede ocurrir en
nmero par de pasos, segn las siguientes probabilidades:
1
1
(2)
Trayectoria en dos pasos 2 1 2 ; 22 = 1 =
2

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

45
1

(4)

1 2

Trayectoria en cuatro pasos 2 1 3 1 2 ; 22 = 1 1 =


En general:

(2)
22

22 = (2 ) =

2
1
1 1

=1(2) =

=1
2
2

Teniendo en cuenta el artificio explicado en el Ejemplo 18 segn el cual:

1
1 =
; || < 1
(1 )2
=1

Haciendo = , se obtiene que el tiempo medio de recurrencia al Estado 2 es


2

22 = (2 ) =

De manera anloga se obtiene 33 = 4

1
(1 )2
2

=4

b) Existen seis tiempos medios de transicin entre estados


12 13 21 23 31 32 , y para basta con aplicar un razonamiento similar.
Si la persona est en Caracas, su primera visita a Margarita puede ocurrir en los
pasos impares
1
(1)
Trayectoria en un paso: 1 2 ; 12 =
2

(3)

1 2

Trayectoria en tres paso: 1 3 1 2 ; 12 = 1 =


En general:

(21)
12

= ; 1
2

1 1

12 = (12 ) =
-
=1(2 1) 2 ==1 2
=1 2
Teniendo en cuenta que la segunda serie es geomtrica, se llega a
1 1

12 = (12 ) ==
-
=1 2
=1 2 =4 -1 = 3
Con idntico razonamiento 13 = 3
Si la persona est en Margarita, su primera visita a Caracas ser en el paso 1 con
certeza, y de all 21 = 1; al igual que si est en Mrida 31 = 1
Si la persona est en Margarita, su primera vista a Mrida slo puede tener lugar
en los pasos pares debido a que tendr que permanecer primero en Caracas
1
1
(2)
Trayectoria en dos pasos 2 1 3 ; 23 = 1 =
2

2
(4)
23

Trayectoria en cuatro pasos 2 1 2 1 3 ;


En general:

(2)
23

= ; 1
2

1 1

23 = (23 ) ==
=1(2)
2

1 1

-
=1
2

(12)2

1 2

=1 1 =
2

=4

En resumen: 12 = 13 = 3 ; 21 = 31 = 1 ; 23 = 32 = 4

Otro recurso para encontrar estos tiempos medios de transicin es aplicar la ya


conocida ecuacin:

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

46

= 1 +

=0 ,

la cual puede ser deducida por idntico razonamiento al ya explicado en su


oportunidad. Para este caso se tiene que el sistema resulta:

1
12 =1+ 2 32
12 =
3

3
=1+ 1
13 =
23
13
=
2
1

Resolviendo: 21
21=1
4
23 =

=
23 =1+13
1
31
=1
4
32 =
31
32 =1+12
c) En cuanto a la proporcin de su tiempo, que esta persona permanece en cada
1
1
lugar, se tiene que en Caracas 1 =
= = 50% , lo cual resulta lgico dado el
11

hecho que de cada dos meses, uno lo pasa en esta ciudad.


En cuanto a Margarita y Mrida, la proporcin de tiempo que permanece en cada
1
lugar, resulta ser de 2 = 3 = = 25%
4

Caso 3: La cadena es reductible


Como se sabe, en cadenas reductibles existen dos o ms clases de estados, y por
las razones ya expuestas en la seccin anterior, el autor decidi limitarse al caso
en que no existen clases cerradas constituidas por varios estados, y considerar
solo la situacin en donde existen algunos estados absorbentes, y los restantes
son transitorios.
En este tipo de cadenas, es sabido a que largo plazo uno de los estados
absorbentes atrapar al proceso, y a partir de la primera visita, permanecer en
ese estado de manera indefinida.
El tiempo medio de transicin desde un estado transitorio a un estado absorbente,
se define como tiempo medio de absorcin, y representa el valor esperado del
nmero de pasos desde el estado transitorio hasta la primera visita al estado
absorbente.
Es decir, si i es un estado transitorio y j uno absorbente, el tiempo medio de
()
absorcin es = =
=1
Cuando existe ms de un estado absorbente, esta serie resulta divergente, debido
a que si el proceso es absorbido por un determinado estado absorbente, entonces
jams podr efectuar una primera visita a los otros estados absorbentes, y el
nmero esperado de pasos resultara infinito.
De existir un nico estado absorbente, esta serie puede ser calculada a travs de
series geomtricas que expresen la probabilidad de que el proceso permanezca
exclusivamente en estados transitorios durante (n-1) pasos, y luego en el ensimo

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

47

paso, sea absorbido por el estado absorbente. Este procedimiento suele en


general ser muy complicado, especialmente si algunos de estos estados
transitorios se comunican entre s.
En virtud de lo explicado, si existe ms de un estado absorbente, y E i es un
estado transitorio, y E j uno absorbente:

()

= =
=1

En estos casos, lo que es posible calcular es el nmero esperado de pasos para la


absorcin.
En efecto, si suponemos que inicialmente el proceso se encuentra en un estado
transitorio, y se define la siguiente variable aleatoria:
N ij = Nmero de visitas, contadas desde el momento inicial, que desde un estado
transitorio Ei puede realizar a otro estado transitorio Ej
1
Para esta variable aleatoria, se tiene: = =
1
Esta expresin surge del siguiente razonamiento:
Para que desde Ei se realicen n visitas a Ej, es necesario que se den tres condiciones:
En primer lugar haga una primera visita, cuya probabilidad es

En segundo lugar que desde Ej se realicen (n-1) retornos consecutivos,


1
cuya probabilidad es
En tercer lugar, que lo abandone inmediatamente despus, cuya
probabilidad es 1
El valor esperado de N ij , representa el nmero total de visitas que desde Ei se
pueden realizar a otro estado transitorio Ej sin ser absorbido

=
=1

1 =

Evidentemente, la suma de estos valores esperados sobre todos los estados


transitorios, incluyendo al propio E i , representa el total de pasos que desde Ei se
pueden realizan sin ser absorbido, es decir:
Ni = Nmero esperado total de pasos desde Ei hasta la absorcin= ( )
donde = Conjunto de estados transitorios

Para calcular el nmero esperado de pasos para la absorcin desde cada estado
transitorio, existe un procedimiento matricial, cuya metodologa es como sigue:
En primer lugar hay que escribir la matriz de transicin P por bloques de la
forma:

=
0

I= Matriz Identidad correspondiente a los estados absorbentes


Q= Matriz de transicin entre estados transitorios
R= Matriz de transicin de los estados transitorios a los absorbentes
0 = Matriz nula

Como se supone que el proceso arranca desde un estado transitorio, la matriz


identidad I de dimensin igual al nmero de estados transitorios, representa la
primera visita a cada uno de ellos

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

48

IQ= Q representa la probabilidad de la primera transicin desde un estado


transitorio a otro transitorio.
Q2 representa la probabilidad de la segunda transicin a otro estado transitorio
Qn representa la probabilidad de la ensima transicin a otro estado transitorio
S n = I + Q + Q2 + +Qn =Total de visitas a estados transitorios en n pasos
Para hallar S premultipliquemos por Q
QS n = Q + Q2 + Q3 + +Qn+1
Restando miembro a miembro: (I-Q) S n =I - Qn+1
Cuando n , Qn+1 0 , pues todos los estados de Q son transitorios
En consecuencia: = lim = ( )1
La matriz ( )1 , se denomina matriz fundamental del proceso de absorcin, y
cada uno de sus trminos (i, j) representa el nmero esperado de visitas que
partiendo de E i , el proceso puede hacer a E j antes de la absorcin.
La suma de la fila i de la matriz ( )1 da por resultado el nmero esperado
de visitas que arrancando de Ei se pueden dar antes de ser absorbido.
La matriz ( )1 es siempre una matriz cuadrada de dimensin igual al nmero
de estados transitorios.
Por otro lado, la matriz ( )1 arroja la probabilidad de que partiendo de cada
estado transitorio, el proceso sea absorbido por cada uno de los estados
absorbentes.
La matriz ( )1 es siempre una matriz rectangular, su nmero de filas es
nmero de estados transitorios, mientras que el nmero de columnas corresponde
al de los estados absorbentes.
En cuanto, al tiempo medio de recurrencia para un estado transitorio, se puede
demostrar que este resulta infinito debido a que la serie en cuestin diverge.
()
Si i es un estado transitorio: = ( ) =

=1
Lo que equivale a decir, que lo esperado es no regresar jams a un estado
transitorio.
Igual situacin se presenta con el tiempo esperado de transicin entre dos estados
transitorios,
()
Si son ambos estados transitorios: = =
=1
Por ltimo, resulta obvio que si i es un estado absorbente, su tiempo medio de
recurrencia es 1, y su tiempo medio de transicin a cualquier otro estado es nulo
Si es un estado absorbente = 1 = 0 ;

Ejemplo 21 : Para la cadena del Ejemplo 9, hallar el tiempo medio de absorcin


para los estados 1,2 y 3.
Solucin: En esta cadena = {0,1, 2, 3,4} y presenta dos estados absorbentes {0}
y {4} , mientras que los restantes son transitorios, y de all que existan seis
tiempos medios de absorcin, dependiendo del estado de donde se salga, y del
estado que absorba al proceso, 10 , 20 , 30 , 14 , 24 30

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

49

Para encontrarlos, es necesario tomar en consideracin a la matriz de transicin


1 0 0 0 0
1 1 1
0 0

1 1 1

en un paso =
0 3 6 2 0

1 1 1
0 0
3 6 2
0 0 0 0 1
En primer lugar hay que escribirla por bloques de la forma

=
para lo cual es preciso permutar el orden de los estados, y colocar los
0
transitorios primero, y los absorbentes de ltimo. Con el orden = {1, 2, 3,0,4}
1 1

1
0
0

1 1

3
6 2

0
6
2
1 1 1 0 0

3 6 2

1 1 1

P =
Q=
R=
0
0

3 6 2
0 1 1 0 1

1
1
3 6
2

0
0

2
0 0 0 1 0

3 6

0 0 0 0 1

1 0 0 61


I Q 0 1 0 31
=

0 0 1 0

( )1 =

1
2
1
6
1
3

2
6

1
5
1

6
2
3

1
5

3
6

2
1

3
0

2
6

1 5
1

2
3 6

1 5
0

3 6

0 =
1

Es oportuno recordar, que en el Ejemplo 16 se determin la probabilidad de que el


4
proceso sea absorbido por E o o por E 4 , cuando arranca de E 2 , con el resultado
9

y respectivamente, lo que coincide con el resultado obtenido por este


13
procedimiento matricial.
El nmero esperado de jugadas antes de que la serie termine es:
114
18
54
258
Si el jugador A comenz con una moneda: 1 =
+ + =
65

13

65

65

13

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

Si el jugador A comenz con dos monedas: 2 =

Si el jugador A comenz con tres monedas: 3 =

50
12

13
24
65

30

13
12
13

18

13
114
65

60

13
198

45

9. COSTOS ASOCIADOS A UNA CADENA DE MARKOV

En la gran mayora de las aplicaciones, cada visita a los diferentes estados de la


cadena tiene asociado un valor econmico, que en algunos casos puede ser una
utilidad o un beneficio, mientras que en otros puede ser una prdida, o una
penalidad por visitar ese estado.
En las secciones anteriores se encontr que cuando un estado es recurrente, sea
aperidico o no, la proporcin de tiempo que el proceso permanece en l viene
1
dado por =

Si permanecer en cada estado tiene un costo c i por unidad de tiempo, entonces el


costo promedio por unidad de tiempo para toda la cadena viene dado por:

= 0 0 + 1 1 + + =
0

El clculo de este costo promedio por unidad de tiempo para toda la cadena,
resulta de extrema importancia en las aplicaciones prcticas, pues evala
econmicamente el comportamiento de la cadena a largo plazo, y permite
comparar una cadena con otra a los fines de decidir cul de ellas reporta un mayor
beneficio, o bien un menor costo.
Ejemplo 22: Una famosa pastelera de Caracas es reconocida por una deliciosa
torta que diariamente fabrica. El costo de producir esta torta se estima en Bs. 400
y se vende en Bs. 1000, pero con el inconveniente de que si no se vende el mismo
da de su fabricacin se vence, y hay que botarla.
La demanda diaria de esta torta es una variable aleatoria, independiente de los
dems das, segn la siguiente distribucin de probabilidad:
Demanda
0
1
2
3
4
Probabilidad
0.05
0.10
0,35
0,30
0,20
El dueo de la pastelera enfrenta el dilema de cuantas tortas producir cada da, y
para ello solicita opinin de tres expertos asesores empresariales, quienes les dan
cada uno, una recomendacin diferente.
El primer asesor le recomienda que se guie por la moda, es decir por la demanda
ms probable, en este caso 2, y que por lo tanto produzca 2 tortas cada da.
El segundo asesor le recomienda que se guie por la media, y que por lo tanto
debe producir en promedio un nmero de tortas que se equipare con la demanda
promedio.

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

51

El tercer asesor resulta ser el Sr. Eudomar Santos, el famoso personaje de la


telenovela venezolana Por estas calles, clebre por su frase Como vaya
viniendo, vamos viendo, quien le hace la siguiente recomendacin:
Cada da debes producir segn la demanda del da anterior, de manera que si el
da anterior te demandaron un nmero de tortas igual a las que fabricaste,
entonces ese da fabricas el mismo nmero de tortas que el da anterior; si el da
anterior se quedaron tortas sin vender, entonces el da siguiente fabricas una
menos que el anterior, y si el da anterior se quedaron clientes sin poder comprar
la torta, entonces el da siguiente fabricas una torta ms que en el da anterior.
Analice cul de estas tres recomendaciones le proporciona a largo plazo, una
mayor ganancia esperada a la pastelera.
X n = Numero de tortas fabricadas el ensimo da

Solucin: Sean Yn = Utilidad obtenida del ensimo da


D = Demanda de tortas en el ensimo da
n

Para calcular la utilidad contable obtenida cada da, hay que tener en cuenta que
por cada torta que se bote se pierden Bs. 400, que fue lo que cost producirla,
mientras que por cada torta vendida se gana Bs.1000 Bs.400 = Bs. 600.
Se habla de utilidad contable debido a que cuando demandan ms tortas de las
producidas, se venden las producidas pero hay un costo de oportunidad por los
clientes insatisfechos, que no est siendo tomado en consideracin.
En el primer caso la produccin es constantemente de 2 tortas todos los das, y
por tanto X n = 2; , = {2} la cadena presenta un nico valor posible.
Para hallar la utilidad obtenida en el ensimo da, consideremos los siguientes
casos:
Si Dn = 0 Se pierden las dos tortas producidas Yn = -800
Si Dn = 1 Se vende una y se pierde la otra Yn = -400 +600 = 200

Si Dn 2 Se venden las dos tortas producidas Yn = 2 x 600 = 1200

P( D
=
0=
)
0,05
n

La probabilidad de cada caso es: P( D=


)
1=
0,10
n
P( D 2 ) = 0,35 + 0,30 + 0,20 = 0,85
n

La utilidad diaria promedio en este primer caso resulta:

( ) = (0,05) (-800) + (0,10) (200) + (0,85) (1200) = Bs. 1000 diarios

En el segundo caso, el asesor recomienda que la produccin diaria promedio se


equipare con la demanda diaria promedio. La demanda diaria promedio es
( ) = (0,05) (0) + (0,10) (1) + (0,35) (2) + (0,30) (3) + (0,20) (4) = 2,50 tortas
Como no se puede producir 2 tortas y media cada da, entonces se decide
producir 2 tortas un da y 3 el siguiente, obteniendo la siguiente cadena peridica:
{ = 2 , = 3 } = {2,3} = 0 1
1 0
1
(2)
(2)
El perodo de esta cadena es 2, y 22 = 33 = 1 2 = 3 =
2

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

52

El beneficio obtenido cada da depende del nmero de tortas producidas y del


nmero de tortas demandadas.
Si = 2 el beneficio esperado es de Bs. 1000, ya calculado en el caso 1
( | = 2) = 1000
P( D
0=
)
0,05
=
n

1=
)
0,10
P( D=
n
Si = 3 , las tortas vendidas pueden ser
P( Dn = 2 ) = 0,35
P( D 3 ) = 0,30 + 0,20 = 0,50

n
Si Dn = 0 Se pierden las tres tortas producidas Yn = -1200

Si Dn = 1 Se vende una y se pierden dos Yn = -400 x 2 +600 = - 200

Si Dn = 2 Se venden dos tortas y se pierde una Yn = -400 +2 x 600 = 800

Si Dn 3 Se venden las tortas producidas Yn = 3 x 600 = 1800


( | = 3) = 1200 (0,05) 200 (0,10) + 800 (0,35) + 1800 (0,50) = Bs. 1100

Los das que se produzcan dos tortas el beneficio esperado es de Bs. 1000, los
das que se produzcan tres tortas, el beneficio esperado es de Bs. 1100.
La mitad de los das se producen dos tortas, y la otra mitad tres tortas, por lo tanto
el beneficio esperado de la cadena a largo plazo es:

( ) = (1000) + (1100) = Bs. 1050 diarios

En el tercer caso, la estrategia propuesta por el Sr. Eudomar Santos, la cadena


constituye una caminata aleatoria, pues desde un estado solo se puede acceder a
l mismo, o a sus dos vecinos.
En efecto, en este caso la cadena es de la forma { (): } , mientras que el
espacio de estados es = {0, 1 2, 3, 4}
Para hallar la matriz de transicin hay que tener presente que la demanda en
un da cualquiera, es independiente del nmero de tortas fabricada ese mismo da

En efecto, es de suponer que los clientes no tienen por qu saber cuntas tortas
se produjeron ese da; ellos acuden aleatoriamente a la pastelera.
De igual manera, el dueo de la pastelera cuando fabrica las tortas en la maana,
no sabe cuntas tortas le van a requerir ese da.
Por las razones antes expuestas, es lgico suponer que y son variables
aleatorias independientes ( = = ) = ( = )
X n ; si X n = Dn

La regla de transicin propuesta


es: X n+1 X n -1 ; si X n > Dn
=
X +1 ; si X < D
n
n
n

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

53

.05 .95 0
0
0

0
.05 .10 .85 0
La matriz de transicin es P = 0 .15 .35 .50 0

0 .50 .30 .20


0
0
0
0 .80 .20

El razonamiento para hallar esta matriz es como sigue


23 = Probabilidad de pasar de 2 a 3 = ( 3 = 2) = ( 3) = 0.5
22 = Probabilidad de pasar de 2 a 2 = ( = 2 = 2) = ( = 2) = 0.35
21 = Probabilidad de pasar de 2 a 1 = ( 1 = 2) = ( 1) = 0.15
34 = Probabilidad de pasar de 3 a 4 = ( 4 = 3) = ( 4) = 0.20
y as sucesivamente
Todos los estados se comunican, se trata de una cadena irreductible con estados
recurrentes y aperidicos, y por lo tanto lim existe
Una vez hallada la matriz de transicin se debe buscar el vector de estado
= P

permanente resolviendo el sistema i=k


i =1
i=0

( 0

1 2

4 ) =( 0

1 2

.05 .95 0
0
0

0
.05 .10 .85 0
4 ) 0 .15 .35 .50 0

0 .50 .30 .20


0
0
0
0 .80 .20

=
.05 0 + .05 1
0

.95 0 + .10 1 + .15 2


1
=

El sistema queda =
.85 1 + .35 2 + .50 3
2
= .50 + .30 + .80
2
3
4
3
.20 3 + .20 4
4
=
Una de las ecuaciones sobra por ser combinacin lineal de las otras, se elimina
i= 4

cualquiera de ellas, se sustituye por

i=0

=
.05 0 + .05 1
0

.95 0 + .10 1 + .15 2


1
=

.85 1 + .35 2 + .50 3


=
2
= .50 + .30 + .80
2
3
4
3
0 + 1 + 2 + 3 + 4 =1

=1, y se resuelve el sistema.

0 =0.00381

1 =0.07245

Resolviendo: 2 =0.41055
=0.41055
3
4 =0.10264

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

= 0.00381 0.07245

54

0.41055 0.41055 0.10264 ) es el vector de estado

permanente, y representa la proporcin de tiempo que el proceso permanece en


cada uno de sus estados; es decir que segn la recomendacin del Sr. Eudomar
Santos, el 0.381% de los das no se produce la torta, el 7.245 % de los das se
produce una, etc., el 10.264% se producen 4 tortas ese da.
El beneficio promedio asociado a cada estado es:
Cuando = 0 , no se produjo ninguna torta = 0 ( | = 0) = 0
Y = -400 ; si Dn =0
Si = 1 n
( | = 1) = 400(. 05) + 600(. 95) = 550
=
Yn 600 ; si Dn 1
Yn = -800 ; si Dn =0

Si=
X n 2=
Dn 1 ( | = 2) = 1000
=
Yn 200 ; si

=
Yn 1200 ; si Dn 2
Yn = -1200 ; si Dn =0

1
200 ; si Dn =
Y =
( | = 3) = 1100
Si X n = 3 n
Y
800
;
si
D
2
=
=
n
n
Y 1800 ; si D 3
=
n
n

Yn = -1600 ; si Dn = 0

600 ; si Dn =
1
Yn =

Si
X n 4=
Dn 2 ( | = 4) = 900
=
=
Yn 400 ; si

Y 1400
; si Dn 3
=
=
n
Yn 2400
; si Dn 4
=
=
El beneficio diario promedio para la cadena completa resulta ser:
=4

( ) = ( | = )
=0

( ) = 0,00381(0) + 0,07245(550) + 0,41055(1000) + 0,41055(1100) + 0,10264(900)

( ) = . ,

Del anlisis realizado, se concluye entonces que entre las tres recomendaciones,
la ptima es la segunda, debido a que es la que reporta un beneficio diario
promedio mayor.
Queda como pregunta para el lector: Identifica Ud. otra opcin mejor que esta?
Cul y por qu?
10. EJERCICIOS Y PROBLEMAS DIVERSOS
Ejemplo 23: Un mecanismo puede estar en 4 posiciones diferentes sobre una
circunferencia, de la forma como se seala en la figura:

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

55

En cada paso, el mecanismo puede


3
con probabilidad , girar 90 en
4
sentido de las manecillas del reloj, y
1
con probabilidad puede girar 90 en
4
sentido contrario
a) Si inicialmente, el mecanismo est en la posicin 0, calcule la probabilidad de
que en el cuarto paso, el mecanismo se encuentre nuevamente en esa misma
posicin
b) Cul es la probabilidad de que el primer regreso a la posicin 0, sea en el
cuarto paso?
c) Cul es la proporcin de tiempo que el mecanismo permanece en cada una de
las posiciones?
Solucin: Se trata de una cadena { (): } cuyo espacio de estados es
= {0,1, 2, 3}. El vector inicial de inicial de estado es 0 = (1 0 0 0) , y su matriz
3
1
0
0
4
4
1 0 3 0
de transicin es = 4 1 4 3 Matriz doblemente estocstica
0
0
3

4 0 4 0
A primera vista no se sabe si la cadena es irreductible o reductible, y es necesario
analizar la conectividad entre los estado.
0 1 ; 1 2 ; 2 3 Todos los estados se comunican. Es irreductible
Sin embargo, la matriz no es regular, algunos de sus elementos son iguales a 0, y
todos los de su diagonal principal son iguales a 0, y por lo tanto pudiera ser
peridica, pues ningn estado regresa a l en un paso.
Es necesario examinar las diferentes potencias de P, y si alguna resulta ser una
matriz regular, la conclusin es que se trata de una matriz ergdica.

()

2 +1

()

En general: = +1 , ; = 0,
2
En conclusin, se trata obviamente de una cadena peridica, donde slo es
posible regresar a cada uno de los estados en un nmero par de pasos.
a)El vector de estado para el cuarto paso es

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com
17

32

0
1 0 0 0
15

32

4 = 0 4 = (

56
0

15

32 = 17 0 15 0
32
32

17

32

15
32

17
32

17
32

15
32

La probabilidad de que en el cuarto paso el mecanismo haya regresado a la


17
(4)
posicin 0 es 00 =
32
b) La probabilidad anterior no constituye necesariamente el primer regreso, pudo
haber regresado previamente en el paso 2 y luego regresar por segunda vez en
paso 4.
17 3 3 25
(2) (2)
(4)
(4)
00 = (00 = 4) = 00 00 00 =
=
32 8 8 64
o tambin:
5 5 25
(2) (2)
(4)
00 = (00 = 4) = 02 20 = =
8 8 64
c) Se trata de una cadena de perodo d=2, pero donde la probabilidad de regreso
()
no es constante.
()

2 +1
2+1

()

, = +
2

2+1

()

; lim =

1
2

Cada dos pasos, el promedio de permanencia en los estados es (


) y de
2 2 2 2
all que el vector de estado permanente, que representa el promedio de
1 1 1 1
permanencia por unidad de tiempo, es decir por paso, sea = (
)
4 4 4 4
Este resultado era previsible por tratarse de un proceso con una matriz
doblemente estocstica, las cuales tienen la propiedad mencionada en su
oportunidad (pgina 32) , de tener un vector de estado permanente con
distribucin uniforme.
Ejemplo 24: Los mensajes se trasmiten en sistema binario utilizando slo ceros y
unos.
En cada etapa, un sistema de trasmisin puede cometer errores, y trasmitir como
uno a un cero, esto ocurre con probabilidad 0.02; y tambin puede incurrir en el
error de trasmitir a un cero como uno con probabilidad 0.01.
Un mensaje consta de 7 ceros y de 3 unos, y va a ser trasmitido a travs de tres
etapas.
a) Cul es la probabilidad de que llegue a su destino, correctamente trasmitido?
b) Si el mensaje lleg correcto, cul es la probabilidad de que haya sido
correctamente trasmitido en todas las etapas?
Solucin a) La cadena presenta solo dos estados = {0,1} y las probabilidades
de transicin en un paso representan:
00 = Probabilidad de que un cero llegue como cero = 0.98
01 = Probabilidad de que un cero llegue como uno = 0.02
10 = Probabilidad de que un uno llegue como cero = 0.01

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

57

11 = Probabilidad de que un uno llegue como uno = 0.99


0.98 0.02
0.9418 0.0582
=
3 =

0.01 0.99
0.0291 0.9709

De la matriz 3 se deduce que la probabilidad de que un cero llegue


(3)
correctamente trasmitido al cabo de tres etapas es 00 = 0.9418 , mientras que
(3)
para el uno es 11 = 0.9709
Si el mensaje consta de 7 ceros y de 3 unos, la probabilidad de que llegue
correctamente trasmitido es (0.9418)7 (0.9709)3 = 0,6015
b) Si el mensaje lleg correcto no necesariamente fue trasmitido correctamente en
todas las etapas, puede haberse cometido un error en una etapa intermedia y
luego corregirse con otro error en sentido contrario en otra de las etapas.
El razonamiento para enfrentar esta pregunta b), es como sigue:
Sea el evento A = El mensaje lleg correctamente trasmitido
Sea el evento B = El mensaje fue correctamente trasmitido en todas las etapas
()
()
Se quiere calcular (|) =
=

()

()

() = [(0.98)3 ]7 [(0.99)3 ]3 = 0.5977 (|) =

0.5977
= 0.9936
0,6015

Ejemplo 25: Considere una cadena { ; } con tres estados = {0,1,2} y


0.4 0.5 0.1
con matriz de transicin = 0.3 0.3 0.4 , y que arranca del estado inicial X 0
0.2 0.7 0.1
=2.
Halle las siguientes probabilidades:
a) (1 = 1|2 = 1) b) (1 = 1|2 = 0) )(1 = 0|2 = 1) )(1 = 2|3 = 2)
e) cul es la probabilidad de que la primera visita al estado 0 sea en el cuarto
paso? f) Hallar el vector de estado permanente. g) Calcular el tiempo medio de
permanencia en cada estado y el tiempo medio de transicin entre estados
Solucin: Este tipo de ejercicios tericos es muy frecuente de encontrar en la
bibliografa sobre el tema, comprenden casi todo el material incluido en este
resumen, y para resolverlos lo ms conveniente es construir un rbol, o en su
defecto, si ste resulte muy largo, identificar todas las trayectorias posibles que
llevan a un resultado determinado.
En el caso de que se pidan probabilidades condicionales, es necesario tener en
cuenta que ( |) =

()
()

En este ejemplo, el rbol para dos pasos del proceso es:

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

58

) (1 = 1|2 = 1) =

(1 =1 2 =1)
(2 =1)

0.70.3

0.20.5+0.70.3+0.10.7

(2 = 1) tambin puede ser calculada sin recurrir al


0.33
(2)
2
21 de la matriz de transicin en dos pasos = 0.29
0.31
b) (1 = 1|2 = 0)=

(1 =1 2 =0)

) (1 = 0|2 = 1) =

d)P(X1 = 2|X3 = 2) =

(2 =0)

(1 =0 2 =1)
(2 =1)

0.70.3

rbol,
0.42
0.52
0.38

0.21

0.38

0.20.5

= 0.5526

mediante el trmino
0.25
0.19
0.31

0.21

0.20.4+0.70.3+0.10.2 0.31

P(X1 = 2 X3 = 2)
P(X3 = 2)

= 0.6774

0.10

0.20.5+0.70.3+0.10.7 0.38

= 0.2632

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

59

Para calcular (3 = 2) se necesitara prolongar el rbol para incluir el tercer


(3)
paso, o ms fcilmente mediante el trmino 22 de la matriz de transicin en tres
0.308 0.466 0.226
(3)
pasos 3 = 0.310 0.434 0.256 (3 = 2) = 22 = 0.214
0.300 0.486 0.214
El numerador (1 = 2 3 = 2) estara representada en el rbol por las
siguiente trayectorias, teniendo en cuenta que el proceso arranc del Estado 2
2 2 0 2 Probabilidad = 0.1x0.2x0.1 = 0.002
2 2 1 2 Probabilidad = 0.1x0.7x0.4 = 0.028
2 2 2 2 Probabilidad = 0.1x0.1x0.1 = 0.001

Por tanto: (1 = 2 3 = 2) = 0.002 + 0.028 + 0.001 = 0.031


A este mismo resultado se llega con el razonamiento (1 = 2 3 = 2) exige
estar en el estado 2 en un paso, y pasar de 2 a 2 en 2 pasos, y de all
(1) (2)
(1 = 2 3 = 2) = 22 22 = 0.1 x 0.31 = 0.031
En conclusin (1 = 2|3 = 2) =

(1 =2 3 =2)
(3 =2)

0.031

0.214

= 0.1449

e) Para hallar la probabilidad de que la primera visita al estado 0 sea en el cuarto


paso se cuenta con varias opciones; una de ellas es la de analizar las diferentes
trayectorias para finalmente sumar sus probabilidades.
El proceso arranca del estado 2, y las posibles trayectorias son:
21110
21120
21210
22110
21220
22120
22210
22220
(4)

Probabilidad = 0.7 x 0.3 x 0.3 x 0.3 = 0.0189


Probabilidad = 0.7 x 0.3 x 0.4 x 0.2 = 0.0168
Probabilidad = 0.7 x 0.4 x 0.7 x 0.3 = 0.0588
Probabilidad = 0.1 x 0.7 x 0.3 x 0.3 = 0.0063
Probabilidad = 0.7 x 0.4 x 0.1 x 0.2 = 0.0056
Probabilidad = 0.1 x 0.7 x 0.4 x 0.2 = 0.0056
Probabilidad = 0.1 x 0.1 x 0.7 x 0.3 = 0.0021
Probabilidad = 0.1 x 0.1 x 0.1 x 0.2 = 0.0002

(20 = 4) = 20 = 0.1143

Otro procedimiento alternativo para calcular esta misma probabilidad .es el ya


explicado en la pgina 20, basado en:
(4)

(4)

(1) (3)

(2) (2)

(3)

20 = 20 20 00 20 00 20 00

0.3082 0.4520 0.2398


(4)
(3)
(2)
= 0.3054 0.4644 0.2302 20 = 0.3086 ; 00 = 0.308 ; 00 = 0.33 ;
0.3086 0.4456 0.2458
4

(1)

20 = 20 = 0.2 ;
(2)

(2)

(1)

20 = 20 20 00 = 0.31 0.2 0.4 = 0.23


(3)
(3)
(1) (2)
(2)
20 = 20 20 00 20 00 = 0.300 0.2 0.33 0.23 0.4 = 0.1420
(4)

20 = 0.3086 0.2 0.308 0.23 0.33 0.1420 0.4 = 0.1143

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

60

f) Antes de hallar el vector de estado permanente , se debe comenzar


analizando el tipo de cadena.
En este caso la matriz P es regular 0 ; (, ) P es ergdica
= P

Para hallar se debe resolver el ya conocido sistema de la pgina 32: i=k


i =1
i=0
0 = 0.40 + 0.31 + 0.22
0.4 0.5 0.1

(0 1 2 ) = (0 1 2 ) 0.3 0.3 0.4 1 = 0.50 + 0.31 + 0.72


= 0.1 + 0.4 + 0.1
0.2 0.7 0.1
0
1
2
2
La tercera es la suma de las dos primeras, y se sustituye por 0 + 1 +0 =1,
0.60 + 0.31 + 0.22 =
0

quedando 0.50 0.71 + 0.72 =0


0 =0.30702
+ + =1

0
1
2

1 =0.45614
=0.23684
2
Vector de estado permanente = (0.30702 0.45614 0.23684)
g) Para hallar los tiempos medios de transicin entre estados se debe aplicar el
procedimiento explicado en la pgina 40, que conduce al siguiente sistema de
ecuaciones:
01=1+ 0.4 01 + 0.1 21

02 =1+ 0.4 02 + 0.5 12


=1+ 0.3 + 0.4
10
10
20

12 =1+ 0.3 02 + 0.3 12


=1+ 0.7 + 0.1
10
20
20

=1+
0.2
0.1
21
01
21

01=1.9231

02 =4.4444
=3.7143
10

12 =3.3333
=4
20
=1.5835
21

Ejemplo 26: Un polica X se encuentra persiguiendo a un ladrn Y. Ambos se


mueven dentro del mismo espacio de estados = {1,2,3} , pero con diferentes
0.6 0.2 0.2
0 0.5 0.5
matrices de transicin = 0.2 0.6 0.2 , = 0.5 0 0.5.
0.2 0.2 0.6
0.5 0.5 0
Inicialmente se encuentran en diferentes estados, y la persecucin termina cuando
por primera vez ambos coinciden en el mismo estado.
a) Cul es la probabilidad de que la persecucin se prolongue por ms de tres
pasos?
b) Cul es el nmero esperado de pasos para que la persecucin termine?

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

61

Solucin: Este interesante problema es un caso particular de una situacin ms


amplia que ms adelante comentar.
Las matrices de transicin que aqu se sealan, son ambas doblemente
estocsticas, y simplifican el problema por presentar una propiedad que en
general no siempre se cumple:
La probabilidad de que X y Y coincidan en un determinado paso, es siempre la
misma, independientemente de cual haya sido su ubicacin en el paso anterior.
En efecto, X y Y pueden ocupar posiciones diferentes de 6 maneras distintas (1,2)
(1,3) (2,1) (2,3) (3,1) y (3,2).
La probabilidad de que en el prximo paso se encuentren es
Desde (1,2): X permanece en 1, Y pasa a 1 o X pasa a 3, Y pasa a 3
Probabilidad de encontrarse = 11 21 + 13 23 = 0.6 0.5 + 0.2 0.5 = 0.40
Desde (1,3): X permanece en 1, Y pasa a 1 o X pasa a 2, Y pasa a 2
Probabilidad de encontrarse = 11 31 + 12 32 = 0.6 0.5 + 0.2 0.5 = 0.40
Desde (2,1): X permanece en 2, Y pasa a 2 o X pasa a 3, Y pasa a 3
Probabilidad de encontrarse = 22 12 + 23 13 = 0.6 0.5 + 0.2 0.5 = 0.40
Desde (2,3): X permanece en 2, Y pasa a 2 o X pasa a 1, Y pasa a 1
Probabilidad de encontrarse = 22 32 + 21 31 = 0.6 0.5 + 0.2 0.5 = 0.40
Desde (3,1): X permanece en 3, Y pasa a 3 o X pasa a 2, Y pasa a 2
Probabilidad de encontrarse = 33 13 + 32 12 = 0.6 0.5 + 0.2 0.5 = 0.40
Desde (3,2): X permanece en 3, Y pasa a 3 o X pasa a 1, Y pasa a 1
Probabilidad de encontrarse = 33 23 + 31 21 = 0.6 0.5 + 0.2 0.5 = 0.40
En virtud de este hecho, si en un paso cualquiera estn en estados diferentes, la
probabilidad de que se produzca la captura en el siguiente es constantemente
p=0,40; lo cual trae como consecuencia que la variable:
W= Nmero de pasos hasta que se produzca la captura siga una distribucin
geomtrica con probabilidad de xito p=0,4, y cuya funcin de masas es:
() = ( = ) = 0.4 (0.6)1 ; = 1,2,3,

(Vase Modelos discretos de Probabilidad. Arvelo)

a) En consecuencia ( > 3) = (0.6)3 = 0.2160


1
1
b) () = =
= 2.5 pasos

0.40

Este problema se puede generalizar de las siguientes maneras:


Las matrices de transicin son matrices regulares cualesquiera
El conjunto de estados no es el mismo para ambos, solo algunos de los
estados son comunes, y por lo tanto la captura solo puede producirse si la
coincidencia en un estado comn ocurre en el mismo paso.
Queda como tema de reflexin y de investigacin para el lector, la solucin de este
problema en el caso general
Ejemplo 27: Para obtener el ttulo de Tcnico Superior en una prestigiosa
institucin es necesario cursar estudios durante dos aos.

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

62

El primer ao es de formacin general en aula, mientras que el segundo ao es de


formacin prctica en talleres y laboratorios, por lo que resulta ms costoso que el
primero.
La probabilidad de que un alumno apruebe satisfactoriamente el primer ao es de
0.5, de que sea reprobado y deba repetirlo de 0.3, y de que abandone y se retire
de 0.2. Para el segundo ao estas probabilidades son de 0.7, 0.2 y 0.1
respectivamente.
Los alumnos que abandonan y se retiran no son readmitidos, y los que completan
satisfactoriamente los dos aos de estudio, obtienen el ttulo.
El costo de la matrcula es de $ 1000 anuales para el primer ao, y de $ 1800
anuales para el segundo.
a) Cul es la probabilidad de que un alumno se grade?
b) Cul es la probabilidad de que un alumno tarde exactamente cuatro aos en
graduarse?
c) Si un alumno se gradu, cul es la probabilidad de que lo haya hecho en
exactamente cuatro aos?
d) Para los alumnos que se gradan Cul es el tiempo promedio en graduarse?
e) Cul es el costo esperado de obtener el ttulo?
Solucin: a) La cadena presenta cuatro estados = {0,1,2,3}
E o : El alumno se retir Estado absorbente
E 1 : El alumno cursa primer ao
E 2 : El alumno cursa segundo ao
E 3 : El alumno se gradu Estado absorbente
El diagrama de estados
Matriz de transicin:

1
0
0
0

0.2 0.3 0.5 0

P=
0.1 0 0.2 0.7

0
0
1
0

Un alumno se grada cuando es absorbido por el estado E 3 , de manera que para


calcular la probabilidad de que un alumno se grade, es necesario calcular
probabilidad de absorcin para el estado E 3 .
Como la cadena no es irreductible, presenta dos estados absorbentes, la
probabilidad de absorcin depende del estado inicial. En este caso se entiende
que la pregunta se refiere a un alumno que comienza, y que por lo tanto su estado
inicial es E 1 .
Segn lo explicado en la pgina 35, consideremos las siguientes probabilidades:
1 =Probabilidad de que el alumno se grade cuando est en primer ao
2 = Probabilidad de que el alumno se grade cuando est en segundo ao
1 = 0.3 1 + 0.5 2

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

63

2 = 0.2 2 + 0.7
5
Resolviendo el sistema se obtiene: 1 =
8

2 =

7
8

Cuando est en primer ao, la probabilidad de graduarse es


7

5
8

, mientras que si

est cursando segundo ao es de


8
Es de suponer que la pregunta se refiere a probabilidad de graduarse para un
5
alumno que comienza la carrera
8

b) La probabilidad de que un alumno se grade en exactamente cuatro aos,


representa la probabilidad de que la primera visita al estado E 3 sea en el cuarto
paso, y es aplicable el procedimiento convencional ya explicado para ello
Sin embargo en este caso donde el estado E 3 es accesible solamente desde E 2 ,
cabe el siguiente razonamiento exclusivo para estos casos:
El alumno se grada en exactamente cuatro aos, si en tres pasos se encuentra
en el estado E 2 , y en el cuarto paso, hace la transicin a E 3 .
El vector de estado en el tercer paso es: =
0 = (0 1 0 0) pues el proceso arranca con el alumno en el estado E 1
3 = (0.353 0.027 0.095 0.525)

La probabilidad de que en el tercer paso el alumno est en E2 es 0.095, mientras


que la probabilidad de que en el cuarto paso haga la transicin a E3 es 0,7
Por lo tanto la probabilidad de que el alumno haga su primera visita al estado 3 en
el cuarto paso, es decir se grade justamente en el cuarto ao es:
(4)
13 = (13 = 4) = 0.095 0.7 = 0.0665

Otro camino alterno que pudiera ser aplicado aqu es el siguiente:


Un alumno se grada en cuatro aos cuando resulta reprobado dos veces en el
primer ao lo aprueba a la tercera vez y luego aprueba el segundo ao a la
primera, o repite una vez el primer ao lo aprueba a la segunda repite una vez el
segundo ao y lo aprueba a la segunda, o aprueba el primer ao repite dos veces
el segundo y finalmente lo aprueba a la tercera. Bajo este razonamiento se tiene:
(4)
13 = (0.3)2 (0.5)(0.7) + (0.3)(0.5)(0.2)(0.7) + 0.5(0.2)2 (0.7) = 0.0665
Este ltimo procedimiento se conoce como la convolucin entre los tiempos de
(4)
() (4)
transicin a cada estado intermedio 13 = =3
=1 12 23
Resulta curioso sealar que mediante este procedimiento, es posible calcular
tambin la probabilidad de graduarse.
En efecto, la probabilidad de graduarse en n aos es la sumatoria entre las
probabilidades de aprobar el primer ao en i aos multiplicada por la probabilidad
de aprobar el segundo en n-i aos, y as:

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

64

()
13

=1

= (0.5)(0.3)1 (0.7)(0.2)1
=1

Esta sumatoria puede ser manipulada algebraicamente, y tomando en cuenta la


suma de los primeros trminos de una serie geomtrica, se llega a una expresin
general para la probabilidad de graduarse en n aos, segn la cual:
3
()
13 = 0.70 (0.30)2 (0.20)2 ; 2
2
y de all, que la probabilidad de que un estudiante se grade es

3
5
1 = 0.70 (0.30)2 (0.20)2 =
2
8
=2

lo que coincide con el resultado anteriormente obtenido en el apartado a) de este


mismo ejercicio.

c) Este tercer apartado es una probabilidad condicional, pues se refiere a un


alumno que se gradu, y para calcularla se deben considerar los siguientes
eventos.
A : El alumno se gradu
B: El alumno se gradu en cuatro aos. Obviamente A B =
()
()
0.0665
(|) =
=
=
= 0.1064
()

()

5/8

d) La pregunta formulada en este apartado, suele crear mucha confusin, debido a


que no tiene sentido formularla en trminos generales sin imponer la condicin de
que el tiempo promedio solicitado est restringido solamente a los alumnos que se
gradan.
En efecto, si la pregunta se formula en general cul es el tiempo promedio que
tarda un alumno en graduarse?, la respuesta sera infinito, pues al haber unos
alumnos que nunca llegan a graduarse por haberse retirado, el tiempo de
graduacin para ellos sera infinito.
En consecuencia lo que se pregunta es una esperanza condicionada.
Si se designa por T13 al tiempo en graduarse, y por A al evento ya definido
anteriormente, lo que se est preguntado es E(T13A).
La distribucin condicional de T13 es segn lo explicado en el apartado anterior
8 () 8
3
(13 = |) = 13 = 0.70 (0.30)2 (0.20)2 ; 2
5
5
2
y de all se deduce que
3
2
E(T13A)= 1.12
(0.20)2 = 2.6786 aos
(Vase Pag. 38)
=2 (0.30)
2

e) Dado que la matrcula es diferente para cada etapa, es necesario calcular el


tiempo promedio que el alumno tarda en aprobar cada ao de la carrera tcnica, a
los fines de establecer el costo promedio de obtener el ttulo.
Sea A1: Probabilidad de aprobar el primer ao de la carrera
A2: Probabilidad de aprobar el segundo ao de la carrera

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

65

El alumno aprueba el primer ao si lo aprueba al primer intento, cuya probabilidad


es 0.5; al segundo intento si reprueba la primera vez y lo aprueba a la segunda
cuya probabilidad es (0.3) x (0.5), etc.

1
5
(1 ) = (0.5)(0.3)1 = (0.5)
=
1 0.3 7
=1

(2 ) = (0.7)(0.2)1 = (0.7)
=1

5 7

1
7
=
1 0.2 8

(1 2 ) = (1 ) (2 ) = = = Probabilidad de graduarse, ya conocida


7 8
8
Por la razn ya explicada, el tiempo promedio en aprobar cada ao debe
calcularse condicionada a que el alumno lo aprob.
Sea T12: Tiempo en aprobar el primer ao de la carrera
T23: Tiempo en aprobar el segundo ao de la carrera
La distribucin condicional de T12 dado A1 es:
7
(12 = |1 ) = (0.5)(0.3)1 = 0.7 (0.3)1 ; 1
5
1
(0.3)
E(T12A1)= 0.7

=
1.4286 aos
(Vase Pag. 38)
=1
Anlogamente a distribucin condicional de T23 dado A2 es:
8
(23 = |2 ) = (0.7)(0.2)1 = 0.8 (0.2)1 ; 1
7
1
E(T23A2)= 0.8
= 1.25 aos
=1 (0.2)

Obviamente E(T12A1)+ E(T23A2)=1.4286 + 1.25 = 2.6786= E(T13A) , que es la


duracin esperada de la carrera para aquellos alumnos que se gradan.
Como el costo de la matrcula es de $ 1000 anuales para el primer ao, y de
$ 1800 anuales para el segundo, el costo esperado de obtener el ttulo es:
E(Costo) = 1000 E(T12A1)+1800 E(T23A2) = $ 3.678,60
Ejemplo 28:

Solucin:
El espacio de estados para Xn es = {0,1,2} , que corresponde al
nmero de mquinas que pueden estar operativas.

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

66

00

00 =

01

01 =

02
10

1 1

01 = =
2 4

11

02 = 0

1
8

1 1

20

1 3

11 = + =
2 4

12
1 3
3
12 = =
2 4

2 4

1 1

20 = =
4 4

21
22

2
3

1
La matriz de transicin es: = 8

16

2
1
8

1
2
1

16
1 3

21 = 2 =

4 4
3 3

22 = =
4 4

3
8

16

8
9

16

c) Se trata de una cadena irreductible, pues todos los estados se comunican entre
s, la matriz P es ergdica, y el vector de estado estacionario es nico.
= P

Para hallarlo, se resuelve el sistema de ecuaciones: i=k


cuya solucin
i =1
i=0
5

14

12

resulta ser =

31 31 31
El mecnico se encuentra ocioso cuando las dos mquinas se encuentran
operativas, es decir en el estado 2.
12
La proporcin de tiempo que el proceso permanece en el estado dos es
100%
31
= 38,71 % del tiempo.

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

67

Ejemplo 29: Cada maana un hombre va de su casa a su trabajo, y cada tarde


realiza el camino inverso.
1
La probabilidad de cada maana llueva es de , mientras que durante la tarde, la
3

probabilidad de lluvia es de
5
Este hombre posee un carro, de manera que est lloviendo, y el carro se
encuentra en el mismo lugar, lo toma y conduce hasta su destino; mientras que si
no est lloviendo, decide dejarlo estacionado donde se encuentra, e irse a su
destino en transporte pblico para ahorrar combustible. Si llueve, y el carro no se
encuentra en su lugar de origen, debe tomar el transporte pblico, y mojarse.
Cul es la probabilidad de que este hombre llegue mojado a su destino?
Solucin: La cadena presenta cuatro estados = {1,2,3,4}
1: (C, C): Hombre en su casa, carro en su casa
2: (C, O): Hombre en su casa, carro en su oficina
3: (O, C): Hombre en su oficina, carro en su casa
4: (O, O): Hombre en su oficina, carro en su oficina
0 ; Si llueve
Los posibles valores de la cadena son X n =
1 ; Si no llueve
Cada da se realizan dos pasos, y las posibles transiciones son:
13

13 =

14

24
31
41
42

14 =

0
1

41 =

1
5

41 =

0
0
4
5

2
3
0
0
0

1
3

2
3

24 = 1
31 = 1

3
1
0

Los estados 1 y 2 solo pueden ser visitados en pasos pares, mientras que los
estados 3 y 4 en pasos impares.
Esta periodicidad de la cadena se debe a que en los pasos pares, el hombre sale
de su casa en la maana, mientras que en los impares sale de su oficina en la
tarde.

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

68

Podemos entonces considerar dos subprocesos, uno que se refiere a las salidas
de su casa en la maana con dos estados 1 = {1,2}, y otro a las salidas de su
oficina en la tarde con dos estados 2 = {3,4} , cuyas matrices de transicin son:
11 4
2 1 1 0
= 3 3 1 4 = 15 15
1
4
0 1 5 5
5
5
2
1
1 0 2 1
3
= 1 4 3 3 = 3
2 13
5 5 0 1
15 15
11
La matriz se refiere a las transiciones de una maana a otra, es decir por
15
ejemplo, representa la probabilidad de que en una maana estn el hombre y el
carro en la casa, y la maana siguiente tambin.
1
La matriz se refiere a las transiciones de una tarde a otra, es decir por
3
ejemplo, representa la probabilidad de transicin del Estado 3 al 4, que en una
tarde est el hombre en la oficina y el carro en la casa, y la tarde siguiente estn
ambos en la oficina.
Cada uno de estos dos procesos, vistos por separado, son irreductibles, pues sus
correspondientes matrices de transicin son regulares.
El vector de estado estacionario cada uno de estos dos procesos resulta ser:
3 4
2 5
Para : = (
)
Para : = (
)
7 7
7 7
Lo anterior significa, que a largo plazo, la probabilidad de que en la maana, la
4
probabilidad de que el carro est en la oficina es (Estado 2), mientras que en la
7

tarde, la probabilidad de que el carro est en la casa es (Estado 3)


7
El hombre llega mojado a su oficina en la maana cuando se encuentra en el
4 1
4
estado 2 y esa maana llueve. Probabilidad = =
7 3
21
El hombre llega mojado a su casa en la tarde cuando se encuentra en el estado 3
2 1
2
y esa tarde llueve. Probabilidad = =
7 5
35
Como el proceso es peridico, en un da cualquiera la salida puede ser de su casa
o de su oficina con probabilidad para cada una, por lo tanto, la probabilidad total
de llegar mojado a su destino es:

2 21

2 35

13

105

Se deja como ejercicio para el lector generalizar este problema para el caso en
que la persona posea n carros, suponiendo que los utiliza a conveniencia para
trasladarse de su casa a su oficina y viceversa, pudindolos dejar estacionados
donde se encuentre, si al momento de salir no est lloviendo.
11. EJERCICIOS Y PROBLEMAS PROPUESTOS
1) Una tienda dedicada a la venta de computadoras aplica la siguiente poltica
para hacer sus pedidos:

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

69

El sbado por la noche cuenta el nmero de computadoras que an le quedan en


existencia.
Si le queda alguna, no hace ningn pedido para la semana entrante.
Si se le agot la existencia, hace un pedido de tres computadoras, que se
suponen llegan a la tienda a primera hora del lunes de la semana entrante.
Considere el proceso: Xk = Nmero de computadoras en existencia al final de la
semana k.
Suponiendo que la demanda de computadoras sigue una Distribucin de Poisson
con media una computadora por semana, encuentre:
a) La Matriz de transicin en un paso.
b) Suponiendo que al inicio del proceso, la tienda tena 3 computadoras en
existencia, Cul es la probabilidad de que la primera vez en agotarse el
inventario sea en la semana 2?
c) Cul es el porcentaje de semanas que terminan con alguna computadora en
existencia?
Solucin : c) 71,5 %
2) Dos personas A y B, apuestan segn las siguientes reglas: En cada jugada,
lanzan alternadamente un par de dados comenzando A ; el primero en obtener
suma 7 gana la apuesta. Cada uno tiene dos oportunidades, de manera que si al
cuarto lanzamiento de los dados no han obtenido suma 7 no hay ganador en esa
jugada. Si el ganador saca suma 7 en su primer tiro, el perdedor le paga dos
monedas, pero si obtiene suma 7 en su segundo tiro, el perdedor le paga una
moneda.
Antes de comenzar el juego, se distribuyen aleatoriamente cinco monedas entre
ellos, lanzndolas al aire; si sale cara se la dan a A , y si sale sello se la dan a
B.
Sea Xk = Nmero de monedas en poder de A despus de k jugadas
Encuentre la matriz de transicin.
Encuentre el vector de estado despus de la tercera jugada.
Cul es la probabilidad de que el juego termine en la segunda jugada por
encontrarse arruinado alguno de los dos apostadores?
3) En una carrera entre un conejo y una tortuga, el conejo le da 3 metros de
ventaja a la tortuga. En cada unidad de tiempo, el conejo avanza un metro, pero la
tortuga se queda donde est con probabilidad 2/3 o avanza un metro con
probabilidad 1/3.
La carrera termina cuando el conejo alcanza a la tortuga.
Sea Xk = Ventaja que le lleva la tortuga al conejo despus de k unidades de
tiempo.
a) Encuentre la matriz de transicin entre estados.
b) Cul es la probabilidad de que el conejo alcance a la tortuga en la sptima
unidad de tiempo?
Solucin: b) 40 / 729
4) Un apostador debe lanzar sucesivamente un dado equilibrado, hasta que
hayan aparecido las seis caras posibles.

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

70

a) Cul es la probabilidad de que deba lanzarlo diez veces?


c) ms de diez veces?
d) Cul es el nmero esperado de lanzamientos que deber realizar?
Solucin: a) 0.82769 b) 0.72819 c) 14.7
5) Suponga que n pelotas numeradas del 1 al n, se colocan aleatoriamente dentro de
dos cajas. En el momento inicial, algunas de ellas estn colocadas dentro de la caja 1, y
el resto dentro de la caja 2.
En cada paso, se selecciona al azar un nmero entre 1 y n; y la pelota con ese nmero es
cambiada de caja.
Sea Xk = Numero de pelotas dentro de la caja 1 al cabo de k pasos
Este proceso se conoce como Cadena de Ehrenfest, y resulta de gran aplicacin en la
Fsica Estadstica.
Encuentre su matriz de transicin

Solucin: ,+1 =
; = 0 ; ,1 =

6) Demuestre que si en una Cadena de Ehrenfest, el vector inicial de estado 0 sigue una
1
distribucin binomial con parmetros n y ; entonces todos los dems vectores de
2
estados ; = 1,2,3, siguen esa misma distribucin.

7) Considere una Cadena de Markov con dos estados = {0,1}, y cuya matriz de

1
. Encuentre las siguientes probabilidades:
transicin es: =
1

()
()
) (1 = 00 = 0 2 =0)
) 00 ) 01
2
; ) 2 (1 )(1 ); ) 1 (1 )
: ) 2
+ (1 )(1 )

8) En una red de transmisin de datos binarios, existe una cierta probabilidad


0,10 de que un cero sea transmitido como uno, y de 0,05 de que un uno sea
transmitido como cero.
Un mensaje tiene cinco ceros y dos unos, y va a ser enviado a travs de una red
de transmisin con tres pasos.
Cul es la probabilidad de que el mensaje llegue correctamente a su destino?
Solucin: 0.17164
9) Dos apostadores A y B, juegan una secuencia de juegos, lanzando
sucesivamente, siempre comenzando A, un dado hasta que salga por primera vez
un seis. El primero en obtener un seis gana la apuesta de una moneda, e
inmediatamente despus comienza la siguiente secuencia.
Al iniciar, cada apostador recibe aleatoriamente una de dos bolsas, una de las
cuales contiene tres monedas y la otra dos.
La secuencia termina cuando uno de los dos apostadores queda arruinado.
a) Cul es la probabilidad de que el apostador A se arruine exactamente en la
quinta secuencia?
b) Cul es el nmero esperado de secuencias que es necesario jugar?
c) Cul es la probabilidad de que el apostador A gane la secuencia de juegos?
Solucin: a) 0,0349 b) 5.9136 c) 0.60761

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

71

10) Una primera caja contiene inicialmente K pelotas rojas, mientras que otra
segunda caja K pelotas negras.
En cada paso, se elige aleatoriamente una pelota de caja y se intercambian de
caja.
Sea Xn= Numero de pelotas rojas en la primera caja despus de n pasos
Defina la matriz de transicin correspondiente a esta cadena
Solucin: Es una matriz cuadrada de dimensin (k+1) x (k+1) donde y adems:

p = 0
00
i2

; si j=i-1 , i=1,2,L ,k
k 2
2( k - i)
pij =
; si i = j , i 0 ,i=1,2,L k
k 2

2
( k - i) ; si j = i+1 , i=1,2,L ,k-1
k 2

0 ; en otro caso
11) Un taxista se mueve entre el aeropuerto (A) y dos hoteles (B y C), segn las
siguientes normas:
Si est en el aeropuerto, ir a alguno de los dos hoteles con la misma
probabilidad.
Si se encuentra en uno de los hoteles, volver al aeropuerto con probabilidad 3/4 o
ir al otro hotel con probabilidad 1/4.
a. Determina la matriz de probabilidades de transicin de la cadena.
b. Suponiendo que el taxista se encuentra en el aeropuerto en el instante inicial,
calcule la probabilidad de que se encuentre en cada uno de los destinos, despus
de realizar el segundo viaje
c. Cuando el taxista se encuentra en uno de los hoteles, Cul es el nmero
esperado de viajes para regresar a l?
d. Cuando el taxista se encuentra en uno de los hoteles, Cul es el nmero
esperado de viajes para visitar al otro?
3 1 1
Solucin: b) 2 = 4 8 8 c) 3.5 d) 14/5
12) Un comercio especializado en la venta de televisores, sigue al final de cada
mes, la siguiente poltica para hacer sus pedidos al proveedor:
Si el almacn no tiene existencia, realiza una orden por cuatro aparatos.
Si queda un solo aparato en existencia, emite una orden por tres nuevos aparatos.
Si quedan dos o ms en existencia, no coloca ninguna orden.
Se supone que las rdenes se hacen siempre al fin de mes, y llegan
inmediatamente, es decir, a primera hora del primer da del mes siguiente.
La demanda mensual de televisores es una variable aleatoria D, que sigue una
distribucin geomtrica de la forma: () =

1
3

; = 0,1,2,
3

Cadenas de Markov. Arvelo


angelf.arvelo@gmail.com

72

Se supone que la demanda en cada mes es independiente de los dems meses, y


que no existe demanda diferida, es decir, la demanda no satisfecha en un mes, no
se traslada al siguiente.
Sea Xn= Numero de aparatos en el almacn al final del mes n
a) Encuentre la matriz de transicin para este proceso markoviano.
b) Si inicialmente, en el almacn hay cuatro aparatos en existencia, Cul es la
probabilidad de que al final del tercer mes est vaco?
c) Cuando el almacn est lleno al final del mes, cul es el nmero esperado de
meses que deben transcurrir, para que vuelva a terminar lleno?
d) Si mantener el almacn tiene un costo fijo de $ 500 mensuales por concepto de
espacio fsico, personal, etc., y adems mantener un televisor almacenado durante
un mes, tiene un costo de $ 100 mensuales, por concepto de capital invertido,
seguros, limpieza, etc. Cul es el costo mensual esperado de esta poltica de
pedidos?

Solucin: a)

16

81
16

81

4
9

27
16
81

8
81
8
81
2
9
4
27
8
81

4
27
4
27
1
3
2
9
4
27

2
9
2
9
0
1
3
2
9

b) 0.26608 c) 5 meses d) $693.33

You might also like