1

CADENAS DE MARKOV

Se presentan Modelos Probabilsticos para procesos que evolucionan en el
tiempo de una manera estocstica. Tales procesos se denominan Procesos
Estocsticos, siendo uno de ellos las Cadenas de Markov, que tienen la propiedad
particular de que las probabilidades que describen la evolucin del proceso en el
futuro, dependen solo del estado actual en que se encuentra el proceso, y por lo
tanto son independientes de los estados anteriores al actual.



P
rob
de paso
E
1
E
1

E
2
E
2

E
3
E
3

. .
. .
. .
E
J
E
J

. .
. .

Actual Futuro
t t+1


Definicin: Un Proceso Estocstico se define como una coleccin indexada de
variables aleatorias { X
t
}, en donde el ndice t toma valores de un conjunto T dado,
normalmente los enteros no negativos.


Ejemplo: Evolucin del nivel de inventario promedio semanal de un producto dado.
t : Semanas ( 1,2,3,...).
X
t
: Nivel de inventario promedio en la semana t (X
1
, X
2
, X
3
, ...).


Observacin: La representacin matemtica de un sistema fsico en operacin que
puede encontrarse en una de un nmero finito de categoras (o estados)
mutuamente excluyentes, etiquetados 0,1,2,3,...,M, es la de un Proceso
Estocstico { X
t
}, en donde las variables aleatorias se observan en t = 0, 1, 2, 3,.....,
y pueden tomar el valor de uno cualquiera de los M+1 enteros que etiquetan a los
estados caracterizndolos.
2
Ejemplo (problema de inventarios): Una tienda de cmaras tiene en almacn un
tipo de cmara que puede ser ordenada cada semana.
Sean:
* D
1
, D
2
,..., D
i
,....las demandas de esa cmara durante la primera, segunda,..., i, ...
semana, respectivamente. Con D
i
v.a..i.i.d., con distribucin Poisson (1),
conocida.

* X
0
, X
1
, X
2
,...., el nmero de cmaras que se tiene al momento de iniciar el
proceso, al cabo de la semana 1, semana 2, etc., respectivamente.

Suponga que i) X
0
= 3
ii) El sbado en la noche la tienda realiza un pedido que ser
recepcionado el lunes al abrir la Tienda.
iii) La tienda utiliza una poltica (s,S) para ordenar, con s=1, y
S=3.
iv) Las ventas se pierden cuando la demanda excede el
inventario.


Entonces { X
t
}, para t=0,1,2,... es un proceso Estocstico, cuyos estados son
etiquetados con 0,1,2,3, que representan (y coincide con) la cantidad de cmaras
posibles de encontrar en inventario al final de la semana.

Es claro que las variables aleatorias X
t
son dependientes, y obedecen a la siguiente
expresin iterativa:


{ }
{ }

<
=
+
+
+
, 1 0 ), (
, 1 0 ), 3 (
1
1
1
t t t
t t
t
X si D X max
X si D max
X


Propiedad: Un proceso Estocstico { X
t
}, tal que:

P{X
t+1
=j / X
0
=k
0
, X
1
=k
1
, , X
t-1
=k
t-1
,X
t
=i} = P{X
t+1
=j / X
t
=i},
t=0,1,2,, y toda sucesin i,j,k
0,
,k
t-1

Definicin: Las probabilidades condicionales P{X
t+1
=j / X
t
=i}, se llaman
probabilidades de transicin desde el estado i al estado j, y si:

{ } { } = = = = = =
+
i j P X j X i P X j X i para toda t
t t 1 1 0
0 1 2 / / , , , ,...,

Se dice que las probabilidades de transicin (de un paso) son estacionarias, y se
denotan por p
ij

3

p
32

E
1
E
1

E
2
E
2

E
3
E
3

. .
. .
. .
E
J
E
J

. .
. .

Actual Futuro
t t+1



Lo anterior implica, adems, que:

P{X
t+n
=j / X
t
=i}= P{X
n
=j / X
0
=i}, Para todo i, j, n (n=0,1,2)

que se denota por P
n
ij
( )
y se llama probabilidad de transicin de n pasos, e indica
la probabilidad de que la variable aleatoria X se encuentre en el estado j despus de
n pasos (unidades de tiempo) si parti desde el estado i.


P
n
ij
( )

E
1
E
1

E
2
E
2

E
3
E
3

. .
. .
. .
E
J
E
J

. .
. .

Inicial Futuro
t=0 t=n

4
Nota: dado que P
n
ij
( )
indica una Probabilidad condicional se tiene que:
P
n
ij
( )
0 Para toda i y j; n=0,1,2,

,... 2 , 1 , 0 ; 1
0
) (
= =

=
n i toda Para P
M
j
n
ij


Observacin: Una notacin conveniente para representar las probabilidades de
transicin de n pasos es la forma Matricial:

Estado 0 1 . . . M
0
P
n
P
n
P
n
M
( ) ( )
...
( )
00 01 0


P
n
P
n
P
n
M
( ) ( )
...
( )
00 01 0

1
P
n
P
n
P
n
M
( ) ( )
...
( )
10 11 1


o bien P
(n)
=
P
n
P
n
P
n
M
( ) ( )
...
( )
10 11 1

.
.
.

M
P
n
M
P
n
M
P
n
MM
( ) ( )
...
( )
0 1


P
n
M
P
n
M
P
n
MM
( ) ( )
...
( )
0 1



Donde si n=1, no se escribe.


Observacin: A menos que se indique lo contrario, analizremos las Cadenas de
Markov que cumplan con:

i) Un nmero finito de estados M.
ii) Probabilidades de transicin estacionarias.

P{X
t+n
=j / X
t
=i}= P{X
n
=j / X
0
=i}, Para todo i, j, n (n=0,1,2)

iii) Se cuenta adems con un conjunto de probabilidades iniciales P{X
0
=i},
i.


Para el ejemplo anterior se tiene que:

* X
t
: nmero de cmaras en almacn al final de la semana.
* X
t
constituye una cadena de Markov.
5
* La Matriz de Transicin de un paso ser:

P
p p p p
p p p p
p p p p
p p p p
=

(
(
(
(
00 01 02 03
10 11 12 13
20 21 22 23
30 31 32 33


Si suponemos que cada D
t
tiene una distribucin de Poisson con =1, se tiene:

p
00
= P{X
t
=0 / X
t-1
=0}:
como X
t-1
=0 (se ordena 3), entonces X
t
=mx{(3-D
t
),0)}
luego:
X
t
=0 D
t
3
as, p
00
= P{ D
t
3} = 1- P{ D
t
2} = 0.08, la probabilidad
de que una v.a. Poisson(=1) tome el valor 3 o mayor a 3.

P
10
= P{X
t
=0 / X
t-1
=1}:
como X
t-1
=1 (no se ordena), entonces X
t
=mx{(1-D
t
),0)}
luego:
X
t
=0 D
t
1
as, p
10
= P{ D
t
1} = 1- P{ D
t
= 0} =0.632, la probabilidad
de que una v.a. Poisson(=1) tome el valor 1 o mayor a 1.

.
.
.

P
21
= P{X
t
=1 / X
t-1
=2}:
como X
t-1
=2 (no se ordena), entonces X
t
=mx{(2-D
t
),0)}
luego:
X
t
=1 D
t
= 1
as, p
21
= P{ D
t
= 1} =0.368, la probabilidad de que una
v.a. Poisson(=1) tome el valor 1.


y as, sucesivamente, la matriz de transicin (de un paso) ser:

P =

(
(
(
(
0 080 0184 0 368 0 368
0 632 0 368 0 0
0 264 0 368 0 368 0
0 080 0184 0 368 0 368
. . . .
. .
. . .
. . . .


6
ECUACIONES DE CHAPMAN-KOLMOGOROV

La probabilidad de que el proceso se encuentre en el estado j despus de n
periodos ( Pasos) habindose iniciado en el estado i, P
n
ij
( )
puede ser determinada
mediante:
P
n
ij
P P para toda i j n y m n
ik
m
kj
n m
k
M
( )
, , , , .
( ) ( )
=

0
0

donde P P es
ik
m
kj
n m ( ) ( )
la probabilidad condicional de que, si comienza en el
estado i, el proceso vaya al estado k despus de m pasos y desde all al estado
j en m-n pasos.


Observacin: casos especiales:

m=1 P
n
ij
P P para toda i j n y n
ik kj
n
k
M
( )
, , , , .
( )
=

1
0
1

m=n-1 P
n
ij
P P para toda i j n y n
ik
n
kj
k
M
( )
, , , , .
( )
=

1
0
1


Nota: Lo anterior indica que las probabilidades de transicin de n pasos
pueden ser obtenidas a partir de las probabilidades de transicin de un paso
de manera recursiva. Por ejemplo, ir de i a j en exactamente dos pasos, ser:

P
ij
P P paratoda i j
ik kj
k
M
( )
, ,
2
0
=
=

que son elementos de la matriz P
(2)
, pueden ser determinados multiplicando P
(1)

por si mismo. Por lo que, en general, se tiene:

P
(n)
= P P
(n-1)

y en el ejemplo:

7
P
( )
. . . .
. .
. . .
. . . .
*
. . . .
. .
. . .
. . . .
2
0 080 0184 0 368 0 368
0632 0 368 0 0
0264 0 368 0 368 0
0 080 0184 0 368 0 368
0 080 0184 0 368 0 368
0 632 0 368 0 0
0 264 0 368 0 368 0
0 080 0184 0 368 0 368
=

(
(
(
(

(
(
(
(

As:
P
( )
. . . .
. . . .
. . . .
. . . .
2
0 249 0 286 0 300 0165
0 283 0 252 0 233 0 233
0 351 0 319 0 233 0 097
0 249 0 286 0 300 0165
=

(
(
(
(


Luego si queda una cmara al final de una semana, 0.283 es la probabilidad de que
no haya cmaras en inventario al final de la segunda semana.


Propiedad: Si se desea la probabilidad incondicional de que el sistema este en el
estado j despus de n pasos (periodos), P{X
n
=j}, es necesario conocer la
distribucin de probabilidad del estado inicial, denotado por:

{ } Q i P X i para i M
X
0
0
0 12 ( ) , , ,..., . = = =

y se tiene que:
{ }
) ( ) (
1
) (
0
) ( . .. ) 1 ( ) 0 (
0 0 0
n
Mj X
n
j X
n
j X n
P M Q P Q P Q j X P + + + = =

Ejemplo: para el caso anterior se supuso que X
0
=3. Luego:


. 1 ) 3 (
0 ) 2 ( ) 1 ( ) 0 (
0
0 0 0
=
= = =
X
X X X
Q y
Q Q Q


por lo tanto la probabilidad incondicional de que existan tres cmaras en inventario
dos semanas despus de que el sistema se puso en funcionamiento es de 0.165,
pues:

P{X
2
=3} = ( 1 ) p
(2)
33
.








8
Clasificacin de Los Estados De una Cadena De Markov.

1.- Se dice que el estado j es accesible desde el estado i, si:
P para a una n
ij
n ( )
lg > 0 0

En el ejemplo de inventarios P
ij
( ) 2
0 > para todo i, j. De manera que todo estado es
accesible desde cualquier otro estado.

2.- Si el estado j es accesible desde el estado i, y el estado i es accesible desde j,
entonces se dice que "los estados i y j se comunican". En el ejemplo de inventarios
todos los estados se comunican.

En general:
i) Cualquier estado se comunica consigo mismo.
ii) Si i se comunica con j, entonces j se comunica con i.
iii) Si i se comunica con j, y j se comunica con k, entonces i se
comunica con k.


Observacin: como resultado de las propiedades de comunicacin, se puede
realizar una particin del "espacio de estados" en clases disjuntas. En donde se
dice que dos estados pertenecen a una misma clase si ellos se comunican.
As, los estados de una Cadena de Markov pueden constituir una o ms clases
disjuntas.


Definicin: Si solo existe una clase, entonces la Cadena de Markov se dice
Irreducible. En el ejemplo de inventarios la cadena es irreducible.

Ejemplo (Acciones): Considere el siguiente modelo para el valor de una accin.
Al final de un da dado, se registra el precio.
Si la accin subi, la probabilidad de que suba maana es 0.7.
Si la accin baj, la probabilidad de que suba maana es de 0.5.
As el proceso constituye una Cadena de Markov con la siguiente Matriz de Transicin de un
Paso:
P
suba
baje
suba baje
=

(
0 7 0 3
05 05
. .
. .


As la Cadena es Irreducible.

9
Ahora supongamos que incluimos una alteracin en el modelo de valoracin:
Que la accin suba o no maana depende de si subi (o no) hoy y ayer.

Si subi los dos das la probabilidad de que suba maana es 0.9.
Si subi hoy, pero bajo ayer, maana subir con probabilidad 0.6.
Si bajo hoy, pero subi ayer, maana subir con probabilidad 0.5.
Si bajo hoy y tambin ayer, maana subir con probabilidad 0.3.

Luego la definicin de estados anterior no permite definir una cadena de Markov,
pues el estado para maana ( E
0
=sube y E
1=
baja) no depende solo del estado hoy, si
no que tambin del estado de ayer. Pero si lo permite la siguiente definicin de
estados:

E
0
: La accin aumento hoy y ayer.
E
1
: La accin aumento hoy, y ayer bajo.
E
2
: La accin bajo hoy y ayer aumento.
E
3
: La accin bajo hoy y ayer.

Lo que conduce a una Cadena de Markov de cuatro estados con Matriz de
Transicin de un paso:
P =

(
(
(
(
0 9 0 01 0
0 6 0 0 4 0
0 05 0 05
0 03 0 0 7
. .
. .
. .
. .


Aqu

(
(
(
(

=
49 . 0 12 . 0 21 . 0 18 . 0
35 . 0 20 . 0 15 . 0 30 . 0
20 . 0 06 . 0 20 . 0 54 . 0
05 . 0 09 . 0 05 . 0 81 . 0
2
P

(
(
(
(

=
403 . 0 102 . 0 207 . 0 288 . 0
345 . 0 090 . 0 205 . 0 360 . 0
170 . 0 134 . 0 090 . 0 606 . 0
080 . 0 101 . 0 060 . 0 759 . 0
3
P

y luego la cadena de Markov tambin es irreducible.


Ejemplo (Juego): Un jugador tiene $1 y en cada jugada gana $1 con probabilidad p > 0, o pierde
$1 con probabilidad 1-p > 0. El juego termina cuando el jugador acumula $3 o quiebra.
Este proceso es una Cadena de Markov, si definimos los estados como la fortuna del jugador,
esto es $0, $1, $2, y $3. La Matriz de transicin ser:
10
P
p p
p p
=

(
(
(
(
1 0 0 0
1 0 0
0 1 0
0 0 0 1


Vemos que la cadena contiene tres clases (luego no es irreducible):
Clase 1: {0}
Clase 2: {1,2}
Clase 3: {3}

Propiedad: Con frecuencia es til hablar sobre si un proceso que comienza en el
estado i regresara alguna vez a ese estado. Sea f
ii
la probabilidad de que el proceso
regrese al estado i. entonces:

i) si f
ii
= 1 , i se dice recurrente.
ii) si f
ii
<1 , i se dice transitorio.
iii) si la probabilidad de transicin p
ii
= 1 , i se dice absorbente.

En el ejemplo del jugador, los estados 0 y 3 son absorbentes, por lo que f f
00 33
= =1,
sin embargo los estados 1 y 2 son transitorios y no es sencillo probar que f y f
11 22

son menores que 1.



Determinacin del Valor de f
ii
.

Propiedades:
i) Un estado recurrente es tal que si el proceso se inicia e el, volver a dicho
estado un nmero infinito de veces.
ii) Un proceso de Markov que se encuentra en el estado i, un estado
transitorio, volver a dicho estado un nmero finito de veces, dado por:

1
1
1

<
f
donde f
ii
ii

por lo tanto: un estado i es recurrente ssi el nmero de periodos en que el proceso
se encuentra en tal estado es infinito, dado que el proceso se inicio en el estado i.

Nota: Se define: B
si X i
si X i
n
n
n
=
=

1
0



Luego
11
( / ) B X i
n
n
0
1
=
=

representa al nmero de periodos que el proceso

est en el estado i dado que X
0
=i. por lo tanto su esperanza est dada por:

E B X i E B X i p
n
n
n
n
ii
n
n
( / ) ( / )
( )
0
1
0
1 1
=
|
\

| = = =
=

Propiedades:
a) i es recurrente si y solo si p
ii
n
n
( )
=

=
1

b) todos los estados de una misma clase son, o recurrentes, o
transitorios.
c) en una Cadena de Markov de estado finito, no todos los estados
pueden ser transitorios.
d) todos los estados de una Cadena de Markov de estado finito
irreducible son recurrentes.


Observacin: una condicin suficiente para que una cadena de Markov de estado
finito sea irreducible, es que todos los estados del proceso se comunican. As, todos
los estados del ejemplo de inventarios son recurrentes (ver P
2
), lo mismo ocurre con
el segundo caso de acciones.

Ejemplo: supongamos un proceso de Markov cuya matriz es:

P =

(
(
(
(
(
(
0 25 075 0 0
050 050 0 0
0 0 1 0
0 0 1 3 2 3
0
0
0
0
100 0 00 0 00 0 00 0
. .
. .
/ /
. . . .


Es evidente que el estado 2(tercer reglon) es un estado absorbente ( y por lo tanto
recurrente), pues una vez que el proceso entra al estado 2, nunca saldr.

Propiedades:
1.- Se define "el periodo" de un estado i, como el mayor entero positivo t tal que
p
ii
n ( )
= 0, para toda n distinta de un mltiplo de t.
En el ejemplo del juego, el estado 1 tiene periodo 2.
12
2.- Si el proceso puede encontrarse en el estado i en dos periodos consecutivos, se
dice que el estado i tiene periodo 1 y se llama "estado aperidico". Esta es una
propiedad de clase, al igual que la recurrencia. Ver ejemplo del jugador, los
estados 1 y 2.

3.- Un estado i recurrente, se dice recurrente positivo si, comenzando en el estado i,
el tiempo esperado para que el proceso regrese al estado i es finito. De lo
contrario se dice que el estado es recurrente nulo.


Definicin: Los estados recurrentes positivos que son aperidicos se llaman estados
ergdicos. Una cadena de Markov con todos sus estados ergdicos, se llama
ergdica.


Definicin: Llamaremos tiempo de primera pasada al nmero de transiciones que
necesita un proceso para ir de un estado i a un estado j, por primera vez. Si j=i
(regreso por primera vez) este tiempo se llama tiempo de recurrencia.


Ejemplo: Consideremos el ejemplo de inventarios, y suponga que ocurri lo
siguiente:
X
0
=3, X
1
=2, X
2
=1, X
3
=0, X
4
=3, X
5
=1,

en este caso el tiempo de primera pasada para ir de 3 a 1, es de 2 semanas, de 3 a 0
es 3 semanas, y el tiempo de recurrencia de 3 es 4 semanas.
En general, los tiempos de primera pasada poseen distribuciones de probabilidad
que dependen de las probabilidades de transicin. Puede demostrarse que:

Propiedad: Los f
ij
n ( )
satisfacen las siguientes relaciones recursivas:


f p p
f p f p
f p f p f p f p
ij ij ij
ij ij ij jj
ij
n
ij
n
ij jj
n
ij jj
n
ij
n
jj
( ) ( )
( ) ( ) ( )
( ) ( ) ( ) ( ) ( ) ( ) ( )
...
1 1
2 2 1
1 1 2 2 1
= =
=
=

que permite calcular la probabilidad de un tiempo de primera pasada de i a j, en n
pasos, de manera recursiva, a partir de las probabilidades de transicin de un paso.
En el ejemplo de inventarios se tiene:

13
En el ejemplo de inventarios se tiene:

f
f
30
1
30
2
0080
0 249 0 080 0 080 0 243
( )
( )
.
( . ) ( . )( . ) .
=
= =



Observacin: Para i, j fijos, los f
ij
n ( )
son nmeros no negativos tales que :

f
ij
n
n
( )
=

1
1

Si se da el caso <1, significa que el proceso puede no llegar nunca al estado j, si
acaso parte desde i. Si es 1, entonces: f para n
ij
n ( )
( , ,...) = 1 2 corresponde a la
distribucin de probabilidades del "tiempo de primera pasada", Cuya esperanza
(tiempo esperado de primera pasada) se estima como:
Sean
ij
ij
n
n
ij
n
n
ij
n
n
si f
nf si f
=
<
=

( )
( ) ( )
1
1
1
1 1


Luego si
f entonces p de manera unica
cuando i j se llama tiempo esperadode recurrencia
ij
n
n
ij ik
k j
kj
ii
( )
,
=

= = +
=
1
1 1

Ejemplo: Para el caso de inventario, el tiempo esperado hasta que ya no se tengan
cmaras, es decir
30
se obtendr de (los Estados son recurrentes):







30 31 10 32 20 33 30
20 21 10 22 20 23 30
10 11 10 12 20 13 30
30 10 20 30
20 10 20
10 10
1
1
1
1 0184 0 368 0 368
1 0368 0 368
1 0368
= + + +
= + + +
= + + +
= + + +
= + +
= +
p p p
p p p
p p p
. . .
. .
.
o

DE donde se obtiene:
10
=1.58;
20
=2.51, y
30
=3.50, semanas

14
Probabilidades de Estado Estable: Para una Cadena de Markov irreducible
ergdica,
lim p
n
ij
n ( )

existe, es independiente de i, se denota
j
, se denomina
probabilidad de estado estable, y satisface de manera nica las Ecuaciones de
Estado Estable dadas por:

j i ij
i
M
j
j
M
p j M = =
=
=
=

0
0
0 1 2
1
, , ,...,
(eee)

Nota: El Tiempo esperado de recurrencia, y la probabilidad de estado estable se
relacionan por:

j
jj
=
1
, para j=0,1,2,,M.

Observacin: Las M+2 ecuaciones de estado estable (eee) son redundantes, por lo
cual debe eliminarse una de las M+1 de las del primer termino.

Ejemplo: Para el caso del Inventario se tiene:






0 0 00 1 10 2 20 3 30
1 0 01 1 11 2 21 3 31
2 0 02 1 12 2 22 3 32
3 0 03 1 13 2 23 3 33
0 1 2 3
1
= + + +
= + + +
= + + +
= + + +
= + + +
p p p p
p p p p
p p p p
p p p p

Al sustituir se tiene






0 0 1 2 3
1 0 1 2 3
2 0 2 3
3 0 3
0 1 2 3
0 080 0 632 0 264 0080
0184 0 368 0 368 0184
0368 0 368 0368
0 368 0 368
1
= + + +
= + + +
= + + +
= + +
= + + +
. . . .
. . . .
. . .
. .


Que entregan como resultado:





0 00
1 11
2 22
3 33
0285 351
0285 351
0 264 379
0166 602
= =
= =
= =
= =
. .
. .
. .
. .

15
Costo Promedio Esperado Por Unidad de Tiempo: Suponga que se incurre en un
costo (u otra funcin de penalizacin) C(X
t
) cuando el proceso se encuentra en el
estado X
t
en el tiempo t (t=0,1,2,.), luego C(X
t
) es una variable aleatoria de
valores C(0),C(1),C(2),.,C(M); e independiente de t.

Definicin: El costo promedio esperado en que se incurre durante los n primeros
periodos ser:

( )

=
(

=
)
`

= =
=
=
n
j C X C
n
E lim
n
p
n
lim
X C
n
E
M
j
j
n
t
t
j
n
k
k
ij
n
t
t
0 1
1
) (
1
) (
1
1
) (
1

, y usando el resultado de que:

Se puede demostrar que el costo
promedio esperado por unidad de
tiempo ser:


que en el caso del ejemplo de
inventarios, al suponer un cargo de almacenamiento por cada cmara dado por:


C x
si x o
si x
si x
si x
entonces
lim
n
E
n
C x
t
t
t
t
t
t
t
n
( ) ( ) ( . )
( . ) ( . ) ( . ) .
=
=
=
=
=

(
= +
+ + =
=

0
2 1
8 2
18 3
1
0 0285
2 0 285 8 0 264 18 0166 567
1



Observacin: Es posible interpretar
j
como la fraccin real del nmero de veces
que el sistema se encuentra en estado j.


16
Costo Esperado por Unidad de Tiempo para Funciones de Costo Complejas:
Supongamos que en el problema de inventarios se debe tomar en cuenta el costo de
ordenar y el costo de penalizacin por demanda insatisfecha. As, es razonable
considerar que el nmero de cmaras ordenadas depende solo del estado del
proceso, pero el costo de demanda insatisfecha depender tanto de la demanda de la
semana como del estado del proceso al inicio de la semana. Los cargos para el
periodo t (semana) se harn al final, e incluirn el costo de la orden entregada al
principio de la semana y el costo de la demanda que no fue satisfecha durante la
misma.

As, el costo en el periodo t ser:
C(X
t-1
,D
t
)

Se puede decir que X
0
, X
1
, X
2
, X
t-1
, y D
t
son v.a.i., puesto que X
0
, X
1
, X
2
, X
t-1

son funcin nada ms que de X
0
, D
1
, D
2
, ,D
t-1
, que son independientes de D
t
.

Luego es posible demostrar que el costo promedio esperado por unidad de tiempo
esta dado por:


[ ]
lim
n
E
n
C X D k j
donde k j E C j D
t t
t
n
j
j
M
t

(
=
=

= =

1
1
1 0
( , ) ( )
( ) ( , )

Que ser tambin el costo promedio real (a la larga), por unidad de tiempo.

Para el ejemplo supongamos que:

i) si se ordenan z>0 cmaras se incurre en $(10+25z) de costo.
ii) Por unidad de demanda insatisfecha se incurre en $50 de costo.

Entonces si la poltica es (s=1,S=3), se tiene que:
{ }
{ }

< + +
=

1 0 ), ( 50
1 0 ), 3 ( 50 ) 3 )( 25 ( 10
) (
1 1
1
1
t t t
t t
t t
X si X D max
X si D max
D X C para t=1,2,3,

17
As:
C(0,D
t
)=85 + 50 max{ D
t
-3 , 0}

y luego: k(0) = E[ C(0,D
t
)] = 85+50 E[max{D
t
-3, 0 }]

=85+ 50[p
D
(4)+2p
D
(5)+3p
D
(6)+]

Donde p
D
(i) es la probabilidad de que la demanda sea igual a i, y se ha supuesto
que tiene una distribucin Poisson con parmetro =1. Por lo que p
D
(i) se vuelve
despreciable para i>6 . Luego k(0) = 86.2
Anlogamente:

[ ] { } [ ]
[ ]
[ ] { }
[ ]
[ ]
[ ] { }
[ ]
[ ]
k E C D E max D
E p p p
k E C D E max D
E p p p
k E C D E max D
E p p
t t
D D D
t t
D D D
t t
D D
( ) ( , ) ,
( ) ( ) ( ) ... .
( ) ( , ) ,
( ) ( ) (5) ... .
( ) ( , ) ,
( ) (5) ..... .
1 1 50 10
50 2 2 3 3 4 18 4
2 2 50 2 0
50 3 2 4 3 52
3 3 50 3 0
50 4 2 12
= =
+ + + =
= =
+ + + =
= =
+ + =



As el costo promedio esperado de inventario(a la larga), por semana ser:
k j
j
j
( ) (86. )( . ) ( . )( . ) (5. )( . ) ( . )( . ) . = + + + =
=

0
3
2 0 285 184 0285 2 0 264 12 0166 314


Nota: Este es el costo asociado a la poltica (s=1,S=3), de igual forma puede ser
evaluada otra poltica.

18
Estados Absorbentes
Dado que el proceso comienza en el estado i, la probabilidad de llegar en algn
momento a k se llama Probabilidad de absorcin al estado k dado que el sistema
se inicio en i, y se denota por f
ik
. Adems, satisface el siguiente sistema de
ecuaciones:


f p f para i M
con f
f si i es recurrente e i k
ik ij jk
j
M
kk
ik
= =
=
=
=

0
012
1
0
, , ,...,
, .


Definicin: Una Caminata Aleatoria es una Cadena de Markov, tal que si el
sistema se encuentra en el estado i, entonces: En una sola transicin el sistema
permanecer en i, o bien se mover a i-1 o i+1.

Ejemplo: Dos jugadores con $2 c/u juegan apostando $1 cada vez, hasta que uno de ellos quiebre.
As, el nmero de pesos que tiene el jugador A antes de cada apuesta (0,1,2,3, o 4) proporciona la
definicin de los estados de una cadena de Markov, con matriz de transicin:
P
p p
p p
p p
=

1 0 0 0 0
1 0 0 0
0 1 0 0
0 0 1 0
0 0 0 0 1


donde p representa la probabilidad de que A gane una jugada.

Observacin: La probabilidad de absorcin al estado 0 ( A pierde todo su dinero) se
puede obtener del sistema de ecuaciones. Sin embargo en este caso (y M general)
las ecuaciones se transforman en:


1 1 2
1
1
1 2
1 2
1
0
0
1
0
= =
=

= =
=
=

f para i M
para p
i
M
para p
donde p p
i
m
m
i
m
m
M
i
M

, ,...,
/
/
( ) / .


19
En el ejemplo, M=4 (5 estados), i=2 (estado de inicio $2), y suponiendo p=2/3. La
probabilidad de que A quiebre est dada por:

f
20
2
4
1
2
2
1
2
4
1
1
1
1
1
1
1
5
=

(
=

(
=

y la probabilidad de que B quiebre ( A gane 4) ser:

f f
24 20
4
5
1 = =



Cadenas de Markov Tiempo Continuo.

Se etiquetan los estados posibles del sistema, con 0,1,2,,M. Comenzando en
tiempo 0 y dejando que el parmetro t' corra continuamente para t'0.
Sea la variable aleatoria X(t') el estado del sistema en el tiempo t'. Entonces X(t')
asumir uno de sus M+1 valores posibles, en un intervalo 0t' < t
1
. Despus
saltar a otro valor en el siguiente intervalo t
1
t'<t
2
, y as sucesivamente.
Donde los puntos de trnsito: t1, t
2
, t
3
,, son puntos aleatorios en el tiempo (no
necesariamente enteros).


Consideremos los siguientes tres puntos en el tiempo:

1.- t' = r , un tiempo pasado r 0 .
2.- t' = s , el tiempo presente y s > r .
3.- t' = s + t , un tiempo a t unidades en el futuro, con t > 0 .

por lo tanto, el estado del sistema se ha observado en t'=s y t'=r. Estados que se
etiquetan como: X(s)=i y X(r) = x(r).

La distribucin de probabilidad del estado del sistema en el tiempo t'=s+t, es:

P{X(s+t)=j /X(s)=i y X(r) = x(r) }, para j=0,1,2,,M
20
Propiedad: Un proceso continuo {X(t'); t' 0} se denomina de Markov si

P{ X(t+s)=j / X(s)=i y X(r) = x(r) } = P{X(t+s)=j / X(s) = i }
para toda i,j=0,1,2,,M, r 0, s>r, y t>0.

Observacin: P{X(t+s)=j / X(s)=i} es una probabilidad de transicin anloga a la
vistas para Cadenas de Markov de tiempos discretos, solo que t era entero.

Definicin: Si las probabilidades de transicin son independientes de s, se llaman
Probabilidades de transicin estacionarias. Es decir si:

P{X(t+s)=j / X(s)=i } = P{X(t)=j / X(0)=i} s > o

que se denotaran por p
ij
(t), y se har referencia a ellas como la funcin de
probabilidad de transicin de tiempo continuo.

Nota: se supone que: lim p t
si i j
si i j
t
ij

=
=

0
1
0
( )
,
,


Observacin: restringiremos el estudio a aquellas cadenas de Markov de tiempo
continuo que satisfagan las siguientes propiedades:
i) M finito.
ii) p
ij
(t) existen ( probabilidades estacionarias).


Variables aleatorias importantes:

T
i
: Tiempo que el proceso permanece en i antes de moverse a uno diferente.
Se tiene que:
P{T
i
> t+s / T
i
> s } = P{T
i
> t }
es decir: la distribucin del tiempo que falta para que el proceso haga una transicin
fuera de un estado dado siempre es la misma, independiente de cuanto tiempo haya
pasado el proceso en ese estado ( la variable aleatoria no tiene memoria).
Existe solo una distribucin continua de probabilidades con esta propiedad,
la Exponencial de parmetro q, donde la media es 1/q y la funcin de
distribucin acumulada es:

P{ T
i
t } = 1-e
-qt
t 0

21
De esta forma es posible definir una Cadena de Markov de Tiempo Continuo a
travs de las siguientes propiedades:

1.- La variable aleatoria T
i
tiene una distribucin exponencial con media 1/q.
2.- Cuando sale de un estado i, el proceso se mueve a otro estado j, con
probabilidad p
ij
, que satisface:
a) p
ij
= 0, para toda i.
b)
j
M
=

0
p
ij
= 1 para toda i.
3.- El siguiente estado que se visita despus del estado i es independiente del
tiempo que pas en el estado i.

Definicin: Se definen las Intensidades de transicin, como:

a) q
d
dt
p lim
p t
t
parai M
i ii
t
ii
= =

( )
( )
, , , ,... 0
1
0 1 2
0


"tasa de transicin hacia afuera del estado i", o nmero esperado de veces que el
proceso deja el estado i, por unidad de tiempo que pasa en el estado i ( q
i
es el
reciproco del tiempo esperado que el proceso pasa en i por cada visita a i; es decir:
q
i
= 1/E[T
i
].

b) q
d
dt
p lim
p t
t
q p para j i
ij ij
t
ij
i ij
= = =

( )
( )
, 0
0


"tasa de transicin del estado i al estado j" o nmero esperado de veces que el
proceso pasa del estado i al estado j por unidad de tiempo que pasa en el estado i (
q
ij
es el reciproco del tiempo esperado que el proceso pasa en i antes de que ocurra
una transicin al estado j, T
ij
, si no ocurre antes una transicin a otro estado, es decir
q
ij
=1/E[T
ij
] )

Observacin: T
ij
i,j=0,1,2,,M, y j i son variables aleatorias independientes
c/u con distribucin exponencial de parmetro q
ij
, y el tiempo que pasa en i hasta
que ocurre una transicin (T
i
) es el mnimo ( sobre ji) de las T
ij
. Adems cuando
ocurre una transicin ser al estado j con probabilidad p
ij
= q
ij
/q
i
. Luego q
i
=
j i

q
ij
.


Probabilidades de Estado Estable: La funcin de probabilidad de tiempo
continuo p
ij
(t), satisface:

p t p s p t s i j s t s t
ij ik kj
k
M
( ) ( ) ( ) , , , =
=

1
0 (anlogo Ch-K)

22
Definiciones:
i) i y j se comunican si existen tiempos t
1
y t
2
tales que:

p
ij
(t
1
) > 0 y p
ji
(t
2
) > 0

ii) Todos los estados que se comunican forman una clase.
iii) Una cadena de Markov con una sola clase se dice irreducible y entonces:
p
ij
(t) > 0, para toda t>0, y todos los estados i y j.

lim p t
t
ij j

= ( ) siempre existe y es independiente de i

iv)
j
se conocen como probabilidades de estado estable y satisfacen las
ecuaciones:

j i ij
i
M
p t para j M t = = >
=

( ) , ,...,
0
0 1 0
que son equivalentes a:

=
= =
M
j
j
j i
ij i j j
M j para q q
0
1
,..., 2 , 1 , 0

Llamadas "Ecuaciones de estado estable".

Observacin: En la j-sima ecuacin de estado estable, el lado izquierdo (
j
q
j
) es la
"tasa" a la que el proceso deja el estado j; pues
j
es la probabilidad (de estado
estable) de que el proceso est en el estado j y q
j
es la tasa de transicin hacia
afuera del j dado que se encuentra en j. Mientras que cada termino a la derecha
(
i
q
ij
) es la tasa a la que el proceso entra a j desde i.
Ejemplo: un taller tiene dos mquinas idnticas que operan continuamente, excepto cuando se
descomponen. Como lo hacen con bastante frecuencia, la tarea con ms alta prioridad para una
persona de mantenimiento que trabaja tiempo completo, es repararlas en cuanto lo necesiten.
El tiempo requerido para reparar una mquina tiene distribucin exponencial con media de 1/2
da. Una vez que se termina la reparacin, el tiempo que transcurre hasta la siguiente
descompostura tiene distribucin exponencial con media 1 da. Estas distribuciones son
independientes.
Cual ser la disponibilidad de mquinas en el largo plazo?
Solucin:
Sea X(t') = nmero de mquinas descompuestas en tiempo t' (0, 1, o 2 ).

As, si se corre el parmetro t' de manera continua desde el tiempo 0, el proceso estocstico de
tiempo continuo {X(t'); t' 0 } proporciona la evolucin del nmero de mquinas
descompuestas.

Como tanto el tiempo de reparacin como el tiempo hasta la siguiente descompostura tienen
distribuciones exponenciales, {X(t'); t 0 } es una cadena de Markov de tiempo continuo con
estados 0,1, y 2. En consecuencia, se pueden utilizar las probabilidades de estado estable ya
23
mencionadas para encontrar la distribucin de probabilidad de estado estable, del nmero de
mquinas descompuestas; por lo que debemos determinar q
i
, q
ij
, para i,j=0,1,2.

El nmero de mquinas descompuestas (estado) aumenta en 1 cuando ocurre una descompostura
y disminuye en 1 cuando se termina una reparacin. Como estas ocurren solo una a la vez
tenemos que q
02
=0, y q
20
=0.
El tiempo esperado de reparacin es de 1/2 da de manera que las reparaciones terminan a una
tasa de 2 por da (cuando hay mquinas descompuestas), luego q
21
=2 y q
10
=2.
El tiempo esperado hasta que se descompone una mquina es de 1 da, de manera que q
12
=1.
Durante los tiempos en que las dos mquinas operan, las descomposturas ocurren a una tasa de
1+1=2 por da, as q
01
=2.
Esquemticamente se tiene la siguiente evolucin.


q
01
=2 q
12
=1

Estado 0 1 2


q
10
=2 q
21
=2


As, las intensidades de transicin son:

q
0
= q
01
=2
q
1
= q
10
+q
12
=3
q
2
= q
21
=2

Que al sustituir en las ecuaciones de estado estable nos da:

Ecu. Estado 0 : 2
0
= 2
1

Ecu. Estado 1 : 3
1
= 2
1
+ 2
2

Ecu. Estado 2 2
2
=
1

Las Prob. Suman 1
0
+
1
+
2
=1

Si eliminamos una como redundante (ejemplo la segunda), se tiene el resultado:
(
0
,
1
,
2
) = (2/5,2/5,1/5)

Entonces, a la larga, Ambas mquinas estarn simultneamente descompuestas un 20% del
tiempo
24
Teora de colas (Lneas de espera).

Proceso bsico: Los clientes que requieren un servicio se generan a travs del
tiempo en una fuente de entrada. Estos entran al sistema y se unen a una cola. En
determinado momento se selecciona un miembro de la cola, para proporcionarle el
servicio, mediante una regla conocida como disciplina del servicio. Luego se lleva
a cabo el servicio requerido por el cliente en un mecanismo de servicio, despus de
lo cual el cliente sale del sistema de colas.
Nota: Una caracterstica de la fuente de entrada es su tamao. Es decir el nmero
total de clientes que pueden requerir servicio en determinado momento, y se conoce
como poblacin de entrada. Puede suponerse un tamao finito o infinito.

Esquemticamente el proceso de la cola ser:



Fuente de Clientes Mecanismo Clientes
Entradas Cola de servicio servidos


Sistema


Elementos caractersticos:

Llegadas : Patrn estadstico mediante el cual se generan los clientes a travs
del tiempo (comnmente un proceso Poisson, con tiempo entre
llegadas exponencial)
Capacidad : nmero mximo permisible de clientes que puede admitir en espera.
Puede ser finita o infinita (comnmente infinita)
Disciplina : Orden en que se selecciona a los miembros de una cola para recibir
el servicio. (Comnmente FIFO)
Servicio : mecanismo de servicio consistente en una o mas instalaciones de
servicio, con uno o ms canales paralelos de servicio, llamados
servidores. El tiempo que transcurre entre el inicio del servicio para
un cliente hasta su termino, se llama tiempo de servicio.


Observacin: Los modelos de colas que presentaremos hacen la suposicin (a
menos que se indique otra cosa) de que todos los tiempos entre llegadas (y todos
los tiempos de servicio) son independientes e idnticamente distribuidos. Por
convencin, estos modelos se etiquetan as:
25
Distribucin de
tiempos entre
llegadas



----/---/---




que pueden ser ocupados por:
M : distribucin exponencial (markoviana)
D : distribucin degenerada (tiempos constantes)
E
k
: distribucin Erlang k.
G : distribucin general (puede ser cualquiera)

Por ejemplo: M / M / s indica tiempos entre llegadas y tiempos de servicio con
distribucin exponencial, y el nmero de servidores paralelos
independientes es s.

Nota: La siguiente terminologa ser estndar:
Estado del sistema : Nmero de clientes en el sistema.
Longitud de la Cola: nmero de clientes que esperan servicio.
N(t) : nmero de clientes en el sistema en el tiempo t ( t0 )
P
n
(t) : probabilidad de que exactamente n clientes estn en el sistema
en el tiempo t, dado el nmero de clientes en 0.
S : nmero de servidores en el sistema de colas.

n
: tasa media de llegadas de nuevos clientes cuando hay n clientes
en el sistema.

n
: tasa media de servicio para todo el sistema cuando hay n
clientes en el sistema.

, , y : cuando
n
es constante para todo n, se denota por . Cuando
n

es constante para n1, se denota por . es el factor de utilizacin
del sistema, y esta dado por = /(s )

Distribucin de
tiempos de servicio
Nmero de
servidores
26
Observacin: Al iniciar su operacin el sistema se encuentra bastante afectado por el estado
inicial (Nmero de clientes en el sistema), y el tiempo que ha transcurrido desde el inicio, por
lo cual se dice que "el sistema se encuentra en condicin transitoria". Despus de pasado un
tiempo el estado del sistema se vuelve independiente del estado inicial (estado estable) y del
tiempo transcurrido, por lo que se dice que el sistema ha alcanzado su "Condicin de estado
estable" , en la que la distribucin del estado del sistema se hace estacionaria a travs del
tiempo.

Notacin: En la Condicin de Estado Estable, se tiene que:

P
n
: Probabilidad de que haya exactamente n clientes en el sistema.
L : Nmero esperado de clientes en el sistema.
L
q
: longitud esperada de la cola (excluye los clientes que estn en servicio.
W : Tiempo de espera en el sistema (incluye el tiempo de servicio) para cada
cliente.
W : E[W].
W
q
: Tiempo de espera en la cola (excluye tiempo de servicio) para cada cliente.
W
q
: E[W
q
].


Propiedades: Sea
n
= , para todo n, entonces para el estado estable se tiene:
i) L

= W
ii) L
q
= W
q



Nota:
1) Si los
n
no son iguales, entonces puede ser sustituido por (la tasa
promedio entre llegadas, a la larga).
2) Si el tiempo de servicio es una constante 1/ , para todo n 1. Se tiene
entonces que:
W = W
q
+ 1/


Comentario: Estas relaciones permiten calcular L, W, L
q
, y W
q
, obteniendo solo una de ellas en
forma analtica; sin resolver totalmente el modelo de colas.


27
La Distribucin Exponencial.

Esta es la distribucin ms importante en la teora de colas, pues es lo
suficientemente realista y sencilla para que el modelo proporcione predicciones
razonables y sea matemticamente manejable. Su definicin es:

Sea T una variable aleatoria (que representa ya sea los tiempos entre llegadas o los
tiempos de servicio), se dice que tiene una distribucin exponencial con parmetro
, si su funcin de densidad de probabilidad es:

f t
e para t
para t
T
t
( )
,
=

<

0
0 0


y las probabilidades acumuladas son:

P T t e
t
P T t e
t
t
{ }
( )
{ }
=

> =

1
0

As:
E[T] = 1/,
Var[T] = 1/
2


Propiedades:
a) f t
T
( ) es una funcin estrictamente decreciente de t (t 0).

f t
T
( )


_




0 E[T]=1/ t

Por lo tanto, no slo es posible si no tambin relativamente probable que T tome un
valor pequeo cercano a cero. De hecho;
P{ 0 T 1/ } = 0.393
P{ 1/ T 3/2 1/ } = 0.383

de manera que es ms probable que T sea menor que la mitad de E[T].
28
b) Falta de memoria, es decir P{T > t + t / T > t } = P{ T > t }, para
cualesquiera t y t positivos. Es decir la distribucin de probabilidad del tiempo
que falta hasta que ocurra un evento siempre es la misma.

c) El mnimo de varias variables aleatorias exponenciales independientes tiene
una distribucin exponencial.

d) Si el tiempo entre dos ocurrencias sucesivas de un evento tiene una
distribucin exponencial con parmetro , entonces X(t), el nmero de veces que
ocurre tal evento en un periodo (o,t) , tiene una distribucin Poisson con parmetro
t. Es decir:

{ } P X t n
t e
n
para n
n t
( )
( )
!
, , , ,..., = = =

0 12

con: E[{X(t)}] = t (la media de la Poisson)

As se dice que es el parmetro de la Poisson, y es la tasa media o nmero de
eventos por unidad de tiempo.

Nota: algunas veces se dice que las llegadas ocurren aleatoriamente y esto significa
que suceden de acuerdo a un proceso de entradas Poisson.

e) Para todos los valores positivos de t, P{T t + t / T > t } t, con t
pequeo.

f) La agregacin o desagregacin no produce efectos sobre el tipo de
distribucin.



Proceso de Nacimiento y Muerte.

En la teora de colas nacimiento se refiere a la "llegada" de un nuevo cliente al
sistema de colas y el termino muerte se refiere a la "salida" del cliente una vez
servido. El estado del sistema en el tiempo t (t 0), denotado por N(t), es el nmero
de clientes en el sistema de colas en el tiempo t. El proceso de Nacimiento y
Muerte describe en trminos probabilsticos como cambia N(t) al aumentar t.
Las suposiciones de este proceso son:
1) Dado N(t) = n, la distribucin de probabilidad actual del tiempo que falta
al prximo nacimiento es Exponencial con parmetro
n
, (nN).
29
2) Dado N(t) = n, la distribucin de probabilidad actual del tiempo que falta
a la prxima muerte es Exponencial con parmetro
n
, (nN).

3) Las variables que denotan el tiempo hasta el prximo nacimiento
(supuesto 1) y el tiempo hasta la siguiente muerte (supuesto 2) son mutuamente
independientes.

Nota: de los supuestos anteriores se tiene que el proceso de Nacimiento y Muerte es
un tipo especial de cadena de Markov de tiempo continuo, cuyo diagrama esta dado
por:


0

1

2

n-2

n-1

n


Estado 0 1 2 3 n-2 n-1 n n+1 . . .


1

2

3

n-1

n

n+1


Las flechas muestran las nicas transiciones posibles en el estado del sistema, y el
elemento junto a la flecha da la tasa media para esa transicin.

Principio: En el rgimen (estado estable) La tasa de entrada es igual a la tasa de
salida. Por lo que deben cumplirse las siguientes ecuaciones llamadas de balance:

Ecuaciones de balance
Estado Tasa de entrada = Tasa de salida
0
1
2
.
.
.
n-1
n
.
.

1
p
1
=
0
p
0

0
p
0
+
2
p
2
=(
1
+
1
)p
1

1
p
1
+
3
p
3
=(
2
+
2
)p
2

.
.
.

n-2
p
n-2
+
n
p
n
=(
n-1
+
n-1
)p
n-1

n-1
p
n-1
+
n+1
p
n+1
=(
n
+
n
)p
n
.
.


El procedimiento para resolver estas ecuaciones es despejar todas las variables en
trminos de una de ellas (por ejemplo p
0
) y luego ir evaluando mediante reemplazo.
De esta forma se tiene:

30
Estado

0
1 1
0 1
1
1 1
1 1
1
0
1 1
0 2 1
1
1
2 2 1 1 1
1
0
1 2 3
0 1 2
2
3
2
1 1 2 2
3
2
3
2
3
0
1 2
0
1
2
0 0 1 1
2
1
2
1
2
0
1
0
1
) (
1
:
) (
1
: 1
) (
1
: 2
1 1
) (
1
: 1
: 0
p p p p p p n
p p p p p p n
p p p p p p
p p p p p p
p p
n n
n n
n
n
n
n n n n
n
n
n
n
n
n n
n n
n
n
n
n n n n
n
n
n
n
n

+

+ +
+

= = + =
= = + =
= = + =
= = + =
= = =

Para simplificar la notacin, sea:

C para n
n
n n
n n
= =

1 2 1 0
1 2 1
1 2
....
....
, , ,...,

con C
0
=1


y luego: p
n
= C
n
*p
0
para n=0,1,2,


Como p se tiene que C p y p C
n
n
n
n
n
n
=
|
\

| = =
|
\

|
=

1 1
0 0
0 0
0
1


Y luego:
L np L n s p y p
n
n
q n
n
n n
n
= = =
=

0 0 0
( )


Adems: W = L/ y W
q
= L
q
/

31
Observacin: lo anterior es vlido ssi
n
y
n
poseen valores tales que el proceso
pueda alcanzar el estado estable. Esto se cumple si
n
=0 para algn valor de n
mayor que el inicial, o bien que y estn definidas y =/(s)<1. Mientras que
no se cumple si la suma de los C
n
es indeterminada.

Modelos Basados en el Proceso de Nacimiento y Muerte.

Modelo M/M/s :
Este es un caso especial del proceso de nacimiento y muerte, cuando la
tasa media de llegadas y la tasa media de servicio por servidor ocupado son
constantes ( y respectivamente) e independientes del estado del sistema.
(a) Un Servidor (s=1): Aqu se tiene
n
= (n=0,1,2,) y
n
= (n=1,2,.)



Estado 0 1 2 3 n-2 n-1 n n+1 . . .



As:
C para n
por lo tanto P p para n
con P
y asi P para n
y en con uencia
L n y L n P
n
n
n
n
n
n
n
n
n
q n
n
=
|
\

| = =
= =
=
= =
= =

= =

01 2
0 12
1
1 0 1 2
1 1
0
0
0 1
2
, , ,...
, , ,....
( ) , , ,...
sec
( ) ( )
( )


Si la cola "explota" y la solucin anterior no sirve.

Observacin: Si suponemos que < , se puede derivar la "distribucin de
probabilidad del tiempo de espera (incluyendo servicio) W para una llegada
aleatoria con disciplina FIFO.
32
Sean T
1
, T
2
,. Las variables aleatorias, independientes, de los tiempos de servicio
que tienen distribucin exponencial con parmetro , y sea:

S
n+1
= T
1
+ T
2
+ +. . . . T
n+1
, para n=0,1,2,.
Luego S
n+1
representa el tiempo de espera "condicional", dado que hay n clientes
en el sistema. As S
n+1
tiene distribucin Erlang, y se concluye que:

P{W > t} = P
n
P{S
n+1
> t }

o equivalentemente:

P{W > t} = e
-(1-) t
, para t 0

Luego W tiene una distribucin exponencial con parmetro (1-), y entonces:
W = E[W]= 1/(-)
y anlogamente P{W
q
= 0}= P
0
= 1-
P{W
q
> t}= e
-(1-) t
, para t 0
W
q
= E[W
q
] = / ( - ).


33
(b) Mas de un Servidor (s > 1): Aqu se tiene
n
= (n=0,1,2,) y

n
n para n S
S para n s s
=
=
= +

1 2
1
, ,..., .
, ,....





Estado 0 1 2 3 S-2 S-1 S S+1 . . .

2 3 (s-1) s s s


Cuando la tasa media de servicio por servidor ocupado es , la tasa media de
servicio global para n servidores ocupados debe ser n.

Nota: Cuando la tasa media de servicio mxima S excede a la tasa media de
llegadas , es decir =/(S) < 1, entonces el sistema de colas tarde o temprano
alcanzar la condicin de estado estable, y pueden aplicarse los resultados del
proceso de nacimiento y muerte.
As:
C
n
para n S
S S S S
para n S S
n
n
S
n S
n
n S
=
|
\

|
=
|
\

|
|
\

| =
|
\

|
= +

!
, ,...,
! !
, ,....
1 2
1



En consecuencia, si < S, (luego = /(S) < 1 ), y entonces:

P
n S
S
n S
n
S
0
0
1
1
1
1
=
|
\

|
+
|
\

|
\

(
(
(
(
=

! !


con lo que obtenemos:

34

( )
P
n
P si n S
S S
P si n S
L
P
S
W
L
W W
L W L
n
n
n
n S
q
S
q
q
q
q q

|
\

|

|
\

=
|
\

= = +
= +
|
\

| = +

!
!
!
0
0
2
0
1
1
1


Nota: La distribucin de probabilidad de los tiempos de espera se obtiene
extendiendo lo realizado para el caso de un solo servidor.

Variacin de cola finita al modelo M/M/S (Llamado M/M/S/K )

Este es el caso de un M/M/S con el adicional de que no se permite que la cola
exceda de k entidades, por lo que cualquier cliente que llegue cuando la "cola esta
llena" se le niega la entrada al sistema, y el cliente se retira para siempre. Por lo que
la tasa de arribo se hace cero en esas condiciones. Luego:

n
para n k
para n k
=
=

0 1 2 1
0
, , ,...,


Y se obtiene los siguientes resultados (Caso S=1):

35
( )
C
para n k
para n k
luego si
P
P para n k
L
k
L L P
W
L
W
L
con P
n
n
n
k
n k
n
k
k q
q
q
k

|
\

| = =
>

=
=

=
= = =
+
+
+
+
, , , ,...,
, , ,...,
( )
( )
0 1 2
0
1
1
1
1
1
0 1 2
1
1
1
1
1
0 1
1
1
1 0

36
Ejemplo: La sala de emergencia del Hospital proporciona cuidados mdicos rpidos a los casos
de emergencia que llegan en ambulancia o vehculos particulares. En cualquier momento se
cuenta con un doctor de guardia. No obstante, a causa de la creciente tendencia a usar estas
instalaciones para casos de emergencia en lugar de ir a una clnica privada, el hospital ha venido
experimentando un aumento continuo en el nmero de pacientes anuales que llegan a la sala de
emergencia. Como resultado, es bastante comn que los pacientes que llegan durante las horas
pick (temprano en la tarde) tengan que esperar turno para recibir el tratamiento del doctor. Por
esto, se ha hecho una propuesta para asignar un segundo doctor a la sala de emergencia durante
esas horas pick, para que se puedan atender dos casos de emergencia al mismo tiempo. Se ha
pedido al ingeniero administrador del hospital que estudie esta posibilidad. El ingeniero
reconoci que la sala de emergencias es una lnea de espera y aplic varios modelos, como ser:

a) Aplicacin M/M/s: El ingeniero ha concluido que los casos de emergencia llegan casi de
manera aleatoria (proceso de entrada Poisson), por lo que los tiempos entre llegadas tienen
distribucin exponencial. Tambin llego a la conclusin de que el tiempo que necesita el doctor
para atender a los pacientes sigue aproximadamente una distribucin exponencial. As seleccion
M/M/s para un estudio preliminar.
Al proyectar los datos disponibles del turno de la tarde, estim que los pacientes llegarn
a una tasa promedio de uno cada media hora. Un doctor requiere un promedio de 20 minutos
para atender un paciente. Luego, si se usa una hora como unidad de tiempo:
1/ = 1/2 horas por cliente
1/ = 1/3 horas por cliente
luego:
= 2 clientes por hora
= 3 Clientes por hora.

Y se debe considerar las alternativas de uno y dos doctores (S=1 y S=2). En ambos casos < 1,
por lo tanto son validas las formulas obtenidas. As:

Resultados de estado estable M/M/s
Parmetro S = 1 S = 2

2/3 1/3
P
0
1/3 1/2
P
1
2/9 1/3
P
n
para n 2 1/3 (2/3)
n
(1/3)
n

L
q
4/3 1/12
L 2 3/4
W
q
2/3 1/24 (en horas)
W 1 3/8 (en horas)
P{W
q
> 0 }
0.667 0.167
P{W
q
> 1/2 }
0.404 0.022
P{W
q
> 1 }
0.245 0.003
P{W
q
> t } 2/3 e
-t
1/6 e
-4t

P{W > t } e
-t
1/2 e
-3t
(3- e
-t
)

37
Caso de varios servidores ( s > 1 ): Como este modelo no permite ms de k clientes en el
sistema, k es el mximo de servidores que pueden existir. Suponga que s k. As:

>
+ =
|

\
|
=
|
|

\
|
|

\
|
=
|

\
|
=

k n para
k s s n para
s s s s
s n para
n
C
s n
n
s n
s
n
n
0
, ,... 1 ,
! !
, ,... 2 , 1 , 0
!

As:

>
+ =
|

\
|
=
|

\
|
=

k n para
k s s n para p
s s
s n para p
n
p
s n
n
n
n
0
, ,... 1 ,
!
, ,... 2 , 1 , 0
!
0
0

Con,

(
(
(
(

|
|

\
|
|

\
|
+
|

\
|
=

= + =

s
n
k
s n
s n
s n
s s n
p
0 1
0
! !
1

Obteniendo:

[ ]

s
con s k
s
p
L
s k s k
s
q
=

\
|
=

) 1 ( ) ( 1
) 1 ( !
2
0


Tarea: Demostrar que |

\
|
+ + =


=

=
1
0
1
0
1
s
n
n
s
n
q n
p s L np L

Donde W y W
q
se obtienen a partir de L y L
q
.

Observacin: Como
n
=0 para todo n k, el sistema no puede seguir creciendo indefinidamente
aunque 1. Luego siempre alcanza el estado estable.

38

Modelo M/M/s, con fuente de entrada finita:

En el M/M/s, supongamos que el tamao de la poblacin potencial es finito ( N ). Luego cuando
el nmero de clientes en el sistema es n existen solo N-n clientes que pueden llegar. Por
ejemplo el caso de reparacin de N mquinas por un grupo de tcnicos
a) Caso un servidor S = 1

,.... 4 , 3 , 2 , 1
0
..., 2 , 1 , 0 ) (
= =

=
= n para
N n para
N n para n N
n n

N (N-1) (N-n+2) (N-n+1) +1

0 1 2 n-2 n-1 n N-1 N




Luego

>

|
|

\
|

=
|
|

\
|
+
=
N n para
N n para
n N
N
n N N N
C
n n
n
0
)! (
!
) 1 )...( 1 (

Entonces:
( )
( )
) 1 ( ) 1 (
; ,..., 2 , 1
)! (
!
0
1
0
)! (
!
1
0
0
p N p n L
N n si p
n N
N
p
p
N
n
n q
n
n
n N
N
N
n
n

+
= =
=

=
(

y as:

=
= =
= = =
0
0
) (
) 1 (
n
n n
q
q
L N p con
L
W
L
W p N L

39
b) Caso mltiples servidores ( s > 1 )

+ =
=
=

=
=
,... 1 ,
,..., 2 , 1
0
..., 2 , 1 , 0 ) (
s s n para s
s n para n
N n para
N n para n N
n n

N (N-1) (N-n+2) (N-n+1) +1

0 1 2 S-2 S-1 S N-1 N

2 (s-1) s s s


As:

>
+ =
|
|

\
|

=
|
|

\
|

N n para
N s s n para
s s n N
N
s n para
n n N
N
C
n
s n
n
n
0
, ,... 1 ,
! )! (
!
, ,... 2 , 1 , 0
! )! (
!

As:

>
+ =
|
|

\
|

=
|
|

\
|

N n para
N s s n para p
s s n N
N
s n para p
n n N
N
p
n
s n
n
n
0
, ,... 1 ,
! )! (
!
, ,... 2 , 1 , 0
! )! (
!
0
0

de donde se tiene:
(
(

|
|

\
|

+
|
|

\
|

=
=

=
N
s n
n
s n
s
n
n
s s n N
N
n n N
N
p

! )! (
!
! )! (
!
1
0 1
0


y por ultimo:


=

= =
|

\
|
+ + = =
1
0
1
0
1 ) (
s
n
s
n
n q n
N
s n
n q
p s L np L p s n L

Con lo que puede obtenerse W y W
q
.





40


Modelo Con Tasas De Servicio Y/O Tasas De Llegadas Dependientes Del Estado Del
Sistema

En los modelos anteriores se supone que la tasa media de servicio por canal es siempre constante,
sin importar cuantos clientes se encuentran en el sistema. Sin embargo, cuando se tiene una gran
cantidad de trabajo atrasado (cola larga) es normal que el servidor tienda a trabajar mas rpido.

Tasa de servicio dinmica: Supongamos un servidor (Caso s=1).Se tiene el siguiente modelo de
canal de servicio:

n
= n
c

1 . . . (1)
donde:
n = nmero de clientes en el sistema.

n
= tasa media de servicio cuando existen n clientes, en el sistema.

1
1

= tiempo de servicio "normal" esperado: tiempo esperado para servir a un cliente si es

el nico en el sistema
c = coeficiente de presin (constante positiva que indica el grado en que la tasa de
servicio del sistema se ve afectada por el estado).

As, c=1 corresponde a suponer que la tasa media de servicio es directamente proporcional a n; c
= implica que es proporcional a la raz cuadrada de n, y as sucesivamente. C = 0 corresponde
a los modelos anteriores.

Supongamos un sistema de colas con llegadas Poisson con
n
= (n=0,1,2,...) y
n
como en (1).




0 1 2 . . . n-1 n n+1 . . . .

1 2
c
1 n
c
1 (n+1)
c
1


Este es un caso especial del proceso de nacimiento y muerte, con:

( )
( )
...... 3 , 2 , 1
!
1
= = n para
n
C
c
n
n

y luego todos los resultados para el estado estable obtenidos en el caso M/M/1, son aplicables a
este modelo.

Observaciones:
1.- Si c > 0 siempre es posible alcanzar la condicin de estado estable.
2.- Las sumatorias involucradas no poseen expresin analtica (resultado), pero existen
tablas con valores casi exactos para p
0
y L, para varios valores de c y /
1
obtenidas
mediante la suma parcial de la serie en una computadora.

41
Tasa de llegadas dinmica (s=1): El sistema reacciona a una cola larga con una disminucin en
la tasa de llegadas ( si por ejemplo se van a otra instalacin). Para este caso la tasa media de
llegadas asume la expresin:
n
= (n+1)
-b

0
, donde b es una constante cuya interpretacin es
anloga a la de c, y se tiene:


( )
( )
...... 3 , 2 , 1
!
0
= = n para
n
C
b
n
n

y los resultados de estado estable son los mismos.

Ambas tasas dinmicas (s=1): En este caso se combinan ambos anteriores. Es decir:


n
= n
c

1
... n = 1,2,...


n
= (n+1)
-b

0
.. n = 0,1,2,...

y se tiene :
( )
( )
...... 3 , 2 , 1
!
1
0
= =
+
n para
n
C
b c
n
n

y los resultados de estado estable, que se encuentran tabulados, se pueden aplicar.

Casos s > 1: La generalizacin de este modelo combinado considera que
n
y
n
varan con n/s,
el nmero de clientes en el sistema por el nmero de servidores. Entonces:

\
|

\
|
+

=
s n para s
s
n
s n para n
s n para
n
s
s n para
c
n
b
n
1
1
0
0
1
1
1

0 0 0 0
0
1

b
s
s
|

\
|
+

0

b
n
s
|

\
|

0
1

b
n
s
|

\
|
+


0 1 2 s-2 s-1 s n-1 n . . . .

1 21 (s-1)1 s1
1
1
s
s
s
c
|

\
| +

1
2
s
s
s
c
|

\
| +

1
s
s
n
c
|

\
|



As:
( )
( )

+ =
=
=
+ +
,...,.. 1 ,
) ( !
. ,..., , 1 , 0
!
) )( 1 (
!
!
1
0
1
0
s s n para
s s
s n para
n
C
s n b c b c
s
n
n
n
n

p
0
, L
q
, y L, han sido calculados computacionalmente para distintos valores de c+b, (
0
/
1
), y de
s.