Evaluacin de Performance en Redes

de Telecomunicaciones
Cadenas de Markov
Tiempo Discreto
pgina 2 Cadenas de Markov Evaluacin de Performance
Motivacin Ejemplo 1
Sea un enrutador al que arriban paquetes de
otros (varios) routers
Cuando ms de un paquete llega a la misma vez a
alguno de los puertos de salida, el ltimo en llegar se
almacena en un buffer
Pregunta: cmo dimensionar el buffer?
pgina 3 Cadenas de Markov Evaluacin de Performance
Motivacin Ejemplo 2
Sean un conjunto de usuarios de telfono
Cuando todas las lneas estn siendo utilizadas, las
nuevas llamadas son rechazadas
Problema: cuntas lneas contratar?
PSTN
pgina 4 Cadenas de Markov Evaluacin de Performance
Motivacin
En ambos ejemplos, hacer un anlisis
determinstico no es una opcin
Al ser un sistema asncrono, los paquetes pueden llegar
en cualquier momento y tienen un tamao cualquiera
(al menos dentro de cierto rango)
Las llamadas telefnicas pueden llegar en cualquier
momento y su duracin es totalmente arbitraria
Sin embargo
Los paquetes de 1500B son ms frecuentes (o con
probabilidad mayor) que los de 10B
Las llamadas largas son menos frecuentes (o con
probabilidad menor) que las llamadas cortas
Por lo tanto, un enfoque probabilstico del
problema nos dar mejores resultados
pgina 5 Cadenas de Markov Evaluacin de Performance
Agenda
Repaso de conceptos bsicos de probabilidad
Cadenas de Markov en tiempo discreto
Ergodicidad de la cadena
pgina 6 Cadenas de Markov Evaluacin de Performance
Probabilidad Bsica - Terminologa
Espacio muestral S :
Todos los posibles resultados de un experimento
Puede ser:
Discreto: lo que sale al tirar una moneda S = {cara, cruz}
Continuo: la vida til de una lamparita S = {xR: x>0}
Evento A
Un subconjunto del espacio muestral
Ejemplos:
Que salga cara al tirar la moneda A={cara}
Que la lamparita dure ms de 3000 segundo A={xR:
x>3000}
pgina 7 Cadenas de Markov Evaluacin de Performance
Probabilidad Bsica Terminologa
Probabilidad P(A)
Es una funcin que asocia cada evento con un valor entre 0 y 1
Su interpretacin frecuentista es que la probabilidad mide la frecuencia
relativa de ocurrencia del evento A
Desde un punto de vista ms matemtico, se puede ver como una
medida en el espacio S
Probabilidad condicional
Probabilidad de que suceda A, dado que sucedi B (con P(B)>0)
Tomemos una particin del espacio de muestreo {B
i
}
i=1,,n
pgina 8 Cadenas de Markov Evaluacin de Performance
Probabilidad Bsica - Terminologa
Independencia:
Dos eventos A y B son independientes s y solo s
Variable aleatoria (v.a.) X
Es una funcin del espacio muestral a los reales
Ejemplos:
Moneda: X(cara) = 0; X(cruz) = 1
El ejemplo de la duracin de la lamparita es evidente
La transformacin entre los eventos y los reales
mediante la variable aleatoria es generalmente obviada,
pero no hay que olvidarse de ella!!
pgina 9 Cadenas de Markov Evaluacin de Performance
Probabilidad Bsica - Terminologa
Funcin de distribucin F(x):
Funcin densidad f(x):
pgina 10 Cadenas de Markov Evaluacin de Performance
Probabilidad Bsica - Terminologa
Media o esperanza o valor esperado de X (E{X}):
En el caso discreto:
En el caso continuo:
Intuitivamente el centro de masa de la v.a. X o el valor
promedio de infinitas realizaciones
Varianza de X (Var{X}):
Intuitivamente la dispersin de la v.a. X
pgina 11 Cadenas de Markov Evaluacin de Performance
Ejemplos de Distribuciones
V.A. con distribucin geomtrica
X ~ Geom(p)
X en este caso representa el nmero de intentos que se
necesitan para que ocurra por primera vez un evento de
probabilidad p:
Interesante:
Las v.a. geomtricas no tienen memoria!!
pgina 12 Cadenas de Markov Evaluacin de Performance
Ejemplos de Distribuciones
V.A. con distribucin exponencial
X ~ exp(l)
Al igual que la geomtrica, tampoco tiene memoria
Si asocio X con tiempo hasta que suceda algo, haber
esperado t segundos no me dice nada de cunto falta para
que suceda ese algo
Es la nica distribucin continua que cumple esta propiedad
El mnimo de n exponenciales es otra exponencial de
parmetro l
i
pgina 13 Cadenas de Markov Evaluacin de Performance
Ejemplos de Distribuciones
V.A. con distribucin de Poisson
X ~ Poisson(l)
Una manera interesante de ver esta distribucin es:
Ponemos en la lnea una sucesin de puntos, cuya
distancia entre ellos es aleatoria de distribucin exp(l),
entonces el nmero de puntos que cae en cualquier
entorno de largo 1 es un v.a. de distribucin Poisson(l)
pgina 14 Cadenas de Markov Evaluacin de Performance
Proceso Estocstico
Hay veces que lo importante no es un valor nico,
sino una sucesin temporal (aleatoria)
Cuntos paquetes hay en el buffer en cada instante t
Cuntas llamadas estn siendo cursadas en cada
instante t
Un proceso estocstico le asigna a cada elemento
del espacio muestral S una funcin en t
Cada elemento w de S est asociado a una funcin X
t
(w)
Para un valor de w, X
t
(w) es una funcin temporal
Para un valor de t, X
t
(w) es una variable aleatoria
Para un valor de t y w, X
t
(w) es un valor fijo
Generalmente la funcin X
t
(w) para un w dado, es
llamado realizacin del proceso o trayectoria
pgina 15 Cadenas de Markov Evaluacin de Performance
Proceso Estocstico
Espacio de estados
El conjunto de posibles valores que puede tomar
X
t
(w) (continuo o discreto)
Espacio de parmetros
El conjunto de posibles valores que puede tomar t
(continuo o discreto)
Algunos parmetros de inters:
Distribucin temporal: la distribucin de la v.a. X
t
para un t dado
Distribucin estacionaria: la distribucin de la v.a. X
t
cuando t (si existe)
pgina 16 Cadenas de Markov Evaluacin de Performance
Proceso Estocstico
Algunos parmetros de inters (cont)
Estadsticas de orden n (o distribuciones finito-
dimensionales)
para todos los posibles conjuntos {t
1
,,t
n
}
Ejemplos:
Estadstica de orden 1:
la distribucin estacionaria
la esperanza para un t dado
Estadstica de orden 2: la covarianza
pgina 17 Cadenas de Markov Evaluacin de Performance
Estacionario y Ergdico
Proceso estacionario
El proceso es estacionario cuando las estadsticas de todos los
rdenes permanecen incambiados por una traslacin temporal
Ms sencillo de verificar es un proceso estacionario en el sentido
amplio (la media y la covarianza son invariantes)
Proceso ergdico
La estadstica de X
t
(w) para un w dado es la misma que la de X
t
para un t dado
Consecuencia prctica: con una nica realizacin (infinita) del
proceso puedo obtener toda la estadstica de X
t
(w)
Ergdico => Estacionario (No al revs, ejemplo de un proceso
estacionario pero no ergdico?)
pgina 18 Cadenas de Markov Evaluacin de Performance
Proceso de Markov
Un proceso estocstico es de Markov si:
La condicin se puede interpretar de varias maneras:
El futuro de un proceso de Markov depende nicamente del
estado actual (y no de cmo se lleg a l)
El estado actual de un proceso de Markov es toda la
informacin que se necesita para caracterizar el futuro
Dado el estado actual, el futuro y el pasado son indeptes.
Se pueden analizar mediante procesos de
Markov los ejemplos que dimos al comienzo?
Depende, pero eso lo vemos ms adelante
pgina 19 Cadenas de Markov Evaluacin de Performance
Agenda
Repaso de conceptos bsicos de probabilidad
Cadenas de Markov en tiempo discreto
Ergodicidad de la Cadena
pgina 20 Cadenas de Markov Evaluacin de Performance
CMTD
Cadenas de Markov en Tiempo Discreto (CMTD)
es un proceso de Markov con:
Espacio de estados E discreto (finito o no)
Un sub-conjunto de los naturales
Espacio de parmetros discreto tambin (t = 0, , n, )
Al ser un proceso de Markov, el proceso est
caracterizado por su probabilidades de transicin
del estado i al j en el instante n
De aqu en adelante asumiremos homogeneidad
temporal (i.e. p
ij
(n)=p
ij
)
pgina 21 Cadenas de Markov Evaluacin de Performance
CMTD
Un ejemplo: un ratn dentro de un laberinto
El ratn slo puede moverse por los corredores en la
direccin de las flechas y la pieza 3 tiene la salida
En cada pieza elige al azar entre las posibles direcciones, sin
recordar su recorrido anterior
Xn={Pieza a la que va el ratn despus de cada eleccin} es
una cadena de Markov?
pgina 22 Cadenas de Markov Evaluacin de Performance
CMTD
Un ejemplo: un ratn dentro de un laberinto
(cont)
La manera clsica de representar la cadena es
mediante el denominado grafo asociado
pgina 23 Cadenas de Markov Evaluacin de Performance
CMTD
Un ejemplo: un ratn dentro de un laberinto
(cont)
Otra manera de representar la cadena es mediante
la matriz de transiciones P=(p
ij
)
Columna j:
probabilidades de llegar
a j por los otros estados
Fila i: probabilidades de
pasar a los otros estados
desde i (debe sumar 1)
pgina 24 Cadenas de Markov Evaluacin de Performance
CMTD
Sea p
n
el vector fila (de largo quiz infinito) con la
distribucin de la cadena en el tiempo n
p
n
es un vector de probabilidad: p
n
(j)=1 y p
n
(j)0
Cunto vale p
n+1
?
Por recurrencia vale:
pgina 25 Cadenas de Markov Evaluacin de Performance
Agenda
Repaso de conceptos bsicos de probabilidad
Cadenas de Markov en tiempo discreto
Ergodicidad de la cadena
pgina 26 Cadenas de Markov Evaluacin de Performance
Distribucin Estacionaria
Tomemos la siguiente cadena sencilla:
Despus de un cierto tiempo, la distribucin de la cadena converge a
un nico valor sin importar la condicin inicial
Esto es siempre verdad? Si no, cundo?
Esto qu tiene que ver con la ergodicidad que vimos
antes?
1 2
1/3
1/5
4/5
2/3
pgina 27 Cadenas de Markov Evaluacin de Performance
Distribucin Estacionaria
Esto es siempre verdad? Es decir, todas las
cadenas de Markov tiene distribucin
estacionaria nica?
No! Contra-ejemplo: el ratn en el laberinto
Puedo terminar en p=[0 0 0 0 1 0] o p=[0 0 0 0 0 1]
Entonces bajo qu condiciones? Ahora vemos
pgina 28 Cadenas de Markov Evaluacin de Performance
Clasificacin de los estados
Comunicacin entre dos estados (ij)
Los estados i y j se comunican sii existe un recorrido
que lleve de i a j en el grafo asociado y viceversa
Ejemplos en el laberinto:
3 2
Ni 6 ni 5 se comunican con el resto
La comunicacin define una
relacin de equivalencia
Se pueden agrupar los estados que se comunican
en clases de equivalencia
Si existe una nica clase de equivalencia (i.e. todos
los estados se comunican entre s) entonces la
cadena se dice irreducible
pgina 29 Cadenas de Markov Evaluacin de Performance
Clasificacin de los estados
Estado transitorio o recurrente
Sea f
n
(i) la probabilidad de, saliendo del estado i,
volver por primera vez en n pasos
La probabilidad f(i) de volver al estado en tiempo
finito es:
El estado i es transitorio sii f(i)<1
Hay una probabilidad no nula de nunca volver al estado i
El estado i es recurrente sii f(i)=1
Si el espacio de estados es finito, siempre existe al menos
un estado recurrente
Si el espacio de estados es infinito, puede no haber
estados recurrente (e.g. p
i,i+1
=1)
pgina 30 Cadenas de Markov Evaluacin de Performance
Clasificacin de los estados
A su vez, los estados recurrentes se separan en
dos dependiendo de su nivel de recurrencia
Sea M(i) el tiempo medio de retorno al estado:
Si M(i)= el estado se denomina recurrente nulo
Si M(i)< el estado se denomina recurrente positivo
La recurrencia es propia de la clase
E.g. en una cadena irreducible, si un estado es
recurrente positivo, todos los estados lo sern
Este valor est relacionado con la distribucin
estacionaria, como veremos ms adelante
pgina 31 Cadenas de Markov Evaluacin de Performance
Clasificacin de los estados
Periodicidad
Sea d(i)=mcd{n:p
(n)
ii
>0}
El estado es peridico de perodo d(i) sii d(i)>1
Por ejemplo, si es peridico de perodo 2, puedo volver al
estado nicamente despus de 2, 4, 6, pasos
Si no, es aperidico
Si p
ii
>0, entonces i es aperidico
La periodicidad tambin es propia de la clase
1 2
1
1
pgina 32 Cadenas de Markov Evaluacin de Performance
Ergodicidad
Una cadena irreducible se dice ergdica sii
todos sus estados son:
Recurrentes positivos
Aperidicos
Como vimos antes, basta con verificar las
condiciones en un solo estado
Si la cadena es ergdica entonces existe un
nico vector de probabilidad p

tal que
cualquiera sea la ley inicial p
0
se cumple que
pgina 33 Cadenas de Markov Evaluacin de Performance
Ergodicidad Caso E Finito
Si el espacio de estados E es finito entonces las
siguientes son condiciones necesarias y suficientes
X es ergdica con distribucin estacionaria p

sii
X es ergdica sii l=1 es valor propio dominante de P con
multiplicidad 1 (y adems el vector propio asociado es p

)
Se puede probar tomando en cuenta que por la ecuacin anterior, p

debe cumplir
Una manera de calcular p

es resolviendo la ecuacin
anterior junto a la normalizacin p

(i)=1
pgina 34 Cadenas de Markov Evaluacin de Performance
Ergodicidad
En una cadena ergdica, la distribucin
estacionaria p

puede ser interpretada de dos

maneras:
La porcin de tiempo que la cadena est en el
estado i es p

(i)
Adems, tiene la siguiente relacin con el tiempo
medio de retorno M(i)
Intuicin: Cada vez que salgo del estado i vuelvo en M(i)
instantes => estoy 1 de cada M(i) instantes en i
pgina 35 Cadenas de Markov Evaluacin de Performance
Ecuaciones de Balance
Si p

es la distribucin estacionaria entonces:

Adems:
Multiplicando las dos ecuaciones y eliminando
el trmino repetido obtenemos:
pgina 36 Cadenas de Markov Evaluacin de Performance
Ecuaciones de Balance
Todo lo que sale (pesado por la probabilidad de
estar ah) es igual a lo que entra (tambin
pesado por la probabilidad de estar ah)
j k n m
l
pgina 37 Cadenas de Markov Evaluacin de Performance
Ecuaciones de Balance
Las ecuaciones de balance se pueden extender
a conjuntos S de estados
Se toma la ecuacin
Se suma en los estados pertenecientes a S
Y cancelando los trminos repetidos resulta:
pgina 38 Cadenas de Markov Evaluacin de Performance
Ecuaciones de Balance
Es una ecuacin sumamente til para encontrar la
distribucin estacionaria
Escribimos todas las p

(i) en funcin de un p

(j) en
particular, y luego normalizamos
j k n m
l
pgina 39 Cadenas de Markov Evaluacin de Performance
Bibliografa
Esto no fue ms que un vistazo a las cadenas de
Markov en tiempo discreto. Por ms info
consultar la web del curso y/o el siguiente
material:
Introduccin a la Investigacin de Operaciones (INCO-
FING). http://www.fing.edu.uy/inco/cursos/io/material
V. Petrov, E. Mordecki. Teora de Probabilidades.
Editorial URSS. Mosc - Rusia, 2002.
K. L. Chung. Markov chains with stationary transition
probabilities. Springer, 1960-67.
P. Brmaud. Markov chains. Springer, 1999.
S. Resnick. Adventures in stochastic processes.
Birkhuser, 1994.
W. Feller. Introduccin a la teora de probabilidades y
sus aplicaciones. Vol 1. Limusa, 1986.