Repblica Bolivariana de Venezuela

Ministerio del Poder Popular para la Defensa

Universidad Nacional Experimental de las Fuerzas Armadas
Extensin Santa Teresa del Tuy
Ncleo Miranda
Procesos Estocsticos
6to Semestre

Procesos Markovianos

Profesora:

Alumnos:

Florangela Angulo

Anthony Salazar
Maria De Ose
Raidenis Piango

22/11/2016

Procesos Markovianos
Un proceso estocstico en tiempo discreto es una Cadena de Mrkov en la
medida que se verifiquen las siguientes propiedades:
Propiedad Markoviana:

Donde i0, i1, ..., in-1, i, j son posibles estados o valores que puede tomar el
proceso estocstico en las distintas etapas. Esto consiste bsicamente en afirmar
que el futuro (t=n+1) es independiente del pasado dado el presente (t=n).

Propiedad Estacionaria: La probabilidad

No depende de la etapa n. Por ejemplo, la probabilidad de pasar del estado

i al estado j ser siempre la misma no importando el nmero de la etapa.
Si consideramos que la variable aleatoria asociado a este proceso
markoviano toma un nmero finito de estados (digamos M) las probabilidades de
transicin de un estado a otro se pueden resumir en una matriz P denominada
matriz de transicin de probabilidades en una etapa. Adicionalmente si conocemos
la distribucin de probabilidad para la etapa inicial (que denotamos por f0)
estamos en condiciones de conocer el proceso estocstico, que consiste en
determinar la distribucin de probabilidad en cada etapa.

Ejemplo
Suponga que en un juego existen 2 jugadores, cada uno de los cuales
dispone inicialmente de 2 monedas. En cada jugada se gana una moneda con
probabilidad o se pierde una moneda con probabilidad . El juego termina
cuando un jugador tiene 4 monedas o se queda con ninguna. Modele como una
Cadena de Mrkov la situacin descrita.
Desarrollo: El primer caso consiste en identificar la variable aleatoria la
cul debe representar el problema planteado, en este caso la evolucin del juego al
cabo de cada etapa o jugada. Se define la variable aleatoria en tiempo discreto Xn:
Cantidad de monedas que tiene uno de los jugadores (digamos el jugador A) al
cabo de la ensima jugada.
Luego se debe identificar los posibles valores o estados que puede tomar
esta variable aleatoria para una etapa n cualquiera. Sabemos que el jugador A
comienza el juego con 2 monedas y el juego termina cuando pierde todo (y por
tanto el jugador B gana) o cuando gana todo (y por tanto el jugador B pierde). En
consecuencia, los valores posibles para Xn son {0,1,2,3,4}.
A continuacin, se debe determinar las probabilidades de transicin (en
una etapa). Por ejemplo, si actualmente el jugador A tiene 2 monedas, la
probabilidad que tenga 3 monedas al cabo de una jugada es (probabilidad de
ganar) y la probabilidad de que tenga 1 moneda es (probabilidad de perder). De
esta forma se identifican las distintas combinaciones o probabilidades de que
comenzando en un estado "i" se pueda pasar a un estado "j" al cabo de una etapa.
Notar que si el jugador A tiene 0 monedas la probabilidad que contine en ese
estado es 1 (o 100%) dado que no tiene monedas para seguir jugando. De la

misma forma si el jugador A tiene 4 monedas el jugador B tiene 0 y por tanto la

probabilidad de que el jugador A se mantenga en ese estado es de 1 (o 100%).
Las probabilidades de transicin en una etapa se pueden representar
haciendo uso de un grafo o en forma resumida a travs de la matriz de transicin
de probabilidades.

Cabe destacar que la suma de las probabilidades para cada fila en la matriz
de transicin P es de un 100%.
Podemos responder preguntas adicionales como por ejemplo Cul es la
probabilidad de que el jugador A tenga 2 monedas al cabo de 2 jugadas?
Haciendo uso del grafo y dado que actualmente el jugador A tiene 2
monedas, se busca identificar las combinaciones que permitan a este jugador
mantener esta cantidad de monedas al cabo de 2 etapas. Esto se logra ganando la
prxima jugada (con probabilidad ) y perdiendo la jugada que sigue (con
probabilidad ). Tambin se llega al mismo resultado perdiendo la prxima
jugada, pero luego ganando en la jugada que sigue. Por tanto, la probabilidad de
tener 2 monedas al cabo de 2 etapas es P(X2=2/X0=2) = * + * = .

Teora de la renovacin

Un proceso de renovacin es una sucesin infinita de variables aleatorias

T1, T2,... que son no negativas, independientes e idnticamente distribuidas.

Dado un proceso de renovacin {T1, T2, . . .}, se definen los tiempos reales
de renovacin como W0= 0 y Wn = T1+ +Tn, para n 1. El proceso de conteo de
renovaciones es Nt = mx {n 0: Wn t}, para cada t 0.

La variable aleatoria Wn representa el tiempo real en el que se realiza la nsima renovacin, mientras que Nt indica el nmero de renovaciones realizadas
hasta el tiempo t. En la literatura se le denomina proceso de renovacin a
cualquiera de los procesos {Tn: n = 1, 2, . . .}, {W n: n = 0, 1, . . .}, o {N t: t 0},
pues por construccin existe una correspondencia biunvoca entre cuales quiera
dos de estos tres procesos.

Funcin de la renovacin
Una de las caractersticas ms importantes de un proceso de renovacin es
la que damos a continuacin.
Dado {N(t); t 0} un proceso de renovacin, llamamos funcin de renovacin
a M(t) = E [N(t)], el nmero esperado de renovaciones en el intervalo [0, t].
Esta funcin satisface:

Fenmenos de espera

Una lnea de espera es el efecto resultante en un sistema cuando la

demanda de un servicio supera la capacidad de proporcionar dicho servicio. Este
sistema est formado por un conjunto de entidades en paralelo que proporcionan
un servicio a las transacciones que aleatoriamente entran al sistema.
En la lnea de espera, existen dos costos perfectamente identificados:

El costo de las transacciones, que representa la cuantificacin monetaria de

la prdida de tiempo al esperar recibir un servicio o la prdida de clientes
por abandono.

El costo de proporcionar el servicio, que representa la cantidad de dinero

que hay que pagar por cuestin de sueldos y salarios, energa,
mantenimiento y depreciacin del personal o equipo.

Servidores
Representa el mecanismo por el cual las transacciones reciben de una
manera completa el servicio deseado.

Transacciones potenciales
Representa el nmero total de clientes que podran requerir el servicio
proporcionado por el sistema.

Fila
Es el conjunto de transacciones que espera ser atendido por alguno de los
servidores del sistema.

Distribucin de la variable tiempo de espera

La variable tiempo de espera es una variable aleatoria continua y no

negativa, cuya funcin de probabilidad puede especificarse de varias maneras. La
primera es la habitual funcin densidad de probabilidad f(t), y relacionadas con
ella, la funcin de supervivencia S(t) y la funcin de riesgo h(t).
La funcin densidad de probabilidad f(t) para una variable continua se
define como una funcin que permite calcular la probabilidad de que la variable
tome valores en un intervalo a travs de la frmula:

La funcin de supervivencia S(t) se define como:

Por lo tanto, la funcin de supervivencia da la probabilidad

complementaria de la habitual funcin de distribucin acumulativa F(t) = P (T
t), es decir S(t) = 1 - F(t).
Otro modo de expresar la probabilidad para la variable tiempo de espera es
por medio de la funcin de riesgo h(t) que es la funcin de densidad de
probabilidad de T, condicionada a que T t. Por ejemplo, para la supervivencia a
una intervencin quirrgica, la funcin de riesgo a los 2 aos es la de densidad de
probabilidad de morir a los 2 aos de la intervencin, condicionada a que ya se ha
sobrevivido hasta entonces. Esta probabilidad sera, realmente, la que en cada
momento le importa al enfermo intervenido.
Se puede demostrar que

A veces se usa tambin la funcin de riesgo acumulada H(t), ms difcil de

interpretar, que se define como

y que verifica

Es decir, las cuatro funciones estn relacionadas; si se conoce una

cualquiera de ellas, se pueden obtener las dems.
A pesar de que el tiempo es una variable continua, un observador slo
tiene acceso a valores discretos de la misma. Los datos observados para cualquiera
de las experiencias descritas en la introduccin son una serie de valores discretos.
Conviene, por lo tanto, definir las funciones anteriores en el caso (prctico) de
considerar a la variable tiempo como discreta, es decir, como un conjunto discreto
de valores t1 < t2 < El suponerlos ordenados de menor a mayor no representa
ninguna prdida de generalidad, de hecho, es as como se observa el tiempo.
Para una variable discreta, la funcin densidad de probabilidad f (t) se
define como:

y la funcin de supervivencia:

La funcin de supervivencia da, por lo tanto, para cada valor ti de T, la

probabilidad de que la variable T sea mayor o igual que ti (en este caso no es la
complementaria de la funcin de distribucin puesto que la probabilidad de que T
sea igual a ti, que en las variables discretas en general no es cero, est incluida en
ambas funciones), aunque otros textos, justamente para que siga siendo la
complementaria de la funcin de distribucin la definen sin incluir el igual.
Las funciones de riesgo y riesgo acumulado para una variable discreta
tambin son:

Proceso de Galton-Watson
Suponemos que el proceso se inicia con un individuo, el cual constituye la
generacin cero, sus hijos forman parte de la primera generacin, sus nietos la
segunda, y as sucesivamente. De esta manera denotamos la variable aleatoria Zn
como el nmero de individuos de la n-sima generacin.

Procesos de ramificacin a tiempo continuo

Una generalizacin al proceso de Galton-Watson, es considerar el tiempo
de vida de cada individuo como una variable aleatoria continua, al trmino de la
cual se muere y se produce un nmero aleatorio de individuos descendientes. En
lugar de considerar la cadena de Mrkov discreta, {Zn, n N}, tenemos que
considerar el proceso, {Z(t), t 0}, donde Z(t) es el nmero de individuos a
tiempo t. Adems, suponemos que la distribucin del tiempo de vida de cada
individuo es la misma, exponencial de parmetro a y todos los individuos se
reproducen segn la distribucin de la variable aleatoria N. Cada individuo es
independiente de los otros individuos y de la historia del proceso.
Para empezar, daremos la definicin de proceso de Mrkov a tiempo
continuo, y luego definiremos proceso de ramificacin unidimensional a tiempo
continuo.

Bibliografa

Cadenas de Mrkov

http://www.investigaciondeoperaciones.net/cadenas_de_markov.html

Luis Rincn
Enero 2012
Ciudad Universitaria, UNAM

Distribucin de la variable tiempo de espera

http://www.hrc.es/bioest/Supervivencia_2.html

Definicin de fenmenos de espera

https://simulacionproseso.wordpress.com/2014/10/22/definicion-defenomenos-de-espera/