1

Mtodos Estadsticos en Ciencias de la Vida

CADENAS DE MARKOV
Introduccin Un proceso o sucesin de eventos que se desarrolla en el tiempo en el cual el resultado en cualquier etapa contiene algn elemento que depende del azar se denomina proceso aleatorio o proceso estocstico. Por ejemplo, la sucesin podra ser las condiciones del tiempo en Paran en una serie de das consecutivos: el tiempo cambia da a da de una manera que en apariencia es algo aleatoria. O bien, la sucesin podra consistir en los precios de las acciones que cotizan en la bolsa en donde otra vez interviene cierto grado de aleatoriedad. Un ejemplo simple de un proceso estocstico es una sucesin de ensayos de Bernoulli, por ejemplo, una sucesin de lanzamientos de una moneda. En este caso, el resultado en cualquier etapa es independiente de todos los resultados previos (esta condicin de independencia es parte de la definicin de los ensayos de Bernoulli). Sin embargo, en la mayora de los procesos estocsticos, cada resultado depende de lo que sucedi en etapas anteriores del proceso. Por ejemplo, el tiempo en un da determinado no es aleatorio por completo sino que es afectado en cierto grado por el tiempo de das previos. El precio de una accin al cierre de cualquier da depende en cierta medida del comportamiento de la bolsa en das previos. El caso ms simple de un proceso estocstico en que los resultados dependen de otros, ocurre cuando el resultado en cada etapa slo depende del resultado de la etapa anterior y no de cualquiera de los resultados previos. Tal proceso se denomina proceso de Markov o cadena de Markov (una cadena de eventos, cada evento ligado al precedente) Estas cadenas reciben su nombre del matemtico ruso Andrei Andreevitch Markov (1856-1922). Como mencionamos antes, estas cadenas tiene memoria, recuerdan el ltimo evento y eso condiciona las posibilidades de los eventos futuros. Esto justamente las distingue de una serie de eventos independientes como el hecho de tirar una moneda. Este tipo de proceso presenta una forma de dependencia simple, pero muy til en muchos modelos, entre las variables aleatorias que forman un proceso estocstico. Se utilizan, por ejemplo, para analizar patrones de compra de deudores morosos, para planear necesidades de personal, para analizar el reemplazo de un equipo, entre otros. Definicin Una cadena de Markov es una sucesin de ensayos similares u observaciones en la cual cada ensayo tiene el mismo nmero finito de resultados posibles y en donde la probabilidad de cada resultado para un ensayo dado depende slo del resultado del ensayo inmediatamente precedente y no de cualquier resultado previo. Propiedad de Markov: Dada una secuencia de variables aleatorias X 1 , X 2 , X 3 , ...... , tales que el valor de X n es el estado del proceso en el tiempo n. Si la distribucin de probabilidad condicional de X n +1 en estados pasados es una funcin de X n por s sola, entonces: P(X n + 1 = x n + 1 /X n = xn , X n 1 = xn 1 ,....X 2 = x2 , X 1 = x1 ) = P(X n + 1 = x n + 1 /X n = xn ) Donde xi es el estado del proceso en el instante i.

Mtodos Estadsticos en Ciencias de la Vida Esta identidad es la denominada propiedad de Markov: El estado en t + 1 slo depende del estado en t y no de la evolucin anterior del sistema Matriz de transicin Al trabajar con cadenas de Markov, a menudo es til pensar la sucesin de ensayos como experimentos efectuados en cierto sistema fsico, cada resultado dejando a este sistema en cierto estado. Por ejemplo, consideremos una sucesin de elecciones polticas en cierto pas: el sistema podra tomarse como el pas mismo y cada eleccin lo dejara en cierto estado, es decir en el control del partido ganador. Si slo hay dos partidos polticos fuertes, llamados A y B, los que por lo regular controlan el gobierno, entonces podemos decir que el pas se encuentra en el estado A o B si el partido A o B ganara la eleccin. Cada ensayo (o sea cada eleccin), coloca al pas en uno de los dos estados A o B. Una sucesin de 10 elecciones podra producir resultados tales como los siguientes: A, B, A, A, B, B, B, A, B, B La primera eleccin en la sucesin deja en el poder al partido A, la segunda fue ganada por el partido B, y as sucesivamente, hasta que la dcima eleccin la gane el partido B. Supongamos que las probabilidades de que el partido A o B ganen la prxima eleccin son determinadas por completo por el partido que est en el poder ahora. Por ejemplo podramos tener las probabilidades siguientes: Si el partido A est en el poder, existe una probabilidad de que el partido A ganar la prxima eleccin y una probabilidad de de que el partido B gane la eleccin siguiente. Si el partido B est en el poder, hay una probabilidad de 1/3 de que el partido A gane la eleccin siguiente y una probabilidad de 2/3 que el partido B permanezca en el poder. En tal caso, la sucesin de elecciones forman una cadena de Markov, dado que las probabilidades de los dos resultados de cada eleccin estn determinadas por el resultado de la eleccin precedente. Lo descrito anteriormente puede representarse grficamente usando la siguiente red: Los crculos A y B se denominan nodos y representan los estados del proceso, las flechas que van de un nodo a si mismo o al otro son los arcos y representan la probabilidad de cambiar de un estado al otro

1/4 3/4 A B 1/3 2/3

La informacin probabilstica que se acaba de dar se puede representar de manera conveniente por la siguiente matriz: Resultado de la prxima eleccin A B Resultado de la A 1 / 4 3 / 4 1/ 3 2 / 3 ltima eleccin B

Mtodos Estadsticos en Ciencias de la Vida Esta matriz se denomina matriz de transicin. Los elementos de la matriz de transicin representan las probabilidades de que en el prximo ensayo el estado del sistema del partido indicado a la izquierda de la matriz cambie al estado del partido indicado arriba de la matriz. Definicin: Consideremos un proceso de Markov en que el sistema posee n estados posibles, dados por los nmeros 1, 2, 3, ., n. Denotemos pij a la probabilidad de que el sistema pase al estado j despus de cualquier ensayo en donde su estado era i antes del ensayo. Los nmeros pij se denominan probabilidades de transicin y la matriz nxn
P = ( pij ) se conoce como matriz de transicin del sistema

Observaciones: 1) La suma pi1 + pi 2 + ..... + pin = 1 . Esta suma representa la probabilidad de que el sistema pase a uno de los estados 1, 2, ., n dado que empieza en el estado i. Ya que el sistema ha de estar en uno de estos n estados, la suma de probabilidades debe ser igual a 1. Esto significa que los elementos en cualquier rengln de la matriz de transicin deben sumar 1. 2) Cada elemento pij 0 Ejemplo: una cadena de Markov como modelo para el ADN. Es improbable que una secuencia aleatoria de A,C,G y T sea un buen modelo para el patrn de nucletidos en una secuencia gnica. Una cadena de Markov con {A, T, G y C} podra ser una mejor aproximacin a la realidad: las probabilidades para el nucletido en la posicin j+1 dependen del nucletido en la posicin j. (Sin embargo, en la realidad las dependencias son ms complejas) Si el espacio de estados es S = {A, C, G, T}. La matriz de transicin P es de 4 x 4: Aqu

Ejercicios

0,3 0,5 0,2 1. Dada la matriz de transicin: P = 0,4 0,2 0,4 0,5 0,4 0,1 Cul es la probabilidad de que el prximo ensayo del sistema cambie: a) del estado 2 al 1?, b) del estado 1 al 3?

Mtodos Estadsticos en Ciencias de la Vida

2. En cierta nacin hay tres partidos polticos principales, el liberal (L), el conservador (C) y el demcrata (D). La matriz de transicin siguiente da las probabilidades de que la nacin sea controlada por cada uno de los tres partidos polticos despus de una eleccin, conocidas las diversas posibilidades del resultado de la eleccin anterior: L C D 0,7 0,2 0,1 C 0,5 0,3 0,2 0,3 0,4 0,3 D Suponiendo que el partido liberal tiene el control ahora, use un diagrama de rbol para determinar la probabilidad de que el partido conservador est en el poder despus de las dos prximas elecciones.
L

3. El valor de una accin flucta da con da. Cuando la bolsa de valores se encuentra estable, un incremento en un da tiende a anteceder una baja el da siguiente, y una baja por lo regular es seguida por un alza. Podemos modelar estos cambios en el valor mediante un proceso de Markov con dos estados, el primer estado consistente en que el valor se incrementa un dia dado, el segundo estado definido por la baja. (la posibilidad de que el valor permanezca sin cambio se ignora) suponga que la matriz de transicin es la siguiente: Cambio de maana A B Cambio de hoy A 0,1 0,9 0,8 0,2 B Si el valor de la accin baj hoy, calcule la probabilidad de que se incremente 3 das despus a partir de ahora. En el ejemplo que acabamos de ver, calculamos la probabilidad de que la accin vaya al alza al tercer da. Suponga que deseamos calcular la probabilidad de que la accin vaya al alza o la baja al dcimo da. En este caso, el uso de un diagrama sera muy complicado. En una situacin como esa, el lgebra de matrices evita dibujar un diagrama muy grande. Consideremos un sistema de n estados posibles, de modo que cada ensayo tiene n resultado posibles. En cualquier etapa en el futuro no podemos decir en qu estado se encontrar el sistema pero podramos estar en posicin de dar las probabilidades de que se encuentre en cada uno de los estados 1, 2, .,n. En general, si p1 , p2 , ....., pn son las probabilidades de que el sistema se encuentre en los estados 1, 2, .., n, respectivamente, entonces la matriz fila 1xn ( p1 p2 .... pn ) se conoce como matriz de estado inicial o vector de estado inicial del sistema. Obviamente que la suma de esa fila es 1. Denotaremos a la matriz de estado inicial con Ao y a la matriz de estado despus de k ensayos o etapas por Ak

Mtodos Estadsticos en Ciencias de la Vida En el ejemplo que vimos de las acciones, comenzamos con un estado inicial de baja, de modo que la matriz de estado inicial es: Ao = (0 1) En la matriz de transicin vemos que despus de un da, la accin est en alza con probabilidad de 0,8 y en baja con probabilidad de 0,2, as, la matriz de estado A1 despus de un da est dada por. A1 = (0,8 0,2)
La probabilidad de que la accin vaya al alza o a la baja despus de dos das es: p1 = (0,8)(0,1) + (0,2)(0,8) = 0,24 p2 = (0,8)(0,9) + (0,2)(0,2) = 0,76 As que la matriz de estado A2 despus de dos das est dada por: A2 = (0,24 0,76)

De esta forma podemos deducir la matriz de estado en cualquier etapa si se conoce la matriz de estado del ensayo previo. Lo generalizamos de la siguiente forma:
Teorema 1: Si P denota la matriz de transicin de una cadena de Markov y Ak es la matriz de estado despus de k ensayos, entonces la matriz de estado Ak +1 despus del ensayo siguiente est dada por: Ak +1 = Ak .P

Observemos lo que ocurre si hallamos P 2 en el ejemplo anterior.

0,73 0,27 Luego de hacer los clculos, resulta: P 2 = 0,24 0,76 Es de notar que todos los valores son no negativos, y que la suma por fila es 1, de donde P 2 es tambin una matriz de transicin, pero ahora es la matriz de transicin que se obtiene luego de dos pasos. La ltima fila corresponde a la matriz de estado A2 = (0,24 0,76) que habamos obtenido. Cul es la ventaja de trabajar con P 2 ? Qu significado tiene la fila (0,73 0,27 ) ?
Podemos extender este argumento a cualquier nmero de das en el futuro en que queremos hacer la prediccin, vemos que PxP = P 2 corresponde a las probabilidades de transicin en dos pasos, entonces P 3 , P 4 , ...., P m corresponden a las probabilidades de transicin en 3, 4, ., m pasos respectivamente. La matriz P m se conoce como la matriz de transicin en m pasos de la cadena de Markov.

Mtodos Estadsticos en Ciencias de la Vida

Ejemplo: La variacin del tiempo de un da a otro se supone que forma una cadena de Markov con la matriz de transicin siguiente:

S
S N LL

LL Donde los estados posibles son S (Soleado), N (Nublado) y LL (Lluvioso) Dado que hoy (domingo) est nublado, cul es la probabilidad de que el mircoles sea soleado?

0,6 0,2 0,2 0,2 0,5 0,3 0,1 0,4 0,5

Teorema 2: Una matriz de transicin P se dice que es regular si para algn entero positivo k, la matriz P k no tiene elementos iguales a cero. Si P es una matriz de transicin regular, entonces sin importar la matriz de estado inicial, las matrices de estado sucesivas se aproximan a alguna matriz de estado fija B en donde B.P = B. La matriz B se denomina matriz estacionaria del sistema Ejemplo: Si la matriz de transicin regular es: 0,8 0,2 P= 0,6 0,4 y B = ( p1 p2 ) es la matriz estacionaria que se requiere. Por definicin, la suma de las probabilidades p1 + p2 = 1 y adems B.P = B, o sea: 0,8 0,2 ( p1 p2 ) 0,6 0,4 = ( p1 p2 ) De all, resolviendo el sistema que queda planteado podemos calcular la matriz estacionaria buscada. Aplicaciones en Bioinformtica Bsqueda de genes Mapeo de vinculacin gentica Anlisis filogentico Prediccin de estructura secundaria de protenas Bsqueda de sitios conservados vs sitios variables Prediccin de regiones que codifican protenas dentro de genomas Modelado de familias de secuencias de protena o ADN relacionado Prediccin de elementos de estructura secundaria en secuencias primarias de protena

Mtodos Estadsticos en Ciencias de la Vida

Ejercicios

1. Suponga que la matriz de transicin de cierta cadena de Markov est dada por: 2 / 3 1/ 3 P= 1/ 4 3 / 4 Donde la primera fila y columna indica el estado 1 y la segunda fila y columna el estado 2. a) qu representa el elemento de la matriz? b) Suponiendo que el sistema se encuentra en un principio en el estado 1, con un diagrama de rbol encuentre la matriz de estado despus de dos ensayos. c) Ahora mediante el teorema 1 encuentre la respuesta a la pregunta anterior d) Cul es la matriz estacionaria del sistema? 2. La matriz de transicin de cierto proceso de Markov es: 0,3 0,5 0,2 0,1 0,6 0,3 0,4 0,1 0,5 a) Si el sistema se encuentra en un principio en el estado 1, determine la matriz estado despus de dos etapas del proceso b) Si el sistema se encuentra inicialmente en el estado 2, encuentre la matriz de estado despus de dos etapas c) Determine la matriz estacionaria
3. Las probabilidades de que cierto pas sea gobernado por uno de tres partidos polticos X, y o Z despus de la prxima eleccin estn dadas por la matriz de transicin:

X
X

1 / 2 1 / 3 1 / 6 0 Y 1 / 4 3 / 4 Z 1 / 5 2 / 5 2 / 5 a) Cul es la probabilidad de que el partido Z gane la prxima eleccin si el partido X est ahora en el poder? b) Cul es la probabilidad de que el partido X est en el poder despus de dos elecciones si se supone que el partido Y se encuentra en el poder ahora? c) Si el partido Z se encuentra en el poder, cul es la probabilidad de que estar ah despus de dos elecciones? 4. La probabilidad de que una persona de baja estatura tenga un hijo tambin de baja estatura es de 0,75, mientras que la probabilidad de que un padre alto tenga un hijo algo es de 0,60 (se ignora la posibilidad de concebir un hijo de mediana estatura) a) cul es la probabilidad de que un hombre alto tenga un nieto de baja estatura? b) cul es la probabilidad de que un hombre de baja estatura tenga un nieto alto? c) Encuentre la matriz estacionaria del proceso y d su interpretacin

Mtodos Estadsticos en Ciencias de la Vida

5. Las granjas de cierta regin pueden clasificarse en tres tipos: agrcolas, pecuarias o mixtas. Actualmente 30% son agrcolas, 40% pecuarias y 30% mixtas. La matriz de transicin de una ao al siguiente es: A P M 0,8 0,1 0,1 0 P 0,2 0,8 M 0,1 0,1 0,8 Encuentre los porcentajes de los tres tipos de granjas: a) el ao prximo, b) dentro de 2 aos, c) a largo plazo.
A

6. En cierto pas 90% de la energa es generada por petrleo, gas o carbn y 10% provena de la energa atmica. Cinco aos despus los porcentajes eran 80% y 20% respectivamente, mientras que 5 aos ms tarde fueron 75% y 25%. Suponiendo que el proceso es de Markov con (0,8 0,2) = (0,9 0,1).P (0,75 0,25) = (0,8 0,2).P Calcule la matriz de transicin P de 2 x 2. Encuentre la matriz estacionaria e interprtela. 7. Suponga que la ocupacin de cada persona puede clasificarse como de profesional, calificado o no calificado. Suponga, adems, que siempre es cierto que de los hijos de profesionales 70% son profesionales, 20% calificados y 10% no calificados, de los hijos de personas calificadas, 60% son calificados, 20% son profesionales y 20% son no calificados y de los hijos de personas no calificadas, 20% son profesionales, 30% son calificados y 50% no calificados. Suponga que el nmero total de personas con un ocupacin es el mismo en cada generacin y que en la generacin actual, 35% son profesionales, 35% calificados y 30% no calificados. Encuentre la matriz de transicin. Halle la distribucin de trabajos despus de una generacin y despus de dos generaciones.