1. Introducción
3. Ecuaciones de Chapman-Kolmogorov
4. Clasificación de los estados en una cadena de Markov
7. Cadenas de Markov en tiempo continuo
9. Probabilidades de estado estable
Las cadenas de Markov se incluyen dentro de los denominados procesos estocásticos. Dichos estudian el comportamiento de variables aleatorias a lo largo del tiempo X(t,w). Se definen como una colección de variables aleatorias {X(t,w), t Î I}, donde X (t,w) puede representar por ejemplo los niveles de inventario al final de la semana t. El interés de los procesos estocásticos es describir el comportamiento de un sistema e operación durante algunos periodos.
Los procesos estocásticos se pueden
clasificar atendiendo a dos aspectos: si el espacio de estados posibles de la
variable aleatoria contiene valores discretos o continuos y de si los valores
del tiempo son discretos o continuos.
Las cadenas de Markov es un proceso
estocástico en el que los valores del tiempo son discretos y los estados
posibles de la variable aleatoria contiene valores discretos, es decir, es una
cadena estocástica de tiempo discreto.
Las cadenas de Markov, se clasifican, además, dentro de los procesos estocásticos de Markov, que son aquellos en el que el estado futuro de un proceso es independiente de los estados pasados y solamente depende del estado presente. Por lo tanto las probabilidades de transición entre los estados para los tiempos k-1 y k solamente depende de los estados que la variable adquiere dichos tiempos.
Las cadenas de Markov están constituidas por un conjunto de valores {Xn , n :0,1,2...} que cumplen la probabilidad de alcanzar cualquier estado j de la variable depende exclusivamente del estado i alcanzado en el instante de tiempo anterior.
P[Xn+1= j / Xn = i, Xn-1 = i1,..., X0=in]=P[Xn+1=j / Xn=i] Ñ i,j
Se define para cada par de estados (i, j) que se alcanzan en dos pasos consecutivos de n y n+1 una probabilidad condicional denominada probabilidad de transición pij.
P[X+1=j / Xn=i] = pij
Las probabilidades de transición de un paso son estacionarias, es decir, que no cambian con el tiempo.
Si pij no depende del instante n se dice que la cadena de Markov es homogénea. Las probabilidades de transición estructuradas en forma matricial da lugar a lo que se denomina matriz de transición. Dicha matriz relaciona los estados de la variable en dos pasos consecutivos y n+1 a través de sus probabilidades de transición.
|
Periodo n+1 |
||||
| Estado 1 | ... | Estado M | ||
Periodo n |
Estado 1 | p11 | p1* | p1M |
| .... | P * 1 | p** | p*M | |
| Estado M | pM 1 | pM* | pMM | |
Una probabilidad de transición pij ^(n) de n pasos entre los estados i y j indica la probabilidad de que partiendo del estado i en pasos se llegue al estado j.
Ecuaciones
de Chapman-Kolmogorov
Estas ecuaciones proporcionan un método para determinar las probabilidades de que un proceso del estado i notada por pij ^(n).
pij ^(n) = åk=0..K pik ^(m) pkj
^(-m) ; Ñ i,j,n; 0<m£ n
Cada sumando representa la probabilidad de que partiendo del estado i se llegue al estado k transcurridos m períodos y posteriormente desde el estado k se llegue al estado j en n-m períodos.
Clasificación
de los estados en una cadena de Markov
Las probabilidades de transición asociadas a los estados juegan un papel importante en el estudio de las cadenas de Markov. Para describir con mas detalles las propiedades de una cadena de Markov es necesario presentar algunos conceptos y definiciones que se refieren a estos estados.
U estado j es accesible desde el estado i si para algún n se tiene que pij ^(n) >0.
Una cadena de Markov se puede dividir en clases. Una clase está formada por todos los estados que son accesibles entre sí .
Considerando las probabilidades fii de que el proceso regrese al estado i comenzando en el estado i se puede clasificar los estados en recurrente sí fii =, transitorio sí fii <1y absorbente sí pii =1.
En una cadena de Markov finita e irreducible todos los estados de dicha cadena so recurrentes.
El período de u estado i es el número T de períodos para el cual se cumple que pij ^(n) =0, siendo los valores distintos de T, 2T, 3T,.. y T es el valor más elevado que cumple esa propiedad.
Un estado es apériodico si la variable aleatoria puede encontrarse en el mismo estado en dos períodos consecutivos.
Un estado i es recurrente positivo si comenzando en el estado i el tiempo esperado para que el proceso regrese al estado i es finito.
Un estado se denomina esgórico si es recurrente positivo y además aperiódico. Una cadena es ergórica si todos sus estados son esgóricos.
Es importante el nº de transiciones de que hace el proceso al ir del estado i al j por primera vez; a esto se llama “tiempo de 1ª pasada”. ”Tiempo de recurrencia” será una particularización de lo anterior para i=j (nº de transiciones hasta volver al estado inicial i).
En general los tiempos de 1ª pasada son variables aleatorias, donde las distribuciones de probabilidad dependen de las probabilidades de transición del proceso. Éstas probabilidades satisfacen lo siguiente:
fij(1)=pij(1)=pij
fij(1)=å pik fkj(1)
k¹j
fij(n)=å pik fkj(n-1)
k¹j
La última suma puede resultar menor que 1, lo que significa que un proceso que comienza en i, puede nunca alcanzar el estado j. Es sencillo calcular el tiempo de primera pasada de i a j; siendo mij esta esperanza:
¥
ì ¥ si å fij(n)<1
mij =í
n=1
ï ¥
ïå n fij(n)=1 si å fij(n)=1
î n=1
n=1
mij satisface de manera única, la ecuación: mij =1+å pik mkj
k¹j
que reconoce que la 1ª transición puede ser al estado j o a algún otro estado k.
Para el caso de mii (con j=i)es el nº esperado de transiciones para que el proceso regrese al estado i(“tiempo esperado de recurrencia”).Éstos se calculan de inmediato de la forma:
1
mii =----- siendo pi las probabilidades de estado estable.
pi
Un estado se
llama absorbente si pik =1, es decir, si una vez que el estado llega
a k, permanece ahí para siempre. Si k es un estado absorbente y el proceso
comienza en i, la probabilidad de llegar a k se llama probabilidad de absorción
de k (fik ). Si se tienen 2 o más estados absorbentes, el proceso
será absorbido por uno de éstos. Para saber cual, hay que resolver el sistema
de ecuaciones:
M
fik=å pij fjk para i=0,1,…,M
j=0
Esto es importante en las “caminatas aleatorias”: cadenas de Markov en las que si el sistema se encuentra en el estado i, entonces, en una sola transición, o permanece en i, o se mueve a uno de los 2 estados inmediatamente adyacentes a i.
Cadenas de Markov en tiempo continuo
Se etiquetan los estados posibles del sistema 0,1,…,M. Se comienza en 0, y t³0. Sea la v.a.X(t´) el estado del sistema en t´. Tomará un valor en 0£t´<t1 , después tomará otro valor en t1£t´<t2,…
Es interesante conocer el estado del proceso en t´=s+t(t unidades en el futuro). Será sencillo conocerlo si el proceso tiene la propiedad markoviana:
P{X(s+t)=j/X(s)=i y X(r)=x(r)}= P{X(s+t)=j/X(s)=i} "i,j y "r³0, s>r y t>0.
P{X(s+t)=j/X(s)=i} es una probabilidad de transición. Si es independiente de s, se llamará probabilidad de transición estacionaria.
Un proceso estocástico de tiempo continuo {X(t); t³0} es una cadena de Markov de tiempo continuo si tiene la propiedad markoviana.
*La distribución de probabilidad del tiempo que falta para que el proceso haga una transición fuera de un estado dado es siempre la misma(independientemente del tiempo que el proceso haya pasado en ese estado), es decir:no tiene memoria. La única distribución en TC que cumple esto es la distribución exponencial:
P{Ti£t}=1-e-qt para t³0 (parámetro q, media 1/q).
Por tanto, describiremos la cadena de Markov:
-La v.a. Ti tiene una distribución exponencial con media 1/q.
-Al salir de un estado i, se pasa a otro j, con probabilidad pij que cumple que pij=0
para toda i, y la suma de todas las pij es 1.
-El siguiente estado que se visita tras i, es independiente del tiempo transcurrido
en i.
Las intensidades de transición(probabilidades de transición, pero en TC) :
d 1- pii(t)
qi= - ¾ pii(0)=lim ¾¾¾¾¾, para i=0,1,2,…,M,
dt t®0 t
y
d 1- pij(t)
qi= - ¾ pij(0)=lim ¾¾¾¾¾ = qi pij , para toda j¹i
dt t®0 t
donde pij es la función de probabilidad de transición de TC, qi y qij son las tasas de transición(qi=å qij ).
i¹j
Probabilidades de estado estable:
La función de probabilidad de transición de TC satisface las ecuaciones de Chapman-Kolmogorov, luego para cualequiera estados i,j y números t y s(0£s<t):
M
pij=å pik(s)pkj(t-s) para i=0,1,…,M
k=1
Se dice que un par de estados i,j se comunican si existen tiempos t1, t2 tales que pij(t1)>0 y pij(t2)>0. Todos los estados que se comunican forman una clase. Si todos los estados en una cadena forman una clase, entonces la cadena será irreducible, por lo que:
pij(t)>0, para todo t>0 y todos los estados i,j , y más aún:
lim pij(t)=pj llamadas probabilidades de estado estable(o estacionarias).
t®¥
Las probabilidades estacionarias satisfacen: M
pj qj=å pi qij para j=0,1,…,M y å pj=0
i¹j j=0
(éstas ecuaciones se suelen llamar de balance).
Problema de ratón: