4.1 Introducción a las Cadenas o Procesos de Markov
Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria, "Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado. En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de compra, los deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo. El análisis de Markov, llamado así en honor de un matemático ruso que desarrollo el método en 1907, permite encontrar la probabilidad de que un sistema se encuentre en un estado en particular en un momento dado. Algo más importante aún, es que permite encontrar el promedio a la larga o las probabilidades de estado estable para cada estado. Con esta información se puede predecir el comportamiento del sistema a través del tiempo. La tarea más difícil es reconocer cuándo puede aplicarse. La característica más importante que hay que buscar en la memoria de un evento a otro. Considere el problema siguiente: la compañía K, el fabricante de un cereal para el desayuno, tiene un 25% del mercado actualmente. Datos del año anterior indican que el 88% de los clientes de K permanecían fieles ese año, pero un 12% cambiaron a la competencia. Además, el 85% de los clientes de la competencia le permanecían fieles a ella, pero 15% de los clientes de la competencia cambiaron a K. Asumiendo que estas tendencias continúen determine ¿cuál es la parte que K aprovecha del mercado?:
a.
en 2 años; y
b.
en el largo plazo.
Esta situación es un ejemplo de un problema de cambio de marcas que sucede muy a menudo que se presenta en la venta de bienes de consumo. Para resolver este problema hacemos uso de cadenas de Markov o procesos de Markov (qué es un tipo especial de proceso estocástico). El procedimiento se da enseguida. Procedimiento de solución Observe que, cada año, un cliente puede estar comprando cereal de K o de la competencia. Podemos construir un diagrama como el mostrado abajo donde los dos círculos representan a los dos estados en que un cliente puede estar y los arcos representan la probabilidad de que un cliente haga una cambio cada año
entre los estados. Note que los arcos curvos indican una "transición" de un estado al mismo estado. Este diagrama es conocido como el diagrama de estado de transición (notar que todos los arcos en ese diagrama son arcos dirigidos).
Dado ese diagrama nosotros podemos construir la matriz de la transición (normalmente denotada por el símbolo P) la qué nos dice la probabilidad de hacer una transición de un estado a otro estado. Sea: estado 1 = cliente que compra cereal de K y estado 2 = cliente que compra cereal de la competencia tenemos así la matriz de transición P para este problema, dada por Para estado 1 2 Del estado 1 | 0.88 0.12 | 2 | 0.15 0.85 | Note aquí que la suma de los elementos en cada fila de la matriz de la transición es uno. Por datos de este año sabemos que actualmente K tiene un 25% del mercado. Tenemos que la fila de la matriz que representa el estado inicial del sistema dada por: Estado 12 [0.25, 0.75] Normalmente denotamos esta fila de la matriz por s1 indicando el estado del sistema en el primer periodo (años en este ejemplo en particular). Ahora la teoría
de Markov nos dice que, en periodo (año) t, el estado del sistema está dado por el st de la fila de la matriz, donde: st = st-1(P) =st-2(P)(P) = ... = s1(P)t-1 Tenemos que tener cuidado aquí al hacer la multiplicación de la matriz ya que el orden de cálculo es importante (i.e. st-1(P) no es igual a (P)st-1 en general). Para encontrar st nosotros podríamos intentar hallar P directamente para la potencia t-1 pero, en la práctica, es mucho más fácil de calcular el estado del sistema en cada sucesivo año 1,2,3 ,..., t. Nosotros ya sabemos el estado del sistema en el año 1 (s1) tal que el estado del sistema en el año dos (s2) está dado por: s2 = s1P = [0.25,0.75] |0.88 0.12 | ........|0.15 0.85 | = [(0.25)(0.88) + (0.75)(0.15), (0.25)(0.12) + (0.75)(0.85)] = [0.3325, 0.6675] Note que este resultado tiene sentido intuitivo, e.g. del 25% comprando actualmente al cereal de K, 88% continúan haciendolo, aunque del 75% comprando el cereal del competidor 15% cambia a comprar cereal de K - dando un (fracción) total de (0.25)(0.88) + (0.75)(0.15) = 0.3325 comprando cereal de K. De lo anterior, en el año dos 33.25% de las personas están en estado 1 - esto es, está comprando cereal de K. Note aquí que, como un chequeo numérico, los elementos de st deben sumar siempre uno. En el año tres el estado del sistema se da por: s3 = s2P = [0.3325, 0.6675] |0.88 0.12 | ............... |0.15 0.85 | = [0.392725, 0.607275] Por lo tanto en el año tres 39.2725% de las personas están comprando al cereal de K.
Recalcar que está pendiente la cuestión hecha sobre la porción que K comparte del mercado en el largo plazo. Esto implica que necesitamos calcular st cuando t se hace muy grande (se acerca al infinito). La idea de la largo plazo es basada en la suposición de que, en el futuro, el sistema alcance un "equilibrio" (a menudo llamado el "estado sustentable") en el sentido de que el st = st-1. Ésto no quiere decir que las transiciones entre estados no tengan lugar, suceden, pero ellos tienden "al equilibrio global" tal que el número en cada estado permanece el mismo. Hay dos enfoques básicos para calcular el estado sustentable: Computational: - encontrar el estado sustentable calculando st para t=1,2,3,... y se detiene cuando st-1 y st son aproximadamente el mismo. Esto es obviamente muy fácil para una computadora y este es el enfoque usado por un paquete computacional. Algebraico: - para evitar cálculos aritméticos largos necesarios para calcular st para t=1,2,3,... tenemos un atajo algebraico que puede usarse. Recalcar que en el estado sustentable st = st-1 (= [x1,x2] para el ejemplo considerado anteriormente). Entonces como st = st-1P tenemos eso [x1,x2] = [x1,x2] | 0.88 0.12 | .............| 0.15 0.85 | (y también notar que x1 + x2 = 1). De esto tenemos tres ecuaciones que podemos resolver. Note aquí que hemos usado la palabra suposición anteriormente. Esto es porque no todos los sistemas alcanzan un equilibrio, esto es, no cualquier sistema tiene matriz de transición |01| |1 0 | nunca alcanza un estado sustentable. Adoptando el enfoque algebraico anteriormente para el ejemplo del cereal K tenemos las tres ecuaciones siguientes: x1 = 0.88x1 + 0.15x2 x2 = 0.12x1 + 0.85x2
x1 + x2 = 1 o 0.12x1 - 0.15x2 = 0 0.12x1 - 0.15x2 = 0 x1 + x2 = 1 Note que la ecuación x1 + x2 = 1 es esencial. Sin élla no podríamos obtener una única solución para x1 y x2. Resolviendo conseguimos x1 = 0.5556 y x2 = 0.4444 Por lo tanto, en la largo plazo, K comercializa una porción del mercado del 55.56%. Un chequeo numérico útil (particularmente para problemas más grandes) es sustituir el examen final calculando los valores en las ecuaciones originales para verificar que ellos son consistentes con esas ecuaciones
4.2 Probabilidad de transición estacionaria de n pasos. Las ecuaciones de Chapman-Kolmogorov proporcionan un método para calcular estas probabilidades de transición de n pasos:
Estas ecuaciones simplemente señalan que al ir de un estado i al estado j en n pasos, el proceso estará en algún estado k después de exactamente m ( menor que n) pasos. Así, Es solo las probabilidad condicional de que, si se comienza en el estado i, el proceso vaya al estado k despues de m pasos y después al estado j en n- m pasos.
Los casos especiales de m=1 y m=n-1 conducen a las expresiones
Para toda i, j, y n de lo cual resulta que las probabilidades de transición de n pasos se pueden obtener a partir de las probabilidades de transición de un paso de manera recursiva. Para n=2, estas expresiones se vuelven : Note que las
son los elementos de la matriz P (2) , pero también de observarse
que estos elementos, se obtienen multiplicando la matriz de transición de un paso por sí misma; esto es , P(2) = P * P = P2 .
En términos más generales, se concluye que la matriz de probabilidades de transición de n pasos se puede obtener de la expresión : P(n) = P * P .... P = P n = PPn-1 = Pn-1 P. Entonces, la matriz de probabilidades de transición de n pasos se puede obtener calculando la n-ésima potencia de la matriz de transición de un paso. Para valores no muy grandes de n, la matriz de transición de n pasos se puede calcular en la forma que se acaba de describir, pero cuando n es grande, tales cálculos resultan tediosos y, más aún, los errores de redondeo pueden causar inexactitudes.
Ejemplo: Una tienda de cámaras tiene en almacén un modelo especial de cámara que se puede ordenar cada semana. Sean D 1, D2, ... las demandas de esta cámara durante la primera, segunda, ... , semana, respectivamente. Se supone que las Di son variables aleatorias independientes e idénticamente distribuidas que tienen una distribución de probabilidad conocida. Sea X 0 el número de cámaras que se tiene en el momento de iniciar el proceso, X 1 el número de cámaras que se tienen al final de la semana uno, X2 el número de cámaras al final de la semana dos, etc. Suponga que X0 = 3 . El sábado en la noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente política ( s, S)1 para ordenar : si el número de cámaras en inventario al final de la semana es menor que s =1 (no hay cámaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o más cámaras en el almacén, no se hace el pedido). Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces, {X 1} para t = 0, 1, .. es un proceso estocástico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el número posible de cámaras en inventario al final de la semana.
Así, dado que tiene una cámara al final de una semana, la probabilidad de que no haya cámaras en inventario dos semanas después es 0.283; es decir, De igual manera, dado que se tienen dos cámaras al final de una semana, la probabilidad de que haya tres cámaras en el almacén dos semanas después es 0.097; esto es, La matriz de transición de cuatro pasos también se puede obtener de la siguiente manera : P(4) = P4 = P(2) * P(2) Así, dado que queda una cámara al final de una semana, 0.282 es la probabilidad de que no haya cámaras en inventario 4 semanas más tarde; es decir, De igual manera, dado que quedan dos cámaras en el almacén final de una semana, se tiene una probabilidad de 0.171 de que haya tres cámaras en el almacén 4 semanas después; esto es,
4.3 Estado estable El termino probabilidad de estado estable significa que la probabilidad de encontrar el proceso es cierto estado despues de un numero grande de
transiciones es independiente de la distribucion de probabilidad inicial definida para los estados. Es importante observar que la probabilidad de estado estable no significa que el proceso se establezca en un estado. Parece que existe una probabilidad limite de que el sistema se encuentre en el estado “j” despues de un numero grande de transicion, y que esta probabilidad es independiente del estado inicial. En realidad, estas propiedades del comportamiento a largo plazo de un proceso de Markov de estado finito se cumplen en condiciones relativamente generales. El termino probabilistico de estado estable significa que la probabilidad de econtrar el proceso en cierto estado despues de un numero grande de transiciones es independiente de la districubucion de probabilidad inicial definida para los estados. Es importamte observar que la probabilidad de estado estable no significa que el proceso se establezca en un estado. Por el contrario, el proceso continua haciendo transiciones de un estado a otro y en cualquier paso “n” la probabilidad de transicion del estado “i” al estado “j” es todavia Pij. Para n grande, tiende a una matriz con renglones idénticos. Esto significa que después de un largo tiempo, la cadena de markov se estabiliza, e (independientemente del estado inicial i) hay una probabilidad de que se está en el estado. El vector se llama distribución de estado estable o distribución de equilibrio, para la cadena de markov. Para una cadena determinada con matriz de transición P, ¿cómo se puede hallar la distribución de probabilidad de estado estable? A partir del teorema 1, se observa que para n grande y toda i,
4.4 ESTADOS ABSORBENTES Es un estado a partir de la cual existe cero probabilidad de hacer una transición fuera de ese estado, que contiene al menos un estado que es posible llegar a un número de etapas comenzando en caulquier estado no absorbente. En una cadena de Markov un conjunto C de estados se denomina absorbentes si el sistema, pertenece indefinidamente. Un ejemplo especial de un conjunto cerrado es un estado particular Ej que tenga una probabilidad de transición p_ij=1. En este caso Ej se denomina estado absorbente. Todos los estado de una cadena irreducible deben formar un conjunto cerrado y ningún otro subconjunto puede ser cerrado. Los estados absorbentes tendrás sumas de probabilidades que con el correr del
tiempo llegarán a ser cero, todo esto debido a que hay estados que tiene probabilidad 1 y por ende los demás estados tenderán a llegar a esta clase de estados.
