Pro Pr o ce ceso soss Es Esto toc´ c´asti astico coss Ra´ul ul Jim´enez enez y Rosario Rosario Romera Rome ra UC3M
Diciembre 2008
Introducci´ on on
Pro Pr o ce ceso soss Es Esto toc´ c´asti astico coss El paso del tiempo juega un papel esencial en el complejo mundo que observamos. obser vamos. Es por eso la mayor mayor´ıa de los modelos mod elos matem´aticos atico s consideran consid eran cantidades que cambian aleatoriamente con el tiempo. Tales modelos son llamados proce pro ceso soss esto estoc´ c´ asti astico cos s y hay de muchos tipos. Muchos fen´ omeno omeno reales de la naturaleza, naturaleza, de las finanzas, finanzas, de la ingenier ingenier´´ıa motivan motivan las reglas de los que procesos procesos espec´ espec´ıficos que vamos a considerar considerar en este curso. Ellos son: 1
Cadenas de Markov a tiempo discreto
2
Martingalas
3
Procesos de Poisson y de renovaci´ on on
4
Cadenas de Markov a tiempo continuo y procesos de colas
5
Movimiento Browniano y difusiones
Introducci´ on on
Definici´ on general on
{
∈ }
Un proce pro ceso so esto estoc´ c´ asti astico co es una familia de variables aleatorias X t t , t T definidas sobre un mismo espacio de probabilidad (Ω, (Ω, , P ) y con valores en un mismo espacio, llamado espacio de estados y com´ unmente unmente denotado por S .
F
En este curso T siempre ser´a un conjunto conjun to de n´ umeros umeros reales.
{
}
{
Si T = 0, 1, 2, . . . , decimos que X t t , t tiempo discreto.
∈ T } es un proceso a
Si T es un intervalo de n´umero umero reales, decimos que es a tiempo continuo. Si T
∈
n
⊂ R
con n > 1, el proceso se denomina campo aleatorio .
→
Cada ω Ω, define una funci´on on T S , t trayectoria trayectori a del proceso proc eso esto estoc´ astico astico..
→ X (ω), que llamaremos t t
Cadenas de Markov
Cadenas de Markov Hace m´ as as de un siglo se escribi´ o el primer trabajo seminal sobre Cadenas de Markov y a´un un siguen siendo un instrumento tremendamente util u´til de modelaci´ on on esto estoc´ c´asti astica ca..
Su importancia obedece a dos razones: 1
Muchos ejemplos ejemp los f´ısicos, ısicos , biol´ ogicos, ogicos, econ´ omicos y sociales puedes ser omicos descritos con ellas.
2
Son modelos mod elos sencillos senci llos y su teor´ teor´ıa est´a bien desarrollada. desarrol lada.
Cadenas de Markov
Definici´ on
{ }
El proceso X n es una Cadena de Markov (CM) si para cualquier n N, j , i , i n−1 , . . . , i 0 S (espacio de estados)
∈
∈
|
|
P (X n+1 = j X n = i , X n−1 = i n−1 , . . . , X 0 = i 0 ) = P (X n+1 = j X n = i )
Esta expresi´ on es llamada propiedad de Markov y establece que dado el presente cualquier otra informaci´ on del pasado es irrelevante para predecir el futuro. Nos restringiremos al caso temporalmente homog´eneo, en el cual la probabilidad P (X n+1 = j X n = i ) = p (i , j )
|
no depende del tiempo n. La matriz P con componente [P ]i , j = p (i , j ) es llamada matriz de transici´ on de la cadena X n .
{ }
Cadenas de Markov
Ejemplo 1: Ruina del jugador A y B son jugadores que tienen k y N
− k euros respectivamente. Lanzan
una moneda repetidamente y en cada turno B le paga a A un euro si es cara. En caso contrario A le paga un euro a B . El juego termina cuando uno de los jugadores se arruina. La cantidad de euros que A tiene luego de on n turnos es una CM con probabilidades de transici´ p (i , i
−
1 1) = p (i , i + 1) = , si 0 < i < N , 2
p (0, 0) = p (N , N ) = 1 y p (i , j ) = 0 en caso contrario
A veces es ´util representar la cadena por un diagrama. Para el ejemplo anterior, con N = 4, ser´ıa 1/2 1
1/2
1/2
0
1/2
1
3
2 1/2
4 1
1/2
Cadenas de Markov
Ejemplo 2: Urnas de Ehrenfest
{
}
Considere la CM que toma valores en 0, 1, . . . , a con probabilidades de transici´on
|
P (X n+1 = j X n
1 − = )= 0 i
En forma matricial, para a = 5, 0 1 2 0 0 1 0 1 15 0 45 2 0 25 0 3 0 0 35 4 0 0 0 5 0 0 0
3 4 5 0 0 0 0 0 0 3 5 0 0 0 25 0 1 1 0 5 5 0 1 0
i a
i a
si j = i + 1 si j = i 1 en cualquier otro caso
−
Se tienen dos urnas, con a bolas repartidas dentro de ellas, y en cada etapa se escoge una bola al azar y se cambia de urna. La cadena X n representa el n´ umero de bolas de una de las urnas tras n etapas.
Cadenas de Markov
Ecuaciones de Chapman-Kolmogorov Usando la propiedad de Markov y la homogeneidad temporal, es f´acil comprobar que la probabilidad de ir de i a j en m etapas es
|
P (X m = j X 0
= )= (,
|
p i k )P (X m−1 = j X 0 = k )
i
k
Iterando, se obtiene que P (X m = j X 0 = i ) = p m (i , j )
|
Es decir, la probabilidad de ir de i a j en m etapas es el elemento (i , j ) de a recogida en las P m . La esencia de las ecuaciones anteriores est´ ecuaciones de Chapman-Kolmogorov m+n
p
(, )= i j
k
p m (i , k )p n (k , j )
Cadenas de Markov
Conjuntos cerrados e irreductibles Decimos que: n
→ j ) si, para alg´un n, p (i , j ) > 0 los estados i y j se comunican entre si (i ↔ j ) si i → j y j → i . i se comunica con j (i
Un conjunto de estados es:
cerrado si no existe ning´ un estado dentro del conjunto que se comunique con alguno afuera. Es decir, una CM no puede escapar de un conjunto cerrado. irreductible, si todos los estados del conjunto se comunican entre si. Si el conjunto de estados de una CM es irreductible entonces la cadena puede visitar cualquier estado del conjunto. Como ejemplo, considere la CM asociada a la ruina del jugador con N euros en juego. Entonces, 0, N es cerrado pero no es irreductible y 1, . . . , N 1 es irreductible pero no es cerrado.
{
− }
{ }
Cadenas de Markov
Estados recurrentes y transitorios
{ ≥ ∞|
}
Sea T i = min n 1 : X n = i tiempo de primera pasada por i (sin contar de donde parti´ o). Entonces, la probabilidad de que X n regrese a i es ρi = P (T i < X 0 = i ).
{ }
{ }
La propiedad de Markov implica que la probabilidad de que X n retorne a i n veces es ρni . Por lo que
{ }
Si ρi < 1 la probabilidad de que X n pase por i infinitas veces es cero. En ese caso, la cadena eventualmente no regresa a i y decimos que el estado i es transitorio. Si ρi = 1 la cadena regresa a i infinitas veces. En este caso decimos que el estado i es recurrente. Un estado i se denomina absorbente si p (i , i ) = 1. Por supuesto, si i es absorbente entonces es recurrente. Siguiendo con el ejemplo anterior de la ruina del jugador, 0 y N son absorbentes mientras que 1, . . . , N 1 son transitorios.
−
Cadenas de Markov
Caracterizaci´ on de conjuntos de estados recurrentes Proposici´ on 1. Si el espacio de estados de una cadena es finito entonces puede partirse en T ,C 1 , . . . , C k , donde T es el conjunto de todos los estados transitorios mientras que C 1 , . . . , C k son conjuntos irreductibles y cerrados de estados recurrentes. Proposici´ on 2. Si C es un conjunto de estados finito, cerrado e irreductible entonces todos los estados de C son recurrentes. La prueba de la proposici´ on 2 pasa por demostrar algunas propiedades u ´tiles de los estados recurrentes y transitorios: Si i es recurrente y i Si i
→ j y entonces j es recurrente.
→ j pero j no se comunica con i entonces i es transitorio.
En todo conjunto cerrado finito hay al menos un estado recurrente.
Cadenas de Markov
Estados peri´ odicos y aperi´ odicos Otra definici´ on, desafortunadamente muy t´ecnica pero necesaria para poder enunciar un importante resultado asint´ otico, es: El per´ıodo del estado i se define por n ii
{ ≥ 1 : p
d (i ) = m.c.d. n
>0
}
Si d (i ) = 1, el estado i se denomina aperi´ odico. En la ruina del jugador, los estados transitorios tienen per´ıodo 2 mientras que los absorbentes son aperi´ odicos. En la mayor´ıa de los casos nos encontraremos (o dise˜ naremos) CM con estados aperi´ odicos. Para verificar cu´ales son aperi´ odicos, son u ´tiles las siguientes propiedades: Si p (i , i ) > 0 entonces i es aperi´ odico Si i
↔ j entonces d (i ) = d ( j )
Cadenas de Markov
Distribuci´ on estacionaria
{ }
La cadena X n es estacionaria si la distribuci´ on de X n es la misma para todo n. Decimos que una funci´ on de probabilidades π es una distribuci´ on estacionaria para la cadena X n si
{ }
∼ π entonces X ∼ π para todo n. Ahora bien, sabemos que si X ∼ π entonces X +1 ∼ π P . Es decir: cuando X 0
n
n
n
Una distribuci´ on estacionaria es una soluci´ on de la ecuaci´ on π = π P . O lo que es lo mismo, verifica
π( ) = π( ) ( , ) para cualquier estado j
i p i j
j
i
Si la cadena alcanza la distribuci´ on estacionaria, es com´ un decir que la cadena est´a en estado de equilibrio .
Cadenas de Markov
Comportamiento asint´ otico Teorema 1. Consideremos una CM con matriz de transici´ on P y con espacio de estados irreductible y aperi´ odico. Si π es una distribuci´ on estacionaria entonces para todo par de estados i , j se tiene lim p n (i , j ) = π( j )
n→∞
Esto es, no importa de donde parta la cadena, asint´oticamente alcanza el equilibrio. Los resultados que siguen tienen que ver con la unicidad y existencia de π. Teorema 2. Si el espacio de estados es irreductible entonces de existir una distribuci´on estacionaria ser´ıa u´nica. Teorema 3. Si el espacio de estados es finito entonces existe al menos una distribuci´ on estacionaria.
Cadenas de Markov
Distribuci´ on estacionaria y tiempos de retorno La conexi´ on entre la distribuci´ on estacionaria y los tiempos de primera visita, en este caso de primer retorno, viene dada por el siguiente teorema. Teorema 4. Si la CM es irreductible, aperi´ odica, y tiene distribuci´ on estacionaria π entonces π(i ) =
1
|
E [T i X 0 = i ]
Por simplicidad tipogr´afica, denotaremos por µi al tiempo esperado del primer retorno a i , esto es µi = E [T i X 0 = i ].
|
∞
Decimos que i es positivo recurrente si µi < . Si el estado i es recurrente pero no es positivo recurrente (i.e. si ρi = 1 pero µi = ) entonces decimos que i es nulo recurrente.
∞
Cadenas de Markov
Existencia de
π
cuando el espacio de estados es infinito
La clasificaci´ on anterior de estados recurrentes en nulo y positivos permite extender el teorema de existencia para el caso finito (Teorema 3) al caso infinito. Teorema 5. Si una cadena es irreductible las siguientes proposiciones son equivalentes: 1
Al menos un estado es positivo recurrente
2
Todos los estados son positivos recurrentes
3
Existe una distribuci´ on estacionaria
La recurrencia positiva puede ser dif´ıcil de demostrar en ejemplos concretos. En la pr´ actica, lo que hacemos es resolver π = π P y aplicar que si X n π entonces X m π para todo m n.
∼
∼
≥
Cadenas de Markov
Ley de grandes n´ umeros para CM Una propiedad importante de las distribuciones estacionarias es que son la as precisamente, si N n (i ) el fracci´ on l´ımite del tiempo de ocupaci´ on. M´ n´ umero de visitas al estado i hasta el instante n entonces N n (i ) = π(i ) n→∞ n
lim
La formalizaci´ on de este resultado la presentamos en una forma m´as general y u´til para diversas aplicaciones:
{ }
Teorema 6. Sea X n una CM irreductible con matriz de transici´ on p y distribuci´on estacionaria π. Sea G (i ) la ganancia obtenida cada vez que la cadena alcanza el valor i . Supongamos que i G (i ) π(i ) < . Entonces, cuando n n 1 G (X k ) G (i )π(i )
|
→∞
n
k =1
→ i
|
∞
Martingalas
Martingalas Vamos a estudiar una clase de procesos que pueden verse como la fortuna de un jugador que juega repetidamente un juego justo . As´ı que pensemos que M n es la fortuna del jugador luego de jugar n turnos del juego. Decimos que M 0 , M 1 , . . . es una martingala si para cualquier n
| | ∞
1
E M n <
2
para cualquier sucesi´ on de posibles valores m0 , m1 , . . . , mn
≥0
|
E [M n+1 M 0 = m0 , M 1 = m1 , . . . , M n = mn ] = mn
La segunda propiedad es equivalente a E [M n+1
− M |M 0 = m0, M 1 = m1, . . . , M n
n
= mn ] = 0.
Es decir, condicionando al pasado, la ganancia neta esperada luego del turno siguiente es cero. Esto es, el juego es justo.
Martingalas
Esperanza condicional Como el estudio de martingalas recae fuertemente en el concepto de esperanza condicional es conveniente extenderla en un sentido m´as general. En los cursos introductorios de probabilidad, si X , Y son variables aleatorias, la esperanza de X dado Y = y se entiende como el valor esperado de la distribuci´ on de X dado Y = y ,
|
E [X Y = y ] =
x x
|
P (X = x Y = y ) caso discreto x f X |Y =y (x )dx caso continuo
Sea ψ tal que, para cada posible valor y de Y se tiene
|
ψ(y ) = E [X Y = y ] La variable aleatoria ψ(Y ) es llamada esperanza condicional de X dado Y y se denota por E [X Y ].
|
Martingalas
Definici´ on Usando el concepto revisado de esperanza condicional, volvemos a la definici´ on de martingala: Decimos que M 0 , M 1 , . . . es una martingala si para cualquier n 1 2
| | ∞ E [M +1 |M 0 , M 1 , . . . , M ] = M E M n < n
n
≥0
n
Si en vez de la igualdad en 2 tenemos lo que ocurre en la mayor´ıa de los juegos de casino E (M n+1 M 0 , M 1 , . . . , M n ) M n
|
≤
{ }
decimos entonces que M n es una supermartingala. Si por el contrario, el juego es a favor del jugador y
|
E [M n+1 M 0 , M 1 , . . . , M n ]
decimos que es una submartingala.
≥ M
n
Martingalas
Ejemplos Paseos aleatorios. Sean X 1 , X 2 , . . . variables aleatorias independientes y M n = M 0 + X 1 + + X n . Ya que
···
− M |M 0, M 1, . . . , M ] = E [X +1], M es una supermartingala si E [X ] ≤ 0, una martingala si E [X ] = 0 y una submartingala si E [X ] ≥ 0. E [M n+1
n
n
n
n
i
i
i
Black-Scholes discreto. Sean Z 1 , Z 2 , . . . variables aleatorias independientes normales N (µ, σ 2 ) y definamos M n = M 0 e Z 1 . . . e Z n . Entonces, E [M n+1 M 0 , M 1 , . . . , M n ] = M n E [e Z n+1 ],
|
As´ı que M n es una supermartingala si E [e Z i ] 1, un martingala si E [e Z i ] = 1 y una submartingala si E [e Z i ] 1.
≥
≤
Martingalas
Modelo Binomial de precios de acciones Sean Z 1 , Z 2 , . . . variables aleatorias independientes, con
P Z i =
(1 + ) t
e r
1 = p y P Z i = (1 + t )e r
···
=1
− p ,
≥
y definamos los precios por M n+1 = M 0 Z 1 Z n , n 1. La constante r es la tasa de inter´es (descontamos por no ganar intereses) y el factor (1 + t ) y 1/(1 + t ) modela las variaciones del mercado y garantiza que el precio tiene la forma M 0 (1 + t )z e −nr , con z a asociada a n. La volatilidad est´ p . Entonces,
| |≤
|
E [M n+1 M 0 , M 1 , . . . , M n ] = M n E [Z n+1 ],
As´ı que M n es una supermartingala si E [Z i ] E [Z i ] = 1 y una submartingala si E [Z i ] 1.
≥
≤ 1, un martingala si
Martingalas
Martingalas respecto a CM Decimos que M 0 , M 1 , . . . es una martingala respecto a X 0 , X 1 , . . . si para cualquier n 0, E M n < y
≥
| | ∞ E [M n+1
− M |X 0, X 1, . . . , X ] = 0 n
n
Esta nueva definici´ on no es un simple capricho matem´atico, se justificar´a cuando enunciemos el teorema de muestreo opcional. Por ahora, mencionamos que en la mayor´ıa de los ejemplos X n es una CM y M n = g (X n , n) para alguna funci´ on g .
{ }
{ }
Teorema 1 Sea X n una CM con espacio de estados S y matriz de probabilidades de transici´ on P . Sea g : S N R tal que
× →
(, )= (, ) (,
p i j g j n + 1)
g i n
j ∈S
Entonces M n = g (X n , n) es una martingala.
Martingalas
Ejemplos Martingala cuadr´ atica. Sean X 1 , X 2 , . . . variables aleatorias independientes con E [X i ] = 0 y E [X i 2 ] = σ 2 . Considere el paseo + X n , con S 0 constante, y S n = S 0 + X 1 +
···
M n = g (S n , n) = S n2
− nσ 2
Entonces M n es una martingala con respecto a S 0 , S 1 , . . . . Martingala exponencial. Sean Z 1 , Z 2 , . . . variables aleatorias independientes con funci´ on generatriz de momentos ψ(α) = E [exp(αZ i )]. Definamos S n = S 0 + X 1 + + X n , con S 0 constante. Entonces
···
M n = g (S n , n) =
e αS n
ψ n (α)
es una martingala con respecto a S 0 , S 1 , . . . .
Martingalas
Propiedades elementales Antes de discutir los resultados centrales de la teor´ıa de martingalas, es conveniente aclarar algunos resultados elementales: 1
2
{ }
|
≤
≥ Si {X } es una martingala (supermartingala) con respecto a {Y } entonces para 0 ≤ k ≤ n se satisface (resp . E [X ] ≤ E [X ]) E [X ] = E [X ] Si {X } es una martingala con respecto a {Y } y φ es una funci´ on convexa entonces {φ(X )} es una submartingala con respecto a {Y }. n
n
n
3
{ }
Si X n es una martingala (super-martingala) con respecto a Y n entonces E [X n+k Y 0 , . . . , Y n ] = X n ( ” ” ) para todo k 0.
k
n
n
k
n
n
n
Martingalas
Tiempos de parada Decimos que la variable aleatoria T es un tiempo de parada para el proceso X n si la ocurrencia o no del evento T = n (que se entiende como paramos el proceso en el instante n) puede ser determinado conociendo s´ olo los valores X 0 , X 1 , . . . , X n (no se requiere conocer ni X n+1 , ni X n+2 , . . . ).
{ }
{
}
Ejemplo. Si X n es una CM que representa nuestro capital en euros luego de jugar n veces, el instante (aleatorio) T en el que por primera vez tenemos m euros es un tiempo de parada:
{T = n} = {X 0 = m, . . . , X −1 = m, X n
n
=m
}
Podr´ıamos pensar en enriquecernos apostando en un casino y parando de jugar cuando alcancemos la suma deseada. Veamos que dice el resultado central de la teor´ıa de martingalas.
Martingalas
Teorema del muestreo opcional
{ }
Teorema 2. Si M n es una martingala respecto a X n y T es un tiempo de parada (tambi´en respecto a X n ) entonces el proceso parado en T , a saber M min(T ,n) , n 0 , es tambi´en una martingala respecto a X n . Si adicionalmente, P (T < ) = 1 y existe una c R+ tal que M min(T ,n) c para todo n entonces
{
|
≥ }
|≤
{ }
∞
{ }
∈
E [M T ] = M 0
La versi´ on del teorema anterior para s´ uper y submartingalas es:
{ }
Teorema 3. Si M n es una supermartingala respecto a X n (respectivamente submartingala) y T es un tiempo de parada (tambi´en respecto a X n ) entonces el proceso parado en T es una supermartingala respecto a X n (respectivamente submartingala).
{ } { }
Martingalas
Comportamiento asint´ otico
{ }
Teorema 4. Si M n es una martingala tal que para todo n se satisface un c < , entonces limn→∞ M n existe casi siempre y E M n c , para alg´ es finito.
| |≤
∞
{ }
Corolario. Si M n es una martingala no negativa entonces limn→∞ M n existe casi siempre y es finito.
{ } | − |
Teorema 5. Sea M n una martingala con incrementos acotados, es decir, para todo n, M n+1 M n < c para alg´ un c < . Sea
∞
σn2 = E [(M n+1
− M )2|M 0, M 1 . . . , M ] 2 y definamos n(s ) = min n : =1 σ ≥ s . Entonces n i
lim
s →∞
n
i
M n(s )
√s ⇒ N (0, 1)
n
Proceso de Poisson
Procesos de Renovaci´ on y el Proceso de Poisson Sean T 1 , T 2 , . . . variables aleatorias i.i.d no negativas y S n = T 1 +
··· + T
n
si n
≥ 1 y S 0 = 0
{ }
Pensemos en S n como los tiempos en los que se reporta una incidencia (fallo, reclamo, etc.) en un sistema. El proceso que representa el total de incidencias hasta el tiempo t , definido por
{
N (t ) = max n : S n
≤ t },
se conoce como proceso de renovaci´ on. El caso particular en el que los tiempos entre incidencias T 1 , T 2 , . . . son variables exponenciales con media λ > 0 se denomina proceso de Poisson con intensidad λ. A partir de la f´ ormula de convoluci´ on para la suma de variables independientes, se demuestra que N (t ) es una variable aleatoria Poisson con media λt .
Proceso de Poisson
Propiedades
{
Teorema. N (t ), t s´olo si 1
N (0) = 0
2
N (t )
3
≥ 0} es un proceso de Poisson con intensidad λ si y
− N (s ) ∼ Poisson(λ(t − s )), para todo 0 ≤ s < t {N (t ), t ≥ 0} tiene incrementos independientes. Es decir, si t 0 < t 1 < ··· < t entonces N (t 1 ) − N (t 0 ), N (t 2 ) − N (t 1 ), . . . , N (t ) − N (t −1 ) m
n
n
son variables aleatorias independientes Adem´as de ser un proceso de renovaci´ on y un proceso con incrementos independientes, veremos m´as adelante que el proceso de Poisson y otros procesos basados en ´el son ejemplos de Procesos de Markov y Martingalas a tiempo continuo.
Proceso de Poisson
Proceso de Poisson no homg´eneo En numerosas situaciones es realista suponer que hay m´ as incidencias a ciertas horas que a otras. Para modelar esta situaci´ on, es conveniente la siguiente generalizaci´ on del Proceso de Poisson:
{
Decimos que N (t ), t intensidad λ(t ) si 1 N ( 0) = 0 2 3
≥ 0} es un proceso de Poisson no homog´eneo con
λ , para todo 0 ≤ t s
− N (s ) ∼ Poisson t s < t {N (t ), t ≥ 0} tiene incrementos independientes N (t )
Los tiempos entre ocurrencias asociados a un Proceso de Poisson no homog´eneo no tienen por que ser exponenciales. Es suficiente calcular la distribuci´on del tiempo de la primera incidencia P (T 1
−
≤ t ) = 1 − P (N (t ) = 0) = 1 − e
R t
0 λ(s )ds
Proceso de Poisson
Proceso de Poisson compuesto Podemos asociar variables a cada incidencia que representen costos de atenci´ on o reclamos. As´ı, si Y i representa el costo de atenci´ on de la incidencia i -´esima, el proceso S (t ) =
Y 1 +
0 + Y N (t )
···
si N (t ) = 0 si N (t ) 1
(1)
≥
{ }
representa el costo acumulado a tiempo t . Cuando los reclamos Y i sean i.i.d., un supuesto com´un en teor´ıa del riesgo, y el proceso N (t ) en (1) es de Poisson, el proceso S (t ), t 0 se conoce como Proceso de Poisson Compuesto. La media y la varianza de S (t ) se puede calcular para el caso m´as general: ES (t ) = EN (t ) EY i
{
≥ }
·
Var (S (t )) = EN (t )Var (Y i ) + Var (N (t ))(EY i )2
Proceso de Poisson
Proceso de Riesgo Colectivo Consideremos una cartera de seguros que recibe un ingreso por primas de c euros por unidad de tiempo. Denotemos por Y i el monto del reclamo del siniestro i y sea N (t ) el proceso que registra el n´ umero de reclamos a tiempo t . El balance de la cartera a tiempo t es X (t ) = X (0) + ct
{
siendo S (t ), t
≥ 0} el proceso definido en (1)
El tiempo de ruina es
{
}
τ = inf t > 0 : X (t ) < 0 t
− S (t ),
y la probabilidad de ruina ψ(x ) = P (τ <
∞|X (0) = x )
Problema cl´asico: calcular ψ(x )
.
Cadenas a tiempo continuo
Definici´ on Para extender la propiedad de Markov a tiempo continuo se requiere definir la probabilidad condicional dado que conocemos el proceso en un intervalo continuo [0, s ] del tiempo, es decir, condicionar respecto a eventos del tipo X t , 0 t s .
{
≤ ≤ }
{
≥ }
Decimos que el proceso estoc´astico X t , t 0 es una Cadena de Markov a tiempo continuo si para cualesquiera instantes del tiempo 0 s 0 < s 1 < . . . s n < s y cualquier conjunto de estados i 0 , . . . , i n , i , j se verifica
≤
|
|
P (X t +s = j X s = i , X sn = i n , . . . , X s0 = i 0 ) = P (X t +s = j X s = i )
Esto es, dado el presente, cualquier otra informaci´ on pasada del proceso es redundante para hacer pron´ osticos del futuro .
Cadenas a tiempo continuo
Ejemplo
{
≥ }
{ }
Sea N (t ), t 0 el proceso de Poisson con intensidad constante λ y Y n un CM a tiempo discreto con matriz de transici´ on P . Entonces, el proceso definido por X t = Y N (t ) es una cadena de Markov a tiempo continuo. Si S 1 , S 1 , . . . son los momentos de renovaci´ on del proceso N (t ), entonces X 0 , X S1 , . . . es una CM a tiempo discreto con la misma ley que Y n dado Y 0 = X 0 . Los tiempos transcurridos (T i = S i S i −1 ) entre los instantes de actualizaci´ on del proceso X t son variables i.i.d exponenciales.
{
}
−
{ }
La propiedad de p´ erdida de memoria de la distribuci´ on exponencial es la clave para que la cadena descrita sea de Markov. La probabilidad de transici´ on de esta cadena es
|
P (X t = j X 0
= )= i
n≥0
n (λ ) t e −λt p n (i , j ) n!
Cadenas a tiempo continuo
Probabilidades y tasas de transici´ on Como en el caso discreto, supondremos que la cadena es homog´enea,
|
|
P (X s +t = j X s = i ) = P (X t = j X 0 = i )
y llamaremos matriz de probabilidades de transici´ on a la matriz P t con componente i , j definida por
|
[P t ]i , j = p t (i , j ) = P (X t = j X 0 = i ) Las probabilidades de transici´ on satisfacen las ecuaciones de Chapman-Kolmogorov, que para el caso continuo son
(, )=
p s +t i j
p s (i , k )p t (k , j )
k
La tasa con la cual la cadena salta de i a j se denomina tasa de transici´ on y se denota por q (i , j ). Como la cadena es homog´ enea se tiene que p t (i , j ) q (i , j ) = lim t t →0+
Cadenas a tiempo continuo
Construcci´ on de la CM a partir de las tasas de transici´ on La tasa con la cual la cadena deja el estado i la denotamos por λi :
λ = (, ) q i j
i
=i j
∞
Decimos que un estado i es absorbente si λi = 0, estable si 0 < λi < e instant´ aneo si λi = . La cadena deja los estados instant´aneos de forma inmediata, as´ı que siempre asumiremos λi < . Si λi > 0 definimos las probabilidades de transici´ on
∞
∞
r (i , j ) = q (i , j )/λi
Si X (s ) = i y el estado i es absorbente, la cadena permanecer´a en i por siempre. Por el contrario, si el estado es estable, la cadena permanecer´a en i un tiempo distribu´ıdo exponencialmente con tasa λi y luego saltar´ aa otro estado con probabilidad de transici´ on r (i , j ). Usando recursivamente este procedimiento constru´ımos la cadena.
Cadenas a tiempo continuo
Ecuaciones diferenciales de Kolmogorov Hemos discutido como a partir de las tasas de transici´ on podemos construir la cadena a tiempo continuo. Ya que la cadena est´ a determinada por las probabilidades de transici´ on, entonces deber´ıamos poderlas calcular estas u ´ltimas a partir de las tasa de transici´ on. La formalizaci´ on de esta construcci´on se expresa en el siguiente resultado: Teorema 1. Supongamos que ning´ un estado es instant´aneo. Entonces, las probabilidades de transici´ on son diferenciables en t y para cualquier par de estados i , j se tiene dp t (i , j ) = dt
(, ) (, )= ( , )
dp t i j dt
q i k p t (k , j )
− λ p (i , j )
Backward equation
q k j p t (i , k )
− λ p (i , j )
Forward equation
=i k
= j k
i t
j t
Cadenas a tiempo continuo
Comportamiento asint´ otico Para el estudio asint´ otico de las cadenas de Markov a tiempo continuo no requerimos la condici´ on de aperiodicidad. Vamos a definir algunos conceptos para el caso continuo antes de enunciar los resultados m´ as importantes. 1
2
Una cadena continua es irreductible si puede saltar de un estado a otro en un n´ umero finito de saltos. M´ as formalmente, para todo par de estados i , j existe una sucesi´ on finita de estados i = k 1 , k 2 , . . . , k n , k n+1 = j con q (k m , k m+1 ) > 0 para todo 1 m n.
≤ ≤
Llamamos generador infinitesimal de la cadena a la matriz Q definida por q (i , j ) si j = i Q (i , j ) = λi si j = i
−
Cadenas a tiempo continuo
Distribuci´ on estacionaria Decimos que π es una distribuci´ on estacionaria si para todo t > 0 es una soluci´ on de π = π P t . O bien, elemento a elemento, sipara todo j y t > 0
π( ) = π( )
i p t (i , j )
j
i
Verificar por defini´ on que una funci´ on de probabilidad es una distribuci´ on estacionaria es en general dif´ıcil ya que, por un lado, tiene que cumplirse π = π P t para todo t > 0 y, por otro, el c´alculo de P t puede ser complicado. El siguiente teorema resuelve el problema. Teorema 2. π es una distribuci´ on estacionaria para la cadena sii π Q = 0. O lo que es lo mismo, si y s´olo si
π( ) ( , ) = λ π( ) i q i j
j
j
= j i
Ra´ ul Jim´enez y Rosario Romera (UC3M)
Procesos Estoc´asticos
Diciembre 2008
40 / 49
Cadenas a tiempo continuo
Teorema de convergencia Al igual que en el caso discreto, sin importar el estado inicial, la cadena alcanza el estado de equilibrio asint´ oticamente. Es por ello que la distribuci´on estacionaria es un objeto clave en el estudio de modelos markovianos:
{
}
Teorema 3. Supongamos que la cadena a tiempo continuo X t , t > 0 es irreductible y que tiene distribuci´ on estacionaria π. Entonces, lim p t (i , j ) = π( j )
t →∞
Adicionalmente, si G (i ) es la ganancia obtenida cada vez que la cadena alcanza el estado i y j G ( j ) π( j ) < , se tiene t
1 t
0
|
G (X s )ds
|
∞
→ j
G ( j )π( j ), cuando t
→∞
Cadenas a tiempo continuo
Condici´ on de balance detallado Decimos que π satisface una condici´ on de balance detallado si πi q (i , j ) = π( j )q ( j , i ), para todo par de estados i , j
sumando sobre todos los estados i = j , de la ecuaci´ on anterior resulta
π
(, )=λπ ⇒ π
i q
= j i
i j
j j
= j i
i q (i , j )
−λ π
j j
= [π Q ] j = 0
Es decir, si π satisface (1) entonces es una distribuci´ on estacionaria. Es sencillo construir ejemplos para constatar que el rec´ıproco no es necesariamente cierto. Las ecuaciones de balance detallado (1) son en general sencillas de resolver y se satisfacen para muchos modelos importantes.
(2)
Cadenas a tiempo continuo
Cadenas de nacimiento y muerte Consideremos la cadena a tiempo continuo con espacio de estados 0, 1, . . . con q (n, n + 1) = λn para n 0 y q (n, n 1) = µn para n > 0.
{
}
≥
−
El proceso se denomina de nacimiento y muerte, λn representa la tasa de nacimiento cuando hay n individuos en el sistema y µn la tasa de muerte. Las ecuaciones de balance detallado de la cadena de nacimiento y muerte son π(n 1)λn−1 = π(n)µn , para n 1
−
≥
Usando recurrencia se obtiene
··· λ0 π(0) ··· µ1
λn−1 λn−2 π(n) = µn µn−1
Cadenas a tiempo continuo
Ejemplos de Colas 1
M/M/1. Es la cola en un sistema con un servidor, tiempos entre llegadas exponenciales con tasa λ y tiempos de servicio exponenciales con tasa µ. Corresponde a un proceso de nacimiento y muerte con λn = λ y µn = µ. Si la tasa de tr´afico ρ = λ/µ < 1, su distribuci´ on estacionaria es la distribuci´ on geom´etrica desplazada π(n) = (1
2
n
− ρ)ρ
para n
≥0
M/M/s. El mismo caso que antes pero con s servidores. Es el proceso de nacimiento y muerte con λn = λ y µn =
≤ ≤
nµ 1 n s s µ n > s
Si ρ < s la cola tiene una distribuci´ on estacionaria que satisface n+1
π(s + n) =
λ s µ
π(s
− 1)
Movimiento Browniano
Movimiento Browniano El bot´anico R. Brown (1773-1858) observ´ o, a trav´es de un microscopio, que peque˜ nas part´ıculas de polen suspendidas en agua realizaban un movimiento particularmente irregular. El propio Brown descubri´ o que part´ıculas muy finas de varios minerales segu´ıan el mismo movimiento. En 1900, L. Bachelier introdujo un proceso para modelar las fluctuaciones financieras. Tambi´en Einstein (1905) di´o una explicaci´ on del fen´ omeno Wiener (1894-1964) logr´ o dar un modelo preciso y riguroso para las trayectorias irregulares de las part´ıculas, como funciones continuas pero no diferenciables en ning´ un punto. Desde entonces, las contribuciones te´ oricas y aplicaciones a otras ´areas de las ciencias no han cesado.
Movimiento Browniano
Definici´ on
{
≥ }
El proceso estoc´astico B (t ), t 0 es un Movimiento Browniano (MB) con varianza σ 2 si cumple las siguientes condiciones: 1
B (0) = 0
2
Tiene incrementos independientes
3
Para todo s < t , B (t )
4
− B (s ) ∼ N (0, σ2(t − s )) Las trayectorias del proceso t → B son funciones continuas. t
Si σ = 1 decimos que el movimiento es est´ andar. Note que si B (t ) es est´andar entonces β B (t ) es un MB con varianza β 2 . As´ı que de ahora en adelante asumiremos sin p´erdida de generalidad que B (t ) es est´andar. Otra propiedad u´til es la de reescalamiento. Esta es, para cualquier α > 0,
√ {B (αt ), t ≥ 0} ≡ { αB (t ), t ≥ 0}
Movimiento Browniano
El MB como un Proceso Gaussiano El Movimiento Browniano es un caso particular de los procesos Gaussianos. Es decir (B (t 1 ), B (t 2 ), . . . , B (t n ))
{
∼ N (µ, Σ)
}
cualesquiera que sean t 1 , t 2 , . . . , t n . La forma de Σ es sencilla, sigue de la siguiente importante propiedad E [B (t )B (s )] = min(t , s )
Otros Procesos Gaussianos derivados del MB son Puente Browniano: B (t )
− tB (1), para 0 ≤ t ≤ 1.
Proceso de Ornstein-Uhlenback: e −t B (e 2t ), para
−∞ < t < ∞. Proceso de Ito: 0 µ(t )dt + 0 σ(t )dB (t ), para 0 ≤ t . t
t
Movimiento Browniano
F´ ormula de Ito A´un cuando las trayectorias brownianas no son diferenciables en ning´ un punto, existe un proceso con trayectorias continuas que tiene la misma distribuci´on que la aproximaxi´ on l´ımite por sumas de Riemann-Stieltjes del proceso de Ito dX t = µ(t )dt + σ(t )dB (t ) Lo anterior es la clave para definir el c´alculo estoc´astico. Como para el c´alculo diferencial est´andar requerimos de la regla de la cadena, en este contexto requerimos de una regla operativa conocida como f´ ormula de Ito. La f´ormula establece que, para cualquier f con derivada de segundo orden continua, el proceso f (X t ) es de Ito y satisface la ecuaci´ on diferencial estoc´ astica
1 df (X t ) = f (X t )σ(t )dB (t ) + f (X t ) + f (X t )σ 2 dt 2