Trabajo Final Procesos Estoc´ asticos asticos Rodr Rod r´ıguez Mora, Mora , Emilio Emil io
Lara Hern´ andez, andez, Ricardo
151944
148792
Ram´ Ra m´ırez ır ez S´anchez, anchez, Luisa Fernanda
Barqu Barq u´ın Ortiz, Orti z, Alejandro Alej andro
148001
148893
Hern´ andez Gallegos, Luis Fernando andez 150235
17 de mayo de 2017
1.
a) Identifique el proceso X n n∈N0 como una cadena de Markov y diga cu´ al es su espacio de estados, distribuci´ on inicial y matriz de transici´ on.
{ }
Soluci´ on : Como el sobre contiene m estampas distintas, entonces si empezamos sin estampas, para el la compra 1: X 1 = m, luego para la siguiente compra, podr´ıamos tener la mala suerte de comprar un sobre con exactamente las mismas m estampas que ten´ıamos, o con 1, 2,...,m distintas, por lo que inferimos que el espacio de estados debe ser: I = 0, m , m + 1, m + 2,...,N
− 1, N }
{
Vamos a suponer que en el tiempo inicial X 0 = 0, i.e. al inicio tenemos ninguna carta con probabilidad 1, o bien P[X 0 = 0] = 1. Es decir la distribuci´on inicial es: α = (1, 0, 0,..., 0)
(con α
I
∈R
= RN −m+2 )
Para la matriz de transici´on P = ( pij ), vamos a analizar casos particulares para luego intentar generalizar: De la distribuci´ on inicial es inmediato que p 0m = 1. Tambi´en es evidente que si llegamos a N entonces pN N = 1, pues ya tenemos todas las estampas del ´album. Ahora bien, si nos encontramos en m y queremos encontrar la probabilidad de quedarnos ah´ı hacemos el siguiente an´alisis: Tenemos un conjunto total de N estampas, hay N m estampas distintas a las que tenemos, y los sobres son una selecci´on (aleatoria) de m estampas de un conjunto de N , por lo que tenemos una partici´on hipergeom´etrica, y queremos la probabilidad de sacar ninguna carta de las nuevas, y m de las viejas (que ya tenemos), es decir, la probabilidad de quedarnos ah´ı mismo es:
−
N −m
pm,m
Bajo este an´alisis, es f´acil ver que:
0
N m
N −m
pm,m+1
m m
= m m−1
= 1
N m
(“De las N m cartas distintas a las que tenemos, queremos que el sobre contenga una estampa de ah´ı y las dem´as m 1 que sean de las m que ya tenemos”).
−
−
Para este punto debemos ver que en un paso, a lo m´as que podemos llegar de estampas distintas 2 m estampas, donde: pm,2m
N −m m N m
m
= 0
De la distribuci´on hipergeom´etrica obtenemos que m
N −m m k m−k N m
= 1 k=0
Es decir, la suma del primer rengl´on de nuestra matriz es 1.
1
Y por lo tanto, pm,j = 0 para j = 2m + 1, 2m + 2,...,N
− 1, N .
Siguiendo este an´alisis, para el siguiente rengl´on ahora tenemos que pm+1 j = 0 para j < m + 1, y adem´ as:
pm+1,m+1 =
N −m−1
0
m+1 m
N m
pm+1,m+2 =
,
N −m−1
1
m+1 m−1
N m
,
pm+1,2m+1 =
N −m−1 m N m
m+1
0
Y como antes: en un paso a lo m´as que podemos llegar, empezando en m + 1 estampas distintas, es a m + 1 + m = 2m + 1 estampas distintas, por lo que: p m+1,k = 0 para toda k > 2 m + 1. Y otra vez, por la distribuci´on hipergeom´etrica, el rengl´on suma 1. Por lo que la matriz que obtenemos es en efecto una matriz estoc´ astica. La forma de la matriz es como sigue: 0 0 m
P =
m+1
.. . N
0 0 0 .. . 0
m
m+1
m+2
···
2m
2m+1
···
N
1 N −m ( 0 )(m m) N (m)
0 N −m ( 1 )(mm−1) N (m ) N −m−1 ( 0 )(mm+1) N (m ) .. .
0 N −m ( 2 )(mm−2) (N m) N −m−1 m+1 ( 1 )(m −1) N (m) .. .
0 N −m ( m )(m0 ) (N m) N −m−1 ( m−1 )(m1+1) (N m) .. .
0
0
(N −mm−1)(m0+1) (N m) .. .
··· ··· ···
0
0
··· ··· ··· ··· ···
0
0
0 .. . 0
0
..
.
···
0 0 .. . 1
b) Identifique las clases de comunicaci´ on de la cadena. ¿Cu´ al es el estado absorbente? Una representaci´on gr´ afica de ´esta cadena ser´ıa:
De aqu´ı es evidente ver que las clases son
{0}, {m}, {m + 1}, ..., {N } El estado absorbente es evidentemente N , pues una vez que se llega ah´ı, jam´as se sale de ese estado (pues ha completado el ´album).
c) Realice una gr´ afica de el n´ umero de estampas diferentes en el ´ album contra el tiempo esperado de absorci´ on cuando N = 410 y m = 5.
2
Para calcular el valor esperado de absorci´on a partir del estado i siguiente relaci´on de recurrencia: {N }
Ei [H
]=1+
− esimo debemos resolver la
{N } ]P i,j E j [H
j ∈I
{N }
Ei [H
]=
1+
{N } ]P
j =i E j [H
1
i,j
− P
i,i
Donde H N = ´ınf n 1 : X n = N . Con caso base EN [H {N } ] = 0. Solucionar esto para la cadena de Markov anterior es bastante sencillo, ya que el estado i esimo solo depende de los estados posteriores, por ejemplo, el estado N 1 solo depende del estado N , entonces podemos obtener su valor f´acilmente. Entonces lo que tenemos que hacer es ir resolviendo el sistema desde N 1.
{ ≥
}
−
−
−
Ahora bien, para ´este prop´osito, el primer paso es encontrar la matriz de transici´on P , cuando N = 410 y m = 5, lo cu´al es muy sencillo utilizando ´este c´odigo en R.
M<-matrix(0, 407, 407) for (i in 2:402)
{
for (j in i:(i+5)) { M[i,j]<-choose(410-(i+3),(j-i))*choose(i+3,5-(j-i)); } } M[403,403]<-choose(4,0)*choose(406,5); M[403,404]<-choose(4,1)*choose(406,4); M[403,405]<-choose(4,2)*choose(406,3); M[403,406]<-choose(4,3)*choose(406,2); M[403,407]<-choose(4,4)*choose(406,1); M[404,404]<-choose(3,0)*choose(407,5); M[404,405]<-choose(3,1)*choose(407,4); M[404,406]<-choose(3,2)*choose(407,3); M[404,407]<-choose(3,3)*choose(407,2); M[405,405]<-choose(408,5); M[405,406]<-2*choose(408,4); M[405,407]<-choose(408,3); M[406,406]<-choose(409,5); M[406,407]<-choose(409,4); P<-(1/choose(410,5))*M P[407,407]<-1 P[1,2]<-1
Con el cu´al obtenemos una especie de matriz “seis-diagonal”, es decir, con 6 diagonales distintas de 0 (desfasadas, por el primer estado):
3
> head(P) [,1] [1,] 0 [2,] 0 [3,] 0 [4,] 0 [5,] 0 [6,] 0 [1,] [2,] [3,] [4,] [5,] [6,]
[,2] [,3] [,4] 1.000000e+00 0.000000e+00 0.000000e+00 1.061435e-11 2.149406e-08 8.683601e-06 0.000000e+00 6.368611e-11 6.432297e-08 0.000000e+00 0.000000e+00 2.229014e-10 0.000000e+00 0.000000e+00 0.000000e+00 0.000000e+00 0.000000e+00 0.000000e+00 [,9] [,10] [,11] [,12] [,13] 0.000000000 0.0000000 0.0000000 0 0 0.000000000 0.0000000 0.0000000 0 0 0.000000000 0.0000000 0.0000000 0 0 0.917108225 0.0000000 0.0000000 0 0 0.091028112 0.9057297 0.0000000 0 0 0.004075886 0.1013877 0.8944644 0 0
[,5] [,6] [,7] 0.000000e+00 0.000000e+00 0.000000e+00 0.0000 1.166497e-03 5.861648e-02 9.402083e-01 0.0000 1.728144e-05 1.736785e-03 6.964506e-02 9.2860 1.497154e-07 3.009280e-05 2.413443e-03 8.0448 5.944037e-10 2.986879e-07 4.790953e-05 3.1939 0.000000e+00 1.337408e-09 5.363007e-07 7.1506 [,14] [,15] [,16] [,17] [,18] [,19] [,20] [,2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
Dado el espacio de estados: I = 0, 5, 6, 7, ..., 410 , y que los ´ındices de las matrices de R empiezan en 1, aqu´ı debemos entender el rengl´on (1, j ) como el cambio del estado 0 al j con j I , el rengl´on (2, j ) como la probabilidad del paso del estado 5 al estado j , y as´ı sucesivamente, hasta llegar a (407, 407) que es la probabilidad de cambio del estado 410 (410 porque tenemos en total 410 5 + 1 + 1 = 407 estados y la matriz est´a desfasada) al estado 410, la cual es 1:
{
}
∈
−
[,397] [,398] [,399] [,400] [,401] [402,] 0 0 0 0 [403,] 0 0 0 0 [404,] 0 0 0 0 [405,] 0 0 0 0 [406,] 0 0 0 0 [407,] 0 0 0 0 [,407] [402,] 1.061435e-11 [403,] 4.309427e-09 [404,] 8.769684e-07 [405,] 1.192677e-04 [406,] 1.219512e-02 [407,] 1.000000e+00
[,402] [,403] [,404] [,405] [,406] 0 0.9402083 0.05861648 0.001166497 8.683601e-06 2.1494 0 0.0000000 0.95193161 0.047359782 7.051084e-04 3.4906 0 0.0000000 0.00000000 0.963771560 3.587239e-02 3.5517 0 0.0000000 0.00000000 0.000000000 9.757290e-01 2.4151 0 0.0000000 0.00000000 0.000000000 0.000000e+00 9.8780 0 0.0000000 0.00000000 0.000000000 0.000000e+00 0.0000
4
d) Demuestre que si m = 1 entonces el tiempo esperado de absorci´ on es de orden N log N , i.e. N E0 [H { } ]
l´ım
=1
N log N
N →∞
Demostraci´ on : Primero notar que si m = 1, el espacio de estados es I = 0, 1, 2, 3,...,N y la matriz de transici´on P tiene una forma muy sencilla:
{
0 1 2 3
P =
.. . N −1 N
}
0
1
2
3
4
···
N −1
N
0 0 00 ... 0
1
0
1
N −1 N
0 0
0 0 0
··· ··· ··· ···
0 0 0 0 .. .
0 0 0 0 .. .
··· ···
N −1 N
N
N
0 0 .. . 0 0
0
N −2 N
2
N
N −3 N
3
0 .. .
N
.. . 0 0
0 0
..
.
0 0
..
.
0
1
1
Que en efecto, es estoc´astica (hasta por simple inspecci´on visual). {N }
Ahora bien, queremos calcular k0 = E0 [H {N } ]. Para hacernos la vida f´acil, usamos la siguiente {N } notaci´ on para cada valor esperado: k i := k i para toda i = 0, 1, 2,...,N . Utilizando el Teorema 1.3.5 1 de [1, p´ag. 17] con A = N obtenemos las siguientes ecuaciones;
{ }
k0 = 1 + k1 k1 = 1 +
1 N
k1 +
N 1 k2 N
−
.. . km = 1 +
−
m N m km + km+1 N N
.. . kN = 0
(Para m = 0, 1, 2,...,N
− 1) O lo que es lo mismo: − k1 = 1 N k1 − k2 = N − 1 N k2 − k3 = N − 2 k0
.. .
km
m+1 =
−k
N
.. . kN −1
−k
N
= N
kN = 0
1
Ver referencias
5
− m
N
Notar que si sumamos todas las ecuaciones obtenemos un comportamiento telesc´ opico, resultando:
1 1 1 1 N N N + + ... + + N = N 1 + + ... + + + k0 = 1 + 2 2 N 1 N 2 N 2 N 1 N
−
−
−
−
Por lo tanto, probar el l´ımite es equivalente a probar que: 1 + 21 + ... + N 1−2 + l´ım N →∞ log N
1 1 + N N −1
= l´ım
N →∞
N 1 i=1 i
log N
=1
Lo cual es muy sencillo utilizando aproximaciones integrales. Podemos estimar la suma anterior por:
N +1
1
1 t
N
dt
N
1 ≤ ≤ 1+ i=1
i
1 t
1
N
⇔
dt
1 ≤ 1 + log + 1) ≤
log(N
i=1
i
N
Esto es porque por un lado, la suma act´ua como las sumas superiores de la integral de la izquierda en el intervalo [0, N + 1]. Estamos pensando en el ´area de rect´angulos de altura 1t y base 1. La desigual1 dad de la derecha es porque la sucesi´on (sobre N ) N log N est´a acotada, de hecho, converge a i=1 i N 1 log N = γ . 2 . Por lo que γ = 0.57721... (la constante de Euler-Mascheroni ), i.e., l´ım N →∞ i=1 i es suficiente estimar por arriba con el +1. Ahora bien, de la ´ultima desigualdad triple, dividimos entre log N :
log(N + 1) log N
≤
N 1 i=1 i
log N
−
−
≤ log1N + 1
Tomando l´ımite en la desigualdad:
log(N + 1) 1 = l´ım N →∞ log N
≤ l´→∞ ım N
N 1 i=1 i
log N
≤ l´→∞ ım N
1 +1 log N
Finalmente, usando el Teorema 3.2.7 (del S´andwich) de [2], vemos que:
l´ım
N →∞
N 1 i=1 i
log N
Como quer´ıamos probar.
2
Ver [3]
6
=1
=1
2.
(i )
# Kernel de alguna gamma g <- function(x,a,b) { if (x>0) { res = x^(a-1)*exp(-b*x) } else { res = 0 } }
(ii )
# Evaluaci´ o n en Q para pasar del estado x al y Q <- function(x,y,a,b) { res = (b/sqrt(2*pi*a))*exp(-( (b^2)/(2*a))*(y-a/b)^2) }
(iii ) #N,a,b,x,g,Q ##N es el numero de pasos de la cadena #u es unavariable uniforme continua #alpha es la probabilidad de aceptacion gamma.one <- function(N,a,b,x) { X <- vector(mode="numeric",length=(N+1) ) X[1] <- x for (n in 1:N) { A <- rnorm(1,mean=a/b,sd=sqrt(a/(b^2)) ) u <- runif(1,min=0,max=1) alpha <- min(1, (g(A,a,b)*Q(A,X[n],a,b)) / (g(X[n],a,b)*Q(X[n],A,a,b)) ) if (u <= alpha) { X[n+1] = A } else { X[n+1] = X[n] } } X }
(iv ) 7
#generaci´ o n de M cadenas gamma.MCMC <- function(M,N,a,b,x) { gammas <- vector(mode="numeric",length=(M+1) ) for (cont in 1:M) { cadena <- gamma.one(N,a,b,x) #Se toma el u ´ltimo valor de la cadena gammas[cont] <- cadena[N+1] } gammas }
(v ) variableX <- gamma.one(N=1000,a,b,x=3) plot(variableX)
(vi ) vect <- gamma.MCMC(M=1000,N=1000,a,b,x=1) mean(vect) var(vect) > mean(vect) [1] 3.989714 > var(vect) [1] 2.01512 #f distribuida Gamma a=8, b=2 xs <- seq(0.1,20,0.1) ys <- (xs^(a-1)*exp(-b*xs))*(b^a)/gamma(a)
8
#Histograma hist(vect,freq=FALSE,main="Histograma-funci´ on de densidad", xlab="x") #Gamma lines(xs,ys,col="blue")
#Evaluaci´ o n en m´ ultiples valores Femp <- ecdf(vect) yEnTeoria <- pgamma(xs,shape=a,scale=1/b) plot(Femp,main="Acumulada (Empirica/Teorica)") lines(xs,yEnTeoria)
Distribuci´on acumulada emp´ırica de los valores simulados versus la cdf te´orica:
9
(vii ) En el caso general del algoritmo M-H, demostrar que la cadena generada con la matriz de transici´ on P con P kj = Q kj α(k, j ) est´ a en balance detallado con la distribuci´ on f x (k) y por lo tanto la cadena X n reversible con distribuci´ on limite f x .
{ } ≥0 es una cadena n
Demostraci´ on : Tenemos que probar que: f x (k)P kj = f x ( j )P jk Para α(k, j ) =
g ( j )Qjk g (k)Qkj
entonces
g( j )Qjk g (k)Qkj
f x (k)P kj = C g (k )Qkj
Con α(k, j ) = 1 esto implica que
≥ 1 por lo que α( j, k) = 1:
g ( j )Q jk = C g ( j )Q jk = g ( j )Q jk α( j, k ) = f x ( j )P jk g (k )Qkj
g ( j )Qjk g(k)Qkj
f x ( j )P jk = C g ( j )Q jk
≤ 1 por lo cual tenemos:
g (k )Qkj = C g (k )Qkj = C g (k )Qkj α(k, j ) = f x (k )P kj g ( j )Q jk
Ahora queremos demostrar que X n
{ } ≥0 es una cadena reversible con distribuci´on l´ımite f . n
x
Sabemos que f x es la distribuci´on l´ımite ya que, por un lado, demostramos anteriormente que est´a en balance detallado con P, y por otro, al ser una funci´on de distribuci´on sabemos que al sumar sobre todos los estados k en I nos va a dar 1. Para ver si es reversible, vemos como es el elemento kj de la matriz del proceso en reversa. = P kj
f x ( j ) f x ( j ) f x (k) P jk = P kj = P kj f x (k ) f x (k ) f x ( j )
Por lo tanto P = P concluyendo que X n
{ } ≥0 es reversible. n
10
3.
a) Calcule la esperanza y la varianza de S t . La esperanza: N t
E[S t ]
N t
=
=E
(i)
X k
k=1
Observar que:
k=1
n
X k N t = n
E
k=1
Por lo tanto:
X k N t
E E
(ii)
= nE[X k ]
N t
= X k N t
E
N t E[X k ]
k=1
As´ı pues: N t
E[S t ]
=E
= X k N t
E
E[N t E[X k ]]
= E[X k ]E[N t ] =
k=1
Ahora la varianza:
N t
Var[S t ] = Var
X k
(iii)
=
k=1
Por un lado tenemos que: n
Var
X k N t = n
k=1
N t
α λt β
N t
Var + Var =( ) X k N t
E
X k N t
E
k=1
γ
k=1
N t
(iv )
= nVar[X k ]
⇒
Por lo tanto:
Var = X k N t
N t Var[X k ]
k=1
α α 2 α(α + 1) (γ ) = E[N t Var[X k ]] + Var[N t E[X k ]] = Var[X k ]E[N t ] + ( E[X k ]) Var[N t ] = 2 λt + 2 λt = λt β β β 2 2
Se us´o: (i): Proposici´ on IV.14, inciso iv de [4, p´ag 189]: Si X es una variable aleatoria de esperanza finita, entonces: E[E[X Y ]] = E[X ] (La esperanza Iterada) (ii): Las X k se distribuyen igual, Ga( α, β ) (iii): Proposici´ on 5.2 de [5, p´ag. 329] (iv): Las X k son i.d. e independientes. (v): N t ∼ Po(λt)
|
b) Calcule la esperanza y varianza de U t . La esperanza: E[U t ] = E[Y t
− S ] = Y − E[S ] = ct − λt αβ t
t
11
t
La varianza: Var[U t ] = Var[Y t
− S ] = Var[S ] = λt α(αβ +2 1) t
t
c) Encuentre una tasa c tal que E[U t ] = 0 E[U t ] = 0
ct = λt
⇔
α β
c = λ
⇔
α =: c 1 β
d) Aproxima a U t mediante una variable aleatoria normal y encuentre el valor c2 (t) que garantice que P[U t > 0] > 0 .95 Empezamos con la aproximaci´ on: U t lo tanto:
P[U t > 0] > 0 .95
⇔
P
⇔ 1 − P Z ≤ −σµ
U t
U t
U t
2 ) = N (ct N (E[U t ], Var[U t ]) = N (µU t , σU t
−µ
−µ >
U t
U t
σU t
σU t
> 0 .95
⇔ P Z ≤ −σµ
> 0 .95
U t
U t
⇔
P
< 0 .05
− λt
α(α+1) α , λt β 2 ). β
−µ N (0, 1) >
U t
σU t
⇔
Φ
− µU t σU t
Por
> 0 .95
< 0 .05
Entonces sustituyendo los valores: Φ
− λt ct
α β
α(α+1) λt β 2
< 0 .05
√ − λt ct
⇔
α β
λtα(α+1) β
< Φ −1 (0.05)
As´ı pues:
c2 (t) >
Φ−1 (0.05)
−
√
λtα(α+1) β
t
+ λt αβ
=
1
λα(α + 1) t
λα ( 1.645)
β
−−
Por lo tanto, el m´ınimo valor de c2 (t) que garantiza que P[U t > 0] c2 (t) =
1
β
λα + 1.645
1 =
β
λα+1.645
λα(α + 1) t
≥ 0.95 es:
λα(α + 1) t
Ahora bien para los siguientes ejercicios utilizaremos λ = 3, α = 500, β = 0.5, y el intervalo de tiempo: [0, 30]. e) En una misma gr´ afica, muestre diez trayectorias de N t para los valores antes mencionados.
12
Observaciones : Para simular este proceso Poisson, tuvimos que simular variables aleatorias exponenciales con par´ametro λ = 3, donde por cada tiempo exponencial aumenta en una unidad el n´umero de siniestros. Algunas veces, pareciera que en un paso, el n´umero de siniestros aumenta en m´as de una unidad; ´esta percepci´on se da porque los tiempos exponenciales entre un paso y otro son tan peque˜nos, que no se nota la diferencia del tiempo en el aumento.
f ) Para los mismos valores de los par´ ametros, realice una gr´ afica para diez trayectorias de S t
M´ as observaciones : Si tenemos que, en promedio, habr´a n 90 siniestros en total, y la media de los montos de siniestralidad es αβ = 500 a un total 0.5 = 1000, entonces, en promedio, al tiempo 30 se tendr´ de $1000 90 = $90, 000 en montos de siniestralidad. Y de la gr´afica de las trayectorias anteriores, observamos que las colas de las trayectorias est´an al rededor del valor 90 , 000. Por lo que nuestro modelaje de estos procesos Poisson es bueno.
·
13
g) Con los mismos par´ ametros, realice 3 gr´ aficas distintas: (i): Una con diez trayectorias de U t con c = c 1 (ii): Una con diez trayectorias de U t con c = c 2 (30). (iii): Una con diez trayectorias de U t con c = c 2 (1). Comente sobre la positividad de U t . Soluci´ on: (i) Primero, tenemos que calcular expl´ıcitamente el valor de c1 : c1 = λ
500 α =3 = 3000 0.5 β
·
(ii) Calculamos c 2 (30): c2 (30) =
1
β
λα + 1.645
14
λα(α + 1) t
= 3520.71
(iii) c2 (1) = 5852.071
Respecto a la positividad de U t , en la primer gr´afica (c = c 1 ), observamos de manera emp´ırica lo que la teor´ıa nos dec´ıa, es decir que, en promedio, las utilidades ser´ıan $0. Esto se puede observar en la simetr´ıa de las trayectorias con respecto a la recta U t = 0. Ahora, despu´es del valor cr´ıtico c = c 2 (t), i.e., al aumentarlo, en promedio, las trayectorias se mantienen arriba de U t = 0.
15
Referencias
[1] James Norris. Markov Chains . Cambridge University Press. 1997. [2] Robert Bartle and Donald Sherbert. Introduction to Real Analysis . Fourth Edition. Wiley & Sons. 2011. [3] “Euler-Mascheroni constant”. https://en.wikipedia.org/wiki/Euler\OT1\textendashMascheroni_constant
´ ´ [4] Miguel Angel Garc´ıa Alvarez. Introducci´ on a la teor´ıa de la probabilidad, segundo curso. Segunda Edici´on. Fondo de Cultura Econ´omica. 2016. M´exico. [5] Sheldon Ross. A first course in probability . Ninth Edition. Pearson. 2012.
16