ESCUELA SUPERIOR POLITÉCNICA DEL LITORAL FACUL FA CULTTAD DE INGENIER INGENIERÍA ÍA EN ELECTRICI ELECTRICIDAD DAD Y COMPUT COMPU TACIÓN
Probabilidades y Procesos Estocásticos
FRANCISCO NOVILLO, PhD.
Procesos aleatorios o estocásticos
Procesos aleatorios o estocásticos
Definición. Especificación de un proceso aleatorio. Función Valor medio, autocorrelación y autocovarianza. Procesos estocásticos múltiples. Correlación y covarianza cruzada.
Definición
Sistema de reconocimiento de voz las decisiones son hechas en base a formas de ondas de voltaje correspondientes a una expresión oral. En una red peer to peer, el número de pares en el sistema varia con el tiempo. En ocasiones el dos o más funciones de tiempo pueden ser de interés. Por ejemplo, la temperatura de una determinada ciudad y de la demanda sobre la utilidad de energía eléctrica locales varían juntos en el tiempo. tiempo. Las funciones de tiempo aleatorio en el ejemplo anterior pueden ser vistas como cantidades numéricas que evolucionan aleatoriamente en el tiempo o el espacio. Por lo tanto, lo que realmente se tiene es una familia de variables aleatorias indexadas por el tiempo o la variable espacio.
Definición
Un proceso estocástico es un concepto matemático que sirve para caracterizar una sucesión de variables aleatorias (estocásticas) que evolucionan en función de otra variable, generalmente el tiempo. Cada una de las variables aleatorias del proceso tiene su propia función de distribución de probabilidad y, entre ellas, pueden estar correlacionadas correlacionadas o no. Cada variable o conjunto de variables sometidas a influencias o efectos aleatorios constituye un proceso estocástico.
Definción
Los siguientes son ejemplos dentro del amplio grupo de las series temporales: temporales: – Señales de telecomunicación – Señales biomédicas (electrocardiograma, encefalograma, etc.) – Señales sísmicas – El número de manchas solares año tras año bol sa segundo a segundo – El índice de la bolsa – La evolución de la población de un municipio año tras año – El tiempo de espera en cola de cada uno de los usuarios que van llegando a una ventanilla – El clima es un gigantesco cúmulo de procesos estocásticos interrelacionados (velocidad del viento, humedad del aire, etc) que evolucionan en el espacio y en el tiempo.
Definición
Considere un experimento aleatorio especificado por los resultados resultados desde algún espacio muestral S, por los eventos eventos definidos sobre S, y por las probabilidades sobre estos eventos. eventos. Suponer que a cada resultado ∈ , se asigna una función de tiempo de acuerdo a alguna regla:
Definición
El gráfico de la función X(, ) versus t, para fijo, es llamado una realización, trayectoria de la muestra, o la función de la muestra de un proceso aleatorio. Así, se puede observar los resultados del experimento aleatorio como la producción de toda una función del tiempo como se muestra en la figura
Definición
Por otro lado, si un tiempo tk es fijado desde un conjunto de índices I, entonces X(, ) es una variable aleatoria puesto que se está mapeando sobre números reales. Así, se ha creado (o ensamblado) una familia de variables aleatorias indexadas por el parámetro t, X , , ∈ . Esta familia es llamada un proceso aleatorio, también referido como proceso estocástico. Usualmente se suprime y se usa X para denotar a un proceso aleatorio. aleatorio.
Definición
Un proceso estocástico se dice que es discreto en el tiempo si el índice I es establecido como un conjunto contable (i.e. el conjunto de enteros o el conjunto de enteros no negativos). Cuando se trata de procesos de tiempo discreto, se suele utilizar n para denotar el índice de tiempo y X para denotar el proceso aleatorio.
Definición
Un proceso estocástico de tiempo continuo es uno que I es continuo (i.e. la recta real o la línea real no negativo ).
Ejemplo
Sea seleccionada aleatoriamente del intervalo [-1,1]. Definir el proceso aleatorio continuo X(, ) por:
, = cos( cos(2 ) , −∞ < < ∞
Las realizaciones de este proceso aleatorio son sinusoides con amplitud . Thissimagecannotcurrently imagecannotcurrently
bedispl ayed.
Ejemplo
Sea seleccionada aleatoriamente del intervalo [,] y dígase que:
, = cos(2 + ) , −∞ < < ∞ Las realizaciones de , son versiones cos(2). cambiadas de fase de cos(2
Ejemplo
La aleatoriedad en induce la aleatoriedad en la función observada , . En principio, se puede deducir la probabilidad de eventos envolviendo un proceso estocástico en varios instantes de tiempo de probabilidades envolviendo utilizando el método de evento equivalente.
Trabajo en clase
Definir detalladamente procesos estocásticos.
5
ejemplos
de
Ejemplo
Conseguir las siguientes probabilidades para el proceso aleatorio
Ejemplo
Dada una secuencia binaria aleatoria, dígase que es un número seleccionado aleatoriamente del intervalo = [0,1], y dígase 12 … son la expansión binaria de :
El proceso aleatorio de tiempo discreto X(n, ) es definido como : Por lo tanto el proceso resultante es la secuencia de números binarios , con X(n, ) igual al nth número en la expansión binaria de .
Definición
Una variable aleatoria es una regla para asignar a cada resultado de un experimento S un número x( ). Así un proceso estocástico es una familia de funciones en el tiempo o dependientes del parámetro equivalentemente equivalentemente una función de t y . El dominio de es el conjunto de todos los resultados experimentales y el dominio de t es el conjunto R de números reales.
Definición
Si R es eje real, entonces x(t) es un proceso de tiempo continuo. Si R es el conjunto de enteros, entonces x(t) es un proceso de tiempo discreto. Un proceso de tiempo discreto es así una secuencia de variables aleatorias. Tal que una secuencia será denotadas por x n o para evitar dobles índices por x[n]. Por lo tanto, se dice que x(t) es un proceso de estado discreto si sus valores son contables, de otra manera, es un proceso de estados continuos.
Estadísticas de procesos estocásticos
Un proceso estocástico es un infinito no contable de variables aleatorias, una para cada t. Para un t específico, x(t) es una variable aleatoria con distribución:
, = [ () ≤ ]
Esta función depende de t, y es igual a la probabilidad del evento { () ≤ } consistente de todos los resultados tal que en el tiempo específico t, las muestras X , del proceso dado no exceden el número x. La función (, ) será llamada distribución del primer orden del proceso . Su derivada con respecto a x es llamada la densidad de primer
orden de .
, =
(, )
Estadísticas de procesos estocásticos
Interpretación de frecuencia: Si el experimento es ejecutado n veces, entonces n funciones X , son observadas, una para cada prueba. Denotando por ni(x) el número de pruebas tal que en el tiempo t las ordenadas de las funciones observadas no excedan x (líneas continuas), se concluye que: , ≅
( )
Estadísticas de procesos estocásticos
Distribución de segundo orden del el proceso X(t) es la distribución conjunta: conjunta: , 2; , 2 = [ () ≤ 1, (2) ≤ 2]
De la variable aleatoria X(t1) y X(t2). La densidad correspondiente es igual a: , 2; , 2 =
(, 2; , 2)
2 El distribución de orden nth de X(t) es la distribución conjunta F(x1,…,xn; t1,…tn) de las variables aleatorias X(t1),…, X(tn)
Propiedades de segundo orden
Para la determinación de las propiedades estadísticas de los procesos estocásticos, conocidos de la función F(x1,…,xn; t1,….,tn) es requerido para cada xi,ti y n. Sin embargo, para cualquier aplicación, solo ciertos promedios son usados, en particular, el valor esperado de x(t ) y de x2(t). Estas cantidades pueden ser expresadas en términos de propiedades de segundo orden de x(t) definidas de la siguiente manera: manera:
Especificación de un proceso aleatorio
Hay muchas preguntas con respecto a los procesos aleatorios que no se puedan contestar con el sólo conocimiento de la distribución en un solo instante de tiempo. Por ejemplo, se podría estar interesado en la temperatura en un lugar dado en dos diferentes instantes de tiempo. Para ello se requiere la siguiente información: En otro ejemplo, el sistema de compresión de voz en un teléfono celular predice el valor de la señal de voz en el próximo tiempo de muestreo basado en las k muestras anteriores. Por lo tanto se puede estar interesado en el siguiente probabilidad:
Es claro que una descripción general de un proceso aleatorio debe proporcionar probabilidades probabilidades para los vectores de muestras muestras del proceso.
Distribuciones conjuntas de muestreos muestr eos de tiempo
Dígase que X1, X2, …, Xk son las variables aleatorias k obtenidas por muestrear el proceso aleatorio X(t, ) en el tiempo t1, t2, …, tk: El comportamiento conjunto de los procesos aleatorios en estos k instantes de tiempo es especificado por la distribución acumulada conjunta del vector de variable aleatoria X1, X2, …, Xk. Las probabilidades de cualquier evento envolviendo el proceso aleatorio en todo o algunos de estos instantes de tiempo pueden ser calculados desde la cdf usando métodos desarrollados para variables aleatorias vectoriales. Así, un proceso estocástico es especificado por la colección de funciones de distribución acumulada conjuntas de kth orden:
Para cualquier k y cualquier elección de instantes de muestra t1, t2, …, tk:
Distribuciones conjuntas de muestreos muestr eos de tiempo
Si el proceso estocástico es valorado continuo, entonces una colección de funciones de densidad de probabilidad puede ser utilizado en lugar:
Si el proceso estocástico es valorado discreto, entonces una colección de funciones de masas de probabilidad pueden ser usadas para especificar el proceso estocástico: estocástico: Para cualquier k y cualquier instante de muestreo n1, …, nk
Funciones de media varianza
La función media mx(t) y la función varianza VAR[X(t)] de un proceso aleatorio continuo X(t) son definidas por:
Donde ( ) es la pdf de X(t). Note que y VAR[X(t)] son funciones determinísticas de tiempo. Tendencias en el comportamiento de X (t) se reflejan en la variación de con el tiempo. La varianza da una indicación de la propagación de los valores asumidos por X(t) en diferentes instantes de tiempo.
Autocorrelación
La autocorrelación RX(t1,t2) de un proceso aleatorio X(t) es definida con el momento conjunto conjunto de X(t1) y X(t2)
Donde 1 , (, ) es la pdf de segundo orden de X(t). En general, general, la autocorrelación autocorrelación es una función de t1 y t2. Note que , = [ ()] , que corresponde a la potencia promedio de X(t).
Autocovarianza
La autocovarianza CX(t1,t2) de un proceso aleatorio X(t) es definida como la covarianza de X(t1) y X(t2):
La autocovarianza puede ser expresada en términos de la autocorrelación y las medias: Note que la varianza de X(t) puede ser obtenida de CX(t1,t2):
Coeficiente de correlación
El coeficiente de correlación de X(t) es definido como el coeficiente de correlación de X(t1) y X(t2): Recuerdee que el coeficiente de correlación es una medida de hasta qué punto una variable aleatoria puede ser predicha como una función lineal de otra
Media para caso discreto
La media y varianza de un proceso aleatorio en tiempo discreto discreto Xn son definidas como:
Funciones de autocorr autocorrelación elación y autocovarianza en tiempo discreto
Las funciones de autocorrelación y autocovarianza de un proceso aleatorio de tiempo discreto son definidas como sigue:
Recordar que las funciones de media, autocorrelación y autocovarianza son solamente descripciones parciales de un proceso aleatorio.
Ejemplos
Procesos aleatorios múltiples
En muchas ocasiones se está interesado en más de un proceso aleatorio a la vez. Por ejemplo, se puede estar interesado en las temperaturas en la ciudad a, X(t) y ciudad b, Y(t). Otro ejemplo muy común trata sobre un proceso aleatorio X(t) que es la entrada a un sistema y otro proceso aleatorio Y(t) que es la salida del sistema. Naturalmente se está interesado en la interrelación interrelación entre entre X(t) y Y(t).
Procesos aleatorios múltiples
El comportamiento conjunto de dos o mas procesos aleatorios es especificado por la colección de distribuciones conjuntas para todas las posibles elecciones de muestras de tiempo de los procesos. Así para un par de procesos aleatorios continuos X(t) y Y(t) se especifica todas las posibles funciones de densidad conjunta de X(t1), …, X(tk) y Y(t1’),…,Y(tj’) para todos los k, j y todas las elecciones de t1,…, tk y t1’,…, tj’. De manera que la pdf conjunta conjunta sería:
Procesos aleatorios independientes
El proceso aleatorio X(t) y Y(t) se dicen procesos aleatorios independientes si el vector de variables aleatorias X=(X(t1),…, X(tk)) y Y=(Y(t1’),…, Y(tj’)) son independientes para todo k, j, y todas las elecciones de t1,…, tk y t1’,…, tj’:
Correlación cruzada
La relación cruzada , , 2 de X(t) y Y(t) es definida por:
, , 2 = [ (2)]
Procesos aleatorios ortogonales
El proceso aleatorio X(t) y Y(t) se dicen procesos aleatorios ortogonales si:
Covarianza cruzada
La covarianza cruzada , , 2 de X(t) y Y(t) se define por: , , 2 = { − ()}{ 2 − (2)} , , 2 = , , 2 − [(2)]
Procesos aleatorios no correlacionados
Los procesos aleatorios aleatorios X(t) y Y(t) se dicen procesos aleatorios aleatorios no correlacionados si:
Ejemplos
Procesos de tiempo discreto.
Procesos aleatorios distribuidos idénticamente independientes (iid).
Dígase Xn es un proceso aleatorio de tiempo discreto consistente de una secuencia de variables aleatorias distribuidas idénticamente independientes (iid) con cdf común Fx(x), media m y varianza . La secuencia Xn es llamada proceso aleatorio iid.
CDF conjunta
La cdf conjunta para cualquier instante de tiempo n1,…, nk es dada por :
Donde Xk por simplicidad se denota como .
La media (iid)
La media de un proceso iid se obtiene de la siguiente manera:
De tal manera que la media es constante.
La función autocovarianza
La función autocoarianza es obtenida como sigue, si 1 ≠ .
Dado que y son independientes. Si 1 = = , entonces:
La función autocovarianza
Se puede expresar la autocovarianza de los procesos iid de manera compacta de la siguiente manera:
Donde = 1 si 1 = y 0 en otro caso. Por lo tanto la función autocavarianza es cero en todas partes excepto para 1 = .
La función autocorr autocorrelación elación
La función autocorrelación de un proceso iid se obtiene como:
Procesos de suma
Muchos procesos aleatorios interesantes se obtienen como la suma de una secuencia de variables aleatorias aleatorias iid, X1, X2, …:
Donde So=0. De manera que se define a Sn como el proceso de suma.
Procesos de Poisson
Considere un evento en que ocurre en instantes instantes aleatorios de tiempo a una velocidad promedio de eventos por segundo. De esta manera un evento podría representar el arribo de un cliente a una estación de servicio
Procesos aleatorios estacionarios
Muchos procesos aleatorios tienen la propiedad de que la naturaleza de la aleatoriedad en el proceso no cambia con el tiempo. Una observación del proceso en el intervalo de tiempo (to,t1) muestra el mismo tipo de comportamiento aleatorio que la observación en algún otro intervalo de tiempo (to+ , t1+). De esta manera se dice que la probabilidad de muestras del proceso no depende del instante cuando se inicia a tomar las observaciones, esto es, las probabilidades que involucran la toma de muestras en tiempos t1,…,tk no difieren de otras tomadas en t1+ , …, tk+
Promedios Promed ios de tiempo
Para estimar la media de mx(t) de un proceso aleatorio (, ) , se repite el experimento aleatorio y toma el siguiente promedio:
Donde N es el número de repeticiones del experimento y (, ) es la realización observada en la ith repetición.
Promedios Promed ios de tiempo
En algunas situaciones se está interesado en estimar la media o función autocorrelación del promedio de tiempo de una realización simple, esto es:
Teorema de ergodicidad
Un teorema ergódico establece condiciones bajo qué un promedio de tiempo converge a medida que el intervalo de observación se hace grande. Se está interesado en teoremas ergódicos que establezcan cuando los promedios de tiempo convergen al media del conjunto (valor esperado).
Teorema de ergodicidad
Se establece que si Xn es un proceso aleatorio de tiempo discreto iid con media finita E[Xn]=m, entonces el promedio de tiempo de las muestras converge a la media del conjunto conjunto con probabilidad uno:
Este resultado permite estimar m tomando el promedio de tiempo de una realización realización simple del proceso. Se está interesado en obtener resultados de este tipo para clases grande de procesos aleatorios, esto es, para procesos aleatorios de tiempo discreto no iid y para procesos aleatorios de tiempo continuo.
Teorema de ergodicidad: Ejemplo
Dígase X(t)=A para todo t, donde A es una variable aleatoria de varianza unitaria y media cero.
Conseguir el valor de tiempo promedio.
La media del proceso
El promedio en el tiempo es:
El promedio en el tiempo no siempre converge a = 0. No te que este proceso es estacionario. Así el proceso puede ser estacionario pero no necesita ser ergódico. ergódico.
Teorema de ergodicidad
Dígase X(t) es un proceso WSS con = , entonces
en el sentido cuadrado medio, si y solamente si:
En consonancia con el uso de la ingeniería, se dice que un proceso WSS es ergódico medio si satisface las condiciones del presente teorema.
Teorema de ergodicidad
Estimado del promedio en el tiempo de la función autocorrelación autocorrelación del proceso Y(t). Reemplazando X(t) con Y(t+ )Y(t), se obtiene un promedio en el tiempo estimado para la función autocorrelación autocorrelación del proceso Y(t):
