Procesamiento Paralelo

ALUMNO Marco Antonio León González Gómez

CARRERA: Ingeniería en Sistemas Computacionales

MATERIA: Arquitectura Arquitectura de Computadoras Computadoras

DOCENTE: Ing. Alberto González Lagunas

TRABAJO: Procesamiento Paralelo

GRUPO: 3501

SALON: Aula 28

FECHA DE ENTREGA: Lunes 28 de Enero del 2013

Tianguistenco, México

1

Marco Antonio León González Gómez

PROCESAMIENTO PARALELO INTRODUCCIÓN El paralelismo es una forma de computación en la cual varios cálculos pueden realizarse simultáneamente. Basado en el principio de dividir los problemas grandes para obtener varios problemas pequeños, que son posteriormente solucionados en paralelo (divide y vencerás).

1. ASPECTOS BÁSICOS DE UNA COMPUTADORA PARALELA 1.1 Hardware   

Múltiples procesadores. Múltiples memorias. Interconexión.

1.2 Software  

Sistema operativo paralelo. Herramientas.

1.3 Objetivo Resolver el problema lo más rápido posible de manera eficiente.

1.4 Dos Miradas a la Misma Realidad     

Organización Lógica: Lo que ve el usuario de la máquina a través del software. Organización física: El hardware de la máquina. La arquitectura física es independiente de la arquitectura lógica. Es necesario conocer el hardware si queremos que el software se ejecute de forma eficiente. La computadora ideal es aquella que nos oculta los detalles físicos.

2


2. TIPOS DE COMPUTADORAS PARALELAS 2.1 Arquitectura Von Neumann (1945)

Fig. 1: Arquitectura Von Neumann 

Cuatro componentes principales: 1. Memoria. 2. Unidad de Control. 3. Unidad Aritmética Lógica. 4. Entrada/Salida.



I/O: Memoria de acceso aleatorio para almacenar datos e instrucciones.



La unidad de control trae instrucciones y datos de la memoria, decodifica las instrucciones y secuencialmente coordina las operaciones para llevar a cabo la tarea programada.



La Unidad aritmética realiza las operaciones aritméticas básicas.



La entrada/salida es la interfaz con el humano.



Cache: ¿Ideas? ¿Comentarios? ¿Saben por qué?

2.2 Taxonomía de Flynn (1966)      

Se separan las instrucciones y los datos en dos dimensiones. Pueden ser simples o múltiples. SISD: Single Instruction, Single Data. SIMD: Single Instruction, Multiple Data. MISD: Multiple Instruction, Single Data. MIMD: Multiple Instruction, Multiple Data.

2.2.1 SISD 

Una computadora serie (no hay paralelismo) 3


    

Instrucción simple: solo una instrucción ejecutada por el CPU durante cualquier ciclo del reloj. Datos simples: solo una secuencia de datos es usada como entrada durante cualquier ciclo de reloj. Ejecución determinística El modelo más antiguo de la computación Ejemplos: los primeros mainframes, la mayoría de los móviles, las primeras PC’s.

Fig. 2: SISD

2.2.2 SIMD       

Un tipo de computadora paralela Instrucción simple: solo una instrucción ejecutada por el CPU durante cualquier ciclo del reloj. Datos múltiples: cada unidad de procesamiento puede operar sobre un conjunto de datos diferente. Se adapta muy bien en problemas con un alto grado de regularidad, tales como gráficos/imágenes. Ejecución sincrónica y determinística. Dos variantes: arreglo de procesadores o unidades vectoriales. Las unidades de procesamiento de gráficos (GPUs) emplean unidades de procesamiento SIMD.

Fig. 3: SIMD 4


2.2.3 MISD Una secuencia de datos ´única es provista a unidades de procesamiento múltiples  Cada unidad de procesamiento opera sobre los datos de manera independiente (contadores de programa independientes)  Pocos ejemplos prácticos de este modelo de computadora paralela  Algunos usos posibles pueden ser: 



Múltiples filtros de frecuencia operando sombre una misma señal.



Múltiples algoritmos de criptografía operando sobre un mensaje codificado.

Fig. 4: MISD

2.2.4 MIMD      

Actualmente es el tipo de computadora paralela más usado. La mayoría de las computadoras caen aquí. Instrucciones múltiples: cada procesador puede estar ejecutando una secuencia de instrucciones diferentes. Datos múltiples: cada unidad de procesamiento puede operar sobre un conjunto de datos diferente. La ejecución puede ser sincrónica o asincrónica, determinística o no-determinística. Ejemplos: la mayoría de las supercomputadoras actuales, clusters y grids, multi-core PCs. Nota: muchas arquitecturas MIMD pueden contener componentes internos que ejecuten SIMD.

Fig. 5: MIMD 5


3. SISTEMAS DE MEMORIA COMPARTIDA 3.1 Características Generales de Memoria Compartida    

En general la memoria compartida permite a los procesadores acceder a la memoria como un espacio de direcciones global. Procesadores múltiples pueden operar independientemente sobre recursos de memoria compartida. Un cambio en la memoria producido por una unidad de procesamiento es visible por el resto de los procesadores. Hay dos clases de arquitecturas de memoria compartida: UMA y NUMA.

3.1.1 UMA

Fig. 6: UMA    

Un claro ejemplo son las machinas SMP (Symmetric Multiprocessor). Procesadores idénticos. Las prioridades y los tiempos de acceso son iguales para todos. CC-UMA: Cache Coherent UMA (usualmente lo hace el hardware).

3.1.2 NUMA

Fig. 7: NUMA  

Usualmente ocurre cuando se conectan dos o más sistemas SMPs. Un sistema SMP puede acceder directamente a la memoria del otro. 6


  

No todos los procesadores tienen igual acceso a todas las direcciones de memoria. El acceso a memoria a través del vínculo (o bus) es más lento. CC-NUMA: Cache Coherent NUMA.

3.2 Ventajas y Desventajas de Memoria Compartida 3.2.1 Ventajas Espacio de memoria global es amigable para el programador.  El intercambio de datos entre las tareas es rápido y uniforme debido a la proximidad entre CPUs. 

3.2.2 Desventajas El principal problema es que no se puede escalar el modelo. Cuando se agregan CPUs el tráfico se incrementa geométricamente y comienzan los problemas de coherencia.  El programador es responsable de la sincronización de los datos y la coherencia en la memoria. 

3.3 Multiprocesadores 

Pueden clasificarse en esta categoría muchos sistemas multiprocesadores y sistemas multicomputadores.



Un multiprocesador se define como una computadora que contiene dos o más unidades de procesamiento que trabajan sobre una memoria común bajo un control integrado. Si el sistema de multiprocesamiento posee procesadores de aproximadamente igual capacidad, estamos en presencia de multiprocesamiento simétrico; en el otro caso hablamos de multiprocesamiento asimétrico.





Todos los procesadores deben poder acceder y usar la memoria principal. De acuerdo a esta definición se requiere que la memoria principal sea común y solamente existen pequeñas memorias locales en cada procesador.



Si cada procesador posee una gran memoria local se lo puede considerar un sistema de multicomputadoras, el cual puede ser centralizado o distribuido.



Todos los procesadores comparten el acceso a canales de E/S, unidades de control y dispositivos.



Para el sistema de multiprocesamiento debe existir un sistema operativo integrado, el cual controla el hardware y el software y debe asegurar la interacción entre los

7


procesadores y sus programas al nivel elemental de dato, conjunto de datos y trabajos. 

Una computadora MIMD intrínseca implica interacciones entre n procesadores debido a que todos los flujos de memoria se derivan del mismo espacio de datos compartido por todos los procesadores. Si los n flujos de datos provienen de subespacios disjuntos de memorias compartidas, entonces estamos en presencia del denominado operación SISD múltiple, que no es otra cosa que un conjunto de n monoprocesadores SISD.



Una MIMD intrínseca está fuertemente acoplada si el grado de interacción entre los procesadores es alto.



De otra manera consideramos el sistema como débilmente acoplado. Muchos sistemas comerciales son débilmente acoplados, a saber, la IBM 370/168, Univac 1100/80, IBM 3081/3084, etc.

3.4 Redes de Interconexión Dinámicas 

Redes Dinámicas son redes cuya configuración puede modificarse. Hay dos tipos: 1. Mono-etapa. 2. Multi-etapa.



Las redes mono-etapa realizan conexiones entre elementos de proceso en una sola etapa. Puede que no sea posible llegar desde cualquier elemento a cualquier otro, por lo que puede ser necesario recircular la información (=> redes recirculantes). 

Fig. 8: Redes mono-etapa 

Las redes multi-etapa realizan conexiones entre los elementos de proceso en más de una etapa. 8


Fig. 9: Redes multi-etapa con sus 4 configuraciones 

Redes multi-etapa bloqueantes: Se caracterizan porque no es posible establecer siempre una nueva conexión entre un par fuente/destino libres, debido a conflictos con las conexiones en curso. Generalmente existe un único camino posible entre cada par fuente/destino. 





Redes multi-etapa reconfigurables: Se caracterizan porque es posible establecer siempre una nueva conexión entre un par fuente/destino libres, aunque haya conexiones en curso, pero puede hacerse necesario un cambio en el camino usado por alguna(s) de ella(s) (reconfiguración). Interesante en procesadores matriciales, en donde se conoce simultáneamente todas las peticiones de interconexión. 





Redes Dinámicas No Bloqueantes: Se caracterizan porque es posible establecer siempre una nueva conexión entre un par fuente/destino libres sin restricciones. Son análogas a los conmutadores de barras cruzadas, pero pueden representar mayor latencia, debido a las múltiples etapas. 



3.5 Redes Conmutadas

Fig. 10: Redes conmutadas 9




Una red conmutada consiste en un conjunto de nodos conectados por enlaces de datos, está compuesta por varios elementos: Estaciones: puntos terminales. Ej. Ordenadores, teléfonos, etc. Nodos Internos: conectados sólo a otros nodos. Nodos Periféricos: conectados a estaciones.   



Algunas características importantes de este tipo de redes son: Enlaces con varios “canales” entre nodos (multiplexación). Varios caminos alternativos entre nodos.  

En las redes conmutadas se llevan a cabo dos procesos importantes los cuales son conmutación de circuitos y conmutación de paquetes.

3.5.1 Conmutación de Circuitos  

Funcionamiento: se establece una conexión física permanente entre las estaciones durante la comunicación. Fases: Establecimiento del circuito: realización de llamada, realización de conexiones en los nodos. Transferencia de Datos: normalmente en ambos sentidos (full-dúplex). Desconexión: liberación de recursos. 

 

Fig. 11: Nodo B llama a E

3.5.2 Conmutación de Paquetes  

Desarrollada a principios de los 70 para comunicación de datos digitales. Conmutación de circuitos: Poco eficiente. Mal aprovechamiento de recursos.  

10


 

Los nodos intercambian información digital. Información dividida en paquetes, cada paquete contiene: Información de control: origen, destino, tamaño, prioridad. Datos a transferir. Cada nodo “encola” los paquetes recibidos y los envía por la lín ea más adecuada según su destino.  



Fig. 12 Funcionamiento Conmutación de Paquetes.

3.5.3 Conmutación de Paquetes Ventajas    

Mayor eficiencia: sólo se usan los enlaces cuando hay datos que enviar. Cualquier tipo de datos: codificación digital Posibilidad de establecer prioridades distintas para distintos tipos de comunicación: calidad de servicio. Posibilidad de comunicación incluso con red saturada.

11


4. SISTEMAS DE MEMORIA DISTRIBUIDA

Fig. 13: Sistema de memoria distribuida.

4.1 Características Generales de Memoria Distribuida     

Hay Varios modelos de memoria distribuida. El patrón general es el uso de una red de comunicación para conectar las memorias de los procesadores. Los procesadores tiene su propia memoria local y no hay correspondencia entre dos procesadores. Independencia de operación, los cambios en un lugar no afectan al resto. Cuando un procesador necesita un dato externo, el programador lo ordena explícitamente. La red de comunicación puede variar ampliamente, puede ser una red Ethernet.

4.2 Ventajas de Memoria Distribuida  

El modelo escala con los procesadores. A medida que se agregan unidades de procesamiento la memoria escala proporcionalmente. Cada procesador accede a un dato en memoria sin inferir al resto de los componentes. Se eliminan las demoras por accesos múltiples.

4.3 Desventajas de Memoria Distribuida  

El programador es responsable de muchos de los detalles asociados a la comunicación entre procesadores. Puede ser dificultoso mapear estructuras de datos basadas en memoria global a esta organización de memoria.

12


BIBLIOGRAFÍA: 





Kai Hwang y Fayé A. Briggs. Arquitectura de Computadoras y Procesamiento Paralelo . McGraw-Hill, 1987. John L. Hennessy y David A. Patterson. Arquitectura de Computadoras, un Enfoque Cuantitativo . Morgan Kaufmann, segunda edición, 1993. William Stallings. Organización y Arquitectura de Computadores, diseño para optimizar prestaciones . Prentice Hall, cuarta edición, 1996.

13


Procesamiento Paralelo

Recommend Documents