Introdução a Armazenamento Secundário e Sistemas de Arquivos Arquivos Distribuído Distribuído Disciplina: Sistemas Distribuídos Professora: Fávia Delicato Alunos: Thomaz Barros Wagner Vieira Abril, 2014
Agenda 1.
Sistema de Arquivos
2.
Sistemas de Arquivos Distribuído
3.
Network File System (NFS) 1. Introdução 2. Arquitetura 3. Sincronização 4. Consistência de Cache
4.
Google File System (GFS) 1. Introdução 2. Arquitetura 3. Servidor Master 4. Escalabilidade
5.
Hadoop Distributed File System (HDFS) 1. Pressupostos 2. Arquitetura 3. Sincronização e Consitência de Cache
2
Sistema de Arquivos Introdução !
Permite aos usuários criarem arquivos que podem ser persistidos, compartilhados e estruturados, ou seja, organizados internamente.
!
Operações básicas de manipulação de arquivos: ! ! !
!
!
!
Criar – inclui arquivo na estrutura de arquivos; Apagar – exclui arquivo da estrutura de arquivos; Abrir – permite que processos manipulem determinado arquivo; Fechar – encerra a permissão de manipulação de determinado arquivo por parte de um processo. Ler – permite que determinado processo leia dados do arquivo; Escrever – permite que determinado processo modifique o conteúdo do arquivo;
3
Sistema de Arquivos – Definições !
Estrutura de Arquivo ! Field (campo) : elemento básico do dado, que contém um único valor, como um sobrenome de um empregado, uma data ou uma leitura de um sensor; ! Record (registro) : conjunto de campos; (arquivo): conjunto de registros ! File similares;
!
Alguns sistemas de arquivo não contém o conceito de registro.
4
Sistemas de Gerenciamento de Arquivos !
Provêem serviços para usuários e aplicações manipularem os arquivos.
!
Devem cumprir os seguintes objetivos:
1. Satisfazer os requisitos dos usuários
!
Criar, deletar, ler e escrever arquivos; Controlar o acesso aos arquivos; Mover dados entre os arquivos;
!
Recuperação em caso de dano;
!
Acesso aos arquivos através de seu nome;
! !
5
Sistema de Gerenciamento de Arquivos 2. Minimizar o quanto possível problemas de validade, corrupção e perda de dados;
3. Prover o máximo de desempenho em termos de throughput de dados e tempo de resposta ao usuário;
4. Suportar um variado leque de dispositivos de armazenamento secundário;
5. Prover uma inteface de E/S padronizada para os processos executados no sistema operacional;
6. Prover suporte a E/S concorrente;
6
Arquitetura de um Sistema de Arquivos Genérico Programa de usuário
Indexação Métodos de Acesso Indexação Sequencial sequencial
Hashed
E/S lógicas Supervisor de E/S básicas Sistema de arquivo básico Drivers de dispositivos secundários
7
Sistemas de Arquivos Distribuído !
Sistemas de arquivos foram originalmente desenvolvidos para lidar com um único dispositivo.
!
A mudança de como usuários e organizações compartilham arquivos levou ao desenvolvimento de sistemas de arquivos distribuídos;
!
Permitem: ! !
!
Armazenamento remoto de arquivos; Acesso remoto a arquivos;
Exemplos: ! ! ! !
Network File System (NFS); Google File System (GFS); Hadoop Distributed File System (HDFS); Ivy;
8
Network File System !
Utiliza a arquitetura cliente-servidor;
!
Acesso transparente aos arquivos;
!
Indiferente ao sistema de arquivos é utilizado localmente;
!
Modelo de acesso remoto;
Requisições do cliente para o acesso a arquivos
Arquivo permanece no servidor
9
NFS - Arquitetura System call layer
System call layer
Virtual file system (VFS) layer
Virtual file system (VFS) layer
Local file system interface
NFS client
NFS server
RPC client stub
RPC server stub
Local file system interface
10
NFS – Sincronização !
Necessidade de existir uma política de leitura e escrita para evitar problemas quando um arquivo é compartilhado por dois ou mais usuários;
!
Inicialmente, vimos que todas as operações sobre os arquivos eram diretamente encaminhadas para o servidor;
!
Contudo, essa abordagem pode prejudicar o desempenho das operações;
11
NFS – Sincronização !
Na prática, segue-se o seguinte modelo: 1. Arquivo movido para o cliente
Arquivo antigo
Arquivo novo
2. Acessos são feitos no cliente 3. Cliente termina e retorna o arquivo ao arquivo
!
Como controlar quando há modificações simultâneas?
12
NFS – Sincronização !
Uso de um gerenciador de bloqueio;
!
Leitura não é bloqueante por completo;
!
Escrita necessita de bloqueio exclusivo;
!
São quatro operações de bloqueio: !
Lock; Lockt;
!
Locku;
!
Renew;
!
13
NFS – Consistência de Cache Cache de Memória
Aplicação Cliente
Servidor NFS
Cache de disco
14
NFS – Consistência de Cache !
Duas abordagens para Cache: 1. Vimos anteriormente; 1. Arquivo movido para o cliente
Arquivo antigo
Arquivo novo
2. Acessos são feitos no cliente 3. Cliente termina e retorna o arquivo ao arquivo
15
NFS – Consistência de Cache 2. Open Delegation 1. Cliente requisita o arquivo 2. Servidor delega o arquivo
Arquivo antigo Cópia local
3. Servidor revoga delegação
Arquivo atualizado 4. Cliente envia o arquivo
16
Google File System (GFS) !
Acesso paralelo e intensivo de arquivos é uma realidade.
!
Muitos computadores envolvidos em processos de leitura ou escrita de arquivos; !
!
Esses mesmos computadores podem se tornar indisponíveis repentinamente;
Google File System (GFS) vem para solucionar tais problemas.
17
GFS – Introdução !
Focado em arquivos muito grandes (vários gigabytes);
!
Operações de escrita costumam anexar mais dados aos arquivos existentes; !
!
Ao invés de sobrescrever os arquivos existentes;
Sempre em mente que os servidores não são confiáveis;
18
GFS – Arquitetura nome do arquivo, índice do chunk
endereço de contato
Estado do chunk server
Instruções
ID do chunk, faixa
Chunk server
Chunk server
Chunk server
Sistema de Arquivo Linux
Sistema de Arquivo Linux
Sistema de Arquivo Linux
Dados do chunk
A organização de um cluster de servidores do Google
19
GFS – Servidor Master !
Armazena a metadados dos chunks; ! ! !
!
O que acontece se um chunk server falhar? ! !
!
Localização; Label; Quais processos estão ocorrendo.
Exitem réplicas dos chunks em mais de um servidor; “Snapshot” do chunk e procede com uma nova replicação.
Atualizações periódicas do que cada servidor de chunks possui;
20
GFS – Arquitetura / Escalabilidade Chunk 1 Arquivo 1
Chunk Server
Chunk 2 Arquivo 1 Chunk 1 Arquivo 2
Chunk 1 Arquivo 2
Aplicação cliente
Endereço do chunk
Master
Chunk Server
Chunk 1 Arquivo 1
Redundância
Chunk 2 Arquivo 2
Chunk 1 Arquivo 2
Chunk Server
Chunk 1 Arquivo 2 Chunk 2 Arquivo 2
21
GFS – Escalabilidade !
Por que essa arquitetura permite a escalabilidade dos serviços?
!
Maior carga de operações compete aos servidores de chunk, assim o master não é um gargalo;
22
Hadoop Distributed File System (HDFS) !
Um módulo do projeto Apache Hadoop; !
Programa open-source para confiabilidade, escalabilidade e computação distribuída.
!
Fornece acesso de alta taxa de transferência aos dados da aplicação;
!
Projetado para rodar em hardware commodity / hardware de baixo custo;
!
Minimização do consumo de largura de banda global e latência de leitura.
23
HDFS – Pressupostos !
Base de dados grandes !
Adequado para aplicações Big Data;
Volume Tamanho do Dado
Complexidade dos dados
24
HDFS – Pressupostos !
Falhas de hardware (mais uma norma do que uma exceção);
!
Mover computação é mais barato que mover dados;
!
Portabilidade para diferentes hardwares e plataformas; !
HDFS é construído usando a linguagem Java;
!
Modelo Simples de Coerência: uma vez escrito o arquivo não pode ser alterado;
!
Streaming de dados nos acessos.
25
HDFS – Arquiterura Metadados ops
Metadados (Nome, réplicas, …): home/foo/data, 3, …
NameNode
Cliente
Leitura
Blocos ops DataNodes
DataNodes Replicação
Blocos
Rack 1
Rack 2 Escrita Cliente
Nota: 1/3 da réplica em um bloco, 2/3 em um rack e de 1/3 distribuído uniformemente entre racks restantes.
26
HDFS – Sincronização e Consistência de Cache !
Cache do lado do cliente – arquivo temporário local;
!
Foco na melhora de desempenho;
!
Alocação no DataNode a cada montante de dados equivalente a um bloco HDFS;
!
Quando arquivo é fechado pelo cliente, NameNode efetiva a criação do arquivo e o aloca em dispositivo secundário;
27
HDFS – Protocolo de Comunicação !
Todos os protocolos de comunicação HDFS são camadas em cima do protocolo TCP/IP. !
!
Cliente estabelece uma conexão a uma porta TCP configurável na máquina NameNode. Comunica o Protocolo de Cliente com o NameNode; DataNodes falam com o NameNode usando protocolo de DataNode;
!
RPC abstração envolve tanto ClientProtocol e protocolo DataNode;
!
NameNode nunca inicia um pedido; apenas responde aos pedidos RPC emitidos por DataNodes ou clientes.
28
Introdução a Armazenamento Secundário e Sistemas de Arquivos Distribuído Disciplina: Sistemas Distribuídos Professora: Fávia Delicato Alunos: Thomaz Barros Wagner Vieira Abril, 2014
