Este guia ajuda você a avaliar os requisitos de armazenamento da sua carga de trabalho na nuvem, entender as opções de armazenamento disponíveis no Google Cloude criar uma estratégia de armazenamento que ofereça o valor técnico e comercial ideal.
Para informações sobre como selecionar serviços de armazenamento para cargas de trabalho de IA e ML, consulte Visão geral dos serviços de armazenamento para cargas de trabalho de IA e ML no Hipercomputador de IA.
Informações gerais do processo de design
Como arquiteto de nuvem, ao planejar o armazenamento para uma carga de trabalho na nuvem, primeiro considere as características funcionais da carga de trabalho, as restrições de segurança, os requisitos de resiliência, as expectativas de desempenho e as metas de custo. Em seguida, revise os serviços e recursos de armazenamento disponíveis noGoogle Cloud. Em seguida, com base nos seus requisitos e nas opções disponíveis, você seleciona os serviços e recursos de armazenamento necessários. O diagrama a seguir mostra esse processo de design de três fases:
Definir seus requisitos
Use os questionários nesta seção para definir os principais requisitos de armazenamento da carga de trabalho que você quer implantar no Google Cloud.
Diretrizes para definir requisitos de armazenamento
Ao responder aos questionários, considere as seguintes diretrizes:
Definir requisitos de forma granular
Por exemplo, se o aplicativo precisar de armazenamento de arquivos baseado no sistema de arquivos de rede (NFS), identifique a versão necessária do NFS.
Considerar requisitos futuros
Por exemplo, sua implantação atual pode atender a usuários em países da Ásia, mas é possível que você queira expandir os negócios para outros continentes. Nesse caso, considere todos os requisitos regulamentares relacionados ao armazenamento dos novos territórios de negócios.
Considerar oportunidades e requisitos específicos da nuvem
Aproveite as oportunidades específicas da nuvem.
Por exemplo, para otimizar o custo de armazenamento dos dados armazenados no Cloud Storage, você pode controlar a duração do armazenamento usando políticas de retenção de dados e configurações do ciclo de vida.
Considere os requisitos específicos da nuvem.
Por exemplo, os dados locais podem estar em um único data center, e talvez seja necessário replicar os dados migrados em dois locais doGoogle Cloud para redundância.
Questionários
Os questionários a seguir não são listas de verificação completas para o planejamento. Use essas perguntas como ponto de partida para analisar sistematicamente todos os requisitos de armazenamento da carga de trabalho que você quer implantar no Google Cloud.
Avaliar as características da sua carga de trabalho
Que tipo de dados você precisa armazenar?
Exemplos
- Conteúdo estático do site
- Backups e arquivos para recuperação de desastres
- Registros de auditoria para conformidade
- Grandes objetos de dados que os usuários baixam diretamente
- Dados de transações
- Dados não estruturados e heterogêneos
De quanto capacidade você precisa? Considere seus requisitos atuais e futuros.
A capacidade deve ser escalonada automaticamente com o uso?
Quais são os requisitos de acesso? Por exemplo, os dados precisam ser acessíveis de fora do Google Cloud?
Quais são os padrões esperados de leitura e gravação?
Exemplos
- Gravações e leituras frequentes
- Gravações frequentes, mas leituras ocasionais
- Gravações e leituras ocasionais
- Gravações ocasionais, mas leituras frequentes
A carga de trabalho precisa de acesso baseado em arquivo, como NFS?
Vários clientes podem ler ou gravar dados simultaneamente?
Identificar restrições de segurança
Quais são seus requisitos de criptografia de dados? Por exemplo, você precisa usar chaves controladas por você?
Há algum requisito de residência para os dados?
Definir requisitos de resiliência de dados
- Sua carga de trabalho precisa de cache de baixa latência ou espaço temporário?
- Você precisa replicar os dados na nuvem para redundância?
- Você precisa de uma consistência rigorosa de leitura e gravação para conjuntos de dados replicados?
Definir expectativas de desempenho
Qual é a taxa de E/S necessária?
Quais níveis de capacidade de leitura e gravação seu aplicativo precisa?
Para quais ambientes você precisa de armazenamento? Para uma determinada carga de trabalho, você pode precisar de armazenamento de alto desempenho para o ambiente de produção, mas pode escolher uma opção de menor desempenho para os ambientes de não produção.
Revise as opções de armazenamento
OGoogle Cloud oferece serviços de armazenamento para todos os principais formatos: bloco, arquivo e objeto. Revise e avalie os recursos, as opções de design e as vantagens relativas dos serviços disponíveis para cada formato de armazenamento.
Visão geral
Armazenamento em blocos
Os dados que você armazena no armazenamento em blocos são divididos em blocos, cada um armazenado como um bloco separado com um endereço exclusivo. Os aplicativos acessam dados fazendo referência aos endereços de bloco apropriados. O armazenamento em blocos é otimizado para cargas de trabalho com IOPS alto, como o processamento de transações. É semelhante à rede de área de armazenamento (SAN) local e aos sistemas de armazenamento conectado diretamente (DAS).
As opções de armazenamento em blocos no Google Cloud fazem parte do serviço do Compute Engine.
| Opção | Informações gerais |
|---|---|
| Persistent Disk | Unidades de disco rígido dedicadas (HDD) e unidades de estado sólido (SSD) para aplicativos empresariais e de banco de dados implantados em VMs do Compute Engine e em clusters do Google Kubernetes Engine (GKE). |
| Google Cloud Hyperdisk | Armazenamento em rede rápido e redundante para VMs do Compute Engine e clusters do GKE, com capacidade que pode ser aumentada dinamicamente e desempenho configurável. |
| SSD local | Armazenamento em blocos temporário, anexado localmente, para aplicativos de alto desempenho. |
Armazenamento de arquivos
Os dados são organizados e representados em uma hierarquia de arquivos armazenados em pastas, semelhante ao armazenamento conectado à rede local (NAS). Os sistemas de arquivos podem ser ativados em clientes usando protocolos como NFS e Server Message Block (SMB). Os aplicativos acessam dados usando o nome de arquivo e o caminho de diretório relevantes.
OGoogle Cloud oferece várias soluções totalmente gerenciadas para armazenamento de arquivos.
| Solução | Visão geral |
|---|---|
| Filestore |
Armazenamento baseado em arquivo usando servidores de arquivos NFS para VMs do Compute Engine e clusters do GKE. |
| Google Cloud Managed Lustre |
Sistema de arquivos paralelo de baixa latência para IA, computação de alto desempenho (HPC) e aplicativos com uso intenso de dados. |
| Google Cloud NetApp Volumes | Armazenamento baseado em arquivo usando protocolos NFS, SMB ou de armazenamento em blocos. |
Armazenamento de objetos
Os dados são armazenados como objetos em uma hierarquia plana de buckets. Cada objeto recebe um ID exclusivo globalmente. Os objetos podem ter metadados atribuídos pelo sistema e definidos pelo usuário para ajudar a organizar e gerenciar os dados. Os aplicativos acessam dados fazendo referência aos IDs de objeto, usando APIs REST ou bibliotecas de cliente.
O Cloud Storage oferece armazenamento de objetos de baixo custo, altamente durável e escalonável para diversos tipos de dados. Os dados que você armazena no Cloud Storage podem ser acessados de qualquer lugar, dentro e fora do Google Cloud. A redundância opcional entre regiões oferece alta disponibilidade e confiabilidade. Selecione uma classe de armazenamento que atenda aos seus requisitos de retenção de dados e frequência de acesso.
Análise comparativa
A tabela a seguir lista os principais recursos dos serviços de armazenamento em Google Cloud.
| Persistent Disk | Hiperdisco | SSD local | Filestore | Managed Lustre | NetApp Volumes | Cloud Storage | |
|---|---|---|---|---|---|---|---|
| Limite de capacidade |
64 TiB por disco e 257 TiB por VM. Especificações mais recentes: Persistent Disk permanentes |
64 TiB por disco, 512 TiB por VM e 5 PiB por pool de armazenamento. Os Exapools são pools do Hyperdisk de maior capacidade. Especificações mais recentes: Documentação do Hyperdisk |
375 GiB por disco e 12.000 GiB por VM. Os discos SSD Titanium oferecem suporte a até 6 TiB por disco e 84.000 GiB por VM. Especificações mais recentes: Documentação do SSD local |
100 TiB por instância, dependendo do nível de serviço. | 80,1 PiB por instância, dependendo do nível de desempenho. |
20 PiB por pool de armazenamento e 20 PiB por volume. Especificações mais recentes: Documentação do NetApp Volumes |
5 TiB por objeto, sem limite por bucket (exceto o Rapid Bucket). Especificações mais recentes: Documentação do Cloud Storage |
|
Escalonamento |
|
|
Não escalonável | Escalonar verticalmente e horizontalmente (níveis zonais e regionais) | Escalonar verticalmente | Aumentar ou diminuir a escala | Escala automaticamente com base no uso |
| Compartilhamento |
Compatível | Compatível | Não compartilhável | Montável em várias VMs do Compute Engine, clientes remotos e clusters do GKE | Montável em várias VMs do Compute Engine e clusters do GKE | Montável em várias VMs do Compute Engine, clientes remotos e clusters do GKE |
|
| Opções de chave de criptografia |
|
|
Google-owned and Google-managed encryption keys |
|
|
|
|
| Persistência |
Duração do disco | Duração do disco | Efêmero (os dados são perdidos quando a VM é interrompida ou excluída) | Ciclo de vida da instância do Filestore | Ciclo de vida da instância do Managed Lustre | Duração do volume | Vida útil do bucket |
| Disponibilidade |
|
|
Zonal |
|
Zonal |
|
|
| Desempenho |
Escalonamento linear com tamanho do disco e contagem de CPU | Armazenamento permanente com escalonamento dinâmico | Armazenamento de rascunho com alto desempenho | Zonal e regional: desempenho personalizado | Escalonamento com base no nível de desempenho selecionado. | Desempenho escalonável As expectativas dependem do nível de serviço. |
|
| Gerenciamento |
Formatar e ativar manualmente | Formatar e ativar manualmente | Formate, liste e monte manualmente | Totalmente gerenciado | Totalmente gerenciado | Totalmente gerenciado | Totalmente gerenciado |
A tabela a seguir lista os tipos de carga de trabalho adequados para cada opção de armazenamento do Google Cloud:
| Opção de armazenamento | Tipos de carga de trabalho |
|---|---|
| Hiperdisco ou Persistent Disk |
|
| SSD local |
|
| Filestore |
|
| Managed Lustre |
|
| NetApp Volumes |
|
| Cloud Storage |
|
Escolher uma opção de armazenamento
A seleção de uma estratégia de armazenamento tem duas partes:
- Decidir quais serviços de armazenamento você precisa.
- Escolha dos recursos e opções de design necessários em um determinado serviço.
Exemplos de recursos específicos do serviço e opções de design
Persistent Disk
- Região e zona de implantação
- Replicação regional
- Tipo, tamanho e IOPS do disco (para discos permanentes extremos)
- Chaves de criptografia: Google-owned and Google-managed encryption keysou gerenciadas pelo cliente
- Programação de snapshots
Hyperdisk
- Região e zona de implantação
- Tipo, tamanho e IOPS ou capacidade de processamento provisionados do disco
- Chaves de criptografia: Google-owned and Google-managed encryption keysou gerenciadas pelo cliente
- Replicação: síncrona ou assíncrona
- Programação de snapshots
Filestore
- Região e zona de implantação
- Instance tier
- Capacidade
- Intervalo de IP: alocado automaticamente ou personalizado
- Controle de acesso
Managed Lustre
- Zona de implantação
- Nível de capacidade e desempenho
- Chaves de criptografia: Google-owned and Google-managed encryption keysou gerenciadas pelo cliente
NetApp Volumes
- Região de Implantação
- Nível de serviço do pool de armazenamento
- Pool e capacidade de volume
- Protocolo de volume
- Regras de exportação de volume
Cloud Storage
- Local: multirregional, birregional, única, única zona
- Classe de armazenamento: Standard, Nearline, Coldline, Archive ou Rapid
- Controle de acesso: uniforme ou detalhado
- Chaves de criptografia: Google-owned and Google-managed encryption keys, gerenciadas pelo cliente ou fornecidas pelo cliente
- Política de retenção
Recomendações de armazenamento
Use as recomendações a seguir como ponto de partida para escolher os serviços de armazenamento e recursos que atendem aos seus requisitos. Para orientações específicas sobre cargas de trabalho de IA e ML, consulte Visão geral dos serviços de armazenamento para cargas de trabalho de IA e ML no Hipercomputador de IA.
Para aplicativos de IA, ML e HPC que precisam de um sistema de arquivos paralelo, use o Managed Lustre.
Para aplicativos que precisam de acesso baseado em arquivos, escolha um serviço de armazenamento de arquivos adequado com base nos seus requisitos de protocolo de acesso, disponibilidade e desempenho.
Protocolo de acesso Recomendação NFS - Se você precisar de disponibilidade regional e alto desempenho configurável, use o Filestore Regional ou o NetApp Volumes Flex Unified.
- Se a disponibilidade zonal for suficiente:
- Para configurar o desempenho independente da capacidade, use o Filestore Zonal ou o NetApp Volumes Flex Unified.
- Para um desempenho que escala com a capacidade, use o Filestore Zonal ou o NetApp Volumes Standard, Premium ou Extreme.
Para mais informações, consulte Níveis de serviço do Filestore e Níveis de serviço do NetApp Volumes.
SMB Use o NetApp Volumes. Para cargas de trabalho que precisam de armazenamento principal com alto desempenho, use hiperdisco, SSD local ou Persistent Disk, dependendo dos seus requisitos.
Requisito Recomendação Cache ou disco de trabalho rápido Use discos SSD locais (temporários). Armazenamento em blocos com desempenho e capacidade escalonáveis de forma independente Use o Hyperdisk, que é o armazenamento em blocos durável recomendado pelo Google e necessário para as séries de máquinas mais recentes. Escolha um tipo de disco adequado com base nos seus requisitos:
- Cargas de trabalho de uso geral:
hyperdisk-balanced - Cargas de trabalho de alta E/S, como bancos de dados de alto desempenho:
hyperdisk-extreme - Análises de escalonamento horizontal, unidades de dados para aplicativos econômicos e armazenamento
de acesso raro:
hyperdisk-throughput - Cargas de trabalho de ML que precisam de alta capacidade de processamento para várias VMs no modo somente leitura:
hyperdisk-mlno modo somente leitura - Várias VMs com acesso de gravação simultâneo ao mesmo disco:
hyperdisk-balanced-high-availability(em duas zonas de uma região),hyperdisk-balancedouhyperdisk-extreme(em uma única zona) no modo de vários gravadores
Para mais informações, consulte Sobre o Hyperdisk.
Armazenamento em blocos com capacidade escalonável para VMs de gerações anteriores Use o disco permanente. Escolha um tipo de disco adequado com base nos seus requisitos:
- IOPS sequenciais:
pd-standard - Cargas de trabalho com IOPS intensivo:
pd-extremeoupd-ssd - Equilíbrio entre desempenho e custo:
pd-balanced
Para mais informações, consulte Sobre o Persistent Disk.
- Dependendo dos requisitos de redundância, escolha entre discos regionais e zonais.
Requisito Recomendação Redundância em uma única zona em uma região Use o hiperdisco ou o Persistent Disk zonal. Redundância em várias zonas dentro de uma região Use o Hyperdisk Balanced High Availability ou o Persistent Disk regional.
- Cargas de trabalho de uso geral:
Para armazenamento em grande escala e disponível globalmente, use o Cloud Storage.
Dependendo da frequência de acesso a dados e da duração do armazenamento, escolha uma classe adequada do Cloud Storage.
Requisito Recomendação A frequência de acesso varia ou o período de armazenamento de dados é desconhecido ou não previsível. Use o recurso Autoclass para fazer a transição automática de objetos em um bucket para classes de armazenamento apropriadas com base no padrão de acesso de cada objeto. Armazenamento zonal para cargas de trabalho que exigem latência abaixo de milissegundos e alta capacidade de processamento, como treinamento de IA e ML, checkpoint, inferência e análise. Use um Rapid Bucket com a classe de armazenamento Rapid. Armazenamento para dados que são acessados com frequência, incluindo para análise de alta capacidade, data lakes, sites, streaming de vídeos e aplicativos para dispositivos móveis. Use a classe de armazenamento Standard.
Para armazenar em cache os dados acessados com frequência e exibi-los em locais próximos aos clientes, use o Cloud CDN.
Para cargas de trabalho com muitas leituras e mudanças de dados pouco frequentes (como treinamento, inferência e análise de ML), é possível melhorar o desempenho de leitura e reduzir os custos de transferência de dados usando o Rapid Cache.
Armazenamento de baixo custo para dados acessados com pouca frequência que podem ser armazenados por pelo menos 30 dias (por exemplo, backups e conteúdo multimídia extenso). Use a classe de armazenamento Nearline. Armazenamento de baixo custo para dados acessados com pouca frequência que podem ser armazenados por pelo menos 90 dias (por exemplo, recuperação de desastres). Use a classe de armazenamento Coldline. Armazenamento de menor custo para dados acessados com pouca frequência que podem ser armazenados por pelo menos 365 dias, incluindo arquivos regulatórios. Use a classe de armazenamento Archive. Para uma análise comparativa detalhada, consulte Classes do Cloud Storage.
Opções de transferência de dados
Depois de escolher os serviços de armazenamento do Google Cloud adequados, para implantar e executar cargas de trabalho, é preciso transferir seus dados para o Google Cloud. Os dados que precisam ser transferidos podem existir no local ou em outras plataformas de nuvem.
É possível usar os seguintes métodos para transferir dados para o Google Cloud:
- Transferir dados online usando o Serviço de transferência do Cloud Storage: automatize a transferência de grandes quantidades de dados entre sistemas de armazenamento de objetos e arquivos, incluindo o Cloud Storage, Amazon S3, serviços de armazenamento do Azure e fontes de dados no local.
- Transferir dados off-line usando o Transfer Appliance: transfira e carregue grandes quantidades de dados off-line para Google Cloud em situações quando a conectividade de rede e a largura de banda são limitadas, caras ou estão indisponíveis.
- Fazer upload de dados para o Cloud Storage: faça upload de dados on-line para buckets do Cloud Storage usando o console Google Cloud , a Google Cloud CLI, a API Cloud Storage ou as bibliotecas de cliente.
Ao escolher um método de transferência de dados, considere fatores como tamanho dos dados, restrições de tempo, disponibilidade de largura de banda, metas de custo e requisitos de segurança e conformidade. Para informações sobre como planejar e implementar transferências de dados para o Google Cloud, consulte Opções de transferência de dados.
A seguir
- Estime o custo de armazenamento usando a calculadora de preços doGoogle Cloud .
- Saiba mais sobre as práticas recomendadas para criar uma topologia de nuvem otimizada para segurança, resiliência, custo e desempenho.
- Para mais arquiteturas de referência, diagramas e práticas recomendadas, confira a Central de arquitetura do Cloud.
Colaboradores
Autor: Kumar Dhanagopal | Desenvolvedor de soluções de vários produtos
Outros colaboradores:
- Brennan Doyle | Arquiteto de soluções
- Dean Hildebrand | Diretor técnico, escritório do CTO
- Geoffrey Noer | Gerente de produto do grupo
- Jack Zhou | Redator técnico
- Jonas Wu | Diretor, gerenciamento de produtos
- Jeff Allen | Arquiteto de soluções
- Samantha He | Redatora técnica
- Sean Derrington | Gerente de produtos do grupo, Armazenamento