Visão geral do Cloud Storage

Nesta página, descrevemos como o Cloud Storage funciona e os casos de uso que ele aceita.

Como o Cloud Storage funciona

O Cloud Storage é um serviço de armazenamento escalonável e gerenciado oferecido pelo Google Cloud que permite armazenar dados como objetos em contêineres chamados buckets.

Todos os buckets estão associados a um projeto, e é possível agrupar os projetos em uma organização. Depois de criar um projeto, é possível criar buckets, fazer upload de objetos para eles e baixar objetos dos buckets. Também é possível conceder permissões para tornar seus dados acessíveis aos principais especificados ou acessíveis a todos na Internet pública. Com os recursos de diretório, você pode usar o Cloud Storage de maneira mais semelhante a um disco rígido ou um armazenamento conectado à rede (NAS, na sigla em inglês): as pastas permitem organizar objetos em uma estrutura de diretório, e as pastas gerenciadas simplificam o controle de acesso aos objetos.

Cada projeto, bucket, objeto, pasta e pasta gerenciada é um recurso em Google Cloud, assim como as instâncias do Compute Engine.

A Google Cloud hierarquia

Veja como a estrutura do Cloud Storage aplica-se a casos reais:

  • Organização: sua empresa, chamada Example Inc., cria uma Google Cloud organização do Google Cloud chamada exampleinc.org.

  • Projeto: a Example Inc. está desenvolvendo vários aplicativos, e cada um deles está associado a um projeto. Cada projeto utiliza o próprio conjunto de APIs do Cloud Storage, além de outros recursos.

  • Bucket: cada projeto pode conter vários buckets, que são contêineres usados para armazenar objetos. Por exemplo, você pode criar um bucket photos para armazenar todos os arquivos de imagem gerados pelo app e um bucket videos separado. O Cloud Storage oferece diferentes classes de armazenamento e locais para seus buckets, permitindo que você escolha a durabilidade e a disponibilidade dos dados de acordo com as necessidades das suas cargas de trabalho.

    Os buckets servem como uma base de dados principal no ecossistema mais amplo do Google Cloud. É possível conectar seus buckets como back-ends de armazenamento para outros Google Cloud serviços, como o AI Hypercomputer, a Vertex AI e o Google Kubernetes Engine.

  • Objeto: os buckets contêm objetos, como uma imagem chamada puppy.png. Um objeto é um dado imutável composto de um arquivo em qualquer formato. Cada bucket pode conter essencialmente objetos individuais ilimitados.

  • Pasta: buckets com namespace hierárquico ativado podem conter pastas. As pastas permitem um sistema de arquivos real para armazenar objetos, em vez de um sistema de arquivos simulado. Você pode renomear atomicamente uma pasta e todos os objetos nela em uma operação.

  • Pasta gerenciada: cada bucket também pode conter pastas gerenciadas, que concedem ou revogam acesso adicional além das permissões do IAM definidas no bucket. As pastas gerenciadas não usam uma estrutura de árvore de diretórios verdadeira. Em vez disso, uma pasta gerenciada é uma sobreposição de recursos usada apenas para verificação de permissões.

Ferramentas do Cloud Storage

É possível interagir com o Cloud Storage usando as seguintes ferramentas:

  • ConsoleGoogle Cloud : o console Google Cloud fornece uma interface visual para você gerenciar seus dados em um navegador.

  • Google Cloud CLI: a CLI gcloud permite que você interaja com o Cloud Storage por meio de um terminal usando comandos gcloud storage.

  • Bibliotecas de cliente: com as bibliotecas de cliente do Cloud Storage, é possível gerenciar os dados usando sua linguagem favorita, incluindo C++, C#, Go, Java, Node.js, PHP, Python e Ruby.

  • APIs REST: gerencie seus dados usando a API JSON ou a XML.

  • Terraform: o Terraform é uma ferramenta de infraestrutura como código (IaC) que pode ser usada para provisionar a infraestrutura no Cloud Storage. Para mais informações, consulte Provisionar recursos com o Cloud Storage.

  • gRPC: o gRPC permite interagir com o Cloud Storage. Ele é um framework RPC universal de alto desempenho e código aberto desenvolvido pelo Google que você pode usar para definir seus serviços usando buffers de protocolo.

  • FUSE do Cloud Storage: o Cloud Storage FUSE permite ativar buckets do Cloud Storage no sistema de arquivos local. Isso permite que seus aplicativos leiam ou gravem um bucket usando a semântica padrão de sistemas de arquivos.

  • Biblioteca Python GCSFS: GCSFS é uma biblioteca Python que fornece uma interface de sistema de arquivos Pythonic para o Cloud Storage.

Casos de uso e principais recursos

O Cloud Storage oferece armazenamento de objetos durável e disponível globalmente, adaptável a uma ampla variedade de cargas de trabalho empresariais, desde treinamento de inteligência artificial (IA) e machine learning (ML) de alta performance até arquivamento regulatório.

Armazenar e acessar dados para IA/ML e análise de dados

Acelere seus pipelines de IA/ML e insights analíticos com acesso aos dados de alta capacidade e baixa latência projetado para processamento em grande escala.

Capacidade Recurso, produto ou funcionalidade
Cloud Storage Rapid Armazenamento de alto desempenho alocado com computação para acesso em menos de um milissegundo e capacidade de processamento agregada de vários TB/s. Inclui:
  • Rapid Bucket: armazenamento de objetos zonais na classe de armazenamento Rapid Storage projetada para cargas de trabalho de análise e IA/ML com uso intensivo de dados.
  • Rapid Cache: cache de leitura zonal totalmente gerenciado com suporte a SSD que dimensiona automaticamente a capacidade e a largura de banda para acelerar o desempenho de leitura.
Namespace hierárquico Organiza os dados em uma estrutura de diretório lógico com operações atômicas de pastas e limites de QPS iniciais até 8 vezes maiores do que os buckets sem namespace hierárquico. O namespace hierárquico só pode ser ativado no momento da criação do bucket e não pode ser ativado em um bucket já existente.
Cloud Storage FUSE. Monta buckets no sistema de arquivos local, permitindo que os aplicativos leiam ou gravem um bucket usando a semântica padrão de sistemas de arquivos.

Para mais detalhes sobre como otimizar o desempenho, consulte Como otimizar o armazenamento para IA/ML e análise de dados.

Como proteger seus dados e garantir a conformidade

Proteja seus recursos e atenda aos padrões regulatórios globais com criptografia integrada, controles de acesso e políticas imutáveis de retenção de dados.

Camada de segurança Recurso, produto ou funcionalidade
Controle de acesso Aplique o acesso com privilégio mínimo e restrinja o tráfego a redes confiáveis. Os produtos e recursos incluem:
  • Identity and Access Management: autorize usuários, grupos ou contas de serviço específicos a realizar ações em recursos do Cloud Storage usando controles de acesso baseados em função.
  • Acesso uniforme no nível do bucket: unifique o controle de acesso aos seus recursos do Cloud Storage desativando as listas de controle de acesso (ACLs) no nível do objeto e usando exclusivamente políticas do IAM no nível do bucket.
  • Filtragem de IP do bucket: restringe o acesso a um bucket com base no endereço IP de origem da solicitação e protege seus dados contra acesso não autorizado de endereços IP ou nuvem privada virtual (VPC) específicos.
Criptografia de dados Criptografar dados em repouso e em trânsito. Os produtos e recursos incluem:
  • Chaves gerenciadas peloGoogle: criptografe seus dados do Cloud Storage em repouso automaticamente por padrão usando chaves do lado do servidor pertencentes e mantidas pelo Google.
  • CMEK (Cloud KMS): controle as programações de rotação, as permissões de acesso e os ciclos de vida das chaves de criptografia para proteger os recursos do Cloud Storage.
  • CSEK: proteja seus dados em repouso do Cloud Storage fornecendo suas próprias chaves criptográficas com cada solicitação de API individual, em vez de Google armazenar ou recuperar seu material de chaves.
Retenção e imutabilidade de dados Evite a exclusão acidental e ajude a atender à conformidade com os dados. Os produtos e recursos incluem:
  • Bloqueio de buckets: determine por quanto tempo os objetos nos buckets precisam permanecer retidos especificando uma política de retenção para o bucket e aplique regras de retenção de dados regulamentares e de compliance.
  • Retenção de objetos: governe o ciclo de vida de objetos individuais aplicando uma data e hora imutáveis de retenção até a expiração a objetos específicos, impedindo que eles sejam excluídos ou substituídos até que esse período termine.
  • Controle de versões de objetos: preserve cópias históricas dos seus dados arquivando automaticamente objetos ativos substituídos ou excluídos como versões não atuais, permitindo restaurar estados de objetos anteriores a qualquer momento.
  • Exclusão reversível: evite a perda permanente de dados contra exclusões acidentais ou maliciosas retendo objetos e buckets excluídos recentemente. Por padrão, o Cloud Storage ativa a exclusão reversível para todos os buckets com um período de armazenamento de sete dias.

Backup, recuperação de desastres e continuidade de negócios

Proteja sua empresa contra perda de dados, desastres e interrupções regionais com disponibilidade multirregional e replicação rápida entre regiões.

Recurso, produto ou funcionalidade Descrição
Regiões duplas e multirregiões Replique dados automaticamente em regiões do Google Cloud geograficamente separadas para ter 99,99% de disponibilidade.
Replicação turbo Replique 100% dos objetos recém-gravados entre pares de birregiões em 15 minutos.
Controle de versões de objetos e exclusão temporária Mantenha as iterações anteriores e os objetos excluídos recentemente para reversão após substituições acidentais ou eventos de ransomware.

Otimização de custo e gerenciamento do ciclo de vida dos dados

Reduza os gastos com armazenamento durante o ciclo de vida dos dados combinando a frequência de acesso com níveis de armazenamento econômicos.

Classe de armazenamento, produto ou recurso Descrição
Classes de armazenamento Escolha entre Standard Storage, Nearline Storage, Coldline Storage, Archive Storage e Rapid Storage com base na frequência de acesso aos dados.
Classe automática Fazer a transição automática de objetos entre classes de armazenamento com base em padrões de acesso a objetos.
Gerenciamento do ciclo de vida de objetos Exclua ou faça a transição de objetos usando políticas personalizadas baseadas em regras.

Distribuição de conteúdo e serviços da Web

Distribua recursos digitais, downloads e arquivos de mídia globalmente com baixa latência e alta disponibilidade.

Recurso, produto ou funcionalidade Descrição
Cloud CDN e Cloud Load Balancing Armazene recursos estáticos em cache nos locais de borda globais do Googlepara entrega da Web com latência ultrabaixa.
URLs assinados Permitem que você use um URL criado anteriormente para conceder acesso de leitura ou gravação, por tempo limitado, a objetos particulares sem exigir Google credenciais.
Hospedagem de site estático Veicule recursos estáticos de HTML, CSS, JavaScript e mídia diretamente de um bucket público.

Migração de dados e ingestão orientada a eventos

Simplifique a movimentação de dados externos para o Google Cloud e acione fluxos de trabalho de processamento automatizados após o upload de objetos.

Integração Descrição
Serviço de transferência do Cloud Storage Transferência gerenciada e em grande escala de dados on-line do Amazon S3, do Armazenamento de Blobs do Microsoft Azure, de fontes HTTP ou de armazenamento local.
Transfer Appliance Equipamentos de hardware reforçados que enviam até centenas de petabytes de dados off-line para Google Cloud.
Eventarc e Pub/Sub Emitir notificações de eventos em tempo real na criação, exclusão ou atualizações de metadados de objetos para acionar serviços do Cloud Functions ou do Cloud Run.

Nomes de recursos

Cada recurso tem um nome único que o identifica, muito parecido com um nome de arquivo. Os buckets têm um nome de recurso no formato projects/_/buckets/BUCKET_NAME, em que BUCKET_NAME é o ID do bucket. Os objetos têm um nome de recurso no formato projects/_/buckets/BUCKET_NAME/objects/OBJECT_NAME, em que OBJECT_NAME é o ID do objeto.

Um #NUMBER anexado ao final do nome do recurso indica uma geração específica do objeto. #0 é um identificador especial da versão mais recente do objeto. É útil adicionar o identificador #0 quando o nome do objeto termina em uma string que, de outra forma, seria interpretada como um número de geração.

Guias de início rápido

Para aprender os conceitos básicos de uso do Cloud Storage, acesse os guias a seguir:

Procurando outros produtos?

Se o Cloud Storage não for a solução de armazenamento certa para você, veja mais informações sobre os seguintes serviços de armazenamento:

  • Google Cloud Managed Lustre: armazene seus dados em um sistema de arquivos paralelos de alto desempenho e totalmente gerenciado, otimizado para cargas de trabalho de IA e HPC.

  • Google Drive: armazene, gerencie e compartilhe seus arquivos pessoais.

  • Cloud Storage para Firebase: gerencie os dados dos seus aplicativos para dispositivos móveis.

  • Persistent Disk: adicione armazenamento em blocos à sua máquina virtual do Compute Engine.

  • Filestore: adicione armazenamento de arquivos para acesso de vários gravadores aos clusters do GKE.

  • Conheça mais serviços de armazenamento oferecidos pelo Google.

A seguir