Sobre a exclusão de objetos

Excluir objetos que não são mais necessários ajuda a reduzir os custos de armazenamento, obedecer aos requisitos de retenção de dados e manter os buckets organizados. O Cloud Storage é compatível com dois métodos principais para excluir objetos:

  • Exclusão de objeto único: exclui objetos individuais para atualizações segmentadas.
  • Exclusão de objetos em massa: exclui vários objetos simultaneamente ou em uma programação automatizada.

Para cada método de exclusão, o Cloud Storage oferece várias ferramentas para excluir objetos manualmente, de forma programática ou por políticas automatizadas. Revise esses métodos de exclusão e ferramentas disponíveis para escolher a melhor abordagem para sua carga de trabalho.

Para instruções detalhadas sobre como excluir objetos, consulte Excluir objetos.

Exclusão de um único objeto

A exclusão de objeto único oferece controle preciso sobre dados específicos. Normalmente, você exclui objetos únicos quando precisa fazer atualizações imediatas e direcionadas nos dados do bucket. Os casos de uso comuns para exclusão de um único objeto incluem:

  • Correção de erros: remoção de um objeto que você enviou por engano ou que contém dados incorretos.

  • Limpeza: remoção manual de objetos ou registros temporários após a conclusão de uma tarefa.

  • Lógica do aplicativo: remoção automática de um objeto quando um evento do aplicativo ocorre, como um usuário excluindo uma foto do perfil.

  • Segurança e compliance: excluir objetos para remover informações sensíveis.

Ferramentas para exclusão de um único objeto

Para excluir um único objeto do bucket, use uma das seguintes ferramentas. Cada ferramenta envia uma solicitação DELETE individual por objeto.

Ferramenta Descrição
Google Cloud console Exclui um objeto individual no console Google Cloud .
CLI do Google Cloud Exclui um objeto usando o comando gcloud storage rm.
Bibliotecas de cliente Exclui um objeto de maneira programática usando uma linguagem compatível, como C++, C#, Go, Java, Node.js, PHP, Python ou Ruby.
APIs REST Exclui um objeto usando a API JSON ou a API XML.

Exclusão de objetos em massa

A exclusão de objetos em massa foi projetada para operações de alta eficiência em grandes conjuntos de dados. Use a exclusão em massa para gerenciar os custos de armazenamento e automatizar a higiene de dados em todos os buckets. Os casos de uso comuns para exclusão em massa de objetos incluem:

  • Otimização de custos: remova grandes conjuntos de dados que não são mais necessários para operações, como registros antigos ou artefatos de build temporários.

  • Automação de compliance: aplicação automática de políticas de retenção de dados excluindo objetos após um período de armazenamento específico, como 30 dias.

  • Migração ou desativação de buckets: limpar milhões ou bilhões de objetos ao migrar dados ou encerrar um projeto.

  • Limpeza do pipeline de dados: remoção de objetos de processamento intermediários depois que um pipeline gera um relatório ou conjunto de dados final.

Ferramentas para exclusão de objetos em massa

Para excluir objetos em massa, use uma das seguintes ferramentas. Essas ferramentas são otimizadas para maior capacidade de processamento e redução da sobrecarga em comparação com solicitações individuais.

Ferramenta Descrição
Google Cloud console Exclui até um milhão de objetos de forma interativa. Depois de iniciar uma solicitação de exclusão, o Cloud Storage processa a exclusão em segundo plano. Para verificar o status da exclusão em massa, clique no botão Notificações () no cabeçalho do console Google Cloud .
CLI do Google Cloud Exclui todos os objetos que compartilham um prefixo comum usando o comando gcloud storage rm --recursive. Esse comando é adequado para exclusões em massa de pequena a média escala na linha de comando.
API XML de exclusão de vários objetos

Exclui até 1.000 objetos de maneira programática em uma única solicitação POST. A API XML de exclusão de vários objetos é interoperável com a API do Amazon S3. Como resultado, você pode usar as ferramentas, bibliotecas e fluxos de trabalho do Amazon S3 para gerenciar objetos no Cloud Storage. A API XML é útil se você estiver migrando dados ou gerenciando recursos nas duas plataformas.

Quando você usa a API XML para excluir vários objetos, o Cloud Storage gera registros de auditoria de acesso a dados. Se você ativar os registros de auditoria de acesso a dados, eles vão incluir detalhes sobre a solicitação geral e exclusões de objetos individuais. Para mais detalhes, consulte Registros de auditoria para API XML de exclusão de vários objetos.

A API XML de exclusão de vários objetos tem as seguintes limitações:

  • Ignorar o modo de governança: ao contrário do Amazon S3, o Cloud Storage não permite ignorar o modo de governança durante a exclusão. No Amazon S3, é possível excluir objetos bloqueados no modo de governança especificando o cabeçalho x-amz-bypass-governance-retention. O Cloud Storage aplica rigorosamente as políticas de retenção de objetos para manter a imutabilidade dos dados.
  • Marcadores de exclusão: o Cloud Storage não oferece suporte a marcadores de exclusão do Amazon S3 para exclusões de um ou vários objetos. Para restaurar um objeto não atual no Cloud Storage, copie a versão específica para o objeto ativo usando uma solicitação PUT da API XML.
  • Operações de exclusão condicional: a API XML de exclusão de vários objetos do Cloud Storage não oferece suporte a exclusões condicionais com base em ETag, Last-Modified ou Size. As solicitações que incluem esses parâmetros retornam um código de status HTTP 400 Bad Request. Para realizar operações condicionais no Cloud Storage, use cabeçalhos como x-goog-if-generation-match ou x-goog-if-metageneration-match.
Operações em lote de armazenamento

Exclui até bilhões de objetos com base em um arquivo de manifesto usando um serviço totalmente gerenciado com rastreamento e novas tentativas integrados.

Use operações em lote de armazenamento para realizar as seguintes tarefas:

  • Excluir milhões ou bilhões de objetos.
  • Aumente a confiabilidade com rastreamento, novas tentativas e tratamento de erros integrados.
  • Reduz o overhead do lado do cliente em comparação com a criação de scripts de chamadas de API individuais.
Gerenciamento do ciclo de vida de objetos Exclui objetos automaticamente com base em regras de ciclo de vida definidas pelo usuário, como idade do objeto ou classe de armazenamento. Para excluir objetos em massa, configure uma regra de gerenciamento do ciclo de vida de objetos no seu bucket. Defina a condição Age como 0 dias e a ação como Delete. Depois de definir a regra, o Cloud Storage realiza a exclusão em massa de forma assíncrona.
Solicitações de API em lote Agrupa várias solicitações de exclusão em uma única solicitação HTTP quando você usa bibliotecas de cliente compatíveis ou a API JSON diretamente. Esse agrupamento reduz a latência e o overhead de conexão do lado do cliente.

Escolher um método de exclusão

O método e a ferramenta ideais para exclusão de objetos dependem da quantidade de objetos e dos requisitos do seu fluxo de trabalho. Use a matriz de decisão a seguir para selecionar uma abordagem para seu caso de uso:

Caso de uso Método de exclusão Ferramenta recomendada
Excluir um objeto individual ou um pequeno número de objetos específicos Exclusão de um único objeto Google Cloud console, gcloud storage rm, bibliotecas de cliente ou APIs REST
Excluir até 1.000 objetos em uma única solicitação programática Exclusão de objetos em massa API XML de exclusão de vários objetos, CLI do Amazon S3 ou bibliotecas de cliente compatíveis com o Amazon S3 (como o Boto3)
Excluir objetos que compartilham um prefixo comum Exclusão de objetos em massa gcloud storage rm --recursive
Excluir até um milhão de objetos de forma interativa no navegador Exclusão de objetos em massa Google Cloud console
Exclua milhões ou bilhões de objetos de forma assíncrona com rastreamento integrado Exclusão de objetos em massa Operações em lote de armazenamento
Excluir objetos automaticamente com base em condições (como idade ou classe de armazenamento) Exclusão de objetos em massa Gerenciamento do ciclo de vida de objetos

A seguir