Sobre a exclusão de objetos

Excluir objetos que não são mais necessários ajuda a reduzir os custos de armazenamento, obedecer aos requisitos de retenção de dados e manter os buckets organizados. O Cloud Storage oferece dois métodos principais para excluir objetos:

  • Exclusão de objeto único: exclui objetos individuais para atualizações direcionadas.
  • Exclusão de objetos em massa: exclui vários objetos simultaneamente ou de acordo com uma programação automatizada.

Para cada método de exclusão, o Cloud Storage oferece várias ferramentas para excluir objetos manualmente, de forma programática ou por políticas automatizadas. Analise esses métodos de exclusão e as ferramentas disponíveis para escolher a melhor abordagem para sua carga de trabalho.

Para instruções detalhadas sobre como excluir objetos, consulte Excluir objetos.

Exclusão de um único objeto

A exclusão de um único objeto oferece controle preciso sobre dados específicos. Normalmente, você exclui objetos únicos quando precisa realizar atualizações imediatas e direcionadas nos dados do bucket. Os casos de uso comuns para exclusão de objeto único incluem:

  • Correção de erros: remoção de um objeto que você enviou acidentalmente ou que contém dados incorretos.

  • Limpeza: remoção manual de objetos ou registros temporários após a conclusão de uma tarefa.

  • Lógica do aplicativo: remover automaticamente um objeto quando ocorre um evento do aplicativo, como um usuário que exclui uma foto do perfil.

  • Segurança e compliance: excluir objetos para remover informações sensíveis.

Ferramentas para exclusão de um único objeto

Para excluir um único objeto do bucket, use qualquer uma das ferramentas a seguir. Cada ferramenta envia uma solicitação DELETE individual por objeto.

Ferramenta Descrição
Console doGoogle Cloud Exclui um objeto individual no console do Google Cloud .
CLI do Google Cloud Exclui um objeto usando o comando gcloud storage rm.
Bibliotecas de cliente Exclui um objeto de maneira programática usando uma linguagem compatível, como C++, C#, Go, Java, Node.js, PHP, Python ou Ruby.
APIs REST Exclui um objeto usando a API JSON ou a API XML.

Exclusão de objetos em massa

A exclusão de objetos em massa foi projetada para operações de alta eficiência em grandes conjuntos de dados. Use a exclusão em massa para gerenciar os custos de armazenamento e automatizar a higiene de dados em todos os buckets. Os casos de uso comuns para exclusão de objetos em massa incluem:

  • Otimização de custos: remover grandes conjuntos de dados que não são mais necessários para as operações, como registros antigos ou artefatos de build temporários.

  • Automação de compliance: aplicação automática de políticas de retenção de dados ao excluir objetos após um período de armazenamento específico, como 30 dias.

  • Migração ou desativação de buckets: limpar milhões ou bilhões de objetos ao migrar dados ou encerrar um projeto.

  • Limpeza de pipeline de dados: remoção de objetos de processamento intermediários depois que um pipeline gera um relatório ou conjunto de dados final.

Ferramentas para exclusão de objetos em massa

Para excluir objetos em massa, use uma das ferramentas a seguir. Essas ferramentas são otimizadas para maior capacidade de processamento e menor sobrecarga em comparação com solicitações individuais.

Ferramenta Descrição
Console doGoogle Cloud Exclui até um milhão de objetos de forma interativa. Depois que você inicia uma solicitação de exclusão, o Cloud Storage processa a exclusão em segundo plano. Para verificar o status da exclusão em massa, clique no botão Notificações () no cabeçalho do console do Google Cloud .
CLI do Google Cloud Exclui todos os objetos que compartilham um prefixo comum usando o comando gcloud storage rm --recursive. Esse comando é adequado para exclusões em massa de pequena a média escala na linha de comando.
API XML de exclusão de vários objetos

Exclui até 1.000 objetos de maneira programática em uma única solicitação POST. A API XML de exclusão de vários objetos é interoperável com a API Amazon S3. Como resultado, é possível usar as ferramentas, bibliotecas e fluxos de trabalho do Amazon S3 para gerenciar objetos no Cloud Storage. A API XML é útil se você estiver migrando dados ou gerenciando recursos nas duas plataformas.

Quando você usa a API XML para excluir vários objetos, o Cloud Storage gera registros de auditoria de acesso a dados. Se você ativar os registros de auditoria de acesso a dados, eles vão incluir detalhes sobre a solicitação geral e as exclusões de objetos individuais. Para mais detalhes, consulte Registros de auditoria para a API XML de exclusão de vários objetos.

A API XML de exclusão de vários objetos tem as seguintes limitações:

  • Ignorar o modo de governança: ao contrário do Amazon S3, o Cloud Storage não permite ignorar o modo de governança durante a exclusão. No Amazon S3, é possível excluir objetos bloqueados no modo de governança especificando o cabeçalho x-amz-bypass-governance-retention. O Cloud Storage aplica rigorosamente as políticas de retenção de objetos para manter a imutabilidade dos dados.
  • Marcadores de exclusão: o Cloud Storage não é compatível com marcadores de exclusão do Amazon S3 para exclusões de um ou vários objetos. Para restaurar um objeto não atual no Cloud Storage, é preciso copiar a versão específica para o objeto ativo usando uma solicitação PUT da API XML.
  • Operações de exclusão condicional: a API XML de exclusão de vários objetos do Cloud Storage não é compatível com exclusões condicionais com base em ETag, Last-Modified ou Size. As solicitações que incluem esses parâmetros retornam um código de status HTTP 400 Bad Request. Para realizar operações condicionais no Cloud Storage, use cabeçalhos como x-goog-if-generation-match ou x-goog-if-metageneration-match.
Operações em lote do Storage

Exclui até bilhões de objetos com base em um arquivo de manifesto usando um serviço totalmente gerenciado com rastreamento e novas tentativas integrados.

Use as operações em lote do Storage para realizar as seguintes tarefas:

  • Exclua milhões ou bilhões de objetos.
  • Aumente a confiabilidade com rastreamento, novas tentativas e tratamento de erros integrados.
  • Reduzir a sobrecarga do lado do cliente em comparação com a criação de scripts de chamadas de API individuais.
Gerenciamento do ciclo de vida de objetos Exclui objetos automaticamente com base em regras de ciclo de vida definidas pelo usuário, como idade do objeto ou classe de armazenamento. Para excluir objetos em massa, configure uma regra de gerenciamento do ciclo de vida de objetos no bucket. Defina a condição Age como 0 dias e a ação como Delete. Depois de definir a regra, o Cloud Storage realiza a exclusão em massa de forma assíncrona.
Solicitações de API em lote Agrupa várias solicitações de exclusão em uma única solicitação HTTP quando você usa bibliotecas de cliente compatíveis ou a API JSON diretamente. Esse lote reduz a latência e a sobrecarga de conexão do lado do cliente.

Escolher um método de exclusão

O método e a ferramenta ideais para excluir objetos dependem da contagem de objetos e dos requisitos do fluxo de trabalho. Use a matriz de decisão a seguir para selecionar uma abordagem para seu caso de uso:

Caso de uso Método de exclusão Ferramenta recomendada
Excluir um objeto individual ou um pequeno número de objetos específicos Exclusão de um único objeto Console doGoogle Cloud , gcloud storage rm, bibliotecas de cliente ou APIs REST
Excluir até 1.000 objetos em uma única solicitação programática Exclusão de objetos em massa API XML de exclusão de vários objetos, CLI do Amazon S3 ou bibliotecas de cliente compatíveis com o Amazon S3 (como Boto3)
Excluir objetos que compartilham um prefixo comum Exclusão de objetos em massa gcloud storage rm --recursive
Excluir até um milhão de objetos de forma interativa no navegador Exclusão de objetos em massa Console doGoogle Cloud
Exclua milhões ou bilhões de objetos de forma assíncrona com rastreamento integrado Exclusão de objetos em massa Operações em lote do Storage
Excluir objetos automaticamente com base em condições (como idade ou classe de armazenamento) Exclusão de objetos em massa Gerenciamento do ciclo de vida de objetos

A seguir