Operações em lote de armazenamento

Este documento descreve as operações em lote de armazenamento, uma capacidade do Cloud Storage que lhe permite realizar operações em milhares de milhões de objetos sem servidor. Com as operações em lote de armazenamento, pode automatizar operações de API em grande escala em milhares de milhões de objetos, reduzindo o tempo de desenvolvimento necessário para escrever e manter scripts para cada pedido.

Para saber como criar tarefas de operações em lote de armazenamento, consulte o artigo Crie e faça a gestão de tarefas de operações em lote de armazenamento.

Vista geral

As operações em lote de armazenamento permitem-lhe executar uma de quatro transformações em vários objetos em simultâneo: colocar uma retenção de objeto, eliminar um objeto, atualizar os metadados do objeto e reescrever objetos. Para usar operações em lote de armazenamento, cria uma configuração de tarefa que define que transformações devem ser aplicadas a que objetos.

A criação de uma operação em lote devolve uma operação de longa duração (LRO) que indica o estado do seu pedido: se a transformação foi aplicada a todos os objetos especificados no seu pedido.

Vantagens

  • Escalabilidade: execute transformações em milhões de objetos com uma única tarefa de operações em lote de armazenamento.
  • Execução sem servidor: execute trabalhos em lote num ambiente sem servidor, eliminando a necessidade de gerir a infraestrutura.
  • Automatização: automatize tarefas complexas e repetitivas, melhorando a eficiência operacional.
  • Tempo de desenvolvimento reduzido: evite escrever e manter scripts personalizados complexos.
  • Desempenho: conclua operações sensíveis ao tempo dentro do tempo necessário. Com várias tarefas em lote em execução em simultâneo num contentor, pode processar até mil milhões de objetos no prazo de três horas.
  • Repetições automáticas: repetições automáticas de operações com falhas.
  • Monitorização de tarefas: acompanhamento detalhado do progresso para monitorizar o estado e a conclusão de todas as tarefas.

Exemplos de utilização

Quando usados com conjuntos de dados do Storage Insights, as operações em lote de armazenamento permitem-lhe realizar as seguintes tarefas:

  • Gestão de segurança:

    • Defina chaves de encriptação em vários objetos através do método rewrite object.
    • Aplique ou remova retenções de objetos para controlar a imutabilidade dos objetos.

  • Conformidade:

    • Use retenções de objetos para cumprir os requisitos de retenção de dados para a conformidade regulamentar.
    • Defina configurações de retenção de objetos para gerir os ciclos de vida dos dados e as políticas de conformidade.
    • Eliminar dados entre intervalos de tempo específicos para cumprir os requisitos de limpeza total.

  • Transformação de dados: faça atualizações em massa aos metadados de objetos.

  • Otimização de custos: elimine objetos em massa em contentores do Cloud Storage para reduzir os custos de armazenamento.

Configurações de tarefas

Para criar uma tarefa de operações em lote de armazenamento, tem de definir as seguintes configurações da tarefa. As configurações de tarefas são parâmetros que controlam a forma como a tarefa é definida para diferentes requisitos de processamento.

  • Nome da tarefa: um nome exclusivo para identificar a tarefa de operações em lote de armazenamento. É usado para acompanhar, monitorizar e fazer referência à tarefa. Os nomes das tarefas são alfanuméricos, por exemplo, job-01.

  • Descrição do cargo (opcional): uma breve descrição da finalidade do cargo. Isto ajuda a compreender e documentar os detalhes do trabalho. Por exemplo, Deletes all objects in a bucket.

  • Nome do contentor: o nome do contentor de armazenamento que contém os objetos a serem processados. Isto é essencial para localizar os dados de entrada. Por exemplo, my-bucket. Só pode especificar um nome do contentor para uma tarefa.

  • Seleção de objetos: os critérios de seleção que definem os objetos a processar. Pode especificar os critérios através de qualquer uma das seguintes opções:

    • Manifesto: crie um manifesto e especifique a respetiva localização quando criar a tarefa de operações em lote de armazenamento. O manifesto é um ficheiro CSV, carregado para Google Cloud, que contém um objeto ou uma lista de objetos que quer processar. Cada linha no manifesto tem de incluir o bucket e o name do objeto. Opcionalmente, pode especificar o generation do objeto. Se não especificar o generation, é usada a versão atual do objeto.

      O ficheiro tem de incluir uma linha de cabeçalho no seguinte formato:

      bucket,name,generation

      Segue-se um exemplo do manifesto:

      bucket,name,generation
bucket_1,object_1,generation_1
bucket_1,object_2,generation_2
bucket_1,object_3,generation_3

      Também pode criar um manifesto com conjuntos de dados do Storage Insights. Para ver detalhes, consulte o artigo Crie um manifesto com conjuntos de dados do Storage Insights.

    • Prefixos de objetos: especifique uma lista de prefixos para filtrar objetos no contentor. Apenas os objetos com estes prefixos são processados. Se estiver vazio, todos os objetos no contentor são processados.

  • Tipo de tarefa: as operações em lote de armazenamento suportam os seguintes tipos de tarefas, executando uma única tarefa por operação em lote.

    • Eliminação de objetos: pode eliminar objetos num contentor. Isto é fundamental para a otimização de custos, a gestão do ciclo de vida dos dados e a conformidade com as políticas de eliminação de dados.

    • Atualizações de metadados: pode modificar os seguintes metadados de objetos:

      • Metadados personalizados: pode atualizar quaisquer pares chave-valor definidos pelo utilizador associados ao objeto.

      • Metadados fixos: pode atualizar Cache-Control, Content-Disposition, Content-Encoding, Content-Language, Content-Type, Custom-Time e Retention configuration. Para modificar retenções de objetos, use o tipo de tarefa object hold.

    • Atualizações de retenção de objetos: pode ativar ou desativar as retenções de objetos. As retenções de objetos impedem que os objetos sejam eliminados ou modificados, o que é essencial para fins de conformidade e retenção de dados.

    • Atualizações da chave de encriptação de objetos: pode gerir as chaves de encriptação geridas pelo cliente para um ou mais objetos. Isto inclui a aplicação ou a alteração de chaves de encriptação através do método rewrite object.

Limitações

As operações em lote de armazenamento têm as seguintes limitações:

  • As tarefas de operações em massa de armazenamento têm uma duração máxima de 14 dias. Qualquer tarefa em curso que não seja concluída no prazo de 14 dias após a respetiva criação é cancelada automaticamente.

  • Quando especifica prefixos de objetos para uma tarefa, pode incluir um máximo de 1000 prefixos.

  • Não recomendamos a execução de mais de 20 tarefas de operações em lote simultâneas no mesmo contentor.

  • As operações em lote de armazenamento não são suportadas nos seguintes contentores:

    • Recipientes com a opção O requerente paga ativada.

    • Contentores localizados na região us-west8.

O que se segue?