Nesta página, descrevemos como criar, visualizar, listar, cancelar e excluir jobs de operações em lote do Storage. Ele também descreve como usar os Registros de auditoria do Cloud com jobs de operações em lote do Storage.
Antes de começar
Para criar e gerenciar jobs de operação em lote do Storage, siga as etapas nas seções a seguir.
Configurar o Storage Intelligence
Para criar e gerenciar jobs de operação em lote do Storage, configure o Storage Intelligence no bucket em que você quer executar o job.
Ativar a API de operação em lote do Storage
Ative a API de operação em lote do Storage.
gcloud services enable storagebatchoperations.googleapis.com
Criar um manifesto
Se você quiser usar um manifesto para seleção de objetos, crie um arquivo de manifesto. Usar um manifesto é uma das maneiras de selecionar objetos para processamento em um job de operações em lote do Storage.
Criar um job de operação em lote do Storage
Nesta seção, descrevemos como criar um job de operações em lote do Storage.
Para receber as permissões necessárias
para criar um job de operações em lote do Storage,
peça ao administrador para conceder a você o
papel do IAM de Administrador do Storage (roles/storage.admin) no projeto.
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.
Console
- No console do Google Cloud , acesse a página Buckets do Cloud Storage.
Na lista de buckets, clique no nome daquele que contém os objetos em que você quer realizar operações em lote.
A página Detalhes do bucket é aberta, com a guia Objetos selecionada.
- Clique em Criar operações em lote.
- No painel Selecionar operação, escolha o tipo de operação:
- Gerenciar retenções de objetos: selecione Retenção temporária ou Retenção baseada em eventos. Para mais informações, consulte retenções de objetos.
- Atualizar metadados do objeto: para adicionar metadados do objeto, faça o seguinte:
- Para adicionar metadados personalizados, siga estas etapas:
- No campo Chave, digite um nome de chave.
- No campo Valor, insira um valor para essa chave.
- Opcional: clique em + Adicionar item para incluir mais pares de chave-valor.
- Para atualizar metadados de chave fixa, siga estas etapas:
- Para expandir a seção Atualizar metadados de chave fixa, clique na seta .
- Na lista Selecione um ou mais metadados para atualizar, selecione os itens de metadados que você quer editar.
- Para adicionar metadados personalizados, siga estas etapas:
- Atualizar/rotacionar chave de criptografia: para usar ou atualizar a chave de criptografia de objetos, faça o seguinte:
- Na lista Selecionar uma chave do Cloud KMS, escolha uma chave de criptografia gerenciada pelo cliente (CMEK).
- Opcional: selecione Alternar projeto para escolher uma chave de outro projeto ou selecione Inserir chave manualmente para preencher os detalhes.
- Excluir objetos: para excluir
objetos, faça o seguinte:
- Verifique se o controle de versões de objetos está ativado.
Se o controle de versões de objetos estiver ativado, escolha uma das seguintes opções de exclusão:
- Selecione Excluir todas as versões dos objetos para remover as versões ativas e não atuais.
- Selecione Excluir versões ativas permanentemente para remover apenas a versão ativa.
Se o controle de versões de objetos não estiver ativado, todos os objetos selecionados para exclusão serão excluídos permanentemente.
- Clique em Próxima.
- No painel Nomear a operação e especificar os objetos, faça o seguinte:
- No campo Nome, digite um nome.
- Opcional: no campo Descrição, insira uma descrição.
- Na seção Especificar objetos, defina um critério para processar objetos do bucket. Escolha uma das seguintes opções:
- Selecionar todos os objetos: inclui todos os objetos no bucket.
- Selecione objetos usando filtros de prefixo: para definir a lista de
objetos usando filtros de prefixo, faça o seguinte:
- No campo Insira os prefixos dos objetos que serão incluídos, digite um prefixo.
- Opcional: clique em + Adicionar prefixo para especificar outros prefixos.
- Fazer upload de listas de objetos usando arquivos CSV de manifesto: para usar um arquivo de manifesto na seleção de objetos, faça o seguinte:
- Faça upload do arquivo CSV de manifesto para um bucket. Esse arquivo precisa conter cabeçalhos para Nome do bucket, Chave do objeto e Número de geração.
- Na lista Selecionar modo do arquivo de manifesto, escolha uma das seguintes opções:
- Se você selecionar Selecionar um arquivo de manifesto do Cloud Storage, clique em Procurar no campo Selecionar um arquivo de manifesto do Cloud Storage. Na caixa de diálogo Selecionar objeto que aparece, navegue até o arquivo CSV de manifesto e clique em Selecionar.
- Se você selecionar Selecionar vários arquivos de manifesto usando um caractere curinga,
insira o caminho do arquivo no campo Insira o local do arquivo de manifesto usando
um caractere curinga. Por exemplo,
bucket-name/folder/manifest_*.
- Clique em Criar.
Linha de comando
Para definir a lista de objetos do job de operação em lote, escolha uma das seguintes configurações de origem:
- Projeto como origem: segmenta objetos de um projeto usando uma configuração de conjunto de dados do Storage Insights. Em vez de especificar buckets ou prefixos individuais, é possível especificar parâmetros de filtro avançados, como
--insights-dataset-config,--target-project,--bucket-filterse--object-filters. Para mais detalhes, consulte Criar um job usando filtros avançados. - Buckets como origem: segmenta objetos em buckets específicos. É preciso especificar uma das seguintes flags:
--bucketou--bucket-listpara definir os grupos de destino.- Um arquivo CSV de manifesto (
--manifest-location) ou prefixos de objeto (--included-object-prefixes) para definir os objetos de destino.
-
No console do Google Cloud , ative o Cloud Shell.
Na parte de baixo do console Google Cloud , uma sessão do Cloud Shell é iniciada e exibe um prompt de linha de comando. O Cloud Shell é um ambiente shell com a CLI do Google Cloud já instalada e com valores já definidos para o projeto atual. A inicialização da sessão pode levar alguns segundos.
Para definir o projeto padrão, execute o comando
gcloud config set project:gcloud config set project PROJECT_ID
em que PROJECT_ID é o ID do projeto.
Opcional: execute um job de simulação. Antes de executar qualquer job, recomendamos que você o execute no modo de teste para verificar os critérios de seleção de objetos e se há erros. A simulação não modifica nenhum objeto.
No ambiente de desenvolvimento, execute o comando
gcloud storage batch-operations jobs createcom a sinalização--dry-run:gcloud storage batch-operations jobs create DRY_RUN_JOB_NAME \ {--bucket=BUCKET | --bucket-list=BUCKET_LIST} OBJECT_SELECTION_FLAG JOB_TYPE_FLAG \ --dry-runEm que:
DRY_RUN_JOB_NAMEé o nome do job de simulação de operação em lote do Storage.
Os outros parâmetros são os mesmos do job real. Para mais informações, consulte as descrições de parâmetros.
Para conferir os resultados da simulação, consulte Receber detalhes do job de operações em lote do Storage.
Após uma simulação bem-sucedida, execute o comando
gcloud storage batch-operations jobs create.gcloud storage batch-operations jobs create JOB_NAME \ {--bucket=BUCKET | --bucket-list=BUCKET_LIST} OBJECT_SELECTION_FLAG JOB_TYPE_FLAGEm que os parâmetros são os seguintes:
JOB_NAMEé o nome do job de operação em lote do Storage.--bucket:BUCKETé o nome do bucket que contém os objetos que você quer processar.--bucket-list:BUCKET_LISTé uma lista separada por vírgulas de um ou mais nomes de buckets que contêm os objetos que você quer processar. É possível especificar até 1.000 buckets de qualquer projeto, desde que cada um esteja inscrito em um plano de Storage Intelligence.OBJECT_SELECTION_FLAGé uma das seguintes flags que você precisa especificar:--included-object-prefixes: especifique um ou mais prefixos de objeto. Exemplo:- Para corresponder a um único prefixo, use:
--included-object-prefixes='prefix1'. - Para corresponder a vários prefixos, use uma lista separada por vírgulas:
--included-object-prefixes='prefix1,prefix2'. - Para incluir todos os objetos, use um prefixo vazio:
--included-object-prefixes=''.
- Para corresponder a um único prefixo, use:
--manifest-location: especifique o local do manifesto. Por exemplo,gs://bucket_name/path/object_name.csv.
JOB_TYPE_FLAGé uma das seguintes flags que você precisa especificar, dependendo do tipo de serviço.--delete-object: exclui um ou mais objetos.Se o controle de versões de objetos estiver ativado para o bucket, os objetos atuais vão passar para um estado não atual, e os objetos não atuais serão ignorados.
Se o controle de versões de objetos estiver desativado para o bucket, a operação de exclusão vai excluir permanentemente os objetos e pular os objetos não atuais.
--enable-permanent-object-deletion: exclui objetos permanentemente. Use essa flag com--delete-objectpara excluir permanentemente objetos ativos e não atuais em um bucket, independentemente da configuração de controle de versões de objetos do bucket.--rewrite-object: atualiza as chaves de criptografia gerenciadas pelo cliente de um ou mais objetos. Você também pode usar essa flag para mudar a classe de armazenamento do objeto especificando a chavestorage-class. As classes de armazenamento compatíveis incluemSTANDARD,NEARLINE,COLDLINEeARCHIVE. Exemplo:--rewrite-object=storage-class=NEARLINE.--set-object-acls-from-file: adiciona patches às listas de controle de acesso (ACLs) de objetos. Forneça um arquivo JSON ou YAML com concessões para adicionar ou atualizar entidades comoallUsersouallAuthenticatedUsers. Por exemplo,--set-object-acls-from-file=acl-updates.yamlou--set-object-acls-from-file=acl-updates.json.A estrutura do arquivo YAML para atualizações é a seguinte:
grants: - entity: allAuthenticatedUsers role: READER remove_entities: - allUsersA estrutura do arquivo JSON para atualizações é a seguinte:
{ "grants": [ { "entity": "allAuthenticatedUsers", "role": "READER" } ], "remove_entities": [ "allUsers" ] }
--put-object-event-based-hold: ative as retenções de objetos com base em eventos.--no-put-object-event-based-hold: desative as retenções de objetos com base em eventos.--put-object-temporary-hold: ativa retenções de objetos temporárias.--no-put-object-temporary-hold: desativa as retenções de objetos temporárias.O exemplo a seguir mostra como criar um job para atualizar os metadados
Content-Languageparaenem todos os objetos listados emmanifest.csv.gcloud storage batch-operations jobs create my-job \ --bucket=my-bucket \ --manifest-location=gs://my-bucket/manifest.csv \ --put-metadata=Content-Language=en
O exemplo a seguir mostra como criar um job segmentado para vários buckets e atualizar
Content-Languageparaen-us:gcloud storage batch-operations jobs create my-job \ --bucket-list=bucket1,bucket2 \ --included-object-prefixes='' \ --put-metadata=Content-Language=en-us
--put-metadata: atualize os metadados do objeto. Especifique o par de chave-valor dos metadados do objeto que você quer modificar. É possível especificar um ou mais pares de chave-valor como uma lista. Também é possível definir configurações de retenção de objetos usando a flag--put-metadata. Para isso, especifique os parâmetros de retenção usando os camposRetain-UntileRetention-Mode. Por exemplo,gcloud storage batch-operations jobs create my-job \ --bucket=my-bucket \ --manifest-location=gs://my-bucket/manifest.csv \ --put-metadata=Retain-Until=RETAIN_UNTIL_TIME,Retention-Mode=RETENTION_MODE
Em que:
RETAIN_UNTIL_TIMEé a data e a hora, no formato RFC 3339, até que o objeto seja retido. Por exemplo,2025-10-09T10:30:00Z. Para definir a configuração de retenção em um objeto, é necessário ativar a retenção no bucket que contém o objeto.RETENTION_MODEé o modo de retenção, que pode serUnlockedouLocked.Ao enviar uma solicitação para atualizar os campos
RETENTION_MODEeRETAIN_UNTIL_TIME, considere o seguinte:- Para atualizar a configuração de retenção de objetos, forneça valores não vazios para os campos
RETENTION_MODEeRETAIN_UNTIL_TIME. Definir apenas um deles resulta em um erroINVALID_ARGUMENT. - É possível estender o valor
RETAIN_UNTIL_TIMEpara objetos nos modosUnlockedouLocked. - A retenção de objetos precisa estar no modo
Unlockedse você quiser fazer o seguinte:- Reduza o valor de
RETAIN_UNTIL_TIME. - Remova a configuração de retenção. Para remover a configuração, forneça valores vazios para os campos
RETENTION_MODEeRETAIN_UNTIL_TIME.
- Reduza o valor de
- Se você omitir os campos
RETENTION_MODEeRETAIN_UNTIL_TIME, a configuração de retenção não será alterada.
- Para atualizar a configuração de retenção de objetos, forneça valores não vazios para os campos
--clear-all-object-custom-contexts: exclua todos os contextos de objeto atuais.O exemplo a seguir mostra como criar um job para limpar todos os contextos de objetos listados em
manifest.csv:gcloud storage batch-operations jobs create my-job \ --bucket=my-bucket \ --manifest-location=gs://my-bucket/manifest.csv \ --clear-all-object-custom-contexts
--clear-object-custom-contexts: remove contextos com chaves específicas. Também é possível atualizar contextos específicos e remover chaves usando a flag--clear-object-custom-contextse uma das seguintes flags:--update-object-custom-contexts: forneça um mapa de pares de chave-valor.O exemplo a seguir mostra como criar um job para remover o contexto com a chave
temp-ide atualizar ou inserir o contexto com as chavesproject-idecost-centerpara todos os objetos listados emmanifest.csv:gcloud storage batch-operations jobs create my-job \ --bucket=my-bucket \ --manifest-location=gs://my-bucket/manifest.csv \ --clear-object-custom-contexts=temp-id \ --update-object-custom-contexts=project-id=project-A,cost-center=engineering
--update-object-custom-contexts-file: forneça o caminho para um arquivo JSON ou YAML com pares de chave-valor.O exemplo a seguir mostra como criar um job para processar objetos definidos em
manifest.csv. O job faz o seguinte:Remove todos os contextos com a chave
temp-id.Atualiza os contextos atuais com as chaves
project-idecost-centerdefinidas no arquivo/tmp/context_updates.json.
gcloud storage batch-operations jobs create my-job \ --bucket=my-bucket \ --manifest-location=gs://my-bucket/manifest.csv \ --clear-object-custom-contexts=temp-id \ --update-object-custom-contexts-file=/tmp/context_updates.json
Em que
/tmp/context_updates.jsoncontém os seguintes contextos de objeto:{ "project-id": {"value": "project-A"}, "cost-center": {"value": "engineering"} }
Bibliotecas de cliente
C++
Para mais informações, consulte a documentação de referência da API Cloud Storage C++.
Para se autenticar no Cloud Storage, configure o Application Default Credentials. Saiba mais em Configurar a autenticação para bibliotecas de cliente.
PHP
Para mais informações, consulte a documentação de referência da API Cloud Storage PHP.
Para se autenticar no Cloud Storage, configure o Application Default Credentials. Saiba mais em Configurar a autenticação para bibliotecas de cliente.
API JSON
Para definir a lista de objetos do job de operação em lote, escolha uma das seguintes configurações de origem:
- Projeto como origem: segmenta objetos em todo o projeto usando uma configuração
projectSource. Em vez de listar buckets ou prefixos individuais, especifique parâmetros de filtro avançados para consultar metadados do Storage Insights de forma dinâmica. Para mais informações, consulte a guia "API JSON" em Criar um job usando filtros avançados. - Buckets como origem: segmenta objetos em buckets específicos usando uma configuração
bucketList. É necessário especificar os buckets de destino e um arquivo CSV de manifesto (manifest_location) ou prefixos de objeto (include_object_prefixes).
Ter a CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho
Authorization.Crie um arquivo JSON que contenha as configurações do job de operações em lote do Storage. Veja a seguir configurações comuns a serem incluídas:
{ "Description": "JOB_DESCRIPTION", "BucketList": { "Buckets": [ { "Bucket": "BUCKET_NAME", "Manifest": { "manifest_location": "MANIFEST_LOCATION" } "PrefixList": { "include_object_prefixes": "OBJECT_PREFIXES" } } ] }, "DeleteObject": { "permanent_object_deletion_enabled": OBJECT_DELETION_VALUE } "RewriteObject": { "kms_key":"KMS_KEY_VALUE", "storage_class":"STORAGE_CLASS_VALUE" } "PutMetadata":{ "METADATA_KEY": "METADATA_VALUE", ..., "objectRetention": { "retainUntilTime": "RETAIN_UNTIL_TIME", "mode": "RETENTION_MODE" } } "PutObjectHold": { "temporary_hold": TEMPORARY_HOLD_VALUE, "event_based_hold": EVENT_BASED_HOLD_VALUE }, "updateObjectCustomContext": { "customContextUpdates": { "updates": { "CONTEXT_KEY": { "value": "CONTEXT_VALUE" } }, "keysToClear": ["CONTEXT_KEY_TO_CLEAR"] }, "clearAll": CLEAR_ALL_VALUE }, "SetObjectAcls": { "accessControlsUpdates": { "grants": [ { "entity": "allUsers", "role": "READER" } ], "removeEntities": ["allAuthenticatedUsers"] } }, "dryRun": DRY_RUN_VALUE }
Where:JOB_NAMEé o nome do job de operação em lote do Storage.JOB_DESCRIPTIONé a descrição do job de operação em lote do Storage.BUCKET_NAMEé o nome do bucket que contém um ou mais objetos que você quer processar.Para especificar os objetos que você quer processar, use um dos seguintes atributos no arquivo JSON:
MANIFEST_LOCATIONé o local do manifesto. Por exemplo,gs://bucket_name/path/object_name.csv.OBJECT_PREFIXESé a lista separada por vírgulas que contém um ou mais prefixos de objeto. Para corresponder a todos os objetos, use uma lista vazia.
Dependendo do job que você quer processar, especifique uma das seguintes opções:
Excluir objetos:
"DeleteObject": { "permanent_object_deletion_enabled": OBJECT_DELETION_VALUE }
Em que
OBJECT_DELETION_VALUEéTRUEpara excluir objetos.Atualize a chave de criptografia gerenciada pelo cliente para objetos:
"RewriteObject": { "kms_key": KMS_KEY_VALUE }
Em que
KMS_KEY_VALUEé o valor da chave KMS do objeto que você quer atualizar.Atualize a classe de armazenamento dos objetos:
"RewriteObject": { "storage_class": STORAGE_CLASS_VALUE }
Em que
STORAGE_CLASS_VALUEé a nova classe de armazenamento para a qual você quer fazer a transição dos objetos. As classes de armazenamento compatíveis incluemSTANDARD,NEARLINE,COLDLINEeARCHIVE.Atualize os metadados do objeto:
"PutMetadata": { "METADATA_KEY": "METADATA_VALUE", ..., "objectRetention": { "retainUntilTime": "RETAIN_UNTIL_TIME", "mode": "RETENTION_MODE" } }
Em que:
METADATA_KEY/VALUEé o par de chave-valor dos metadados do objeto. É possível especificar um ou mais pares.RETAIN_UNTIL_TIMEé a data e a hora, no formato RFC 3339, até que o objeto seja retido. Por exemplo,2025-10-09T10:30:00Z. Para definir a configuração de retenção em um objeto, é necessário ativar a retenção no bucket que contém o objeto.RETENTION_MODEé o modo de retenção,UnlockedouLocked.Ao enviar uma solicitação para atualizar os campos
RETENTION_MODEeRETAIN_UNTIL_TIME, considere o seguinte:- Para atualizar a configuração de retenção de objetos, forneça valores não vazios para os campos
RETENTION_MODEeRETAIN_UNTIL_TIME. Definir apenas um deles resulta em um erroINVALID_ARGUMENT. - É possível estender o valor
RETAIN_UNTIL_TIMEpara objetos nos modosUnlockedouLocked. - A retenção de objetos precisa estar no modo
Unlockedse você quiser fazer o seguinte:- Reduza o valor de
RETAIN_UNTIL_TIME. - Remova a configuração de retenção. Para remover a configuração, forneça valores vazios para os campos
RETENTION_MODEeRETAIN_UNTIL_TIME.
- Reduza o valor de
- Se você omitir os campos
RETENTION_MODEeRETAIN_UNTIL_TIME, a configuração de retenção vai permanecer inalterada.
- Para atualizar a configuração de retenção de objetos, forneça valores não vazios para os campos
Atualizar retenções de objetos:
"PutObjectHold": { "temporary_hold": TEMPORARY_HOLD_VALUE, "event_based_hold": EVENT_BASED_HOLD_VALUE }
Em que:
TEMPORARY_HOLD_VALUEé usado para ativar ou desativar a retenção temporária de objetos. Um valor de1ativa a guarda de documentos, e um valor de2a desativa.EVENT_BASED_HOLD_VALUEé usado para ativar ou desativar a retenção de objeto baseada em eventos. Um valor de1ativa a retenção, e um valor de2a desativa.
Atualize os contextos de objeto:
"updateObjectCustomContext": { "customContextUpdates": { "updates": { "CONTEXT_KEY": { "value": "CONTEXT_VALUE" } }, "keysToClear": ["CONTEXT_KEY_TO_CLEAR"] }, "clearAll": CLEAR_ALL_VALUE }
Em que:
CONTEXT_KEYé a chave do contexto do objeto a ser inserida ou atualizada.CONTEXT_VALUEé o valor do contexto do objeto para a chave.CONTEXT_KEY_TO_CLEARé a chave a ser removida.CLEAR_ALL_VALUEé definido comotruepara excluir todos os contextos de objetos atuais.
Atualize as listas de controle de acesso (ACLs) de objetos:
"SetObjectAcls": { "accessControlsUpdates": { "grants": [ { "entity": "ENTITY_NAME", "role": "ROLE_NAME" } ], "removeEntities": ["ENTITY_TO_REMOVE"] } }
Em que:
ENTITY_NAMEé a entidade para adicionar ou atualizar o acesso. Por exemplo,allUsers,allAuthenticatedUsersou um usuário/grupo específico.ROLE_NAMEé o papel a ser concedido. Por exemplo:READEReOWNER.ENTITY_TO_REMOVEé a entidade de que você quer remover as credenciais.
DRY_RUN_VALUEé um valor booleano opcional. Defina comotruepara executar o job no modo de teste. O valor padrão éfalse.
Use
curlpara chamar a API JSON com uma solicitação dePOSTtrabalho de operação em lote do Storage:curl -X POST --data-binary @JSON_FILE_NAME \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://storagebatchoperations.googleapis.com/v1/projects/PROJECT_ID/locations/global/jobs?job_id=JOB_NAME"
Em que:
JSON_FILE_NAMEé o nome do arquivo JSON.PROJECT_IDé o ID ou o número do projeto. Por exemplo,my-project.JOB_NAMEé o nome do job de operação em lote do Storage.
Receber detalhes do job de operação em lote do Storage
Nesta seção, descrevemos como ver os detalhes do job de operações em lote do Storage.
Para receber as permissões necessárias
para visualizar um job de operações em lote do Storage,
peça ao administrador para conceder a você o
papel do IAM de Administrador do Storage (roles/storage.admin) no projeto.
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.
Console
- No console do Google Cloud , acesse a página Buckets do Cloud Storage.
- Na lista de buckets, clique no nome do bucket associado à operação.
- Na página Detalhes do bucket, clique na guia Operações.
- Na lista de operações, clique no ID da operação do job que você quer conferir.
- A página de detalhes mostra as métricas do job na guia Visão geral, como objetos descobertos, processados e erros que ocorreram.
- Na tabela Resumo de erros, analise os detalhes da falha de execução ou clique em Ver no Cloud Logging para conferir os registros.
- Para ver as definições de configuração do job, clique na guia Configuração.
Linha de comando
-
No console do Google Cloud , ative o Cloud Shell.
Na parte de baixo do console Google Cloud , uma sessão do Cloud Shell é iniciada e exibe um prompt de linha de comando. O Cloud Shell é um ambiente shell com a CLI do Google Cloud já instalada e com valores já definidos para o projeto atual. A inicialização da sessão pode levar alguns segundos.
No ambiente de desenvolvimento, execute o comando
gcloud storage batch-operations jobs describe.gcloud storage batch-operations jobs describe JOB_NAME
Em que:
JOB_NAMEé o nome do job de operação em lote do Storage.Quando você faz uma simulação de um job, a saída inclui os seguintes campos:
totalObjectCount: mostra o número de objetos que correspondem aos critérios de seleção.errorSummaries: lista todos os erros encontrados durante a simulação, como problemas de permissão ou configurações inválidas.totalBytesFound: mostra o tamanho total dos objetos afetados. Esse campo só aparece quando você usa prefixos de objeto para seleção de objetos.
Se a operação for bem-sucedida, a resposta do job de simulação será semelhante a esta:
bucketList: buckets: - bucket: my-bucket manifest: manifestLocation: gs://my-bucket/manifest.csv completeTime: '2025-10-27T23:56:32Z' counters: totalObjectCount: '4' createTime: '2025-10-27T23:56:22.243528568Z' dryRun: true name: projects/my-project/locations/global/jobs/my-job putMetadata: contentLanguage: en state: SUCCEEDEDUma resposta de job bem-sucedida omite o campo
dryRune retorna as seguintes métricas no campocounters:- Total de objetos encontrados.
- Total de bytes encontrados ao usar prefixos de objeto.
- Transformações de objetos concluídas.
- Transformações de objeto com falha, se aplicável.
- Contextos de objeto criados, se aplicável.
- Contextos de objeto excluídos, se aplicável.
- Os contextos de objeto foram atualizados, se aplicável. Esse contador rastreia as atualizações feitas nas chaves de contexto atuais.
A resposta de uma execução de job real é semelhante ao exemplo a seguir:
bucketList: buckets: - bucket: my-bucket manifest: manifestLocation: gs://my-bucket/manifest.csv completeTime: '2025-10-31T20:19:42.357826655Z' counters: succeededObjectCount: '4' totalObjectCount: '4' createTime: '2025-10-31T20:19:22.016517077Z' name: projects/my-project/locations/global/jobs/my-job putMetadata: contentLanguage: en state: SUCCEEDED
Bibliotecas de cliente
C++
Para mais informações, consulte a documentação de referência da API Cloud Storage C++.
Para se autenticar no Cloud Storage, configure o Application Default Credentials. Saiba mais em Configurar a autenticação para bibliotecas de cliente.
PHP
Para mais informações, consulte a documentação de referência da API Cloud Storage PHP.
Para se autenticar no Cloud Storage, configure o Application Default Credentials. Saiba mais em Configurar a autenticação para bibliotecas de cliente.
API JSON
Ter a CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho
Authorization.Use
cURLpara chamar a API JSON com uma solicitação deGETtrabalho de operação em lote do Storage:curl -X GET \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ "https://storagebatchoperations.googleapis.com/v1/projects/PROJECT_ID/locations/global/jobs/JOB_NAME"
Em que:
PROJECT_IDé o ID ou número do projeto. Por exemplo,my-project.JOB_NAMEé o nome do job de operação em lote do Storage.
Quando você faz uma simulação de um job, a saída inclui os seguintes campos:
totalObjectCount: mostra o número de objetos que correspondem aos critérios de seleção.errorSummaries: lista todos os erros encontrados durante a simulação, como problemas de permissão ou configurações inválidas.totalBytesFound: mostra o tamanho total dos objetos afetados. Esse campo só aparece quando você usa prefixos de objeto para seleção de objetos.
Se a operação for bem-sucedida, a resposta para a simulação vai ser semelhante a este exemplo:
{ "name": "projects/my-project/locations/global/jobs/my-job", "description": "dry-run-job", "deleteObject": { "permanent_object_deletion_enabled": true }, "createTime": "2025-10-28T00:26:53.900882459Z", "completeTime": "2025-10-28T00:27:04.101663275Z", "counters": { "totalObjectCount": "5", "totalBytesFound": "203" }, "state": "SUCCEEDED", "bucketList": { "buckets": [ { "bucket": "my-bucket", "prefixList": { "includedObjectPrefixes": [ "" ] } } ] }, "dryRun": true }Uma resposta de job bem-sucedida omite o campo
dryRune retorna as seguintes métricas no campocounters:- Total de objetos encontrados.
- Total de bytes encontrados ao usar prefixos de objeto.
- Transformações de objetos concluídas.
- Transformações de objeto com falha, se aplicável.
- Contextos de objeto criados, se aplicável.
- Contextos de objeto excluídos, se aplicável.
Os contextos de objeto foram atualizados, se aplicável. Esse contador rastreia as atualizações feitas nas chaves de contexto atuais.
A resposta de uma execução de job real é semelhante ao exemplo a seguir:
{ "name": "my-job", "description": "my-delete-objects-job", "deleteObject": { "permanent_object_deletion_enabled": true }, "createTime": "2025-10-28T00:26:53.900882459Z", "completeTime": "2025-10-28T00:27:04.101663275Z", "counters": { "succeededObjectCount: "5" "totalObjectCount": "5", "totalBytesFound": "203" }, "state": "SUCCEEDED", "bucketList": { "buckets": [ { "bucket": "my-bucket", "prefixList": { "includedObjectPrefixes": [ "" ] } } ] } }
Listar operações de bucket
Para jobs que incluem vários buckets, é possível conferir o progresso e o status das operações em buckets individuais. Para listar as operações realizadas em buckets para um job específico, execute o comando gcloud storage batch-operations bucket-operations list:
gcloud storage batch-operations bucket-operations list --job=JOB_NAME
Também é possível filtrar a lista para intervalos específicos usando a flag --buckets:
gcloud storage batch-operations bucket-operations list --job=JOB_NAME --buckets=BUCKET_NAME_LIST
O exemplo a seguir mostra como listar operações para bucket1 e bucket2 para o job my-job:
gcloud storage batch-operations bucket-operations list --job=my-job --buckets=bucket1,bucket2
Em que:
JOB_NAMEé o nome exclusivo do job de operação em lote do Storage que você criou. Por exemplo,my-job.BUCKET_NAME_LISTé uma lista separada por vírgulas de nomes de bucket, sem espaços entre eles. Por exemplo,bucket1,bucket2.
Descrever uma operação de bucket
Para conferir detalhes de uma operação de bucket específica, use um dos seguintes métodos:
Use o comando
gcloud storage batch-operations bucket-operations describecom a flag do nome do recurso de operação:gcloud alpha storage batch-operations bucket-operations describe BUCKET_OPERATION_RESOURCE_NAME
Em que:
BUCKET_OPERATION_RESOURCE_NAMEé o caminho completo do recurso da operação do bucket. Por exemplo,projects/my-project/locations/global/jobs/my-job/bucketOperations/bo-1.
Use o comando
gcloud storage batch-operations bucket-operations describecom as flags de ID da operação do bucket e código da tarefa:gcloud alpha storage batch-operations bucket-operations describe BUCKET_OPERATION_ID --job=JOB_NAME
Em que:
BUCKET_OPERATION_IDé o ID da operação do bucket.JOB_NAMEé o nome exclusivo do job de operação em lote do Storage que você criou. Por exemplo,my-job.
Listar jobs de operações em lote do Storage
Nesta seção, descrevemos como listar os jobs de operações em lote do Storage em um projeto.
Para receber as permissões necessárias
para listar trabalhos de operações em lote do Storage,
peça ao administrador para conceder a você o
papel do IAM de Administrador do Storage (roles/storage.admin) no projeto.
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.
Console
- No console do Google Cloud , acesse a página Buckets do Cloud Storage.
- Na lista de buckets, clique no nome do bucket associado à operação.
- Na página Detalhes do bucket, clique na guia Operações. A página Operações mostra uma lista de operações ativas em execução.
Linha de comando
-
No console do Google Cloud , ative o Cloud Shell.
Na parte inferior do console do Google Cloud , uma sessão do Cloud Shell é iniciada e exibe um prompt de linha de comando. O Cloud Shell é um ambiente shell com a CLI do Google Cloud já instalada e com valores já definidos para o projeto atual. A inicialização da sessão pode levar alguns segundos.
No ambiente de desenvolvimento, execute o comando
gcloud storage batch-operations jobs list.gcloud storage batch-operations jobs list
Bibliotecas de cliente
C++
Para mais informações, consulte a documentação de referência da API Cloud Storage C++.
Para se autenticar no Cloud Storage, configure o Application Default Credentials. Saiba mais em Configurar a autenticação para bibliotecas de cliente.
PHP
Para mais informações, consulte a documentação de referência da API Cloud Storage PHP.
Para se autenticar no Cloud Storage, configure o Application Default Credentials. Saiba mais em Configurar a autenticação para bibliotecas de cliente.
API JSON
Ter a CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho
Authorization.Use
cURLpara chamar a API JSON com uma solicitação deLISTtrabalhos de operação em lote do Storage:curl -X GET \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ "https://storagebatchoperations.googleapis.com/v1/projects/PROJECT_ID/locations/global/jobs"
Em que:
PROJECT_IDé o ID ou o número do projeto. Por exemplo,my-project.
Cancelar um job de operação em lote do Storage
Nesta seção, descrevemos como cancelar um job de operação em lote do Storage em um projeto.
Para receber as permissões necessárias
para cancelar um job de operações em lote do Storage,
peça ao administrador para conceder a você o
papel do IAM de Administrador do Storage (roles/storage.admin) no projeto.
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.
Console
- No console do Google Cloud , acesse a página Buckets do Cloud Storage.
Na lista de buckets, clique no nome do bucket associado à operação em lote do Storage que você quer cancelar.
Clique na guia Operações. Essa guia mostra uma lista de jobs de operação em lote. Só é possível cancelar jobs em andamento.
Na lista de operações, selecione um ou vários jobs que você quer cancelar e clique em Cancelar.
Linha de comando
-
No console do Google Cloud , ative o Cloud Shell.
Na parte de baixo do console Google Cloud , uma sessão do Cloud Shell é iniciada e exibe um prompt de linha de comando. O Cloud Shell é um ambiente shell com a CLI do Google Cloud já instalada e com valores já definidos para o projeto atual. A inicialização da sessão pode levar alguns segundos.
No ambiente de desenvolvimento, execute o comando
gcloud storage batch-operations jobs cancel.gcloud storage batch-operations jobs cancel JOB_NAME
Em que:
JOB_NAMEé o nome do job de operação em lote do Storage.
Bibliotecas de cliente
C++
Para mais informações, consulte a documentação de referência da API Cloud Storage C++.
Para se autenticar no Cloud Storage, configure o Application Default Credentials. Saiba mais em Configurar a autenticação para bibliotecas de cliente.
PHP
Para mais informações, consulte a documentação de referência da API Cloud Storage PHP.
Para se autenticar no Cloud Storage, configure o Application Default Credentials. Saiba mais em Configurar a autenticação para bibliotecas de cliente.
API JSON
Ter a CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho
Authorization.Use
cURLpara chamar a API JSON com uma solicitação deCANCELum trabalho de operação em lote do Storage:curl -X CANCEL \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ "https://storagebatchoperations.googleapis.com/v1/projects/PROJECT_ID/locations/global/jobs/JOB_NAME"
Em que:
PROJECT_IDé o ID ou o número do projeto. Por exemplo,my-project.JOB_NAMEé o nome do job de operação em lote do Storage.
Excluir um job de operação em lote do Storage
Nesta seção, descrevemos como excluir um job de operações em lote do Storage.
Para receber as permissões necessárias
para excluir um job de operações em lote do Storage,
peça ao administrador para conceder a você o
papel do IAM de Administrador do Storage (roles/storage.admin) no projeto.
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.
Console
- No console do Google Cloud , acesse a página Buckets do Cloud Storage.
Na lista de buckets, clique no nome do bucket associado à operação em lote do Storage que você quer excluir.
Clique na guia Operações. Essa guia mostra uma lista de jobs de operações em lote. Só é possível excluir jobs que não estão em execução, como jobs que foram concluídos, falharam ou foram cancelados.
Na lista de operações, selecione um ou vários jobs que você quer excluir e clique em Excluir.
Linha de comando
-
No console do Google Cloud , ative o Cloud Shell.
Na parte inferior do console do Google Cloud , uma sessão do Cloud Shell é iniciada e exibe um prompt de linha de comando. O Cloud Shell é um ambiente shell com a CLI do Google Cloud já instalada e com valores já definidos para o projeto atual. A inicialização da sessão pode levar alguns segundos.
No ambiente de desenvolvimento, execute o comando
gcloud storage batch-operations jobs delete.gcloud storage batch-operations jobs delete JOB_NAME
Em que:
JOB_NAMEé o nome do job de operação em lote do Storage.
Bibliotecas de cliente
C++
Para mais informações, consulte a documentação de referência da API Cloud Storage C++.
Para se autenticar no Cloud Storage, configure o Application Default Credentials. Saiba mais em Configurar a autenticação para bibliotecas de cliente.
PHP
Para mais informações, consulte a documentação de referência da API Cloud Storage PHP.
Para se autenticar no Cloud Storage, configure o Application Default Credentials. Saiba mais em Configurar a autenticação para bibliotecas de cliente.
API JSON
Ter a CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho
Authorization.Use
cURLpara chamar a API JSON com uma solicitação deDELETEum trabalho de operação em lote do Storage:curl -X DELETE \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ "https://storagebatchoperations.googleapis.com/v1/projects/PROJECT_ID/locations/global/jobs/JOB_NAME"
Em que:
PROJECT_IDé o ID ou número do projeto. Por exemplo,my-project.JOB_NAMEé o nome do job de operação em lote do Storage.
Criar um job de operação em lote do Storage usando conjuntos de dados do Storage Insights
Para executar um job de operações em lote nos objetos listados em um conjunto de dados, selecione uma das seguintes opções:
Usar filtros avançados: filtre objetos de forma dinâmica no nível do projeto diretamente no comando da Google Cloud CLI.
Os conjuntos de dados do Storage Insights são criados com base em snapshots periódicos e pontuais dos metadados de armazenamento. Cada snapshot tem um horário que mostra quando os metadados foram capturados. Quando você executa um job em lote usando filtros avançados, esse horário de snapshot determina quais objetos e versões são processados. Por padrão, as operações em lote do Storage selecionam automaticamente o horário do snapshot mais recente. Para evitar operações em dados desatualizados, a criação do job falhará se o snapshot selecionado tiver mais de dois dias. Para saber como resolver essa falha, consulte Resolver problemas com operações em lote do Storage.
Usar um arquivo de manifesto: gere um arquivo de manifesto CSV executando uma consulta do BigQuery e forneça-o ao job.
Os métodos são descritos nas seções a seguir.
Usar filtros avançados
Em vez de criar um arquivo de manifesto, use filtros da Common Expression Language (CEL) para selecionar objetos diretamente com base nos campos do conjunto de dados do Storage Insights. É possível executar jobs em vários buckets de um projeto. Quando você usa filtros de conjunto de dados para selecionar objetos, as operações em lote do Storage têm como alvo objetos que estão ativos e atuais de acordo com o snapshot do conjunto de dados selecionado. Consequentemente, o job inclui apenas objetos que têm um valor NULL para softDeleteTime e timeDeleted no momento do snapshot.
Linha de comando
-
No console do Google Cloud , ative o Cloud Shell.
Na parte inferior do console do Google Cloud , uma sessão do Cloud Shell é iniciada e exibe um prompt de linha de comando. O Cloud Shell é um ambiente shell com a CLI do Google Cloud já instalada e com valores já definidos para o projeto atual. A inicialização da sessão pode levar alguns segundos.
Execute o comando
gcloud storage batch-operations jobs create:gcloud storage batch-operations jobs create JOB_NAME \ {--insights-dataset-config=INSIGHTS_DATASET_CONFIG_RESOURCE_NAME --target-project=TARGET_PROJECT [--bucket-filters=BUCKET_FILTER_CEL] [--object-filters=OBJECT_FILTER_CEL] [--target-locations=TARGET_LOCATIONS] [--target-snapshot-time=TARGET_SNAPSHOT_TIME] | --dry-run-job-id=DRY_RUN_JOB_ID} \ --JOB_TYPE_FLAGEm que:
JOB_NAMEé o nome do job de operação em lote do Storage.INSIGHTS_DATASET_CONFIG_RESOURCE_NAME: o nome do recurso da configuração do conjunto de dados. Por exemplo,projects/{project-id}/locations/{location-id}/datasetConfigs/{dataset_config_id}. É necessário especificar esse parâmetro antes de usar as flags--bucket-filterse--object-filters.TARGET_PROJECT: o ID do projeto ou o número do projeto associado aos recursos de destino.BUCKET_FILTER_CELeOBJECT_FILTER_CEL(opcional): as expressões de filtro CEL usadas para selecionar objetos. Confira alguns exemplos:--bucket-filters="name in ['bucket-1', 'bucket-2']"--object-filters="size >= 5000 && name.endsWith('.pdf')"Para informações sobre campos, operadores e funções compatíveis, consulte a referência de filtros da CEL.
TARGET_LOCATIONS(opcional): uma lista de locais do Cloud Storage usada para restringir o escopo do job. Por exemplo,us,us-central1,us-east4. Use esse parâmetro para excluir locais que estão com uma interrupção no serviço. Se apenasTARGET_LOCATIONSfor especificado eTARGET_SNAPSHOT_TIMEfor omitido, o job vai escolher automaticamente o carimbo de data/hora do snapshot mais recente que foi preenchido com sucesso nas visualizações de atributos de objeto e bucket em todos os locais especificados.TARGET_SNAPSHOT_TIME(opcional): o carimbo de data/hora UTC do snapshot do conjunto de dados a ser usado, no formato RFC 3339. Por exemplo,2026-05-03T16:00:00Z. Esse snapshot precisa existir nas visualizações de atributos de bucket e objeto. Se você especificar esse parâmetro, também precisará especificar o parâmetroTARGET_LOCATIONS.DRY_RUN_JOB_ID: o identificador de um job de simulação executado anteriormente. Se você especificar esse parâmetro, não poderá especificar nenhum outro parâmetro de seleção de objeto, incluindo--insights-dataset-config,--target-project,--bucket-filters,--object-filters,--target-locationse--target-snapshot-time. O job ativo pesquisa todos os critérios de seleção diretamente no job de simulação.JOB_TYPE_FLAG: a flag correspondente à operação em massa que você quer realizar, como--put-metadataou--delete-object.
API JSON
Ter a CLI gcloud instalada e inicializada, o que permite gerar um token de acesso para o cabeçalho
Authorization.Crie um arquivo de configuração JSON que especifique os filtros de conjunto de dados e as configurações de operações em massa. Exemplo:
{ "description": "JOB_DESCRIPTION", "projectSource": { "project": "projects/TARGET_PROJECT", "insightsDatasetConfig": "INSIGHTS_DATASET_CONFIG_RESOURCE_NAME", "bucketFilters": { "expression": "BUCKET_FILTER_CEL" }, "objectFilters": { "expression": "OBJECT_FILTER_CEL" }, "snapshotTime": "SNAPSHOT_TIME", "targetLocations": { "locations": ["LOCATION_1", "LOCATION_2"] } }, "deleteObject": { "permanentObjectDeletionEnabled": OBJECT_DELETION_VALUE } }
Em que:
JOB_DESCRIPTIONé a descrição do job.TARGET_PROJECTé o ID do projeto ou o número do projeto associado aos objetos de destino.
INSIGHTS_DATASET_CONFIG_RESOURCE_NAMEé o nome do recurso totalmente qualificado da configuração do conjunto de dados (por exemplo,projects/{project-id}/locations/{location-id}/datasetConfigs/{dataset_config_id}).BUCKET_FILTER_CELé a expressão de filtro CEL para intervalos. Por exemplo,name in ['bucket-1', 'bucket-2']. Para detalhes sobre palavras-chave, campos e operadores compatíveis, consulte a referência de filtros da CEL.OBJECT_FILTER_CELé a expressão de filtro CEL para objetos. Por exemplo,size >= 5000 && name.endsWith('.pdf').snapshotTime(opcional): um carimbo de data/hora UTC específico no formato RFC 3339 (por exemplo,"2026-05-03T16:00:00Z") que especifica qual snapshot do conjunto de dados usar. Esse snapshot precisa existir nas visualizações de conjunto de dados de bucket e de objeto em todos os locais de destino. Se você especificar esse campo, também precisará especificar o campotargetLocations.targetLocations(opcional): um objeto JSON que especifica uma lista de locais do Cloud Storage (por exemplo,["us", "us-central1", "us-east4"]) para filtrar o escopo do job. Se as dependências estiverem passando por uma interrupção em locais específicos, você poderá restringir o job a esses locais. Se apenastargetLocationsfor especificado esnapshotTimefor omitido, o job vai escolher automaticamente o carimbo de data/hora do snapshot mais recente que foi preenchido nas visualizações de atributos de objeto e de bucket em todos os locais especificados.OBJECT_DELETION_VALUEé o booleano que ativa ou desativa a exclusão permanente. Por exemplo,trueoufalse.
Envie uma solicitação
POSTusandocURLpara executar o trabalho:curl -X POST \ -H "Authorization: Bearer OAUTH2_TOKEN" \ -H "Content-Type: application/json" \ -d @JSON_FILE_NAME \ "https://storagebatchoperations.googleapis.com/v1/projects/PROJECT_ID/locations/global/jobs?job_id=JOB_NAME"Em que:
JSON_FILE_NAMEé o nome do arquivo JSON.PROJECT_IDé o ID ou número do projeto. Por exemplo,my-project.JOB_NAMEé o nome do job de operação em lote do Storage.
Usar um arquivo de manifesto
Para receber as permissões necessárias
para criar um job de operações em lote do Storage,
peça ao administrador para conceder a você o
papel do IAM de Administrador do Storage (roles/storage.admin) no projeto.
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.
Criar um manifesto usando conjuntos de dados do Storage Insights
É possível criar o manifesto para o job de operações em lote do Storage extraindo dados do BigQuery. Para isso, você precisa consultar o conjunto de dados vinculado, exportar os dados resultantes como um arquivo CSV e salvá-lo em um bucket do Cloud Storage. O job de operações em lote do Storage pode usar esse arquivo CSV como manifesto.
Executar a seguinte consulta SQL no BigQuery em uma visualização de conjunto de dados do Storage Insights recupera objetos maiores que 1 KiB chamados Temp_Training:
EXPORT DATA OPTIONS( uri=`URI`, format=`CSV`, overwrite=OVERWRITE_VALUE, field_delimiter=',') AS SELECT bucket, name, generation FROM DATASET_VIEW_NAME WHERE bucket = BUCKET_NAME AND name LIKE (`Temp_Training%`) AND size > 1024 * 1024 AND snapshotTime = SNAPSHOT_TIME
Em que:
URIé o URI do bucket que contém o manifesto. Por exemplo,gs://bucket_name/path_to_csv_file/*.csv. Quando você usa o caractere curinga*.csv, o BigQuery exporta o resultado para vários arquivos CSV.OVERWRITE_VALUEé um valor booleano. Se definido comotrue, a operação de exportação vai substituir os arquivos existentes no local especificado.DATASET_VIEW_NAMEé o nome totalmente qualificado da visualização do conjunto de dados do Storage Insights no formatoPROJECT_ID.DATASET_ID.VIEW_NAME. Para encontrar o nome do conjunto de dados, confira o conjunto de dados vinculado.Em que:
PROJECT_IDé o ID ou o número do projeto. Por exemplo,my-project.DATASET_IDé o nome do conjunto de dados. Por exemplo,objects-deletion-dataset.VIEW_NAMEé o nome da visualização do conjunto de dados. Por exemplo,bucket_attributes_view.
BUCKET_NAMEé o nome do bucket. Por exemplo,my-bucket.SNAPSHOT_TIMEé o horário do snapshot da visualização do conjunto de dados do Storage Insights. Por exemplo,2024-09-10T00:00:00Z.
Criar um job de operação em lote do Storage usando um arquivo de manifesto
Para criar um job de operação em lote do Storage para processar objetos contidos no manifesto, siga estas etapas:
Console
- No console do Google Cloud , acesse a página Buckets do Cloud Storage.
Na lista de buckets, clique no nome daquele que contém os objetos em que você quer realizar operações em lote.
A página Detalhes do bucket é aberta, com a guia Objetos selecionada.
- Clique em Criar operações em lote.
- No painel Selecionar operação, escolha o tipo de operação:
- Gerenciar retenções de objetos: selecione Retenção temporária ou Retenção baseada em eventos. Para mais informações, consulte retenções de objetos.
- Atualizar metadados do objeto: para adicionar metadados do objeto, faça o seguinte:
- Para adicionar metadados personalizados, siga estas etapas:
- No campo Chave, digite um nome de chave.
- No campo Valor, insira um valor para essa chave.
- Opcional: clique em + Adicionar item para incluir mais pares de chave-valor.
- Para atualizar metadados de chave fixa, siga estas etapas:
- Para expandir a seção Atualizar metadados de chave fixa, clique na seta .
- Na lista Selecione um ou mais metadados para atualizar, escolha os itens que você quer editar.
- Para adicionar metadados personalizados, siga estas etapas:
- Atualizar/rotacionar chave de criptografia: para usar ou atualizar a chave de criptografia de objetos, faça o seguinte:
- Na lista Selecione uma chave do Cloud KMS, selecione uma chave de criptografia gerenciada pelo cliente (CMEK).
- Opcional: selecione Trocar de projeto para escolher uma chave de outro projeto ou selecione Inserir chave manualmente para preencher os detalhes.
- Excluir objetos: para excluir
objetos, faça o seguinte:
- Verifique se o controle de versão de objeto está ativado.
Se o controle de versões de objetos estiver ativado, escolha uma das seguintes opções de exclusão:
- Selecione Excluir todas as versões dos objetos para remover as versões ativas e não atuais.
- Selecione Excluir versões ativas permanentemente para remover apenas a versão ativa.
Se o controle de versões de objetos não estiver ativado, todos os objetos selecionados para exclusão serão excluídos permanentemente.
- Clique em Próxima.
- No painel Nomear a operação e especificar os objetos, faça o seguinte:
- No campo Nome, digite um nome.
- Opcional: no campo Descrição, insira uma descrição.
- Na seção Especificar objetos, selecione Fazer upload de listas de
objetos usando arquivos CSV de manifesto e faça o seguinte:
- Faça upload do arquivo CSV de manifesto para um bucket. Esse arquivo precisa conter cabeçalhos para Nome do bucket, Chave do objeto e Número de geração.
- Na lista Selecionar modo do arquivo de manifesto, escolha uma das seguintes opções:
- Se você selecionar Selecionar um arquivo de manifesto do Cloud Storage, clique em Procurar no campo Selecionar um arquivo de manifesto do Cloud Storage. Na caixa de diálogo Selecionar objeto que aparece, navegue até o arquivo CSV de manifesto e clique em Selecionar.
- Se você selecionar Selecionar vários arquivos de manifesto usando um caractere curinga,
insira o caminho do arquivo no campo Insira o local do arquivo de manifesto usando
um caractere curinga. Por exemplo,
bucket-name/folder/manifest_*.
- Clique em Criar.
Linha de comando
-
No console do Google Cloud , ative o Cloud Shell.
Na parte inferior do console do Google Cloud , uma sessão do Cloud Shell é iniciada e exibe um prompt de linha de comando. O Cloud Shell é um ambiente shell com a CLI do Google Cloud já instalada e com valores já definidos para o projeto atual. A inicialização da sessão pode levar alguns segundos.
No ambiente de desenvolvimento, execute o comando
gcloud storage batch-operations jobs create:gcloud storage batch-operations jobs create \ JOB_NAME \ {--bucket=SOURCE_BUCKET | --bucket-list=SOURCE_BUCKET_LIST} \ --manifest-location=URI \ JOB_TYPE_FLAGEm que:
JOB_NAMEé o nome do job de operação em lote do Storage.SOURCE_BUCKETé o nome do bucket que contém os objetos que você quer processar. Por exemplo,my-bucket.SOURCE_BUCKET_LISTé uma lista separada por vírgulas de um ou mais nomes de buckets que contêm os objetos que você quer processar. Por exemplo,bucket1,bucket2.URIé o URI do bucket que contém o manifesto. Por exemplo,gs://bucket_name/path_to_csv_file/*.csv. Quando você usa o caractere curinga*.csv, o BigQuery exporta o resultado para vários arquivos CSV.JOB_TYPE_FLAGé uma das flags a seguir, dependendo do tipo de serviço.--delete-object: exclui um ou mais objetos.--put-metadata: atualiza os metadados do objeto. Os metadados do objeto são armazenados como pares de chave-valor. Especifique o par de chave-valor dos metadados que você quer modificar. É possível especificar um ou mais pares de chave-valor como uma lista. Também é possível fornecer configurações de retenção de objetos usando a flag--put-metadata.--rewrite-object: atualize as chaves de criptografia gerenciadas pelo cliente de um ou mais objetos. Também é possível usar essa flag para mudar a classe de armazenamento do objeto especificando a chavestorage-class. As classes de armazenamento compatíveis incluemSTANDARD,NEARLINE,COLDLINEeARCHIVE. Por exemplo,--rewrite-object=storage-class=NEARLINE.--set-object-acls-from-file: aplicar patch em listas de controle de acesso (ACLs) de objetos. Forneça o caminho para um arquivo JSON ou YAML com concessões a serem adicionadas ou atualizadas para entidades comoallUsersouallAuthenticatedUsers. Exemplo:--set-object-acls-from-file=acl-updates.yaml.--put-object-event-based-hold: ativa as retenções de objetos baseadas em eventos.--no-put-object-event-based-hold: desative as retenções de objetos com base em eventos.--put-object-temporary-hold: ativa retenções de objetos temporárias.--no-put-object-temporary-hold: desativa as retenções de objetos temporárias.
--clear-all-object-custom-contexts: exclua todos os contextos de objeto atuais.O exemplo a seguir mostra como criar um job para limpar todos os contextos de objetos listados em
manifest.csv:gcloud storage batch-operations jobs create my-job \ --bucket=my-bucket \ --manifest-location=gs://my-bucket/manifest.csv \ --clear-all-object-custom-contexts
--clear-object-custom-contexts: remove contextos com chaves específicas. Também é possível atualizar contextos específicos e remover chaves usando a flag--clear-object-custom-contextse uma das seguintes flags:--update-object-custom-contexts: forneça um mapa de pares de chave-valor.O exemplo a seguir mostra como criar um job para remover o contexto com a chave
temp-ide atualizar ou inserir o contexto com as chavesproject-idecost-centerpara todos os objetos listados emmanifest.csv:gcloud storage batch-operations jobs create my-job \ --bucket=my-bucket \ --manifest-location=gs://my-bucket/manifest.csv \ --clear-object-custom-contexts=temp-id \ --update-object-custom-contexts=project-id=project-A,cost-center=engineering
--update-object-custom-contexts-file: forneça o caminho para um arquivo JSON ou YAML com pares de chave-valor.O exemplo a seguir mostra como criar um job para processar objetos definidos em
manifest.csv. O job faz o seguinte:Remove todos os contextos com a chave
temp-id.Atualiza os contextos atuais com as chaves
project-idecost-centerdefinidas no arquivo/tmp/context_updates.json.
gcloud storage batch-operations jobs create my-job \ --bucket=my-bucket \ --manifest-location=gs://my-bucket/manifest.csv \ --clear-object-custom-contexts=temp-id \ --update-object-custom-contexts-file=/tmp/context_updates.json
Em que
/tmp/context_updates.jsoncontém os seguintes contextos de objeto:{ "project-id": {"value": "project-A"}, "cost-center": {"value": "engineering"} }
Integração com o VPC Service Controls
O VPC Service Controls oferece uma camada extra de segurança para recursos de operações em lote do Storage. Ao colocar projetos em um perímetro de serviço, você ajuda a proteger recursos e serviços contra solicitações que vêm de fora do perímetro. Para saber mais sobre os detalhes do perímetro de serviço do VPC Service Controls para operações em lote do Storage, consulte Produtos e limitações compatíveis.
Usar os Registros de auditoria do Cloud para jobs de operações em lote do Storage
Os jobs de operações em lote do Storage registram transformações em objetos do Cloud Storage nos Registros de Auditoria do Cloud para o Cloud Storage. Use os Registros de auditoria do Cloud com o Cloud Storage para rastrear essas transformações. Para detalhes sobre como ativar os registros de auditoria, consulte Ativar registros de auditoria. Na entrada de registro de auditoria, um campo de metadados callUserAgent com o valor StorageBatchOperations indica que a transformação foi realizada por operações em lote do Storage.
Próximas etapas
- Saiba mais sobre os conjuntos de dados do Storage Insights