Operazioni batch di archiviazione

Questo documento descrive le operazioni batch di archiviazione, una funzionalità di Cloud Storage che consente di eseguire operazioni su miliardi di oggetti in modo serverless. Utilizzando le operazioni batch di archiviazione, puoi automatizzare le operazioni API su larga scala su miliardi di oggetti, riducendo il tempo di sviluppo necessario per scrivere e gestire gli script per ogni richiesta.

Per scoprire come creare job di operazioni batch di archiviazione, consulta Creare e gestire job di operazioni batch di archiviazione.

Panoramica

Le operazioni batch di archiviazione consentono di eseguire una delle cinque trasformazioni su più oggetti contemporaneamente: inserire un blocco oggetto, eliminare un oggetto, aggiornare i metadati degli oggetti, riscrivere gli oggetti e aggiornare i contesti personalizzati degli oggetti. Per utilizzare le operazioni batch di archiviazione, devi creare una configurazione del job che definisca quali trasformazioni devono essere applicate a quali oggetti.

La creazione di un'operazione batch restituisce un'operazione a lunga esecuzione (LRO) che indica lo stato della richiesta: se la trasformazione è stata applicata a tutti gli oggetti specificati nella richiesta.

Vantaggi

  • Scalabilità: esegui trasformazioni su milioni di oggetti con un singolo job di operazioni batch di archiviazione.
  • Esecuzione serverless: esegui job batch in un ambiente serverless, eliminando la necessità di gestire l'infrastruttura.
  • Automazione: automatizza attività complesse e ripetitive, migliorando l'efficienza operativa.
  • Tempo di sviluppo ridotto: evita di scrivere e gestire script personalizzati complessi.
  • Prestazioni: completa le operazioni sensibili al tempo entro il tempo richiesto. Con più job batch in esecuzione contemporaneamente su un bucket, puoi elaborare fino a un miliardo di oggetti entro tre ore.
  • Nuovi tentativi automatici: nuovi tentativi automatici per le operazioni non riuscite.
  • Monitoraggio dei job: monitoraggio dettagliato dell'avanzamento per monitorare lo stato e il completamento di tutti i job.

Casi d'uso

Se utilizzate con i set di dati di Storage Insights, le operazioni batch di archiviazione consentono di eseguire le seguenti attività:

  • Gestione della sicurezza:

    • Imposta le chiavi di crittografia su più oggetti utilizzando il metodo di riscrittura degli oggetti.
    • Applica o rimuovi i blocchi oggetto per controllare l'immutabilità degli oggetti.

  • Conformità:

    • Utilizza i blocchi oggetto per soddisfare i requisiti di conservazione dei dati per la conformità normativa.
    • Imposta le configurazioni di conservazione degli oggetti per gestire i cicli di vita dei dati e le policy di conformità.
    • Elimina i dati tra intervalli di tempo specifici per soddisfare i requisiti di conformità di eliminazione.

  • Trasformazione dei dati: esegui aggiornamenti collettivi dei metadati degli oggetti.

  • Ottimizzazione dei costi: elimina in blocco gli oggetti nei bucket Cloud Storage per ridurre i costi di archiviazione.

Configurazioni dei job

Per creare un job di operazioni batch di archiviazione, devi impostare le seguenti configurazioni del job. Le configurazioni dei job sono parametri che controllano la definizione del job per diversi requisiti di elaborazione.

  • Nome del job: un nome univoco per identificare il job di operazioni batch di archiviazione. Viene utilizzato per il monitoraggio e il riferimento al job. I nomi dei job sono alfanumerici, ad esempio job-01.

  • Descrizione del job (facoltativa): una breve descrizione dello scopo del job. Questo aiuta a comprendere e documentare i dettagli del job. Ad esempio, Deletes all objects in a bucket.

  • Nome del bucket: il nome del bucket di archiviazione contenente gli oggetti da elaborare. Questo è essenziale per individuare i dati di input. Ad esempio, my-bucket. Puoi specificare un solo nome del bucket per un job.

  • Selezione degli oggetti: i criteri di selezione che definiscono gli oggetti da elaborare. Puoi specificare i criteri utilizzando una delle seguenti opzioni:

    • Manifest: crea un manifest e specifica la sua posizione quando crei il job di operazioni batch di archiviazione. Il manifest è un file CSV caricato in Google Cloudche contiene un oggetto o un elenco di oggetti che vuoi elaborare. Ogni riga del manifest deve includere il bucket e il name dell'oggetto. Facoltativamente, puoi specificare la generation dell'oggetto. Se non specifichi la generation, viene utilizzata la versione corrente dell'oggetto.

      Il file deve includere una riga di intestazione nel seguente formato:

      bucket,name,generation

      Di seguito è riportato un esempio di manifest:

      bucket,name,generation
bucket_1,object_1,generation_1
bucket_1,object_2,generation_2
bucket_1,object_3,generation_3

      Puoi anche creare un manifest utilizzando i set di dati di Storage Insights. Per maggiori dettagli, consulta Creare un manifest utilizzando i set di dati di Storage Insights.

    • Prefissi degli oggetti: specifica un elenco di prefissi per filtrare gli oggetti all'interno del bucket. Vengono elaborati solo gli oggetti con questi prefissi. Se è vuoto, vengono elaborati tutti gli oggetti nel bucket.

  • Tipo di prestazione:le operazioni batch di archiviazione supportano i seguenti tipi di prestazione, eseguendo un singolo job per operazione batch.

    • Eliminazione degli oggetti: puoi eliminare gli oggetti all'interno di un bucket. Questo è fondamentale per l'ottimizzazione dei costi, la gestione del ciclo di vita dei dati e la conformità alle policy di eliminazione dei dati.

    • Aggiornamenti dei metadati: puoi modificare i seguenti metadati degli oggetti:

      • Metadati personalizzati: puoi aggiornare qualsiasi coppia chiave-valore definita dall'utente associata all'oggetto.

      • Metadati fissi: puoi aggiornare Cache-Control, Content-Disposition, Content-Encoding, Content-Language, Content-Type, Custom-Time, e Retention configuration. Per modificare i blocchi oggetto, utilizza il tipo di prestazione di aggiornamento dei blocchi oggetto.

    • Aggiornamenti dei blocchi oggetto: puoi attivare o disattivare i blocchi oggetto. I blocchi oggetto impediscono l'eliminazione o la modifica degli oggetti, il che è essenziale per la conformità e la conservazione dei dati.

    • Aggiornamenti delle chiavi di crittografia degli oggetti: puoi gestire le chiavi di crittografia gestite dal cliente per uno o più oggetti. Ciò include l'applicazione o la modifica delle chiavi di crittografia utilizzando il metodo di riscrittura degli oggetti.

    • Aggiornamenti dei contesti degli oggetti: puoi gestire i contesti degli oggetti associati agli oggetti. Puoi cancellare tutti i contesti degli oggetti esistenti o apportare aggiornamenti specifici, ad esempio rimuovere le chiavi o inserire e aggiornare le coppie chiave-valore.

  • Dry run (facoltativo): puoi creare un job di operazioni batch di archiviazione in modalità dry run per comprendere l'ambito e il risultato dell'operazione senza apportare modifiche agli oggetti. Un dry run simula l'operazione, ma non esegue trasformazioni, aiutandoti a convalidare la configurazione del job prima di eseguirlo. Il risultato del dry run fornisce le seguenti informazioni:

    • Il numero di oggetti interessati.

    • Eventuali errori potenziali che potrebbero verificarsi.

    • Se utilizzi i prefissi degli oggetti per la selezione degli oggetti, l' output include anche la dimensione totale degli oggetti interessati.

Prezzi

Per stimare gli addebiti per l'operazione per l'esecuzione di un job di operazioni batch di archiviazione, e per controllare gli addebiti per l'elenco degli oggetti per un dry run, consulta Prezzi di Cloud Storage.

Un dry run ti aiuta a convalidare in anticipo la configurazione del job di operazioni batch di archiviazione, senza incorrere in costi operativi effettivi, anche se potrebbe comportare costi per l'elenco degli oggetti.

Limitazioni

Le operazioni batch di archiviazione presentano le seguenti limitazioni:

  • I job di operazioni batch di archiviazione hanno una durata massima di 14 giorni. Qualsiasi job in corso che non viene completato entro 14 giorni dalla creazione viene annullato automaticamente.

  • Quando specifichi i prefissi degli oggetti per un job, puoi includere un massimo di 1000 prefissi.

  • Non è consigliabile eseguire più di 20 job di operazioni batch simultanei sullo stesso bucket.

  • Le operazioni batch di archiviazione non sono supportate sui bucket in cui sono abilitati i pagamenti a carico del richiedente .

Passaggi successivi