Opérations de stockage par lot

Ce document décrit les opérations de stockage par lot, une fonctionnalité Cloud Storage qui vous permet d'effectuer des opérations sur des milliards d'objets de manière sans serveur. Grâce aux opérations de stockage par lot, vous pouvez automatiser les opérations d'API à grande échelle sur des milliards d'objets, ce qui réduit le temps de développement nécessaire pour écrire et gérer des scripts pour chaque requête.

Pour savoir comment créer des jobs d'opérations de stockage par lot, consultez Créer et gérer des jobs d'opérations de stockage par lot.

Présentation

Les opérations de stockage par lot vous permettent d'exécuter l'une des cinq transformations sur plusieurs objets à la fois : placer une obligation de conservation d'objet, supprimer un objet, mettre à jour les métadonnées d'un objet, réécrire des objets et mettre à jour les contextes personnalisés d'un objet. Pour utiliser les opérations de stockage par lot, vous créez une configuration de job qui définit les transformations à appliquer aux objets.

La création d'une opération par lot renvoie une opération de longue durée (LRO) qui indique l'état de votre requête : si la transformation a été appliquée à tous les objets spécifiés dans votre requête.

Avantages

  • Scalabilité : effectuez des transformations sur des millions d'objets avec un seul job d'opérations de stockage par lot.
  • Exécution sans serveur : exécutez des jobs par lot dans un environnement sans serveur, ce qui vous évite d'avoir à gérer l'infrastructure.
  • Automatisation : automatisez les tâches complexes et répétitives, ce qui améliore l'efficacité opérationnelle.
  • Réduction du temps de développement : évitez d'écrire et de gérer des scripts personnalisés complexes.
  • Performances : effectuez des opérations urgentes dans les délais requis. Avec plusieurs jobs par lot exécutés simultanément sur un bucket, vous pouvez traiter jusqu'à un milliard d'objets en trois heures.
  • Nouvelles tentatives automatiques : nouvelles tentatives automatiques pour les opérations ayant échoué.
  • Surveillance des jobs : suivi détaillé de la progression pour surveiller l'état et l' achèvement de tous les jobs.

Cas d'utilisation

Lorsqu'elles sont utilisées avec des ensembles de données Storage Insights, les opérations de stockage par lot vous permettent d'effectuer les tâches suivantes :

  • Gestion de la sécurité :

    • Définissez des clés de chiffrement sur plusieurs objets à l'aide de la méthode de réécriture d'objets.
    • Appliquez ou supprimez des obligations de conservation d'objets pour contrôler l'immuabilité des objets.

  • Conformité :

  • Transformation des données : effectuez des mises à jour groupées des métadonnées d’objets.

  • Optimisation des coûts : supprimez en bloc des objets dans des buckets Cloud Storage pour réduire les coûts de stockage.

Configurations de job

Pour créer un job d'opérations de stockage par lot, vous devez définir les configurations de job suivantes. Les configurations de job sont des paramètres qui contrôlent la manière dont le job est défini pour différentes exigences de traitement.

  • Nom du job : nom unique permettant d'identifier le job d'opérations de stockage par lot. Il est utilisé pour suivre, surveiller et référencer le job. Les noms de job sont alphanumériques, par exemple job-01.

  • Description du job (facultatif) : brève description de l'objectif du job. Cela permet de comprendre et de documenter les détails du job. Par exemple, Deletes all objects in a bucket.

  • Nom du bucket : nom du bucket de stockage contenant les objets à traiter. Cela est essentiel pour localiser les données d'entrée. Par exemple, my-bucket. Vous ne pouvez spécifier qu'un seul nom de bucket pour un job.

  • Sélection d'objets : critères de sélection qui définissent les objets à traiter. Vous pouvez spécifier les critères à l'aide de l'une des options suivantes :

    • Fichier manifeste : créez un fichier manifeste et spécifiez son emplacement lorsque vous créez le job d'opérations de stockage par lot. Le fichier manifeste est un fichier CSV importé dans Cloud Storage Google Cloud. Il contient un ou plusieurs objets que vous souhaitez traiter. Chaque ligne du fichier manifeste doit inclure le bucket et le name de l'objet. Vous pouvez éventuellement spécifier la generation de l'objet. Si vous ne spécifiez pas la generation, la version actuelle de l'objet est utilisée.

      Le fichier doit inclure une ligne d'en-tête au format suivant :

      bucket,name,generation

      Voici un exemple de fichier manifeste :

      bucket,name,generation
bucket_1,object_1,generation_1
bucket_1,object_2,generation_2
bucket_1,object_3,generation_3

      Vous pouvez également créer un fichier manifeste à l'aide d'ensembles de données Storage Insights. Pour en savoir plus, consultez Créer un fichier manifeste à l'aide d'ensembles de données Storage Insights.

    • Préfixes d'objets : spécifiez une liste de préfixes pour filtrer les objets dans le bucket. Seuls les objets avec ces préfixes sont traités. Si ce champ est vide, tous les objets du bucket sont traités.

  • Type de job : les opérations de stockage par lot sont compatibles avec les types de job suivants, qui exécutent un seul job par opération par lot.

    • Suppression d'objets : vous pouvez supprimer des objets dans un bucket. Cela est essentiel pour l'optimisation des coûts, la gestion du cycle de vie des données et la conformité avec les règles de suppression des données.

    • Mises à jour des métadonnées : vous pouvez modifier les métadonnées d'objet suivantes :

      • Métadonnées personnalisées : vous pouvez mettre à jour toutes les paires clé-valeur définies par l'utilisateur associées à l'objet.

      • Métadonnées fixes : vous pouvez mettre à jour Cache-Control, Content-Disposition, Content-Encoding, Content-Language, Content-Type, Custom-Time, et Retention configuration. Pour modifier les obligations de conservation d'objets, utilisez le type de job de mises à jour des obligations de conservation d'objets.

    • Mises à jour des obligations de conservation d'objets : vous pouvez activer ou désactiver les obligations de conservation d'objets. Les obligations de conservation d'objets empêchent la suppression ou la modification des objets, ce qui est essentiel à des fins de conformité et de conservation des données.

    • Mises à jour des clés de chiffrement d'objets : vous pouvez gérer les clés de chiffrement gérées par le client pour un ou plusieurs objets. Cela inclut l'application ou la modification de clés de chiffrement à l'aide de la méthode de réécriture d'objets.

    • Mises à jour du contexte d'objet : vous pouvez gérer les contextes d'objet associés à vos objets. Vous pouvez effacer tous les contextes d'objet existants ou effectuer des mises à jour spécifiques, telles que la suppression de clés ou l'insertion et la mise à jour de paires clé-valeur.

  • Simulation (facultatif) : vous pouvez créer un job d'opérations de stockage par lot en mode de simulation pour comprendre la portée et le résultat de votre opération sans apporter de modifications à vos objets. Une simulation simule l'opération, mais n'effectue aucune transformation, ce qui vous permet de valider la configuration de votre job avant de l'exécuter. Le résultat de la simulation fournit les informations suivantes :

    • Nombre d'objets qui seront affectés.

    • Erreurs potentielles pouvant survenir.

    • Si vous utilisez des préfixes d'objets pour la sélection d'objets, le résultat inclut également la taille totale des objets qui seront affectés.

Tarifs

Pour estimer les frais d'opération liés à l'exécution d'un job d'opérations de stockage par lot, et vérifier les frais de liste d'objets pour une simulation, consultez Tarifs de Cloud Storage.

Une simulation vous permet de valider la configuration de votre job d'opérations de stockage par lot à l'avance, sans engendrer de coûts d'opération réels, bien qu'elle puisse entraîner des coûts de liste d'objets.

Limites

Les opérations de stockage par lot sont soumises aux limites suivantes :

  • La durée de vie maximale des jobs d'opérations de stockage par lot est de 14 jours. Tout job en cours qui n'est pas terminé dans les 14 jours suivant sa création est automatiquement annulé.

  • Lorsque vous spécifiez des préfixes d'objets pour un job, vous pouvez inclure jusqu'à 1 000 préfixes.

  • Nous vous déconseillons d'exécuter plus de 20 jobs d'opérations par lot simultanés sur le même bucket.

  • Les opérations de stockage par lot ne sont pas compatibles avec les buckets pour lesquels les paiements du demandeur sont activés.

Étape suivante