Filtrer les objets sources par classe de stockage

Pour les transferts depuis Amazon S3, vous pouvez filtrer les objets par classe de stockage.

Par défaut, lorsque vous effectuez un transfert depuis Amazon S3 :

  • Les objets des classes de stockage standard et non archivées, y compris Glacier Instant Retrieval (GLACIER_IR), sont transférés.
  • Les objets dans Glacier Deep Archive (DEEP_ARCHIVE) ne sont transférés que s'ils sont restaurés.
  • Les objets dans Glacier Flexible Retrieval (GLACIER) sont ignorés, quel que soit leur état de restauration.

Spécifier une liste de classes de stockage

Pour spécifier les classes de stockage à inclure :

Console Google Cloud

Suivez les instructions de la section Transférer des données depuis Amazon S3 vers Cloud Storage.

Après avoir spécifié la source et la destination du transfert, sélectionnez Filtrer par classe de stockage, puis sélectionnez les classes de stockage à inclure.

CLI gcloud

Cette fonctionnalité n'est pas disponible dans la gcloud CLI.

REST

Utilisez l'option transferSpec.objectConditions.includeStorageClasses pour spécifier les classes de stockage à inclure.

Par exemple, pour transférer uniquement les classes de stockage STANDARD et GLACIER :

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  "description": "DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_SOURCE_NAME",
          "awsAccessKey": {
            "accessKeyId": "AWS_ACCESS_KEY_ID",
            "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_SINK_NAME"
      },
      "objectConditions": {
          "includeStorageClasses": ["STANDARD", "GLACIER"]
      }
  }
}

Lorsque includeStorageClasses est spécifié et n'est pas vide, seuls les objets appartenant aux classes de stockage spécifiées sont transférés.

Pour les transferts depuis Amazon S3, les valeurs valides sont listées dans la documentation AWS : https://docs.aws.amazon.com/AmazonS3/latest/userguide/sc-howtoset.html.

Objets archivés

Les objets dans S3 Glacier Deep Archive (DEEP_ARCHIVE) et S3 Glacier Flexible Retrieval (GLACIER) doivent être restaurés avant de pouvoir être transférés.

Le service de transfert de stockage fournit des compteurs pour suivre les objets archivés qui ont été ignorés lors du processus de transfert :

  • unrestoredDeepArchiveObjectsSkippedCount : nombre d'objets Glacier Deep Archive (DEEP_ARCHIVE) ignorés, car ils n'ont pas été restaurés.
  • unsupportedS3GlacierObjectsSkippedCount : nombre d'objets Glacier Flexible Retrieval (GLACIER) ignorés, car ils n'ont pas été restaurés ou parce que GLACIER n'a pas été spécifié comme type de stockage inclus.