Filtrar objetos de origem por classe de armazenamento

Para transferências do Amazon S3, é possível filtrar objetos pela classe de armazenamento.

Por padrão, ao transferir do Amazon S3:

• Os objetos nas classes de armazenamento padrão e não de arquivamento, incluindo Glacier Instant Retrieval (GLACIER_IR), são transferidos.
• Os objetos no Glacier Deep Archive (DEEP_ARCHIVE) só são transferidos se forem restaurados.
• Os objetos na recuperação flexível do Glacier (GLACIER) são ignorados, seja qual for o status da restauração.

Especificar uma lista de classe de armazenamento

Para especificar as classes de armazenamento a serem incluídas:

Console do Google Cloud

Siga as instruções em Transferir do Amazon S3 para o Cloud Storage.

Depois de especificar a origem e o destino da transferência, selecione Filtrar por classe de armazenamento e escolha as classes que você quer incluir.

CLI da gcloud

Esse recurso não é compatível com a CLI gcloud.

REST

Use a opção transferSpec.objectConditions.includeStorageClasses para especificar as classes de armazenamento a serem incluídas.

Por exemplo, para transferir apenas as classes de armazenamento STANDARD e GLACIER:

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  "description": "DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_SOURCE_NAME",
          "awsAccessKey": {
            "accessKeyId": "AWS_ACCESS_KEY_ID",
            "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_SINK_NAME"
      },
      "objectConditions": {
          "includeStorageClasses": ["STANDARD", "GLACIER"]
      }
  }
}

Quando includeStorageClasses é especificado e não está em branco, apenas os objetos pertencentes às classes de armazenamento especificadas são transferidos.

Para transferências do Amazon S3, os valores válidos estão listados na documentação da AWS: https://docs.aws.amazon.com/AmazonS3/latest/userguide/sc-howtoset.html.

Objetos arquivados

Os objetos no S3 Glacier Deep Archive (DEEP_ARCHIVE) e no S3 Glacier Flexible Retrieval (GLACIER) precisam ser restaurados antes de serem transferidos.

O Serviço de transferência do Cloud Storage oferece contadores para rastrear objetos arquivados que foram ignorados durante o processo de transferência:

• unrestoredDeepArchiveObjectsSkippedCount: o número de objetos do Glacier Deep Archive (DEEP_ARCHIVE) que foram ignorados porque não foram restaurados.
• unsupportedS3GlacierObjectsSkippedCount: o número de objetos de recuperação flexível do Glacier (GLACIER) ignorados porque não foram restaurados ou porque GLACIER não foi especificado como um tipo de armazenamento incluído.