Filtra objetos de origen por clase de almacenamiento

En el caso de las transferencias desde Amazon S3, puedes filtrar los objetos por su clase de almacenamiento.

De forma predeterminada, cuando se realiza una transferencia desde Amazon S3, sucede lo siguiente:

  • Se transfieren los objetos en clases de almacenamiento estándar y no de archivo, incluido Glacier Instant Retrieval (GLACIER_IR).
  • Los objetos de Glacier Deep Archive (DEEP_ARCHIVE) solo se transfieren si se restablecen.
  • Los objetos en Glacier Flexible Retrieval (GLACIER) se omiten sin importar el estado de restablecimiento.

Cómo especificar una lista de clases de almacenamiento

Para especificar las clases de almacenamiento que se incluirán, haz lo siguiente:

Consola de Google Cloud

Sigue las instrucciones en Transferencias desde Amazon S3 a Cloud Storage.

Después de especificar el origen y el destino de la transferencia, selecciona Filtrar por clase de almacenamiento y elige las clases de almacenamiento que deseas incluir.

gcloud CLI

Esta función no es compatible con gcloud CLI.

REST

Usa la opción transferSpec.objectConditions.includeStorageClasses para especificar las clases de almacenamiento que se incluirán.

Por ejemplo, para transferir solo las clases de almacenamiento STANDARD y GLACIER, haz lo siguiente:

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  "description": "DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_SOURCE_NAME",
          "awsAccessKey": {
            "accessKeyId": "AWS_ACCESS_KEY_ID",
            "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_SINK_NAME"
      },
      "objectConditions": {
          "includeStorageClasses": ["STANDARD", "GLACIER"]
      }
  }
}

Cuando se especifica includeStorageClasses y no está en blanco, solo se transfieren los objetos que pertenecen a las clases de almacenamiento especificadas.

En el caso de las transferencias desde Amazon S3, los valores válidos se enumeran en la documentación de AWS: https://docs.aws.amazon.com/AmazonS3/latest/userguide/sc-howtoset.html.

Objetos archivados

Los objetos en S3 Glacier Deep Archive (DEEP_ARCHIVE) y S3 Glacier Flexible Retrieval (GLACIER) se deben restablecer antes de que se puedan transferir.

El Servicio de transferencia de almacenamiento proporciona contadores para hacer un seguimiento de los objetos archivados que se omitieron durante el proceso de transferencia:

  • unrestoredDeepArchiveObjectsSkippedCount: Es la cantidad de objetos de Glacier Deep Archive (DEEP_ARCHIVE) que se omitieron porque no se restablecieron.
  • unsupportedS3GlacierObjectsSkippedCount: Es la cantidad de objetos de Glacier Flexible Retrieval (GLACIER) que se omitieron porque no se restablecieron o porque GLACIER no se especificó como un tipo de almacenamiento incluido.