Configura el acceso a una fuente: Amazon S3

Puedes configurar el acceso a un bucket de Amazon S3 mediante uno de estos dos métodos:

Regiones admitidas

El Servicio de transferencia de almacenamiento admite las siguientes regiones de Amazon S3:
af-south-1
ap-east-1
ap-northeast-1
ap-northeast-2
ap-northeast-3
ap-south-1
ap-south-2
ap-southeast-1
ap-southeast-2
ap-southeast-3
 ap-southeast-4
ca-central-1
ca-west-1
eu-central-1
eu-central-2
eu-north-1
eu-south-1
eu-south-2
eu-west-1
eu-west-2 		eu-west-3
il-central-1
me-central-1
me-south-1
sa-east-1
us-east-1
us-east-2
us-west-1
us-west-2 		us-gov-east-1
us-gov-west-1
Las transferencias que usan la red privada administrada admiten las siguientes regiones de AWS:
ap-east-1
ap-northeast-1
ap-northeast-2
ap-northeast-3
ap-south-1
ap-south-2
ap-southeast-1
ca-central-1
ca-west-1
eu-central-1
eu-central-2
 eu-north-1
eu-south-1
eu-south-2
eu-west-1
eu-west-2
eu-west-3
us-east-1
us-east-2
us-west-1
us-west-2 		 

Permisos necesarios

Si deseas usar el Servicio de transferencia de almacenamiento para mover datos de un bucket de Amazon S3, tu cuenta de usuario o rol de identidad federada debe tener los permisos adecuados para el bucket:

Permiso Descripción Use
s3:ListBucket Permite que Servicio de transferencia de almacenamiento enumere objetos en el bucket. Uso obligatorio.
s3:GetObject Permite que Servicio de transferencia de almacenamiento lea objetos en el bucket. Es obligatorio si transfieres la versión actual de todos los objetos. Si el manifiesto especifica una versión de objeto, usa s3:GetObjectVersion en su lugar.
s3:GetObjectVersion Permite que Servicio de transferencia de almacenamiento lea versiones específicas de objetos en el bucket. Obligatorio si tu manifiesto especifica una versión de objeto. De lo contrario, usa s3:GetObject.
s3:DeleteObject Permite que Servicio de transferencia de almacenamiento borre objetos en el bucket. Se requiere si establece deleteObjectsFromSourceAfterTransfer en true.

Autentícate con credenciales de acceso

Para usar un ID de clave de acceso y una clave secreta para autenticarse en AWS, siga estos pasos:

  1. Crea un usuario de Identity and Access Management de AWS (IAM de AWS) con un nombre que puedas reconocer, como transfer-user.

  2. En Tipo de acceso de AWS, selecciona Clave de acceso: acceso programático.

  3. Otorga uno de los siguientes roles al usuario:

    • AmazonS3ReadOnlyAccess para proporcionar acceso de solo lectura a la fuente Esto permite las transferencias, pero no admite el borrado de objetos en la fuente una vez que se completa la transferencia.
    • AmazonS3FullAccess si tu transferencia está configurada para borrar objetos en la fuente

    • Un rol personalizado con los permisos adecuados de la tabla Permisos requeridos El JSON para los permisos mínimos se ve como el siguiente ejemplo:

      Regiones estándar de AWS 

      {
"Version": "2012-10-17",
"Statement": [
  {
    "Effect": "Allow",
    "Action": [
      "s3:GetObject",
      "s3:ListBucket"
    ],
    "Resource": [
      "arn:aws:s3:::S3_BUCKET_NAME/*",
      "arn:aws:s3:::S3_BUCKET_NAME"
    ]
  }
]
}

      Regiones de AWS GovCloud 

      {
"Version": "2012-10-17",
"Statement": [
  {
    "Effect": "Allow",
    "Action": [
      "s3:GetObject",
      "s3:ListBucket"
    ],
    "Resource": [
      "arn:aws-us-gov:s3:::S3_BUCKET_NAME/*",
      "arn:aws-us-gov:s3:::S3_BUCKET_NAME"
    ]
  }
]
}

  4. Anota el ID de clave de acceso y la clave de acceso secreta cuando se cree el usuario correctamente.

La forma en que pasas el ID de clave de acceso y la clave de acceso secreta al Servicio de transferencia de almacenamiento depende de la interfaz que uses para iniciar la transferencia.

Consola de Google Cloud

Ingresa los valores directamente en el formulario de creación del trabajo de transferencia.

Consulta Crea transferencias para comenzar.

gcloud CLI

Crea un archivo JSON con el siguiente formato:

{
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}

Pasa la ubicación del archivo al comando gcloud transfer jobs create con la marca source-creds-file:

gcloud transfer jobs create s3://S3_BUCKET_NAME gs://GCS_BUCKET_NAME \
  --source-creds-file=PATH/TO/KEYFILE.JSON

API de REST

Tu objeto transferSpec debe contener la información clave como parte del objeto awsS3DataSource:

"transferSpec": {
  "awsS3DataSource": {
    "bucketName": "S3_BUCKET_NAME",
    "awsAccessKey": {
      "accessKeyId": "AWS_ACCESS_KEY_ID",
      "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
    }
  },
  "gcsDataSink": {
    "bucketName": "GCS_BUCKET_NAME"
  }
}

Bibliotecas cliente

Consulta los ejemplos en la página Crea transferencias.

Guarda tus credenciales de acceso en Secret Manager

Secret Manager es un servicio seguro que almacena y administra datos sensibles, como contraseñas. Utiliza una encriptación sólida, control de acceso basado en roles y registros de auditoría para proteger tus secretos.

El Servicio de transferencia de almacenamiento puede aprovechar Secret Manager para proteger tus credenciales de acceso a AWS. Cargas tus credenciales en Secret Manager y, luego, pasas el nombre del recurso secreto al Servicio de transferencia de almacenamiento.

Habilita la API

Habilitar la API de Secret Manager.

Roles necesarios para habilitar las APIs

Para habilitar APIs, necesitas el permiso serviceusage.services.enable. Si creaste el proyecto, es probable que ya tengas este permiso a través del rol de propietario (roles/owner). De lo contrario, puedes obtener este permiso a través del rol de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin). Obtén más información para otorgar roles.

Habilitar la API

Configura permisos adicionales

Permisos de usuario

El usuario que crea el secreto requiere el siguiente rol:

  • Administrador de Secret Manager (roles/secretmanager.admin)

Obtén más información para otorgar un rol.

Permisos del agente de servicio

El agente de servicio del Servicio de transferencia de almacenamiento requiere el siguiente rol de IAM:

  • Usuario con acceso a secretos de Secret Manager (roles/secretmanager.secretAccessor)

Para otorgar el rol al agente de servicio, haz lo siguiente:

Consola de Google Cloud

  1. Sigue las instrucciones para recuperar el correo electrónico de tu agente de servicio.

  2. Ve a la página IAM en la consola de Google Cloud .

    Ir a IAM

  3. Haz clic en Otorgar acceso.

  4. En el campo Principales nuevas, ingresa el correo electrónico del agente de servicio.

  5. En el menú desplegable Selecciona un rol, busca y selecciona Secret Manager Secret Accessor.

  6. Haz clic en Guardar.

gcloud CLI

Usa el comando gcloud projects add-iam-policy-binding para agregar el rol de IAM a tu agente de servicio.

  1. Sigue las instrucciones para recuperar el correo electrónico de tu agente de servicio.

  2. En la línea de comandos, ingresa el siguiente comando:

    gcloud projects add-iam-policy-binding PROJECT_ID \
  --member='serviceAccount:SERVICE_AGENT_EMAIL' \
  --role='roles/secretmanager.secretAccessor'

Crea un secreto

Crea un secreto con Secret Manager:

Consola de Google Cloud

  1. Ve a la página de Secret Manager en la Google Cloud consola.

    Ir a Secret Manager

  2. Haz clic en Crear secreto.

  3. Ingresa un nombre.

  4. En el campo Valor del secreto, ingresa tus credenciales con el siguiente formato:

    {
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}

  5. Haz clic en Crear secreto.

  6. Una vez que se haya creado el secreto, anota su nombre completo del recurso:

    1. Selecciona la pestaña Descripción general.

    2. Copia el valor de Resource ID. Usa el siguiente formato:

      projects/1234567890/secrets/SECRET_NAME

gcloud CLI

Para crear un Secret nuevo con la gcloud CLI, pasa las credenciales con formato JSON al comando gcloud secrets create:

printf '{
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}' | gcloud secrets create SECRET_NAME --data-file=-

Recupera el nombre completo del recurso del secreto:

gcloud secrets describe SECRET_NAME

Ten en cuenta el valor de name en la respuesta. Usa el siguiente formato:

projects/1234567890/secrets/SECRET_NAME

Para obtener más detalles sobre cómo crear y administrar secretos, consulta la documentación de Secret Manager.

Pasa tu secreto al comando de creación del trabajo

Para usar Secret Manager con el Servicio de transferencia de almacenamiento, debes usar la API de REST para crear un trabajo de transferencia.

Pasa el nombre del recurso de Secret Manager como el valor del campo transferSpec.awsS3DataSource.credentialsSecret:

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "description": "Transfer with Secret Manager",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "awsS3DataSource": {
      "bucketName": "S3_BUCKET_NAME",
      "credentialsSecret": "SECRET_RESOURCE_ID",
    },
    "gcsDataSink": {
      "bucketName": "GCS_BUCKET_NAME"
    }
  }
}

Autentica con identidad federada

Para usar la identidad federada para autenticarte en AWS, haz lo siguiente:

  1. Crea un nuevo rol de IAM en AWS.

  2. Selecciona Política de confianza personalizada como el tipo de entidad de confianza.

  3. Copia y pega la siguiente política de confianza:

    {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Federated": "accounts.google.com"
      },
      "Action": "sts:AssumeRoleWithWebIdentity",
      "Condition": {
        "StringEquals": {
          "accounts.google.com:sub": "SUBJECT_ID"
        }
      }
    }
  ]
}

  4. Reemplaza SUBJECT_ID por el subjectID del agente de servicio que se crea automáticamente cuando comienzas a usar el Servicio de transferencia de almacenamiento. Para recuperar el subjectID, haz lo siguiente:

    1. Ve a la página de referencia de googleServiceAccounts.get.

      Se abrirá un panel interactivo con el título Prueba este método.

    2. En el panel, en Parámetros de solicitud, ingresa el ID del proyecto. El proyecto que especifiques aquí debe ser el proyecto que usas para administrar el Servicio de transferencia de almacenamiento.

    3. Haz clic en Ejecutar. El subjectId se incluye en la respuesta.

  5. Otorga una de las siguientes políticas de permisos al rol:

    • AmazonS3ReadOnlyAccess proporciona acceso de solo lectura a la fuente. Esto permite las transferencias, pero no admite el borrado de objetos en la fuente una vez que se completa la transferencia.
    • AmazonS3FullAccess si tu transferencia está configurada para borrar objetos en la fuente

    • Un rol personalizado con los permisos adecuados de la tabla Permisos requeridos El JSON para los permisos mínimos se ve como el siguiente ejemplo:

      Regiones estándar de AWS 

      {
"Version": "2012-10-17",
"Statement": [
  {
    "Effect": "Allow",
    "Action": [
      "s3:GetObject",
      "s3:ListBucket"
    ],
    "Resource": [
      "arn:aws:s3:::S3_BUCKET_NAME/*",
      "arn:aws:s3:::S3_BUCKET_NAME"
    ]
  }
]
}

      Regiones de AWS GovCloud 

      {
"Version": "2012-10-17",
"Statement": [
  {
    "Effect": "Allow",
    "Action": [
      "s3:GetObject",
      "s3:ListBucket"
    ],
    "Resource": [
      "arn:aws-us-gov:s3:::S3_BUCKET_NAME/*",
      "arn:aws-us-gov:s3:::S3_BUCKET_NAME"
    ]
  }
]
}

  6. Asigna un nombre al rol y créalo.

Una vez creado, consulta los detalles del rol para recuperar su Amazon Resource Name (ARN). Ten en cuenta este valor, ya que tiene uno de los siguientes formatos:

  • Para las regiones estándar de AWS: arn:aws:iam::AWS_ACCOUNT:role/AWS_ROLE_NAME
  • Para las regiones de AWS GovCloud: arn:aws-us-gov:iam::AWS_ACCOUNT:role/AWS_ROLE_NAME

La forma en que pasas el ARN del rol al Servicio de transferencia de almacenamiento depende de la interfaz que uses para iniciar la transferencia.

Consola de Google Cloud

Ingresa el ARN del rol directamente en el formulario de creación del trabajo de transferencia.

Consulta Crea transferencias para comenzar.

gcloud CLI

Crea un archivo JSON con el siguiente formato:

{
  "roleArn": "AWS_ROLE_ARN"
}

Pasa la ubicación del archivo al comando gcloud transfer jobs create con la marca source-creds-file:

gcloud transfer jobs create s3://S3_BUCKET_NAME gs://GCS_BUCKET_NAME \
  --source-creds-file=PATH/TO/ARNFILE.JSON

API de REST

Tu objeto transferSpec debe contener la información del ARN del rol como parte del objeto awsS3DataSource:

"transferSpec": {
  "awsS3DataSource": {
    "bucketName": "AWS_SOURCE_NAME",
    "roleArn": "AWS_ROLE_ARN"
  },
  "gcsDataSink": {
    "bucketName": "GCS_BUCKET_NAME"
  }
}

Bibliotecas cliente

Consulta los ejemplos en la página Crea transferencias.

Restricciones de IP

Si tu proyecto de AWS usa restricciones de IP para acceder al almacenamiento, debes agregar los rangos de IP que usan los trabajadores del Servicio de transferencia de almacenamiento a tu lista de IPs permitidas.

Debido a que estos rangos de IP pueden cambiar, publicamos los valores actuales como un archivo JSON en una dirección permanente:

https://www.gstatic.com/storage-transfer-service/ipranges.json

Cuando se agrega un rango nuevo al archivo, esperaremos al menos 7 días antes de usar ese rango para las solicitudes del Servicio de transferencia de almacenamiento.

Te recomendamos que extraigas datos de este documento al menos una vez por semana para mantener actualizada tu configuración de seguridad. Para ver un ejemplo de una secuencia de comandos de Python que recupera rangos de IP de un archivo JSON, consulta este artículo de la documentación de la nube privada virtual.

Para agregar estos rangos como IPs permitidas, usa el campo Condition en una política de bucket, como se describe en la documentación de AWS S3: Administración del acceso según direcciones IP específicas.