El Servicio de transferencia de almacenamiento admite transferencias desde sistemas de almacenamiento de objetos locales o en la nube que son compatibles con la API de Amazon S3.
El Servicio de transferencia de almacenamiento accede a tus datos en el almacenamiento compatible con S3 con agentes de transferencia implementados en VMs cercanas a la fuente de datos. Estos agentes se ejecutan en un contenedor de Docker y pertenecen a un grupo de agentes, que es una colección de agentes que usan la misma configuración y que mueven tus datos de forma colectiva y en paralelo.
Esta función te permite migrar del almacenamiento de objetos local o en la nube a Cloud Storage, archivar datos para liberar capacidad de almacenamiento local, replicar datos en Google Cloud para la continuidad empresarial o transferir datos a Google Cloud para su análisis y procesamiento. Para los clientes que migran de AWS S3 a Cloud Storage, esta función brinda una opción para controlar las rutas de red a Google Cloud, lo que genera cargos de transferencia de datos salientes considerablemente menores.
Antes de comenzar
Antes de configurar las transferencias, completa los siguientes pasos:
- Instala gcloud CLI.
- Cumple con los requisitos para las transferencias del sistema de archivos, lo que incluye instalar Docker en la máquina del agente de transferencia.
Requisitos previos
Antes de configurar la transferencia, asegúrate de haber configurado lo siguiente:
- Permisos del usuario: Asegúrate de que tu cuenta de usuario o cuenta de servicio administrada por el usuario tenga permiso para configurar transferencias y grupos de agentes. Consulta Permisos de usuario obligatorios.
- Permisos a nivel de proyecto basados en agentes: Asegúrate de haber configurado los roles necesarios a nivel de proyecto para tu agente de servicio y tu cuenta de agente de transferencia. Consulta Permisos a nivel del proyecto basados en agentes.
- Permisos compatibles con S3 de origen: Obtén credenciales de API con permisos de lectura para el bucket de origen. Consulta Configura el acceso a una fuente: almacenamiento compatible con S3.
- Permisos del bucket de destino: Otorga los permisos necesarios en tu bucket de Cloud Storage de destino. Consulta Configura el acceso a un receptor: Cloud Storage.
Opciones de transferencia
Las siguientes funciones del Servicio de transferencia de almacenamiento están disponibles para las transferencias desde el almacenamiento compatible con S3 a Cloud Storage:
- Transfiere archivos específicos con un manifiesto
- Puedes pasar una lista de archivos para que el Servicio de transferencia de almacenamiento realice acciones. Consulta Transfiere objetos o archivos específicos con un manifiesto para obtener más detalles.
- Especifica la clase de almacenamiento
- Puedes especificar la
clase de almacenamiento de Cloud Storage que se usará para tus datos en el bucket
de destino. Consulta las
opciones de
StorageClasspara obtener detalles de REST o usa la marca--custom-storage-classcon Google Cloud CLI.Ten en cuenta que se ignorará cualquier configuración de clase de almacenamiento si el bucket de destino tiene habilitada la Autoclass. Si Autoclass está habilitada, los objetos transferidos al bucket se configuran inicialmente en Standard Storage.
- Conservación de metadatos
-
Cuando se transfieren archivos desde un almacenamiento compatible con S3, el Servicio de transferencia de almacenamiento puede conservar de manera opcional ciertos atributos como metadatos personalizados.
Consulta la sección Amazon S3 o almacenamiento compatible con S3 a Cloud Storage de Preservación de metadatos para obtener detalles sobre qué metadatos se pueden conservar y cómo configurar la transferencia.
- Registro y supervisión
- Las transferencias desde el almacenamiento compatible con S3 se pueden ver en Cloud Logging y Cloud Monitoring. Consulta Cloud Logging para el Servicio de transferencia de almacenamiento y Supervisa los trabajos de transferencia para obtener más detalles. También puedes configurar las notificaciones de Pub/Sub.
Crea un grupo de agentes
Para crear un grupo de agentes, haz lo siguiente:
Consola de Google Cloud
En la consola de Google Cloud , ve a la página Grupos de agentes.
Se mostrará la página Grupos de agentes, que enumera tus grupos de agentes existentes.
Haz clic en Crear otro grupo.
Asigna un nombre a tu grupo y, de manera opcional, una descripción.
Puedes optar por establecer un límite de ancho de banda que se aplicará al grupo en general. El ancho de banda especificado en MB/s se dividirá entre todos los agentes del grupo. Para obtener más información, consulta Administrar el ancho de banda de red.
Haga clic en Crear.
API de REST
Usa projects.agentPools.create:
POST https://storagetransfer.googleapis.com/v1/projects/PROJECT_ID/agentPools?agent_pool_id=AGENT_POOL_ID
Reemplaza lo siguiente:
PROJECT_ID: Es el ID del proyecto en el que creas el grupo de agentes.AGENT_POOL_ID: Es el ID del grupo de agentes que creas.
Si un grupo de agentes se detuvo en el estado Creating durante más de 30 minutos, recomendamos borrar el grupo de agentes y volver a crearlo.
Revocar los permisos necesarios del Servicio de transferencia de almacenamiento de un proyecto mientras un grupo de agentes está en el estado Creating genera un comportamiento de servicio incorrecto.
CLI de gcloud
Para crear un grupo de agentes con la herramienta de línea de comandos de gcloud, ejecuta gcloud transfer agent-pools create.
gcloud transfer agent-pools create AGENT_POOL
Las siguientes opciones están disponibles:
AGENT_POOL es un identificador único y permanente para este grupo.
--no-asyncbloquea otras tareas en tu terminal hasta que se cree el grupo. Si no se incluye, la creación de grupos se ejecuta de forma asíncrona.--bandwidth-limitdefine cuánto ancho de banda de MB/s debe estar disponible para los agentes de este grupo. Un límite de ancho de banda se aplica a todos los agentes de un grupo y puede ayudar a evitar que la carga de trabajo de transferencia del grupo interrumpa otras operaciones que comparten el ancho de banda. Por ejemplo, ingresa “50” para establecer un límite de ancho de banda de 50 MB/s. Si dejas esta marca sin especificar, los agentes del grupo usarán todo el ancho de banda disponible para ellos.--display-namees un nombre modificable que te ayuda a identificar este grupo. Puedes incluir detalles que podrían no caber en el nombre completo del recurso del grupo.
Instala agentes de transferencia
Los agentes de transferencia son agentes de software que coordinan las actividades de transferencia desde tu fuente a través del Servicio de transferencia de almacenamiento. Deben instalarse en un sistema con acceso a tus datos de origen.
gcloud CLI
Para instalar agentes que se usarán con una fuente compatible con S3 con la CLI de gcloud,
usa el comando transfer agents install.
Debes proporcionar credenciales de acceso como variables de entorno, como los
valores de AWS_ACCESS_KEY_ID y AWS_SECRET_ACCESS_KEY, o almacenadas como
credenciales predeterminadas en los archivos de configuración de tu sistema.
export AWS_ACCESS_KEY_ID=ID
export AWS_SECRET_ACCESS_KEY=SECRET
gcloud transfer agents install --pool=POOL_NAME
Para ejecutar agentes mediante una clave de cuenta de servicio, usa la opción --creds-file:
gcloud transfer agents install --pool=POOL_NAME \
--creds-file=/relative/path/to/service-account-key.json
Crear un trabajo de transferencia
Consola de Google Cloud
Sigue estos pasos para crear una transferencia desde una fuente compatible con S3 a un bucket de Cloud Storage.
Ve a la página Servicio de transferencia de almacenamiento en la consola de Google Cloud .
Haz clic en Crear trabajo de transferencia. Se muestra la página Crea un trabajo de transferencia.
Selecciona almacén de objetos compatible con S3 como el tipo de fuente. El destino debe ser Cloud Storage.
Haz clic en Próximo paso.
Configura la fuente
Especifica la información requerida para esta transferencia:
Selecciona el grupo de agentes que configuraste para esta transferencia.
Ingresa el Nombre del bucket relativo al extremo. Por ejemplo, si tus datos residen en:
https://example.com/bucket_aIngresa:
bucket_aIngresa el Extremo. No incluyas el protocolo (
http://ohttps://) ni el nombre del bucket. Por ejemplo:example.com
Especifica los atributos opcionales para esta transferencia:
Ingresa la Región de firma que se usará para firmar las solicitudes.
Elige el Proceso de firma para esta solicitud.
Selecciona el Estilo de asignación. Esto determina si el nombre del bucket se proporciona con el estilo de ruta de acceso (p.ej.,
https://example.com/bucket-name/key-name) o con el estilo de hosting virtual (p.ej.,https://bucket-name.example.com/key-name). Lee Hosting virtual de buckets en la documentación de Amazon para obtener más información.Selecciona el Protocolo de red.
Selecciona la versión de la API de fichas que quieres usar. Consulta la documentación de ListObjectsV2 y ListObjects para obtener más información.
Haz clic en Próximo paso.
Configura tu receptor
En el campo Bucket o carpeta, ingresa el bucket de destino y el nombre de la carpeta (opcional) o haz clic en Explorar para seleccionar un bucket de una lista de buckets existentes en tu proyecto actual. Para crear un bucket nuevo, haz clic en
Crear nuevo bucket.Haz clic en Próximo paso.
Elige la configuración de la transferencia
En el campo Descripción, ingresa una descripción de la transferencia. Como práctica recomendada, ingresa una descripción que sea significativa y única para que puedas distinguir los trabajos.
En Opciones de metadatos, selecciona las opciones predeterminadas o haz clic en Ver y seleccionar opciones para especificar los valores de todos los metadatos admitidos. Consulta Conservación de metadatos para obtener más información.
En Cuándo reemplazar, selecciona una de las siguientes opciones:
Si es diferente: Sobrescribe los archivos de destino si el archivo de origen con el mismo nombre tiene diferentes ETags o valores de suma de comprobación.
Siempre: Siempre escribe archivos de destino cuando el archivo de origen tiene el mismo nombre, incluso si son idénticos.
En Cuándo borrar, selecciona una de las siguientes opciones:
Nunca: Nunca borres archivos de origen o de destino.
Borrar archivos de la fuente después de la transferencia: Borra los archivos de la fuente después de transferirlos al destino. Si no se transfiere un archivo de origen, por ejemplo, porque ya existe en el destino, no se borra el archivo de origen.
Borra los archivos del destino si no están también en el origen: Si los archivos en el bucket de Cloud Storage de destino no están también en el origen, borra los archivos del bucket de Cloud Storage.
Esta opción garantiza que el bucket de destino de Cloud Storage coincida exactamente con tu fuente.
En Opciones de notificación, selecciona tu tema de Pub/Sub y los eventos a los que deseas notificar. Consulta las notificaciones de Pub/Sub para obtener más detalles.
Haz clic en Próximo paso.
Programa la transferencia
Puedes programar la transferencia para que se ejecute una sola vez o configurar una transferencia recurrente.
Haz clic en Crear para crear el trabajo de transferencia.
gcloud CLI
Antes de usar la CLI de gcloud para crear una transferencia, sigue las instrucciones que se indican en
Configura el acceso a un receptor de Cloud Storage.
Para usar la CLI de gcloud y crear una transferencia desde una fuente compatible con S3 a
un bucket de Cloud Storage, usa el siguiente comando.
gcloud transfer jobs create s3://SOURCE_BUCKET_NAME gs://SINK_BUCKET_NAME \
--source-agent-pool=POOL_NAME \
--source-endpoint=ENDPOINT \
--source-signing-region=REGION \
--source-auth-method=AWS_SIGNATURE_V2 | AWS_SIGNATURE_V4 \
--source-request-model=PATH_STYLE | VIRTUAL_HOSTED_STYLE \
--source-network-protocol=HTTP | HTTPS \
--source-list-api=LIST_OBJECTS | LIST_OBJECTS_V2
Las siguientes marcas son obligatorias:
--source-agent-pooles el nombre del grupo de agentes que se usará para esta transferencia.--source-endpointespecifica el extremo del sistema de almacenamiento. Por ejemplo,s3.us-east.example.com. Consulta con tu proveedor para obtener el formato correcto. No incluyas el protocolo (p.ej.,https://) ni el nombre del bucket.
Las marcas restantes son opcionales:
--source-signing-regionespecifica una región para firmar las solicitudes. Omite esta marca si tu proveedor de almacenamiento no necesita una región de firma.--source-auth-methodespecifica el método de autenticación que se usará. Los valores válidos sonAWS_SIGNATURE_V2oAWS_SIGNATURE_V4. Consulta la documentación de SigV4 y SigV2 de Amazon para obtener más información.--source-request-modelespecifica el estilo de asignación que se usará. Los valores válidos sonPATH_STYLEoVIRTUAL_HOSTED_STYLE. El estilo de ruta de acceso usa el formatohttps://s3.REGION.example.com/BUCKET_NAME/KEY_NAME. El estilo de host virtual usa el formatohttps://BUCKET_NAME.s3.REGION.example.com/KEY_NAME.--source-network-protocolespecifica el protocolo de red que los agentes deben usar para este trabajo. Los valores válidos sonHTTPoHTTPS.--source-list-apiespecifica la versión de la API de S3 para mostrar objetos del bucket. Los valores válidos sonLIST_OBJECTSoLIST_OBJECTS_V2. Consulta la documentación de ListObjectsV2 y ListObjects de Amazon para obtener más información.
Para obtener opciones adicionales de trabajos de transferencia, ejecuta gcloud transfer jobs create --help
o consulta la documentación de referencia de gcloud.
API de REST
Antes de usar la API de REST para crear una transferencia, sigue las instrucciones que se indican en Configura el acceso a un receptor de Cloud Storage.
Para crear una transferencia desde una fuente compatible con S3 con la API de REST, crea un objeto JSON similar al siguiente ejemplo.
POST https://storagetransfer.googleapis.com/v1/transferJobs { "projectId": "PROJECT_ID", "status": "ENABLED", "transferSpec": { "sourceAgentPoolName": "projects/PROJECT_ID/agentPools/POOL_NAME", "awsS3CompatibleDataSource": { "region": "us-east-1", "s3Metadata": { "protocol": "NETWORK_PROTOCOL_HTTPS", "requestModel": "REQUEST_MODEL_VIRTUAL_HOSTED_STYLE", "authMethod": "AUTH_METHOD_AWS_SIGNATURE_V4" }, "endpoint": "example.com", "bucketName": "BUCKET_NAME", "path": "PATH" }, "gcsDataSink": { "bucketName": "SINK_NAME", "path": "SINK_PATH" }, "transferOptions": { "deleteObjectsFromSourceAfterTransfer": false } } }
Consulta la referencia de la API de AwsS3CompatibleData para obtener descripciones de los campos.
Bibliotecas cliente
Antes de usar las bibliotecas cliente para crear una transferencia, sigue las instrucciones que se indican en Configura el acceso a un receptor de Cloud Storage.
Go
Para obtener información sobre cómo instalar y usar la biblioteca cliente del Servicio de transferencia de almacenamiento, consulta las bibliotecas cliente del Servicio de transferencia de almacenamiento. Para obtener más información, consulta la documentación de referencia de la API de Servicio de transferencia de almacenamiento Go.
Para autenticarte en el Servicio de transferencia de almacenamiento, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Java
Para obtener información sobre cómo instalar y usar la biblioteca cliente del Servicio de transferencia de almacenamiento, consulta las bibliotecas cliente del Servicio de transferencia de almacenamiento. Para obtener más información, consulta la documentación de referencia de la API de Servicio de transferencia de almacenamiento Java.
Para autenticarte en el Servicio de transferencia de almacenamiento, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Node.js
Para obtener información sobre cómo instalar y usar la biblioteca cliente del Servicio de transferencia de almacenamiento, consulta las bibliotecas cliente del Servicio de transferencia de almacenamiento. Para obtener más información, consulta la documentación de referencia de la API de Servicio de transferencia de almacenamiento Node.js.
Para autenticarte en el Servicio de transferencia de almacenamiento, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Python
Para obtener información sobre cómo instalar y usar la biblioteca cliente del Servicio de transferencia de almacenamiento, consulta las bibliotecas cliente del Servicio de transferencia de almacenamiento. Para obtener más información, consulta la documentación de referencia de la API de Servicio de transferencia de almacenamiento Python.
Para autenticarte en el Servicio de transferencia de almacenamiento, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Preguntas frecuentes
¿Qué sucede si mi proveedor compatible con S3 usa un certificado SSL personalizado?
Si tu proveedor compatible con S3 usa un certificado SSL que no emite una
autoridad certificadora pública, es posible que tus transferencias fallen con un error de TLS. Para
resolver este problema, activa el certificado raíz del proveedor en el contenedor del agente de transferencia
en /etc/ssl/certs/CERT_FILE con la marca -v
de Docker.
Por ejemplo:
sudo docker run --ulimit memlock=64000000 -d --rm \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ -v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \ -v /path/to/your/CERT_FILE:/etc/ssl/certs/CERT_FILE \ -e AWS_ACCESS_KEY_ID=AWS_ACCESS_KEY_ID \ -e AWS_SECRET_ACCESS_KEY=AWS_SECRET_ACCESS_KEY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --creds-file=/etc/gcloud/key.json \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
¿Tiene algún costo transferir datos desde un almacenamiento compatible con S3?
Las transferencias desde el almacenamiento compatible con S3 no generan la tarifa de "Transferencias del Servicio de transferencia de almacenamiento que requieren agentes". Consulta Precios para conocer otras tarifas que se puedan aplicar. Es posible que el proveedor de servicios en la nube de origen también aplique cargos operativos y de transferencia de datos salientes.
¿Se admite Cloud Logging para las transferencias de almacenamiento compatible con S3?
Sí, puedes habilitar Cloud Logging para tus transferencias siguiendo las instrucciones que se indican en Cloud Logging para el Servicio de transferencia de almacenamiento.
¿Se admiten las transferencias con un manifiesto?
Sí, los archivos de manifiesto son compatibles con las transferencias compatibles con S3.
Si agrego un objeto al bucket de origen después de que se inicia el trabajo, ¿se transfiere ese objeto?
El Servicio de transferencia de almacenamiento realiza una operación de lista en el bucket de origen para calcular la diferencia con el destino. Si la operación de lista ya se completó cuando se agrega el objeto nuevo, ese objeto se omite hasta la próxima transferencia.
¿El Servicio de transferencia de almacenamiento realiza la coincidencia de sumas de comprobación en fuentes compatibles con S3?
El Servicio de transferencia de almacenamiento depende de que la fuente devuelva los datos de la suma de comprobación. Para el almacenamiento compatible con S3, el Servicio de transferencia de almacenamiento espera que la Etag del objeto sea el hash MD5 del objeto.
Sin embargo, los objetos que se transfirieron al almacenamiento compatible con S3 mediante la carga de varias partes de S3 no tienen ETags de MD5. En este caso, el Servicio de transferencia de almacenamiento usa el tamaño del archivo para validar el objeto transferido.
¿Qué capacidad de procesamiento se puede lograr para las transferencias desde el almacenamiento compatible con S3?
Para escalar la capacidad de procesamiento de la transferencia, puedes agregar más agentes de transferencia. Recomendamos usar 3 agentes para la tolerancia a errores y para llenar una canalización de <10 Gbps. Para escalar más, agrega más agentes. Se pueden agregar y quitar agentes mientras se realiza una transferencia.
¿Dónde se deben implementar los agentes de transferencia para transferir datos de Amazon S3 a Cloud Storage?
Puedes instalar agentes en Amazon EC2 o EKS dentro de la misma región que tu bucket. También puedes ejecutar agentes en Google Cloud en la región más cercana.