El Servicio de transferencia de almacenamiento usa metadatos disponibles del sistema de almacenamiento de origen, como sumas de verificación y tamaños de archivos, para garantizar que los datos escritos en Cloud Storage sean los mismos datos leídos de la fuente.
Cuando los metadatos de la suma de verificación están disponibles
Si los metadatos de la suma de verificación están disponibles en la fuente, el Servicio de transferencia de almacenamiento usa la validación de la suma de verificación de extremo a extremo. Si los metadatos de la suma de verificación en el sistema de almacenamiento de origen indican que los datos recibidos por el Servicio de transferencia de almacenamiento no coinciden con los datos de origen, el Servicio de transferencia de almacenamiento registra un error para la operación de transferencia. Algunos ejemplos de sistemas de almacenamiento que incluyen metadatos de suma de verificación incluyen la mayoría de los objetos de Amazon Simple Storage Service (Amazon S3) y Microsoft Azure Blob Storage (con algunas excepciones) y transferencias HTTP (los metadatos de suma de verificación los proporciona el usuario).
Cuando los metadatos de la suma de verificación no están disponibles
Cuando los agentes pueden ejecutarse cerca de la fuente
Si los metadatos de la suma de verificación no están disponibles en el sistema de almacenamiento de origen subyacente, pero los agentes pueden ejecutarse de forma local cerca del sistema de almacenamiento de origen, el Servicio de transferencia de almacenamiento intenta leer los datos de origen y calcular una suma de verificación antes de enviar los datos a Cloud Storage. Esto ocurre cuando se mueven datos de sistemas de archivos a Cloud Storage.
Cuando los agentes no pueden ejecutarse cerca de la fuente
Si los metadatos de la suma de verificación no están disponibles en el sistema de almacenamiento de origen subyacente y los agentes no pueden ejecutarse de manera local cerca del sistema de almacenamiento de origen, el Servicio de transferencia de almacenamiento usa los metadatos disponibles, como el tamaño del archivo, para validar que el archivo copiado en Cloud Storage coincida con el archivo de origen.
El Servicio de transferencia de almacenamiento también calcula una suma de verificación de los datos "sobre la marcha" a medida que se transfieren. Una vez que los datos se almacenan en Cloud Storage, el Servicio de transferencia de almacenamiento compara la suma de verificación que calculó con la suma de verificación final que informa Cloud Storage. Si las sumas de verificación no coinciden, la tarea falla con un error DATA_LOSS.
Se usa la suma de verificación sobre la marcha para las transferencias desde fuentes que pueden no proporcionar sumas de verificación, como las siguientes:
Después de las verificaciones de transferencias
Una vez que se complete la transferencia, recomendamos realizar verificaciones de integridad de los datos adicionales para validar lo siguiente:
- Que se haya copiado la versión correcta de los archivos, para los archivos que cambian en el origen.
- Que se hayan copiado el conjunto y la cantidad correctos de archivos para verificar que configuraste los trabajos de transferencia de forma correcta.
- Los archivos que se hayan copiado correctamente mediante la verificación de los metadatos en los archivos, como las sumas de verificación de los archivos, el tamaño de los archivos, etcétera.