El Servicio de transferencia de Storage usa los metadatos disponibles en el sistema de almacenamiento de origen, como las sumas de comprobación y los tamaños de los archivos, para asegurarse de que los datos escritos en Cloud Storage sean los mismos que los leídos de la fuente.
Cuando los metadatos de suma de comprobación están disponibles
Si los metadatos de suma de comprobación están disponibles en la fuente, el Servicio de transferencia de Storage usa la validación de suma de comprobación de extremo a extremo. Si los metadatos de suma de comprobación del sistema de almacenamiento de origen indican que los datos que ha recibido el Servicio de transferencia de Storage no coinciden con los datos de origen, el Servicio de transferencia de Storage registra un error en la operación de transferencia. Entre los sistemas de almacenamiento que incluyen metadatos de suma de comprobación se encuentran la mayoría de los objetos de Amazon Simple Storage Service (Amazon S3) y Microsoft Azure Blob Storage (con algunas excepciones) y las transferencias HTTP (el usuario proporciona los metadatos de suma de comprobación).
Cuando los metadatos de suma de comprobación no están disponibles
Cuándo pueden ejecutarse los agentes cerca de la fuente
Si los metadatos de la suma de comprobación no están disponibles en el sistema de almacenamiento de origen subyacente, pero se pueden ejecutar agentes de forma local cerca del sistema de almacenamiento de origen, el Servicio de transferencia de Storage intentará leer los datos de origen y calcular una suma de comprobación antes de enviar los datos a Cloud Storage. Esto ocurre al mover datos de sistemas de archivos a Cloud Storage.
Cuando los agentes no pueden ejecutarse cerca de la fuente
Si los metadatos de la suma de comprobación no están disponibles en el sistema de almacenamiento de origen subyacente y los agentes no se pueden ejecutar localmente cerca del sistema de almacenamiento de origen, Storage Transfer Service utiliza los metadatos disponibles, como el tamaño del archivo, para validar que el archivo copiado en Cloud Storage coincide con el archivo de origen.
El Servicio de transferencia de Storage también calcula una suma de comprobación de los datos "sobre la marcha" mientras se transfieren. Una vez que los datos se almacenan en Cloud Storage, el Servicio de transferencia de Storage compara la suma de comprobación que ha calculado con la suma de comprobación final que ha comunicado Cloud Storage. Si las sumas de comprobación no coinciden, la tarea falla y se produce un error DATA_LOSS.
El cálculo de sumas de comprobación sobre la marcha se usa en las transferencias de fuentes que no pueden proporcionar sumas de comprobación, como las siguientes:
Comprobaciones posteriores a la transferencia
Una vez que se haya completado la transferencia, te recomendamos que hagas comprobaciones adicionales de integridad de datos para validar lo siguiente:
- Se copia la versión correcta de los archivos que cambian en el origen.
- Se copia el conjunto y el número de archivos correctos para verificar que has configurado los trabajos de transferencia correctamente.
- Los archivos se han copiado correctamente. Para comprobarlo, verifica los metadatos de los archivos, como las sumas de comprobación, el tamaño, etc.