O serviço de transferência de armazenamento usa metadados disponíveis no sistema de armazenamento de origem, como somas de verificação e tamanhos de ficheiros, para garantir que os dados escritos no Cloud Storage são os mesmos dados lidos da origem.
Quando os metadados de soma de verificação estão disponíveis
Se os metadados de soma de verificação estiverem disponíveis na origem, o serviço de transferência do Storage usa a validação de soma de verificação ponto a ponto. Se os metadados de soma de verificação no sistema de armazenamento de origem indicarem que os dados recebidos pelo serviço de transferência de armazenamento não correspondem aos dados de origem, o serviço de transferência de armazenamento regista uma falha na operação de transferência. Exemplos de sistemas de armazenamento que incluem metadados de soma de verificação: a maioria dos objetos do Amazon Simple Storage Service (Amazon S3) e do Microsoft Azure Blob Storage (com algumas exceções) e transferências HTTP (os metadados de soma de verificação são fornecidos pelo utilizador).
Quando os metadados de soma de verificação não estão disponíveis
Quando os agentes podem ser executados perto da origem
Se os metadados da soma de verificação não estiverem disponíveis no sistema de armazenamento de origem subjacente, mas for possível executar agentes localmente perto do sistema de armazenamento de origem, o serviço de transferência de armazenamento tenta ler os dados de origem e calcular uma soma de verificação antes de enviar os dados para o Cloud Storage. Isto ocorre quando move dados de sistemas de ficheiros para o Cloud Storage.
Quando os agentes não podem ser executados perto da origem
Se os metadados de soma de verificação não estiverem disponíveis no sistema de armazenamento de origem subjacente, e não for possível executar agentes localmente perto do sistema de armazenamento de origem, o Serviço de transferência de armazenamento usa os metadados disponíveis, como o tamanho do ficheiro, para validar se o ficheiro copiado para o Cloud Storage corresponde ao ficheiro de origem.
O Serviço de transferência de armazenamento também calcula uma soma de verificação dos dados "em tempo real" à medida que são
transferidos. Assim que os dados são armazenados no Cloud Storage, o Serviço de transferência de armazenamento compara a soma de verificação calculada com a soma de verificação final comunicada pelo Cloud Storage. Se as somas de verificação não corresponderem, a tarefa falha com um erro DATA_LOSS.
A verificação de somas de verificação em tempo real é usada para transferências de origens que podem não fornecer somas de verificação, como:
Após as verificações de transferência
Após a conclusão da transferência, recomendamos que execute verificações adicionais de integridade de dados para validar que:
- A versão correta dos ficheiros é copiada para ficheiros que são alterados na origem.
- O conjunto e o número corretos de ficheiros são copiados para verificar se configurou corretamente as tarefas de transferência.
- Os ficheiros foram copiados corretamente, verificando os metadados nos ficheiros, como as somas de verificação dos ficheiros, o tamanho dos ficheiros, etc.