O serviço de transferência do Cloud Storage usa metadados disponíveis do sistema de armazenamento de origem, como somas de verificação e tamanhos de arquivo, para garantir que os dados gravados no Cloud Storage sejam os mesmos dados lidos a partir da origem.
Quando os metadados de soma de verificação estão disponíveis
Se os metadados de soma de verificação estiverem disponíveis na origem, o Serviço de transferência do Cloud Storage usará a validação de soma de verificação de ponta a ponta. Se os metadados da soma de verificação no sistema de armazenamento de origem indicarem que os dados recebidos pelo Serviço de transferência do Cloud Storage não correspondem aos dados de origem, o Serviço de transferência do Cloud Storage vai registrar uma falha na operação de transferência. Exemplos de sistemas de armazenamento que incluem metadados de soma de verificação incluem a maioria dos objetos do Amazon Simple Storage Service (Amazon S3) e do Armazenamento de Blobs do Microsoft Azure (com algumas exceções) e transferências HTTP (metadados da soma de verificação são fornecidos pelo usuário).
Quando os metadados da checksum não estão disponíveis
Quando os agentes podem ser executados perto da origem
Se os metadados da soma de verificação não estiverem disponíveis no sistema de armazenamento de origem subjacente, mas agentes puderem ser executados localmente perto do sistema de armazenamento de origem, o Serviço de transferência do Cloud Storage tentará ler os dados de origem e calcular uma soma de verificação antes de enviar os dados para Cloud Storage. Isso ocorre ao mover dados de sistemas de arquivos para o Cloud Storage.
Quando os agentes não podem ser executados perto da origem
Se os metadados da soma de verificação não estiverem disponíveis no sistema de armazenamento de origem subjacente e os agentes não puderem ser executados localmente perto do sistema de armazenamento de origem, o Serviço de transferência do Cloud Storage usará metadados disponíveis, como o tamanho do arquivo, para validar que o arquivo copiado para o Cloud Storage corresponde ao arquivo de origem.
O Serviço de transferência do Cloud Storage também calcula uma soma de verificação dos dados "on-the-fly" à medida que eles são transferidos. Depois que os dados são armazenados no Cloud Storage, o Serviço de transferência do Cloud Storage compara o checksum calculado com o checksum final informado pelo Cloud Storage. Se as somas de verificação não corresponderem, a tarefa
vai falhar com um erro DATA_LOSS.
A soma de verificação instantânea é usada para transferências de fontes que podem não fornecer somas de verificação, como:
Após verificações de transferência
Após a conclusão da transferência, recomendamos realizar outras verificações de integridade de dados para validar o seguinte:
- A versão correta dos arquivos é copiada para os arquivos que são alterados na origem.
- O conjunto correto e o número de arquivos são copiados para verificar se você configurou os jobs de transferência corretamente.
- Os arquivos foram copiados corretamente, verificando os metadados nos arquivos, como checksums, tamanho do arquivo e assim por diante.