Storage Transfer Service menggunakan metadata yang tersedia dari sistem penyimpanan sumber, seperti checksum dan ukuran file, untuk memastikan bahwa data yang ditulis ke Cloud Storage adalah data yang sama dengan yang dibaca dari sumber.
Saat metadata checksum tersedia
Jika metadata checksum tersedia di sumber, Storage Transfer Service menggunakan validasi checksum end-to-end. Jika metadata checksum pada sistem penyimpanan sumber menunjukkan bahwa data yang diterima Storage Transfer Service tidak cocok dengan data sumber, Storage Transfer Service akan mencatat kegagalan untuk operasi transfer. Contoh sistem penyimpanan yang menyertakan metadata checksum mencakup sebagian besar objek Amazon Simple Storage Service (Amazon S3) dan Microsoft Azure Blob Storage (dengan beberapa pengecualian) dan transfer HTTP (metadata checksum disediakan oleh pengguna).
Jika metadata checksum tidak tersedia
Saat agen dapat berjalan di dekat sumber
Jika metadata checksum tidak tersedia dari sistem penyimpanan sumber pokok, tetapi agen dapat dijalankan secara lokal di dekat sistem penyimpanan sumber, Storage Transfer Service akan mencoba membaca data sumber dan menghitung checksum sebelum mengirimkan data ke Cloud Storage. Hal ini terjadi saat memindahkan data dari sistem file ke Cloud Storage.
Saat agen tidak dapat berjalan di dekat sumber
Jika metadata checksum tidak tersedia dari sistem penyimpanan sumber yang mendasarinya, dan agen tidak dapat dijalankan secara lokal di dekat sistem penyimpanan sumber, Storage Transfer Service akan menggunakan metadata yang tersedia, seperti ukuran file, untuk memvalidasi bahwa file yang disalin ke Cloud Storage cocok dengan file sumber.
Storage Transfer Service juga menghitung checksum data "secara langsung" saat data
ditransfer. Setelah data disimpan di Cloud Storage, Storage Transfer Service akan membandingkan checksum yang dihitungnya dengan checksum akhir yang dilaporkan oleh Cloud Storage. Jika checksum tidak cocok, tugas akan gagal dengan error DATA_LOSS.
Checksum saat transfer digunakan untuk transfer dari sumber yang mungkin tidak menyediakan checksum, seperti:
Setelah pemeriksaan transfer
Setelah transfer Anda selesai, sebaiknya lakukan pemeriksaan integritas data tambahan untuk memvalidasi bahwa:
- Versi file yang benar akan disalin, untuk file yang berubah di sumber.
- Set dan jumlah file yang benar disalin, untuk memverifikasi bahwa Anda telah menyiapkan tugas transfer dengan benar.
- File disalin dengan benar, dengan memverifikasi metadata pada file, seperti checksum file, ukuran file, dan sebagainya.