Log transfer sistem file

Dokumen ini menjelaskan format log transfer sistem file saat ini.

Catatan: Format log yang dijelaskan di halaman ini dapat berubah sewaktu-waktu. Sebaiknya hindari penulisan skrip, program, atau proses desain yang bergantung pada pengurutan, penamaan, atau keberadaan kolom atau nilai dalam log ini. Lihat halaman ini dan catatan rilis Storage Transfer Service untuk mengetahui update pada format log.

Melihat log transfer

Transfer sistem file menghasilkan log transfer mendetail yang dapat Anda gunakan untuk memverifikasi hasil tugas transfer Anda. Setiap tugas menghasilkan kumpulan log transfer yang disimpan di bucket Cloud Storage transfer: bucket sumber, bucket tujuan, atau bucket perantara, bergantung pada arah transfer.

Log dibuat saat tugas transfer sedang berjalan. Log lengkap biasanya tersedia dalam waktu 15 menit setelah tugas selesai.

Penting: Siapa pun yang memiliki akses ke bucket Cloud Storage memiliki akses ke log transfer.

Melihat log di bucket Cloud Storage

Log transfer disimpan di bucket Cloud Storage transfer di jalur berikut:

bucket-name/storage-transfer/logs/transferJobs/job-name/transferOperations/operation-name

dengan:

• bucket-name adalah nama bucket Cloud Storage yang terlibat dalam transfer ini.
• job-name adalah nama tugas, seperti yang ditampilkan di daftar tugas.
• operation-name adalah nama operasi transfer individu, yang terdiri dari stempel waktu IS08601 dan ID yang dihasilkan.

Log diagregasi dan disimpan sebagai objek. Setiap batch log diberi nama berdasarkan waktu pembuatannya. Contoh:

my bucket/storage-transfer/logs/transferOperations/job1/2019-10-19T10_52_56.519081644-07_00.log

Menjalankan kueri BigQuery pada log transfer

Untuk menjalankan kueri BigQuery pada log transfer Anda:

1. Muat data log CSV ke BigQuery.

2. Jalankan kueri BigQuery.

Contoh kueri

Menampilkan jumlah file yang dicoba ditransfer dan apakah transfer tersebut gagal atau berhasil

select ActionStatus, count(*) as num_files
from big-query-table
where Action="TRANSFER"
group by 1;

Dengan big-query-table adalah nama tabel BigQuery yang berisi log transfer.

Menampilkan semua file yang gagal ditransfer

select Src_File_Path
from big-query-table
where Action="TRANSFER" and ActionStatus="FAILED";

Dengan big-query-table adalah nama tabel BigQuery yang berisi log transfer.

Menampilkan checksum dan stempel waktu untuk setiap file yang berhasil ditransfer

select Timestamp, Action, ActionStatus, Src_File_Path, Src_File_Size,
Src_File_Crc32C, Dst_Gcs_BucketName, Dst_Gcs_ObjectName, Dst_Gcs_Size,
Dst_Gcs_Crc32C, Dst_Gcs_Md5
from big-query-table
where Action="TRANSFER" and ActionStatus="SUCCEEDED";

Dengan big-query-table adalah nama tabel BigQuery yang berisi log transfer.

Menampilkan semua informasi error untuk direktori yang gagal ditransfer

select FailureDetails_ErrorType, FailureDetails_GrpcCode, FailureDetails_Message
from big-query-table
where Action="FIND" and ActionStatus="FAILED";

Dengan big-query-table adalah nama tabel BigQuery yang berisi log transfer.

Deskripsi format

Log transfer sistem file disimpan dalam format nilai yang dipisahkan tab (TSV), dan berisi baris header dengan nama kolom. Urutan kolom yang ditampilkan umumnya stabil, tetapi tidak dijamin, dan harus disimpulkan dari baris header.

Setiap baris mewakili satu catatan log, yaitu update status pada bagian operasi transfer keseluruhan.

Catatan: Storage Transfer Service tidak mencatat entri log untuk file yang dilewati.

Tabel berikut menjelaskan kolom dalam file log:

Kolom log	Deskripsi
Stempel waktu	Stempel waktu yang kompatibel dengan ISO 8601 saat kami mencatat peristiwa.
Nama Operasi	Nama operasi yang sepenuhnya memenuhi syarat.
Tindakan	Menjelaskan tindakan tugas tertentu ini. Salah satu dari berikut ini: FIND: Menemukan tugas yang harus dilakukan, seperti mencantumkan file di lokasi TRANSFER: Mentransfer file DELETE: Menghapus file di tujuan
ActionStatus	Status tingkat tinggi tindakan. Salah satu dari berikut ini: BERHASIL: Tindakan berhasil diselesaikan. GAGAL: Tindakan gagal. Detail tambahan tentang kegagalan ada di kolom FailureDetails.
FailureDetails.ErrorType	String yang mewakili jenis error yang terjadi. Misalnya, FILE_NOT_FOUND. Diisi hanya jika terjadi error.
FailureDetails.GrpcCode	Nilai string kode RPC Google. Misalnya, FAILED_PRECONDITION. Diisi hanya jika terjadi error.
FailureDetails.Message	Pesan error yang dapat dibaca manusia untuk kegagalan. Diisi hanya jika terjadi error.
Src.Type	String yang menjelaskan jenis sistem penyimpanan sumber. Nilai ini selalu ON_PREM.
Src.File.Path	Jalur file lokal yang ditransfer.
Src.File.LastModified	Waktu modifikasi (mtime) POSIX dari file lokal.
Src.FileSize	Ukuran file dalam byte.
Src.File.Crc32C	Checksum CRC32C dari konten file.
Dst.Type	String yang menjelaskan jenis sistem penyimpanan tujuan. Nilai ini selalu GCS.
Dst.Gcs.BucketName	Nama bucket Cloud Storage tujuan.
Dst.Gcs.ObjectName	Awalan objek untuk objek tujuan.
Dst.Gcs.LastModified	Waktu modifikasi (mtime) POSIX dari objek tujuan.
Dst.Gcs.Size	Ukuran objek dalam byte.
Dst.Gcs.Crc23C	Checksum CRC32C dari konten objek.
Dst.Md5	Checksum MD5 objek akhir di Cloud Storage.

Contoh entri log

Berikut adalah contoh dua baris output log, header dan baris data:

Timestamp       OperationName   Action  ActionStatus    FailureDetails.ErrorType        FailureDetails.GrpcCode FailureDetails.Message     Src.Type        Src.File.Path   Src.File.LastModified   Src.File.Size   Src.File.Crc32C Dst.Type   Dst.Gcs.BucketName      Dst.Gcs.ObjectName      Dst.Gcs.LastModified    Dst.Gcs.Size    Dst.Gcs.Crc32C  Dst.Gcs.Md5
2019-10-18T21:06:17Z    transferOperations/agent-manual_transferJobs/OPI1494275376193533620_0000000001571432448     TRANSFER        SUCCEEDED                               ON_PREM_FILE    /mnt/disks/disk-1/directory1/file.txt      1561409931      406     3089075447      GCS_OBJECT      destination-gcs-bucket    file.txt  1571432776      406     3089075447      FDjya7dWbd0OrgnZ7g9ZJw==