本文說明目前的檔案系統移轉記錄格式。
查看移轉記錄
檔案系統移轉作業會產生詳細的移轉記錄,可用於驗證移轉工作的結果。每項工作都會產生一組移轉記錄,並儲存在移轉作業的 Cloud Storage bucket 中:來源 bucket、目的地 bucket 或中介 bucket,具體取決於移轉方向。凡是可存取 Cloud Storage bucket 的使用者,都能存取移轉記錄。
轉移工作執行時,系統會產生記錄。完整記錄通常會在工作完成後 15 分鐘內提供。
查看 Cloud Storage bucket 中的記錄
移轉記錄會儲存在移轉作業的 Cloud Storage bucket 中,路徑如下:
bucket-name/storage-transfer/logs/transferJobs/job-name/transferOperations/operation-name
路徑元件如下:
bucket-name是這項移轉作業涉及的 Cloud Storage bucket 名稱。job-name是工作名稱,如工作詳細資料所示。operation-name是個別移轉作業的名稱,由 ISO 8601 時間戳記和產生的 ID 組成。
記錄會匯總並儲存為物件。每批記錄都會以建立時間命名。例如:
my-bucket/storage-transfer/logs/transferJobs/1234/transferOperations/transferJobs-1234-8765/2019-10-19T17:52:56.519081644Z-UUID.log
對移轉記錄執行 BigQuery 查詢
如要對移轉記錄執行 BigQuery 查詢,請按照下列步驟操作:
將記錄資料載入 BigQuery,格式為 CSV,欄位分隔符號設為 Tab,並略過一個標頭列。
執行 BigQuery 查詢。
查詢範例
顯示嘗試轉移的檔案數量,以及轉移失敗或成功
select ActionStatus, count(*) as num_files from big-query-table where Action="TRANSFER" group by 1;
其中 big-query-table 是包含移轉記錄的 BigQuery 資料表名稱。
顯示所有轉移失敗的檔案
select Src_File_Path from big-query-table where Action="TRANSFER" and ActionStatus="FAILED";
其中 big-query-table 是包含移轉記錄的 BigQuery 資料表名稱。
顯示每個成功移轉檔案的核對和與時間戳記
select Timestamp, Action, ActionStatus, Src_File_Path, Src_File_Size, Src_File_Crc32C, Dst_Gcs_BucketName, Dst_Gcs_ObjectName, Dst_Gcs_Size, Dst_Gcs_Crc32C, Dst_Gcs_Md5 from big-query-table where Action="TRANSFER" and ActionStatus="SUCCEEDED";
其中 big-query-table 是包含移轉記錄的 BigQuery 資料表名稱。
顯示轉移失敗目錄的所有錯誤資訊
select FailureDetails_ErrorType, FailureDetails_GrpcCode, FailureDetails_Message from big-query-table where Action="FIND" and ActionStatus="FAILED";
其中 big-query-table 是包含移轉記錄的 BigQuery 資料表名稱。
格式說明
檔案系統移轉記錄會以定位點分隔值 (TSV) 格式儲存,並包含含有欄位名稱的標頭列。欄位的顯示順序通常是固定的,但不保證一定如此,因此必須從標頭列推斷。
每行代表一筆記錄,也就是整體移轉作業中某部分的狀態更新。
下表說明記錄檔中的欄位:
| 記錄欄位 | 說明 |
|---|---|
| 時間戳記 | 我們記錄事件時,符合 ISO 8601 標準的時間戳記。 |
| OperationName | 完整作業名稱。 |
| 動作 | 說明這項特定工作的動作。可以是下列其中一項:
|
| ActionStatus | 動作的概略狀態。可以是下列其中一項:
|
| FailureDetails.ErrorType | 代表發生錯誤類型的字串。例如 FILE_NOT_FOUND。只有在發生錯誤時才會填入。 |
| FailureDetails.GrpcCode | Google RPC 代碼的字串值。例如 FAILED_PRECONDITION。只有在發生錯誤時才會填入。 |
| FailureDetails.Message | 人類可讀的失敗錯誤訊息。只有在發生錯誤時才會填入。 |
| Src.Type | 說明來源儲存系統類型的字串。ON_PREM_FILE (檔案系統來源) 或 GCS_OBJECT (Cloud Storage 來源)。 |
| Src.File.Path | 轉移的地端部署檔案路徑。 |
| Src.File.LastModified | 地端部署檔案的 POSIX 修改時間 (mtime)。 |
| Src.File.Size | 檔案大小,單位是位元組。 |
| Src.File.Crc32C | 檔案內容的 CRC32C 核對和。 |
| Dst.Type | 說明目的地儲存系統類型的字串。GCS_OBJECT (Cloud Storage 目的地) 或 ON_PREM_FILE (檔案系統目的地)。 |
| Dst.Gcs.BucketName | 目的地 Cloud Storage bucket 名稱。 |
| Dst.Gcs.ObjectName | 目的地物件的物件前置字串。 |
| Dst.Gcs.LastModified | 目的地物件的 POSIX 修改時間 (mtime)。 |
| Dst.Gcs.Size | 物件大小 (以位元組為單位)。 |
| Dst.Gcs.Crc32C | 物件內容的 CRC32C 核對和。 |
| Dst.Gcs.Md5 | Cloud Storage 中最終物件的 MD5 核對和。 |
| Dst.Gcs.PreviousOperation.LastModified | 目的地 Cloud Storage 物件上次修改的時間 (如果已存在),之後會由這項作業覆寫。 |
| Dst.Gcs.PreviousOperation.Size | 目的地 Cloud Storage 物件在遭到這項作業覆寫前的大小 (以位元組為單位),如果物件已存在。 |
記錄項目範例
以下是兩行記錄輸出的範例,包含標頭和資料行:
Timestamp OperationName Action ActionStatus FailureDetails.ErrorType FailureDetails.GrpcCode FailureDetails.Message Src.Type Src.File.Path Src.File.LastModified Src.File.Size Src.File.Crc32C Dst.Type Dst.Gcs.BucketName Dst.Gcs.ObjectName Dst.Gcs.LastModified Dst.Gcs.Size Dst.Gcs.Crc32C Dst.Gcs.Md5 Dst.Gcs.PreviousOperation.LastModified Dst.Gcs.PreviousOperation.Size 2019-10-18T21:06:17Z transferOperations/agent-manual_transferJobs/OPI1494275376193533620_0000000001571432448 TRANSFER SUCCEEDED ON_PREM_FILE /mnt/disks/disk-1/directory1/file.txt 1561409931 406 3089075447 GCS_OBJECT destination-gcs-bucket file.txt 1571432776 406 3089075447 FDjya7dWbd0OrgnZ7g9ZJw==