本頁面說明 Cloud Storage 和 Storage 移轉服務的已知限制。
常見限制
Cloud Storage 物件大小上限為 5 TiB
Cloud Storage 支援的單一物件大小上限為 5 tebibyte。如果物件大於 5 TiB,Cloud Storage 或 Storage 移轉服務會無法移轉這些物件。
Cloud Storage 物件命名規定
Cloud Storage 設有物件名稱規定,適用於所有 Storage 移轉服務移轉作業。
不會移轉已變更的物件
Storage 移轉服務不會在移轉期間鎖定來源檔案。
如果物件的資料在移轉期間更新,Storage 移轉服務會採取下列行動:
從非 Google 雲端移轉至 Google Cloud:如果在移轉期間更新物件資料,Storage 移轉服務會判定該物件移轉失敗,且不會移轉該物件。
從檔案系統移轉至 Google Cloud:如果物件的資料在移轉期間更新,Storage 移轉服務會再次嘗試上傳。如果上傳作業多次失敗,Storage 移轉服務會記錄
FILE_MODIFIED_FAILURE。詳情請參閱「疑難排解」。從 Google Cloud 轉移至檔案系統:如果物件的資料在轉移期間更新,Storage 移轉服務會再次嘗試下載。如果多次下載失敗,Storage 移轉服務會記錄
PRECONDITION_FAILURE。詳情請參閱「疑難排解」。
如要解決失敗問題,請按照下列步驟操作:
- 再次嘗試轉移。
如果物件的移轉作業持續失敗,請確保其資料在移轉期間不會更新:
- Cloud Storage 來源:設定物件保留。
- Amazon S3 來源:設定 S3 物件鎖定。
- Microsoft Azure Storage 來源:為 Blob 儲存體設定不可變動政策。
- 檔案系統來源:將檔案設為唯讀模式,或限制寫入要移轉的檔案。
轉移作業完成後,您可以重新啟用物件更新功能。
Cloud Storage 中的資料夾
如果 bucket 未啟用階層命名空間,Cloud Storage 物件會位於平面命名空間中。詳情請參閱「物件命名空間」。在這些 bucket 中, Storage 移轉服務不會建立資料夾,目錄結構僅以 物件名稱前置字元表示。 舉例來說,如果您 從 Azure Data Lake Storage (ADLS) Gen 2 移轉至平面命名空間 bucket,Storage 移轉服務不會在 Cloud Storage 中重新建立 ADLS Gen 2 命名空間。 如要瞭解已啟用階層 命名空間的 bucket,請參閱 「移轉 Cloud Storage 階層命名空間 bucket」。
刪除版本管理功能已停用的 Amazon S3 儲存貯體中的物件
如果對版本暫停的 Amazon S3 bucket,使用 Storage 移轉服務的「移轉後從來源刪除物件」功能,Storage 移轉服務會移除版本 ID 為空值的物件,而非目前版本。
Storage 移轉服務工作的位置
Storage 移轉服務會根據來源 Cloud Storage bucket 的區域選擇位置。 目前,我們會在下列位置建立 Storage 移轉服務工作。隨著 Storage 移轉服務支援新區域,這份清單可能會有所變動。
如果來源 Cloud Storage bucket 位於未列出的區域,我們會選擇來源外部區域中的預設區域。
| 支援的地區 | ||
|---|---|---|
| africa-south1 | europe-north1 | nam4 |
| asia-east1 | europe-north2 | northamerica-northeast1 |
| asia-east2 | europe-southwest1 | northamerica-northeast2 |
| asia-northeast1 | europe-west1 | northamerica-south1 |
| asia-northeast2 | europe-west2 | southamerica-east1 |
| asia-northeast3 | europe-west3 | southamerica-west1 |
| asia-south1 | europe-west4 | us-central1 |
| asia-south2 | europe-west6 | us-central2 |
| asia-southeast1 | europe-west8 | us-east1 |
| asia-southeast2 | europe-west9 | us-east4 |
| asia-southeast3 | europe-west10 | us-east5 |
| asia1 | europe-west12 | us-east7 |
| australia-southeast1 | me-central1 | us-west1 |
| australia-southeast2 | me-central2 | us-west2 |
| me-west1 | us-west3 | |
| us-west4 |
檔案系統移轉作業的已知限制
不提供即時支援
Storage 移轉服務不支援每小時內多次偵測異動。Storage 移轉服務是批次資料移動服務,每小時最多可掃描來源一次。
支援的作業系統設定
移轉代理程式會在 Linux 伺服器或虛擬機器 (VM) 的 Docker 或 Podman 容器中執行。如要複製 CIFS 或 SMB 檔案系統上的資料,可以將磁碟區掛接至 Linux 伺服器或 VM,然後從 Linux 伺服器或 VM 執行代理程式。
記憶體需求
以下是移轉代理程式的記憶體需求:- 記憶體下限:1 GiB
- 支援高效能上傳作業的記憶體下限:6 GiB
資源調度限制
Storage 移轉服務支援的個別移轉作業包括:
- 大小達數百 TB
- 最多 10 億個檔案
- 傳輸速度達數十 Gbps
個別轉移作業超過這些大小時仍可穩定運作,但效能未經測試。
如果資料集超過這些限制,建議您將資料拆分至多項移轉工作。
我們目前支援大型目錄,只要每個代理程式在最大目錄中,每 100 萬個檔案至少有 1 GB 的可用記憶體,我們就能在不超出記憶體的情況下,反覆檢查目錄內容。
代理和代理集區限制
單一代理程式集區最多可支援 100 個代理程式。在一般環境中,您不太可能需要更多代理程式來提升效能。
每項專案最多可有 800 個代理程式集區。
每項工作一個目錄
每項移轉工作都會移轉一個檔案系統目錄的內容 (遞迴)。如要只轉移該目錄中的特定檔案,請使用資訊清單。如要移轉多個目錄,請為每個目錄建立一項工作。檔案系統移轉作業不支援檔案 globbing。
支援的檔案名稱
下列規則適用於轉移作業中的所有檔案名稱:
- 檔案名稱必須使用 UTF8 編碼。
- 檔案名稱必須與 Unicode 相容。
- 不得包含換行 (
\n) 或回車字元 (\r)。
如果來源目錄包含不支援的檔案名稱,該目錄的檔案清單工作就會失敗。
如果發生這種情況,請更新所有不支援的檔案名稱,然後重新執行工作。
支援的檔案類型
Storage 移轉服務支援移轉一般檔案和 Unix 類隱藏的檔案。Unix 樣式的隱藏檔案是以 . 字元開頭。如果 Storage 移轉服務遇到非一般檔案 (例如裝置、具名管道或通訊端),就會引發 UNSUPPORTED_FILE_MODE 錯誤。
Cloud Storage 不會建立空白目錄,因為物件不會位於 bucket 內的子目錄中。詳情請參閱「物件命名空間」。
路徑長度上限
Storage 移轉服務遵循 Cloud Storage 的路徑長度上限 (1024 個位元組)。目的地物件的物件前置字串會納入長度限制,因為前置字串會併入 Cloud Storage 中的物件名稱。
支援的檔案中繼資料
如要瞭解預設或選擇性保留的中繼資料,請參閱「中繼資料保留」。
延長工作暫停時間
暫停超過 30 天的工作會視為不活躍。如果工作處於閒置狀態,暫停的工作會遭到取消,工作設定排程也會停用。除非您再次明確啟用工作,否則不會啟動新的工作執行作業。
檔案系統來源安全性
代理存取權
只要使用者能建立移轉工作,就能從代理程式可存取的任何檔案系統目錄擷取資料,並將資料下載到該目錄。如果代理程式以 root 身分執行,且可存取整個檔案系統,惡意行為人就可能接管主機。強烈建議您限制代理程式存取權,僅允許存取必要目錄。