已知限制

本頁面說明 Cloud Storage 和 Storage 移轉服務的已知限制。

常見限制

Cloud Storage 5 TiB 物件大小限制

Cloud Storage 支援的單一物件大小上限為 5 Tebibyte。如果物件大於 5 TiB,無論是 Cloud Storage 或 Storage 移轉服務,都無法轉移這些物件。

Cloud Storage 物件命名規定

Cloud Storage 物件名稱規定適用於所有 Storage 移轉服務移轉作業。

系統不會轉移已變更的物件

Storage 移轉服務不會在移轉期間鎖定來源檔案。

如果在傳輸期間更新物件的資料,Storage Transfer Service 的回應方式如下:

  • 從非 Google Cloud 轉移至 Google Cloud:如果在轉移期間更新物件的資料,Storage Transfer Service 會導致該物件的轉移作業失敗,且該物件不會轉移。

  • 從檔案系統轉移至 Google Cloud:如果在轉移期間更新物件的資料,Storage 移轉服務會再次嘗試上傳。如果上傳作業多次失敗,Storage 移轉服務會記錄 FILE_MODIFIED_FAILURE。詳情請參閱「疑難排解」一節。

  • 從 Google Cloud 轉移至檔案系統:如果在轉移期間更新物件資料,Storage 移轉服務會再次嘗試下載。如果下載多次失敗,Storage 移轉服務會記錄 PRECONDITION_FAILURE。詳情請參閱「疑難排解」一節。

如要解決失敗問題,請按照下列步驟操作:

  1. 再次嘗試轉移。
  2. 如果物件持續無法轉移,請確認物件資料在轉移期間無法更新:

  3. 轉移完成後,即可重新啟用物件更新。

Cloud Storage 中的資料夾

Cloud Storage 物件位於值區中的扁平命名空間。詳情請參閱物件命名空間。 因此,Storage 移轉服務不會在 Cloud Storage 中建立階層式命名空間。舉例來說,如果您要從 Azure Data Lake Storage (ADLS) Gen 2 移轉,Storage 移轉服務不會在 Cloud Storage 中重新建立 ADLS Gen 2 命名空間。

刪除版本管理功能已暫停的 Amazon S3 bucket 中的物件

在版本管理暫停的 Amazon S3 值區中,使用 Storage 移轉服務的「在移轉後從來源刪除物件」功能時,Storage 移轉服務會移除版本 ID 為空值的物件,而非現行版本。

Storage 移轉服務工作的位置

Storage 移轉服務會根據來源 Cloud Storage 值區的區域選擇位置。自今天起,我們會在下列位置建立 Storage 移轉服務工作。隨著儲存空間移轉服務支援新區域,這份清單可能會有所變更。

如果來源 Cloud Storage 值區位於未列出的地區,我們會選擇來源外部地區內的預設地區。

支援的地區
africa-south1 europe-north1 nam4
asia-east1 europe-north2 northamerica-northeast1
asia-east2 europe-southwest1 northamerica-northeast2
asia-northeast1 europe-west1 northamerica-south1
asia-northeast2 europe-west2 southamerica-east1
asia-northeast3 europe-west3 southamerica-west1
asia-south1 europe-west4 us-central1
asia-south2 europe-west6 us-central2
asia-southeast1 europe-west8 us-east1
asia-southeast2 europe-west9 us-east4
asia1 europe-west10 us-east5
australia-southeast1 europe-west12 us-east7
australia-southeast2 me-central1 us-west1
me-central2 us-west2
me-west1 us-west3
us-west4

檔案系統移轉的已知限制

不提供即時支援

Storage 移轉服務不支援每小時變更偵測。 Storage 移轉服務是批次資料移動服務,掃描來源的頻率最高可達每小時一次。

支援的作業系統設定

轉移代理程式需要安裝 Docker,並在 Linux 伺服器或虛擬機器 (VM) 上執行。如要複製 CIFS 或 SMB 檔案系統上的資料,可以在 Linux 伺服器或 VM 上掛接磁碟區,然後從 Linux 伺服器或 VM 執行代理程式。

記憶體需求

以下是 Transfer Service for On Premises Data 代理程式的記憶體需求:
  • 記憶體下限:1 GiB
  • 支援高效能上傳的記憶體下限:6 GiB

擴充限制

Storage 移轉服務支援的個別移轉作業包括:

  • 大小達數百 TB
  • 最多 10 億個檔案
  • 傳輸速度可達數十 Gbps

大於這些大小的個別轉移作業很可靠,但未經過效能測試。

如果資料集大於這些限制,建議您將資料分割成多個轉移作業。

我們目前支援大型目錄,只要每個代理程式針對最大目錄中的每 100 萬個檔案,至少有 1 GB 的可用記憶體,我們就能疊代目錄內容,不會超出記憶體容量。

代理程式和代理程式集區限制

單一服務專員集區最多可支援 100 位服務專員。在一般環境中,您不太可能需要更多代理程式來提升效能。

每個專案最多可有 800 個代理程式集區。

每個工作一個目錄

我們僅支援轉移檔案系統目錄的完整內容 (遞迴)。您可以建立多項工作,移轉資料集的不同子目錄,藉此分割移轉作業,但目前我們不支援在單一工作中進行檔案 globbing 或篩選。

支援的檔案名稱

下列規則適用於轉移作業中的所有檔案名稱:

  • 檔案名稱必須使用 UTF8 編碼。
  • 檔案名稱必須與 Unicode 相容。
  • 不得包含換行符號 (\n) 或回車字元 (\r)。

如果來源目錄包含不支援的檔案名稱,該目錄的檔案列出作業就會失敗。

如果發生這種情況,請更新所有不支援的檔案名稱,然後重新執行工作。

支援的檔案類型

Storage 移轉服務支援轉移一般檔案和類似 Unix 的隱藏檔案。Unix 樣式的隱藏檔案是指開頭為 . 字元的檔案。如果 Storage 轉移服務遇到非一般檔案 (例如裝置、具名管道或通訊端),就會引發 UNSUPPORTED_FILE_MODE 錯誤。

Cloud Storage 不會建立空目錄,因為物件不會位於值區的子目錄中。詳情請參閱「物件命名空間」。

路徑長度上限

Storage 移轉服務遵循 Cloud Storage 的路徑長度上限 (1024 個位元組)。目標物件的前置字串會納入長度限制,因為前置字串會併入 Cloud Storage 中的物件名稱。

支援的檔案中繼資料

如要瞭解系統預設或選擇性保留哪些中繼資料,請參閱「保留中繼資料」一文。

延長工作暫停時間

如果工作暫停超過 30 天,系統會視為閒置。工作處於非使用中狀態時,系統會中止暫停的工作,並停用工作設定時間表。除非您明確重新啟用工作,否則不會啟動任何新的工作執行作業。

檔案系統來源安全性

代理人存取權

能夠建立移轉工作的使用者,可以從代理程式可存取的任何檔案系統目錄中擷取資料,並將資料下載至該目錄。如果代理程式以根層級執行,並取得整個檔案系統的存取權,惡意行為者可能就能接管主機。強烈建議您限制代理程式存取權,只允許存取必要目錄。