本頁面說明 Cloud Storage 和 Storage 移轉服務的已知限制。
常見限制
Cloud Storage 5 TiB 物件大小限制
Cloud Storage 支援的單一物件大小上限為 5 Tebibyte。如果物件大於 5 TiB,無論是 Cloud Storage 或 Storage 移轉服務,都無法轉移這些物件。
Cloud Storage 物件命名規定
Cloud Storage 物件名稱規定適用於所有 Storage 移轉服務移轉作業。
系統不會轉移已變更的物件
Storage 移轉服務不會在移轉期間鎖定來源檔案。
如果在傳輸期間更新物件的資料,Storage Transfer Service 的回應方式如下:
從非 Google Cloud 轉移至 Google Cloud:如果在轉移期間更新物件的資料,Storage Transfer Service 會導致該物件的轉移作業失敗,且該物件不會轉移。
從檔案系統轉移至 Google Cloud:如果在轉移期間更新物件的資料,Storage 移轉服務會再次嘗試上傳。如果上傳作業多次失敗,Storage 移轉服務會記錄
FILE_MODIFIED_FAILURE。詳情請參閱「疑難排解」一節。從 Google Cloud 轉移至檔案系統:如果在轉移期間更新物件資料,Storage 移轉服務會再次嘗試下載。如果下載多次失敗,Storage 移轉服務會記錄
PRECONDITION_FAILURE。詳情請參閱「疑難排解」一節。
如要解決失敗問題,請按照下列步驟操作:
- 再次嘗試轉移。
如果物件持續無法轉移,請確認物件資料在轉移期間無法更新:
- Cloud Storage 來源 - 放置物件保留。
- Amazon S3 來源 - 設定 S3 物件鎖定。
- Microsoft Azure 儲存體來源 - 為 Blob 儲存體設定不可變更政策。
- 檔案系統來源:將檔案設為唯讀模式,或限制寫入要轉移的檔案。
轉移完成後,即可重新啟用物件更新。
Cloud Storage 中的資料夾
Cloud Storage 物件位於值區中的扁平命名空間。詳情請參閱物件命名空間。 因此,Storage 移轉服務不會在 Cloud Storage 中建立階層式命名空間。舉例來說,如果您要從 Azure Data Lake Storage (ADLS) Gen 2 移轉,Storage 移轉服務不會在 Cloud Storage 中重新建立 ADLS Gen 2 命名空間。
刪除版本管理功能已暫停的 Amazon S3 bucket 中的物件
在版本管理暫停的 Amazon S3 值區中,使用 Storage 移轉服務的「在移轉後從來源刪除物件」功能時,Storage 移轉服務會移除版本 ID 為空值的物件,而非現行版本。
Storage 移轉服務工作的位置
Storage 移轉服務會根據來源 Cloud Storage 值區的區域選擇位置。自今天起,我們會在下列位置建立 Storage 移轉服務工作。隨著儲存空間移轉服務支援新區域,這份清單可能會有所變更。
如果來源 Cloud Storage 值區位於未列出的地區,我們會選擇來源外部地區內的預設地區。
| 支援的地區 | ||
|---|---|---|
| africa-south1 | europe-north1 | nam4 |
| asia-east1 | europe-north2 | northamerica-northeast1 |
| asia-east2 | europe-southwest1 | northamerica-northeast2 |
| asia-northeast1 | europe-west1 | northamerica-south1 |
| asia-northeast2 | europe-west2 | southamerica-east1 |
| asia-northeast3 | europe-west3 | southamerica-west1 |
| asia-south1 | europe-west4 | us-central1 |
| asia-south2 | europe-west6 | us-central2 |
| asia-southeast1 | europe-west8 | us-east1 |
| asia-southeast2 | europe-west9 | us-east4 |
| asia1 | europe-west10 | us-east5 |
| australia-southeast1 | europe-west12 | us-east7 |
| australia-southeast2 | me-central1 | us-west1 |
| me-central2 | us-west2 | |
| me-west1 | us-west3 | |
| us-west4 |
檔案系統移轉的已知限制
不提供即時支援
Storage 移轉服務不支援每小時變更偵測。 Storage 移轉服務是批次資料移動服務,掃描來源的頻率最高可達每小時一次。
支援的作業系統設定
轉移代理程式需要安裝 Docker,並在 Linux 伺服器或虛擬機器 (VM) 上執行。如要複製 CIFS 或 SMB 檔案系統上的資料,可以在 Linux 伺服器或 VM 上掛接磁碟區,然後從 Linux 伺服器或 VM 執行代理程式。
記憶體需求
以下是 Transfer Service for On Premises Data 代理程式的記憶體需求:- 記憶體下限:1 GiB
- 支援高效能上傳的記憶體下限:6 GiB
擴充限制
Storage 移轉服務支援的個別移轉作業包括:
- 大小達數百 TB
- 最多 10 億個檔案
- 傳輸速度可達數十 Gbps
大於這些大小的個別轉移作業很可靠,但未經過效能測試。
如果資料集大於這些限制,建議您將資料分割成多個轉移作業。
我們目前支援大型目錄,只要每個代理程式針對最大目錄中的每 100 萬個檔案,至少有 1 GB 的可用記憶體,我們就能疊代目錄內容,不會超出記憶體容量。
代理程式和代理程式集區限制
單一服務專員集區最多可支援 100 位服務專員。在一般環境中,您不太可能需要更多代理程式來提升效能。
每個專案最多可有 800 個代理程式集區。
每個工作一個目錄
我們僅支援轉移檔案系統目錄的完整內容 (遞迴)。您可以建立多項工作,移轉資料集的不同子目錄,藉此分割移轉作業,但目前我們不支援在單一工作中進行檔案 globbing 或篩選。
支援的檔案名稱
下列規則適用於轉移作業中的所有檔案名稱:
- 檔案名稱必須使用 UTF8 編碼。
- 檔案名稱必須與 Unicode 相容。
- 不得包含換行符號 (
\n) 或回車字元 (\r)。
如果來源目錄包含不支援的檔案名稱,該目錄的檔案列出作業就會失敗。
如果發生這種情況,請更新所有不支援的檔案名稱,然後重新執行工作。
支援的檔案類型
Storage 移轉服務支援轉移一般檔案和類似 Unix 的隱藏檔案。Unix 樣式的隱藏檔案是指開頭為 . 字元的檔案。如果 Storage 轉移服務遇到非一般檔案 (例如裝置、具名管道或通訊端),就會引發 UNSUPPORTED_FILE_MODE 錯誤。
Cloud Storage 不會建立空目錄,因為物件不會位於值區的子目錄中。詳情請參閱「物件命名空間」。
路徑長度上限
Storage 移轉服務遵循 Cloud Storage 的路徑長度上限 (1024 個位元組)。目標物件的前置字串會納入長度限制,因為前置字串會併入 Cloud Storage 中的物件名稱。
支援的檔案中繼資料
如要瞭解系統預設或選擇性保留哪些中繼資料,請參閱「保留中繼資料」一文。
延長工作暫停時間
如果工作暫停超過 30 天,系統會視為閒置。工作處於非使用中狀態時,系統會中止暫停的工作,並停用工作設定時間表。除非您明確重新啟用工作,否則不會啟動任何新的工作執行作業。
檔案系統來源安全性
代理人存取權
能夠建立移轉工作的使用者,可以從代理程式可存取的任何檔案系統目錄中擷取資料,並將資料下載至該目錄。如果代理程式以根層級執行,並取得整個檔案系統的存取權,惡意行為者可能就能接管主機。強烈建議您限制代理程式存取權,只允許存取必要目錄。