規劃 bucket 遷移作業

遷移 bucket 前,請先確認 bucket 的使用情形,並規劃可能的停機時間。規劃遷移作業也有助於維持資料相容性,並控管儲存空間費用。

以下各節說明規劃步驟。

決定 bucket 遷移類型

重新定位 bucket 時,請務必瞭解,在最終同步處理步驟中,可能會有一段寫入停機時間,您無法更新或上傳新物件。此外,在重新配置期間,您無法變更 bucket 的設定。如要判斷搬遷作業是否會造成停機,請參閱「搬遷類型」。

查看不支援的功能和相容性規定

找出來源 bucket 中不支援 bucket 遷移的設定,以及需要採取行動才能支援 bucket 遷移的設定。如果 bucket 使用不支援的設定,且無法修改,或者來源或目的地是不支援的位置,您就必須手動將物件複製到目的地位置的其他 bucket,而不是重新定位 bucket 及其物件。詳情請參閱「在 bucket 之間移動資料」。

以下各節說明不支援的功能和相容性需求。

不支援的功能

下表說明與 bucket 遷移不相容的功能。在某些情況下,您可以重新設定功能,以支援 bucket 遷移:

功能 相容性狀態 啟動 bucket 遷移作業前必須採取的行動
階層命名空間 不支援寫入停機時間的 bucket 遷移作業。 如果 bucket 啟用階層命名空間,只有在遷移程序不會造成寫入停機時,才能遷移 bucket
Appspot bucket 不支援。 您無法遷移 Appspot bucket。建議您將 Container Registry 遷移至 Artifact Registry,做為 App Engine 建立預設 bucket 的解決方法。
Firebase bucket 不支援。 無法重新定位 Firebase bucket。
物件保留 不支援。
如果 bucket 含有設有保留的物件,就無法遷移。
如要使用 bucket 遷移功能,請移除物件保留。
代管資料夾 不支援。
無法遷移含有代管資料夾的值區。
如要使用 bucket 遷移功能,請刪除代管資料夾。
客戶自行管理的加密金鑰 (CMEK) 或客戶提供的加密金鑰 (CSEK) 不支援寫入停機時間的重新定位。 如要使用 bucket 遷移功能,請移除客戶自行管理的加密金鑰或客戶提供的加密金鑰。移除後,Cloud Storage 會自動使用標準 Cloud Storage 加密保護資料。
Rapid Cache 不支援無寫入停機時間的 bucket 遷移作業,部分支援有寫入停機時間的 bucket 遷移作業。 如要重新配置 bucket,且不希望寫入作業停機,請先停用 Rapid Cache,再開始重新配置。 如要遷移有寫入停機時間的 bucket,請在最終同步步驟前停用 Rapid Cache。
Bucket 鎖定 不支援設有有效資料保留政策的值區。如果保留政策已鎖定 (已啟用 Bucket Lock),則無法撤銷。因此 Cloud Storage 不支援重新定位 bucket。 如果資料保留政策未鎖定,您必須先移除政策,才能繼續遷移。
物件保留鎖定 不支援。啟用物件保留鎖定後,就無法停用。 如果 bucket 已啟用物件保留鎖定功能,就無法遷移。
標記 不支援寫入停機時間的搬遷作業。

您必須卸離直接附加至 bucket 的標記。

如果從來源 bucket 卸載的任何標記用於存取控管,您必須使用其他方法設定 IAM 角色,保護 bucket 中的資料。如要這樣做,請完成下列步驟:

  1. 複製代碼設定,以便在設定 IAM 角色時參考。確認 IAM 設定後,即可刪除副本。
  2. 設定 IAM 權限,與現有的存取控管規則相符。
  3. 從來源 bucket 卸除任何現有標記。
庫存報表設定 在遷移過程中,現有的商品目錄報表設定不會保留。 請在開始遷移程序前,手動儲存現有的商品目錄報表設定,以便在遷移程序完成後重新建立。如要瞭解如何管理庫存報表設定,請參閱「建立及管理庫存報表設定」。

bucket 遷移期間的功能相容性

下表說明在您重新定位 bucket 時,其他 Cloud Storage 功能的運作方式。行為可能會因重新定位模式而異:

功能 遷移期間無法寫入 重新定位,不影響寫入作業
自動調整級別行為 在最終同步處理步驟中,Autoclass 會暫時停用。暫停可能會延遲物件移至較冷儲存空間級別的時間。詳情請參閱「重新定位 bucket 時的 Autoclass 物件轉換」。 Autoclass 行為不受影響。
BigQuery 和 BigLake 資料表 遷移後,BigLake 外部資料表和使用 Apache Iceberg 的 BigQuery 資料表會無法存取,需要手動重新建立。無法自動偵測受影響的資料表。 支援。
物件大小限制 物件大小上限為 2 TB。 沒有大小限制。
多部分上傳 多部分上傳的相容性和行為,取決於您啟動 bucket 遷移作業時的上傳狀態:
  • 新的多部分上傳:不支援。
    系統不支援在重新定位作業啟動後開始多部分上傳,因此無法開始上傳。嘗試進行多部分上傳時失敗,並顯示 FAILED_PRECONDITION 錯誤。
  • 進行中的多部分上傳:不支援。
    如果多部分上傳作業在最終同步處理步驟前未完成,遷移作業就無法完成。完成或取消進行中的多部分上傳作業後,您可以重試最終步驟。
  • 已完成的多部分上傳作業:支援。
    如果多部分上傳作業在 bucket 遷移作業開始前啟動,並在最終同步處理步驟前完成,則上傳的物件會遷移,不需重新上傳。
多部分上傳作業的相容性和行為,取決於您啟動 bucket 遷移作業時的上傳狀態:
  • 新的多部分上傳:不支援。
    系統不支援在啟動重新定位後開始多部分上傳作業,因此上傳作業會失敗。多部分上傳失敗,並顯示 FAILED_PRECONDITION 錯誤。
  • 進行中的多部分上傳:不支援。
    開始 bucket 遷移前,請先完成或取消所有進行中的多部分上傳作業。
  • 已完成的多部分上傳作業:支援。
支援續傳的上傳作業 不支援。
為避免資料遺失,在 Bucket 遷移程序的最終同步步驟開始前,必須先完成進行中的支援續傳的上傳作業。
支援。
跨專案搬遷 不支援。
您無法跨專案重新定位 bucket。
支援。
中繼資料更新 不支援。
遷移期間無法更新 bucket 的中繼資料。
支援。
要求比率升速 遷移的 bucket 適用與新建立 bucket 相同的要求速率升級指南。 不適用。

分析 bucket 特徵

如要估算 bucket 遷移時間,請分析 bucket 的特性和用量,並考量下列因素:

  • 靜態位元組:儲存在 bucket 中的資料總量會影響儲存空間費用和傳輸時間。

  • 複製:將 bucket 複製到其他區域 (同步或非同步),會影響資料可用性、耐久性和費用。詳情請參閱「資料可用性和耐用性」。

  • 資料移轉:重新配置期間從 bucket 移轉出的資料量,會影響資料移轉費用的計算。如要計算 bucket 的資料傳輸費用,請參閱「Cloud Storage 定價」。

  • 使用模式:透過使用模式瞭解 bucket 活動層級或 bucket 的忙碌程度,有助於避免在遷移期間發生非預期的衝突。如要瞭解 bucket 的使用模式,可以分析記錄。詳情請參閱「用量記錄和儲存空間記錄」。

  • bucket 寫入作業:遷移程序期間頻繁的 bucket 寫入作業會增加費用和時間。搬遷進度並非線性,且難以預測。請勿根據小型搬遷作業的時長,估算大型搬遷作業所需的時間。如要監控物件寫入 bucket 的頻率,請參閱「Cloud Storage 監控功能總覽」。

定義遷移目標

根據您對 bucket 特徵的分析,找出移動 bucket 的原因。以下是遷移 Bucket 的常見目標:

  • 成本管理:遷移至成本較低的區域,即可降低儲存空間費用;將資料移至存取位置附近,即可盡量減少資料移轉費用。您需要計算 Cloud Storage 和資料傳輸成本,並與不同位置的潛在成本進行比較。如要進一步瞭解如何計算 Cloud Storage 費用,請參閱「 Cloud Storage 定價」。

  • 提升效能:將 bucket 移至更靠近使用者或應用程式的位置,提高資料存取速度和應用程式效能。如要這麼做,請找出效能至關重要的地理區域,並重新分配 bucket。

  • 提升可靠性:使用雙區域或多區域設定,提升資料耐用性和災難復原能力。

決定 bucket 位置

請根據分析結果和目標,從下列選項中選擇最適合 bucket 的儲存空間位置:

  • 單一區域:將資料儲存在單一區域,適合使用者集中在同一地理區域的應用程式,符合成本效益。

  • 雙區域:在同一洲的兩個區域中保留兩份資料副本,在特定地理區域內提供更高的可用性和災難復原功能。

  • 多區域:將資料分散到多個區域,提供最高等級的可用性和耐用性。

如要進一步瞭解如何選擇位置,請參閱「選擇位置的考量」。

瞭解影響重新定位時間的因素

有幾項因素會影響重新配置時間,瞭解這些因素有助於預估所需時間。雖然這些因素有助於規劃及安排遷移作業,但實際遷移時間可能會比預估時間長或短。因此,安排遷移時,請預留緩衝時間,以因應可能發生的延遲。以下各節說明影響重新定位時間的因素。

重新定位服務限制

下表說明會影響搬遷時間的限制:

因素 值 說明
每項工作的要求比率上限 每秒 10,000 個物件 這是指服務每秒可處理的複製要求數量。

要求比率越高,可同時移動的檔案就越多。 如果 bucket 包含許多小檔案,高要求比率可加快遷移速度。如果只有少數大型檔案,這項因素的影響較小。

每項專案的整體頻寬上限 10 GBps 這是指您在來源位置內,為單一專案轉移資料時可達到的最高速度或頻寬。如果是在同一項專案中移動多個 bucket,這些 bucket 會共用頻寬。

頻寬越高,一次可傳輸的資料量就越多。即使要求比率很高,但如果頻寬很小,整體傳輸速度就會很慢。

單一物件的頻寬上限

8 MB/秒 這是單一物件的傳輸速度上限。

單一物件的頻寬越高,物件的傳輸速度就越快。這是指一次移動一個物件的速度上限。 即使每個值區的要求比率和頻寬都很高,如果個別物件有速度限制,傳輸時間可能會比較長。

每項專案可同時執行的重新定位作業數量上限

30 次重新定位 bucket 遷移服務最多支援從專案內相同位置進行 30 項並行遷移作業。

搬遷存留時間限制

為提高資源使用率,並避免遷移作業無限期執行,所有 bucket 遷移作業都設有存留時間 (TTL) 限制。TTL 是指完成整個重新定位程序的時間上限。

bucket 遷移作業最多可在 28 天內完成,包括遷移程序的所有階段,例如初始複製、增量更新和最終同步處理。

如果遷移程序超過 28 天的 TTL 限制,遷移作業就會失敗。

進行中的 bucket 活動

如果在遷移期間繼續寫入新物件、刪除現有物件或更新 Bucket 中的物件,這些作業會與複製要求爭用資源,導致遷移程序變慢。

生命週期規則

如果您為 bucket 設定了生命週期規則,例如在特定時間後自動刪除或封存物件,這些動作會增加整體重新定位時間。

設定 Storage Intelligence

您必須為來源和目的地位置設定 Storage Intelligence。您可以在 Google Cloud 資源階層結構的不同層級設定 Storage Intelligence。您也可以使用納入和排除篩選器,在 Storage Intelligence 設定中納入相關 bucket。詳情請參閱「設定 Storage Intelligence」。

為寫入停機時間的重新定位作業啟用虛刪除功能

如果 bucket 遷移作業會造成寫入停機,您必須在 bucket 上啟用虛刪除,並將保留期限設為至少七天。保留時間是指虛刪除功能在永久刪除物件前,保留已刪除物件的時間長度。如要瞭解如何設定虛刪除保留時間長度,請參閱「使用虛刪除功能」。如要判斷搬遷作業是否會造成停機,請參閱「搬遷類型」。

查看配額和限制

配額和雲端容量評估與特定區域或可用區相關。因此,將 bucket 移至新位置時,請務必確認新位置有足夠的配額可容納 bucket 資料。如要進一步瞭解配額和限制,請參閱「配額與限制」。

後續步驟