本文說明如何使用儲存空間批次作業,在無伺服器環境中大規模對數十億個物件執行動作。大型企業的設定可能會有物件分散在數千個 bucket 中。Storage 批次作業可自動對物件執行大規模作業。這項自動化功能可減少為每個要求編寫及維護指令碼所需的開發時間。
如要瞭解如何建立儲存空間批次作業工作,請參閱「建立及管理儲存空間批次作業工作」。
總覽
使用儲存空間批次作業,管理專案中的大量檔案。如要開始使用,請建立工作設定。這項設定會定義要對特定物件套用哪些轉換。這些轉換包括設定物件保留、刪除物件、更新物件中繼資料和內容、重寫物件,以及修補存取權控管。
提交批次作業工作後,您可以監控工作狀態,確認工作何時會套用所有指定的轉換。
優點
儲存空間批次作業的優點如下:
- 擴充性:透過單一儲存空間批次作業工作,對數百萬個物件執行轉換作業。
- 無伺服器執行:在無伺服器環境中執行批次工作,不必管理基礎架構。
- 自動化:自動執行複雜和重複性工作,提升作業效率。
- 縮短開發時間:避免編寫及維護複雜的自訂指令碼。
- 整合儲存空間分析資料集:指定符合儲存空間分析資料集中欄位的條件,直接選取物件。直接選取資料集,即可免去手動組裝 CSV 資訊清單,或執行查詢來從 BigQuery 匯出資料集的麻煩。
- 效能:執行多個並行批次工作,完成時間敏感型作業。舉例來說,您可以在三小時內處理最多十億個物件。
- 自動重試:自動重試失敗的作業。
- 工作監控:詳細追蹤進度,監控所有工作的狀態和完成情況。
用途
Storage 批次作業可自動執行作業,簡化整個機構的儲存空間管理。下列常見情境說明如何運用標籤保護、整理及管理資源:
協助保護資料:大規模管理資安態勢。舉例來說,您可以輪替數百萬個物件的加密金鑰、套用或移除物件保留,以強制執行不可變更性,以及大量修補存取控制清單 (ACL),移除私人資料的公開讀取權。
遵守法規:協助您符合資料保留法規。使用目標物件保留功能強制執行保留規則、設定特定到期時間表,以及在特定時間內刪除物件,以符合清除政策。
大規模轉換資料:對物件屬性執行大量更新。舉例來說,您可以更新自訂或固定物件中繼資料,以及透過更新或清除物件自訂脈絡,為下游系統標記檔案。
管理儲存空間費用:協助您盡可能提高 Cloud Storage 支出效益。舉例來說,您可以大量刪除不必要的使用中物件、永久刪除非現行物件版本來清除過時記錄,以及大規模將 Standard Storage 物件移至較冷的儲存空間級別,例如 Archive Storage。
工作設定
如要建立儲存空間批次作業工作,請設定下列工作設定。 工作設定是控制工作處理物件方式的參數。
工作名稱:用於識別儲存空間批次作業工作的專屬名稱。您可以使用這個名稱追蹤、監控及參照工作。工作名稱為英數字元,例如
job-01。職務說明 (選填):簡要說明職務用途。這段說明有助於您瞭解及記錄工作內容。例如:
Deletes all objects in a bucket。值區清單:以半形逗號分隔的清單,包含一或多個值區名稱,這些值區含有您要處理的物件。只要每個 bucket 都已加入儲存空間智慧計畫,您就可以指定任何專案中的 bucket,最多 1,000 個。
物件選取:定義要處理哪些物件的選取條件。你可以使用下列任一選項指定條件:
資料集篩選器:使用一般運算語言 (CEL),根據「儲存空間分析」資料集中的中繼資料欄位篩選物件。您可以在專案中,對多個值區的物件執行批次工作。使用資料集篩選器選取物件時,儲存空間批次作業會以所選資料集快照中的現有物件為目標。因此,這項工作只會包含在快照時間點同時具有
softDeleteTime和timeDeletedNULL值的物件。詳情請參閱「使用進階篩選器建立工作」。資訊清單:建立資訊清單,並在建立儲存空間批次作業工作時指定其位置。資訊清單是上傳至 Google Cloud 的 CSV 檔案,內含要處理的物件清單。資訊清單中的每個資料列都必須包含物件的
bucket和name。您可以選擇指定物件的generation。如果省略generation值,工作會處理物件的使用中版本。資訊清單檔案必須包含標題列,格式如下:
bucket,name,generation以下是資訊清單範例:
bucket,name,generation bucket_1,object_1,generation_1 bucket_1,object_2,generation_2 bucket_2,object_3,generation_3
您也可以使用 Storage Insights 資料集建立資訊清單。詳情請參閱「使用儲存空間分析資料集建立資訊清單」。
物件前置字串:指定前置字串清單,篩選 bucket 中的物件。這項工作只會處理符合這些前置字串的物件。如果前置字串清單留空,這項工作就會處理 bucket 中的所有物件。
工作類型:儲存空間批次作業支援下列工作類型,每個批次作業會執行一項工作。
刪除物件:刪除 bucket 中的物件,有助於節省成本、管理資料生命週期,以及遵守資料刪除政策。
中繼資料更新:您可以修改下列物件中繼資料:
物件保留更新:您可以啟用或停用物件保留。 物件保留可防止物件遭到刪除或修改。這些暫時保留措施對於法規遵循和資料保留至關重要。
更新物件加密金鑰:您可以管理一或多個物件的客戶自行管理的加密金鑰。這項功能包括使用重寫物件方法套用或變更加密金鑰。
物件脈絡更新:管理與物件相關的物件脈絡。您可以清除所有現有物件脈絡資料,或進行特定更新,例如移除鍵或插入及更新鍵值組合。
更新物件儲存空間級別:您可以大量變更物件的儲存空間級別,以達到最佳成本效益。
更新物件存取控制清單 (ACL):您可以修補物件 ACL,新增、更新或移除
allUsers和allAuthenticatedUsers等實體的授權。
模擬測試 (選用):使用模擬測試模式,避免發生大規模錯誤設定。模擬測試會模擬作業,但不會執行轉換。這項模擬作業可協助您在執行實際工作前,先驗證工作設定。模擬測試結果會預先顯示下列詳細資料,方便您在執行工作前查看:
工作影響的物件數量。
潛在錯誤。
如果您依物件前置字元篩選,則為受影響物件的總大小。
定價
如要估算工作或模擬測試的費用,請參閱 Cloud Storage 定價。
您可以使用模擬測試驗證設定,不必支付作業費用,但模擬測試可能會產生物件列出費用。
限制
Storage 批次作業有下列限制:
儲存空間批次作業工作最多可存在 14 天。如果進行中的工作未在建立後 14 天內完成,系統會自動取消。
單一工作最多可包含 1,000 個物件前置字串。
在同一個 bucket 上執行超過 10 個並行工作,會導致每個工作的效能降低。
您可以在專案中,對最多 1,000 個 bucket 執行單一批次工作。
儲存區篩選條件和物件篩選條件的長度上限皆為 150 個半形字元。
Storage 批次作業會根據全域資訊清單,自動選取 Storage Insights 資料集快照時間。這項選取項目會將所有目標值區與物件探索的相同快照時間相符。選取的全域快照時間會傳回至 API 回應。如果快照時間超過兩天,工作建立就會失敗。如要瞭解如何解決這項失敗問題,請參閱「疑難排解 Storage 批次作業問題」。
使用儲存空間洞察資料集選取物件時,儲存空間批次作業會以所選資料集快照中的現有物件為目標。
後續步驟
- 瞭解如何建立及管理儲存空間批次作業工作。