Storage 移轉服務可以監聽 AWS、Azure 或 Google Cloud 中的事件通知,自動移轉來源位置中新增或更新的資料。系統支援從 AWS S3、Azure 或 Cloud Storage 觸發事件驅動移轉作業,且一律會使用 Cloud Storage 值區做為目的地。
事件導向轉移會監聽:
- 傳送至 Amazon SQS 的 Amazon S3 事件通知 (適用於 AWS S3 來源)。
- 適用於 Azure 來源的 Azure 儲存體佇列。
- Cloud Storage 來源的 Pub/Sub 訂閱項目。
系統不會偵測物件刪除作業;刪除來源中的物件不會一併刪除目標值區中的相關聯物件。
事件導向移轉作業的優點
由於事件導向移轉作業會監聽來源 bucket 的變更,因此更新內容會近乎即時地複製到目的地。Storage 移轉服務不需要對來源執行清單作業,因此可節省時間和金錢。
用途包括:
事件驅動分析:將 AWS 或 Azure 的資料複製到 Cloud Storage,以執行分析和處理作業。
Cloud Storage 複寫:啟用 Cloud Storage 值區之間的自動非同步物件複寫。
Storage 移轉服務的事件驅動式移轉與一般 Cloud Storage 複製作業不同,前者會在另一個值區中建立資料副本。
這項做法的優點包括:
- 將開發和實際工作環境資料放在不同的命名空間。
- 共用資料,但不提供原始值區的存取權。
- 備份到其他大陸,或雙區域和多區域儲存空間未涵蓋的區域。
災難復原/高可用性設定:以分鐘為單位,將物件從來源複製到備份目的地:
- 跨雲端備份:在 Cloud Storage 中建立 AWS S3 或 Azure 備份的副本。
- 跨區域或跨專案備份:在不同區域或專案中建立 Cloud Storage bucket 的副本。
即時遷移:事件驅動式轉移可支援低停機時間遷移,停機時間約為幾分鐘,是單次批次遷移的後續步驟。
操作說明
- 設定 Cloud Storage 的事件驅動型轉移作業
- 設定從 AWS S3 進行事件驅動的轉移作業
- 設定從 Azure Blob 儲存體或 Data Lake Storage Gen2 進行事件驅動式轉移