Google Cloud 提供工具、產品、指南和專業服務,協助您將資料從 Amazon Simple Storage Service (Amazon S3) 遷移至 Cloud Storage。本文說明如何設計、實作及驗證從 Amazon S3 遷移至 Cloud Storage 的計畫。本文說明整體遷移程序的一部分,包括建立 Amazon S3 構件清單,以及制定遷移程序處理計畫。
本文旨在協助雲端管理員瞭解如何規劃及實施遷移程序。此外,也適合正在評估遷移機會,並想瞭解遷移可能樣貌的決策者。
本文件是從 AWS 遷移至Google Cloud 系列文章的一部分,該系列包含下列文件:
- 開始使用
- 從 Amazon EC2 遷移至 Compute Engine
- 從 Amazon S3 遷移至 Cloud Storage (本文件)
- 從 Amazon EKS 遷移至 Google Kubernetes Engine
- 從 Amazon RDS 和 Amazon Aurora for MySQL 遷移至 MySQL 適用的 Cloud SQL
- 從 Amazon RDS 和 Amazon Aurora for PostgreSQL 遷移至 PostgreSQL 適用的 Cloud SQL 和 AlloyDB for PostgreSQL
- 從 Amazon RDS for SQL Server 遷移至 SQL Server 適用的 Cloud SQL
- 從 AWS Lambda 遷移至 Cloud Run
如要遷移至 Google Cloud,建議您按照「遷移至 Google Cloud:開始使用」一文所述的遷移架構操作。
以下是遷移流程圖。
您可能會分批從來源環境遷移至 Google Cloud ,例如先遷移部分工作負載,再遷移其他工作負載。針對每個獨立的遷移疊代,您必須遵循一般遷移架構的階段:
- 評估並探索工作負載和資料。
- 在 Google Cloud上規劃及建構基礎。
- 將工作負載和資料遷移至 Google Cloud。
- 將 Google Cloud 環境調整至最佳狀態。
如要進一步瞭解這個架構的各個階段,請參閱「遷移至 Google Cloud:開始使用」。
為設計有效的遷移計畫,建議您驗證計畫的每個步驟,並確保有復原策略。如要驗證遷移計畫,請參閱「遷移至 Google Cloud:驗證遷移計畫的最佳做法」。
評估來源環境
在評估階段,您需要判斷將來源環境遷移至 Google Cloud的需求和依附元件。
評估階段是您能否成功遷移的關鍵。您必須深入瞭解要遷移的工作負載、其需求、依附元件,以及目前的環境。您必須瞭解起點,才能成功規劃及執行 Google Cloud遷移作業。
評估階段包含下列工作:
- 建立工作負載的完整清單。
- 根據工作負載的屬性和依附元件,將工作負載分類。
- 訓練及教育團隊 Google Cloud。
- 在 Google Cloud上建構實驗和概念驗證。
- 計算目標環境的總持有成本 (TCO)。
- 選擇工作負載的遷移策略。
- 選擇遷移工具。
- 定義遷移計畫和時程。
- 驗證遷移計畫。
如要進一步瞭解評估階段和這些工作,請參閱「遷移至 Google Cloud:評估及探索工作負載」。以下各節內容是根據該文件中的資訊撰寫而成。
建立 Amazon S3 儲存貯體清單
如要設定遷移範圍,請建立兩個清單:一個是 Amazon S3 bucket 清單,另一個是儲存在 bucket 中的物件清單。
建立 Amazon S3 bucket 的清單後,請考量每個 Amazon S3 bucket 的下列資料點,進一步調整清單:
- Amazon S3 bucket 伺服器端加密機制的設定方式。
- Amazon S3 bucket 身分與存取權管理設定。
- S3 封鎖公開存取權的設定。
- Amazon S3 bucket 的任何成本分配標記。
- S3 物件鎖定的設定。
- 您存取 Amazon S3 bucket 的方式。
- 「要求者付費」功能的設定方式。
- Amazon S3 物件版本管理設定。
- Amazon S3 的 AWS 備份政策設定。
- 是否使用 Amazon S3 智慧分層。
- Amazon S3 物件複製作業的設定方式。
- Amazon S3 物件生命週期。
- 值區是否為特殊類型,例如 S3 資料表、S3 中繼資料或 S3 向量。
我們也建議您收集 Amazon S3 bucket 的相關資料,以便計算每個 bucket 所含物件的匯總統計資料。舉例來說,如果您收集物件總大小、平均物件大小和物件數量,就能估算從 Amazon S3 bucket 遷移至 Cloud Storage bucket 所需的時間和費用。
如要建立 Amazon S3 bucket 的清查項目,並收集 Amazon S3 bucket 的資料點,您可以實作依賴 AWS 工具的資料收集機制和程序,例如:
- Amazon S3 監控工具
- S3 Analytics
- AWS 多帳戶多區域資料匯總
- AWS API
- AWS 開發人員工具
- AWS 指令列介面
為避免在遷移期間發生問題,並預估遷移所需的工作量,建議您評估 Amazon S3 bucket 功能與類似 Cloud Storage bucket 功能的對應關係。下表彙整了這項對應關係。
如前所述,上表列出的功能在比較時可能看起來很相似。不過,這兩家雲端服務供應商在功能設計和實作方面的差異,可能會對您從 Amazon S3 遷移至 Cloud Storage 的作業產生重大影響。
特殊 Amazon S3 儲存貯體類型
為避免在遷移期間發生問題,並預估特殊用途所需的工作量,建議您評估這些 Amazon S3 儲存貯體功能如何對應至 Google Cloud 服務。下表彙整了這項對應關係。
| Amazon S3 功能 | Cloud Storage 功能 |
|---|---|
| S3 資料表 | BigLake 或 BigQuery |
| S3 向量 | 向量搜尋 |
| S3 中繼資料 | Storage Insights |
建立 Amazon S3 物件中儲存的物件清單
建立 Amazon S3 bucket 的清單後,建議您使用 Amazon S3 清單工具,建立這些 bucket 中儲存的物件清單。
如要建立 Amazon S3 物件的清單,請針對每個物件考量下列事項:
- Amazon S3 物件名稱
- Amazon S3 物件大小
- Amazon S3 物件中繼資料
- Amazon S3 物件子資源
- Amazon S3 物件版本,以及是否需要遷移這些版本
- Amazon S3 物件預先簽署網址
- Amazon S3 物件轉換
- Amazon S3 物件標記
- Amazon S3 物件儲存空間級別
- Amazon S3 物件封存
- Amazon S3 物件核對和
我們也建議您收集 Amazon S3 物件的相關資料,瞭解您和工作負載建立、更新及刪除 Amazon S3 物件的頻率。
為避免在遷移期間發生問題,並預估遷移所需的工作量,建議您評估 Amazon S3 物件功能與類似 Cloud Storage 物件功能的對應關係。下表彙整了這項對應關係。
| Amazon S3 功能 | Cloud Storage 功能 |
|---|---|
| 物件命名規則 | 物件名稱規定 |
| 物件中繼資料 物件標記 |
物件中繼資料 |
| 物件子資源 | 物件中繼資料 |
| 物件預先簽署網址 | 經簽署的網址 |
| 物件轉換 | Cloud Storage 的 Pub/Sub 通知 Cloud Run functions Cloud Run |
| 物件儲存空間級別 物件封存 |
Cloud Storage 儲存空間級別 |
| 物件前置條件作業 | 要求先決條件 |
如前所述,上表列出的功能在比較時可能看起來很相似。不過,這兩家雲端服務供應商在功能設計和實作方面的差異,可能會對您從 Amazon S3 遷移至 Cloud Storage 的作業產生重大影響。
完成評估
從 Amazon S3 環境建立清查項目後,請按照「遷移至 Google Cloud:評估及探索工作負載」一文所述,完成評估階段的其他活動。
規劃及奠定基礎
在規劃和建構階段,您需要佈建及設定基礎架構,以執行下列操作:
- 支援 Google Cloud 環境中的工作負載。
- 連結來源環境和 Google Cloud 環境,完成遷移作業。
規劃和建構階段包含下列工作:
- 建立資源階層。
- 設定 Google Cloud的身分與存取權管理 (IAM)。
- 設定帳單資訊。
- 設定網路連線。
- 強化安全性。
- 設定記錄、監控和警告功能。
如要進一步瞭解各項工作,請參閱「遷移至 Google Cloud:規劃及建構基礎」。
將資料和工作負載從 Amazon S3 遷移至 Cloud Storage
如要將資料從 Amazon S3 遷移至 Cloud Storage,建議您按照「遷移至 Google Cloud:移動大型資料集」中的指引,設計資料遷移計畫。該文件建議使用 Storage 移轉服務,這項 Google Cloud 產品可讓您從多個來源 (例如地端部署環境或其他雲端儲存空間供應商) 將資料遷移至 Cloud Storage。Storage 移轉服務支援多種資料移轉工作,例如:
- 執行一次的移轉工作:視需要將資料從 Amazon S3 或其他支援的來源移轉至 Cloud Storage。
- 排定移轉工作:按照排程將資料從 Amazon S3 或其他支援的來源移轉至 Cloud Storage。
- 事件導向移轉工作:當 Amazon S3 將 Amazon S3 事件通知傳送至 Amazon Simple Queue Service (SQS) 時,系統會自動移轉資料。
如要實作資料遷移計畫,您可以設定一或多項資料移轉工作。舉例來說,如要縮短遷移期間的切換時間範圍,您可以實作持續複製資料遷移策略,如下所示:
- 設定執行一次的移轉工作,將資料從 Amazon S3 bucket 複製到 Cloud Storage bucket。
- 執行資料驗證和一致性檢查,比較 Amazon S3 bucket 中的資料與 Cloud Storage bucket 中的複製資料。
- 設定事件導向移轉工作,在 Amazon S3 bucket 內容變更時,自動將資料從 Amazon S3 bucket 移轉至 Cloud Storage bucket。
- 停止可存取遷移資料 (即上一步涉及的資料) 的工作負載和服務。
重構工作負載,改用 Cloud Storage 而非 Amazon S3。您可以採用下列其中一種方法,或依序採用下列方法,重構工作負載:
輕鬆從 Amazon S3 遷移至 Cloud Storage。 在簡單遷移中,您可以使用現有的工具和程式庫,產生經過驗證的 REST 要求,傳送至 Amazon S3,改為產生經過驗證的要求,傳送至 Cloud Storage。
舉例來說,Cloud Storage 支援使用 XML 多物件刪除 API,在單一要求中刪除最多 1,000 個物件。這項功能與 Amazon S3 DeleteObjects API 相容。
從 Amazon S3 完全遷移至 Cloud Storage。 在完整遷移中,您可以使用 Cloud Storage 的所有功能,包括多個專案和 OAuth 2.0 驗證。
等待複製作業將 Cloud Storage 與 Amazon S3 完全同步。
啟動工作負載。
不再需要將 Amazon S3 環境做為備用選項時,請將其停用。
Storage 移轉服務可在您將物件從支援的來源遷移至 Cloud Storage 時,保留特定中繼資料。建議您評估 Storage 移轉服務是否能遷移您感興趣的 Amazon S3 中繼資料。
設計資料遷移計畫時,建議您一併評估 AWS 網路輸出費用和 Amazon S3 費用。舉例來說,您可以考慮下列資料移轉選項:
- 透過公開網際網路。
- 使用互連網路連結。
- 使用 Amazon CloudFront。
您選擇的選項可能會影響 AWS 網路輸出費用和 Amazon S3 費用。此外,這個選項也會影響您在佈建及設定基礎架構時,需要投入的心力和資源。如要進一步瞭解費用,請參閱下列資源:
- 從 Amazon S3 移轉至 Cloud Storage:輸出選項
- AWS 說明文件中的「瞭解資料移轉費用」
- Amazon S3 定價
將資料從 Amazon S3 遷移至 Cloud Storage 時,建議您使用 VPC Service Controls 建立 perimeter,明確拒絕 Google Cloud 服務之間的通訊,除非服務已獲得授權。
最佳化 Google Cloud 環境
最佳化是遷移作業的最後階段。在這個階段,您會反覆執行最佳化工作,直到目標環境符合最佳化需求。每次疊代的步驟如下:
- 評估目前的環境、團隊和最佳化循環。
- 確立最佳化需求和目標。
- 最佳化環境和團隊。
- 調整最佳化循環。
重複這個流程,直到達成最佳化目標。
如要進一步瞭解如何最佳化 Google Cloud 環境,請參閱「遷移至 Google Cloud:最佳化環境」和「Google Cloud Well-Architected Framework:效能最佳化」。
後續步驟
- 瞭解其他從 AWS 遷移至 Google Cloud 的歷程。
- 瞭解如何比較 AWS 和 Azure 服務與 Google Cloud。
- 瞭解如何取得遷移作業相關協助。
- 參加 Google Skills 訓練課程,瞭解如何遷移至 Google Cloud。
- 如要查看更多參考架構、圖表和最佳做法,請瀏覽 Cloud Architecture Center。
貢獻者
作者:Marco Ferrari | 雲端解決方案架構師