這份指南可協助您評估雲端工作負載的儲存空間需求、瞭解 Google Cloud提供的儲存空間選項，並設計出可提供最佳技術和業務價值的儲存空間策略。
如要瞭解如何為 AI 和機器學習工作負載選取儲存空間服務，請參閱「AI Hypercomputer 中 AI 和機器學習工作負載的儲存空間服務總覽」。
設計程序總覽
身為雲端架構師，在規劃雲端工作負載的儲存空間時，您必須先考量工作負載的功能特性、安全限制、韌性需求、效能預期和成本目標。接著，您需要查看Google Cloud中可用的儲存空間服務和功能。接著，根據您的需求和可用選項，選取所需的儲存服務和功能。下圖顯示這個三階段設計程序：
定義需求
請使用本節的問卷，定義要在 Google Cloud中部署的工作負載主要儲存空間需求。
定義儲存空間需求的指南
填寫問卷時，請留意下列事項：
定義精細的需求
舉例來說，如果應用程式需要網路檔案系統 (NFS) 檔案儲存空間，請找出所需的 NFS 版本。
考量未來需求
舉例來說，您目前的部署作業可能為亞洲國家/地區的使用者提供服務，但您可能打算將業務拓展至其他洲。在這種情況下，請考量新業務領域中任何與儲存空間相關的法規要求。
考量雲端專屬商機和需求
善用雲端專屬商機。
舉例來說，如要最佳化 Cloud Storage 中資料的儲存成本，您可以使用資料保留政策和生命週期設定，控管儲存時間長度。
考量雲端專屬需求。
舉例來說，地端部署資料可能位於單一資料中心，而您可能需要將遷移的資料複製到兩個Google Cloud 位置，以進行備援。
問卷
下列問卷並非詳盡的規劃檢查清單，請以這些問題為起點，系統化分析要部署至 Google Cloud的工作負載的所有儲存空間需求。
評估工作負載的特性
您需要儲存哪種資料？
範例
- 靜態網站內容
- 備份與封存資料，以便災難復原
- 法規遵循稽核記錄
- 使用者直接下載的大型資料物件
- 交易資料
- 非結構化和異質資料
您需要多少容量？請考量目前和未來的需求。
容量是否應隨用量自動調整？
存取權規定為何？例如，是否可以從 Google Cloud外部存取資料？
預期的讀寫模式為何？
範例
- 頻繁寫入和讀取
- 寫入頻率高，但讀取頻率低
- 偶爾寫入和讀取
- 偶爾寫入，但經常讀取
工作負載是否需要檔案式存取權，例如使用 NFS？
多個用戶端是否應能同時讀取或寫入資料？
找出安全性限制
您的資料加密需求為何？舉例來說，您是否需要使用自己控管的金鑰？
是否有任何資料落地規定？
定義資料彈性需求
- 工作負載是否需要低延遲快取或臨時空間？
- 是否需要將資料複製到雲端，以備不時之需？
- 複製的資料集是否需要嚴格的讀寫一致性？
設定成效預期
所需的 I/O 速率為何？
應用程式需要多少讀取和寫入處理量？
您需要為哪些環境提供儲存空間？對於特定工作負載，您可能需要高效能儲存空間來支援正式環境，但非正式環境則可選擇效能較低的選項。
查看儲存空間選項
Google Cloud 提供所有主要儲存格式的儲存服務：區塊、檔案和物件。查看及評估各儲存格式可用服務的功能、設計選項和相對優勢。
總覽
區塊儲存空間
儲存在區塊儲存空間中的資料會分割成多個區塊，每個區塊都會儲存為獨立的區塊，並具有專屬位址。應用程式會參照適當的區塊位址來存取資料。區塊儲存空間經過最佳化調整，適用於高 IOPS 工作負載，例如交易處理。類似於地端部署儲存區域網路 (SAN) 和直接附加儲存 (DAS) 系統。
Google Cloud 中的區塊儲存空間選項屬於 Compute Engine 服務。
| 選項 | 總覽 |
|---|---|
| Persistent Disk | 專用的傳統硬碟 (HDD) 和固態硬碟 (SSD)，適用於部署至 Compute Engine VM 和 Google Kubernetes Engine (GKE) 叢集的企業和資料庫應用程式。 |
| Google Cloud Hyperdisk | Compute Engine VM 和 GKE 叢集適用的快速備援網路儲存空間，可動態增加容量並設定效能。 |
| 本機 SSD | 連接本機的暫時性區塊儲存空間，適合用於高效能應用程式。 |
檔案儲存空間
資料會以階層式檔案形式儲存在資料夾中，類似於地端部署網路附加儲存 (NAS)。檔案系統可使用 NFS 和伺服器訊息區塊 (SMB) 等通訊協定掛接在用戶端上。應用程式會使用相關檔案名稱和目錄路徑存取資料。
Google Cloud 提供一系列全代管檔案儲存解決方案。
| 解決方案 | 總覽 |
|---|---|
| Filestore |
使用 NFS 檔案伺服器，為 Compute Engine VM 和 GKE 叢集提供檔案式儲存空間。 |
| Google Cloud Managed Lustre |
低延遲平行處理檔案系統，適用於 AI、高效能運算 (HPC) 和資料密集型應用程式。 |
| Google Cloud NetApp Volumes | 使用 NFS、SMB 或區塊儲存空間通訊協定的檔案儲存空間。 |
物件儲存空間
資料會以物件的形式，儲存在值區的單層階層中。每個物件都會指派全域專屬 ID。物件可以有系統指派和使用者定義的中繼資料，協助您整理及管理資料。應用程式會使用 REST API 或用戶端程式庫，參照物件 ID 來存取資料。
Cloud Storage 提供低成本、高度耐用且可擴充的物件儲存庫，適用於多種資料類型。無論是在 Google Cloud內外，您都可以從任何地方存取儲存在 Cloud Storage 中的資料。您可以選擇跨區域備援，享有高可用性和可靠性。您可以根據資料保留和存取頻率需求，選取合適的儲存空間級別。
比較分析
下表列出Google Cloud儲存空間服務的主要功能。
| Persistent Disk | Hyperdisk | 本機 SSD | Filestore | Managed Lustre | NetApp Volumes | Cloud Storage | |
|---|---|---|---|---|---|---|---|
| 容量限制 |
每個磁碟 64 TiB，每個 VM 257 TiB。 最新規格： 永久磁碟說明文件 |
每個磁碟 64 TiB、每個 VM 512 TiB，以及每個儲存空間集區 5 PiB。 Google Cloud Hyperdisk Exapools 是容量較大的 Hyperdisk 集區。 最新規格： Hyperdisk 說明文件 |
每個磁碟 375 GiB，每個 VM 12,000 GiB。 Titanium SSD 磁碟支援每個磁碟最多 6 TiB，每個 VM 最多 84,000 GiB。 最新規格： 本機 SSD 說明文件 |
每個執行個體 100 TiB，視服務級別 | 80.1 PiB，具體取決於效能級別。 |
每個儲存空間集區和磁碟區 20 PiB。 最新規格： NetApp Volumes 說明文件 |
每個物件 5 TiB，每個 bucket 沒有限制 (Rapid Bucket 除外)。 最新規格： Cloud Storage 說明文件 |
|
調整資源配置 |
|
|
無法擴充 | 擴充及縮減資源 (可用區和區域級別) | 向上擴充 | 擴充及縮減 | 根據用量自動調度資源 |
| 分享 |
支援 | 支援 | 無法分享 | 可掛接至多個 Compute Engine VM、遠端用戶端和 GKE 叢集 | 可掛接至多個 Compute Engine VM 和 GKE 叢集 | 可掛接至多個 Compute Engine VM、遠端用戶端和 GKE 叢集 |
|
| 加密金鑰選項 |
|
|
Google-owned and Google-managed encryption keys |
|
|
|
|
| 資料保留設定 |
磁碟生命週期 | 磁碟生命週期 | 暫時性 (VM 停止或刪除時，資料會遺失) | Filestore 執行個體的生命週期 | Managed Lustre 執行個體的生命週期 | 磁碟區的生命週期 | 值區生命週期 |
| 供應情形 |
可用區 | 可用區 |
| ||||
| 效能 |
線性資源調度：可依磁碟大小和 CPU 數量調整 | 動態資源配置永久儲存空間 | 高效能臨時儲存空間 | 可用區和區域：自訂效能 | 根據所選效能級別調整資源配置。 | 可擴充的效能 預期結果取決於服務層級。 |
|
| 管理 |
手動格式化及掛接 | 手動格式化及掛接 | 手動格式化、分條及掛接 | 全代管 | 全代管 | 全代管 | 全代管 |
下表列出各 Google Cloud儲存空間選項適用的工作負載類型：
| 儲存空間選項 | 工作負載類型 |
|---|---|
| Hyperdisk 或 Persistent Disk |
|
| 本機 SSD |
|
| Filestore |
|
| Managed Lustre |
|
| NetApp Volumes |
|
| Cloud Storage |
|
選擇儲存空間選項
選取儲存空間選項時，請考量以下兩個部分：
- 決定所需的儲存空間服務。
- 在特定服務中選擇所需的功能和設計選項。
服務專屬功能和設計選項範例
Persistent Disk
- 部署區域和可用區
- 區域複製
- 磁碟類型、大小和 IOPS (適用於 Extreme Persistent Disk)
- 加密金鑰： Google-owned and Google-managed encryption keys或客戶自行管理
- 快照排程
Hyperdisk
- 部署區域和可用區
- 磁碟類型、大小和佈建的 IOPS 或處理量
- 加密金鑰： Google-owned and Google-managed encryption keys或客戶自行管理
- 複製：同步或非同步
- 快照排程
Filestore
- 部署區域和可用區
- 執行個體層級
- 容量
- IP 範圍：自動分配或自訂
- 存取控管
Managed Lustre
- 部署可用區
- 容量和效能級別
- 加密金鑰： Google-owned and Google-managed encryption keys或客戶自行管理
NetApp Volumes
- 部署區域
- 儲存空間集區的服務等級
- 集區和磁碟區容量
- Volume 通訊協定
- 磁碟區匯出規則
Cloud Storage
- 位置：多區域、雙區域、單一區域、單一可用區
- 儲存空間級別：Standard、Nearline、Coldline、Archive 或 Rapid
- 存取控管：統一或精細
- 加密金鑰： Google-owned and Google-managed encryption keys、客戶自行管理或客戶提供
- 資料保留政策
儲存空間建議
請參考下列建議，選擇符合需求的儲存空間服務和功能。如需 AI 和機器學習工作負載的專屬指引，請參閱「AI Hypercomputer 中 AI 和機器學習工作負載的儲存空間服務總覽」。
如果 AI、機器學習和 HPC 應用程式需要平行檔案系統，請使用 Managed Lustre。
如果應用程式需要檔案式存取權，請根據您對存取通訊協定、可用性和效能的需求，選擇合適的檔案儲存服務。
存取通訊協定 建議 NFS - 如需區域可用性和可設定的高效能，請使用 Filestore Regional 或 NetApp Volumes Flex Unified。
- 如果可用區可用性足夠：
- 如要單獨設定效能，不影響容量，請使用 Filestore Zonal 或 NetApp Volumes Flex Unified。
- 如要效能隨容量擴充，請使用 Filestore Zonal 或 NetApp Volumes Standard、Premium 或 Extreme。
詳情請參閱「 Filestore 服務級別」和「 NetApp Volumes 服務等級」。
SMB 使用 NetApp Volumes。 如果工作負載需要高效能的主要儲存空間，請視需求使用 Hyperdisk、本機 SSD 或 Persistent Disk。
規定 建議 運作快速的暫存磁碟或快取 使用本機 SSD 磁碟 (暫時性)。 區塊儲存空間，效能和容量可獨立擴充 使用 Hyperdisk，這是 Google 推薦的耐用區塊儲存空間，也是最新機器系列的必要項目。請根據需求選擇合適的磁碟類型：
- 一般用途工作負載：
hyperdisk-balanced - 高 I/O 工作負載，例如高效能資料庫：
hyperdisk-extreme - 向外擴充數據分析、適用於易受成本影響的應用程式資料硬碟，以及冷儲存空間：
hyperdisk-throughput - 機器學習工作負載，需要以唯讀模式向多個 VM 提供高處理量：以唯讀模式使用
hyperdisk-ml - 多個 VM 同時具有相同磁碟的寫入權限：
hyperdisk-balanced-high-availability(跨區域中的兩個可用區)，或多寫入器模式下的hyperdisk-balanced或hyperdisk-extreme(在單一可用區內)
詳情請參閱「關於 Hyperdisk」。
可擴充容量的區塊儲存空間，適用於舊世代 VM 使用 Persistent Disk。請根據需求選擇合適的磁碟類型：
- 依序 IOPS：
pd-standard - IOPS 密集型工作負載：
pd-extreme或pd-ssd - 在效能與成本間取得平衡：
pd-balanced
詳情請參閱「關於 Persistent Disk」。
- 請根據備援需求，選擇可用區磁碟或區域磁碟。
Requirement Recommendation 在區域內的單一可用區中備援 使用 Hyperdisk 或可用區 Persistent Disk。 在區域內的多個可用區中備援 使用 Google Cloud Hyperdisk Balanced High Availability 或區域性永久磁碟。
- 一般用途工作負載：
如需大規模且全球可用的儲存空間，請使用 Cloud Storage。
請根據資料存取頻率和儲存時間長度，選擇合適的 Cloud Storage 級別。
條件 建議 存取頻率不一，或資料保留期限不明或無法預測。 使用自動調整級別功能，根據各物件的存取模式，自動將 bucket 中的物件移轉至適當的儲存空間級別。 可用區儲存空間，適用於需要毫秒以下延遲時間和高處理量的工作負載，例如 AI 和機器學習訓練、查核點建立、推論和數據分析。 使用快速 bucket 搭配快速儲存空間級別。 儲存空間，用於存放經常存取的資料，包括高處理量數據分析、資料湖泊、網站、串流影片和行動應用程式。 使用 Standard 儲存空間級別。
如要快取經常存取的資料，並從靠近用戶端的位置提供資料，請使用 Cloud CDN。
如果工作負載以讀取為主，資料不常變更但經常讀取 (例如機器學習訓練、推論和數據分析)，您可以使用 Rapid Cache 提高讀取效能並降低資料移轉費用。
低成本儲存空間，適合存放不常存取且至少會儲存 30 天的資料，例如備份和長尾型多媒體內容。 使用 Nearline 儲存空間級別。 低成本儲存空間，適合存放不常存取且可儲存至少 90 天的資料 (例如災難復原)。 使用 Coldline 儲存空間級別。 成本最低的儲存空間，適用於不常存取且可儲存至少 365 天的資料，包括監管法規封存檔案。 使用 Archive 儲存空間級別。 如需詳細的比較分析，請參閱「Cloud Storage 級別」。
資料移轉選項
選擇合適的 Google Cloud 儲存空間服務後，您必須將資料移轉至 Google Cloud，才能部署及執行工作負載。您需要移轉的資料可能位於地端部署環境或其他雲端平台。
您可以使用下列方法將資料轉移至 Google Cloud：
- 使用 Storage 移轉服務線上移轉資料：自動在物件和檔案儲存系統之間移轉大量資料，包括 Cloud Storage、Amazon S3、Azure 儲存服務和地端部署資料來源。
- 使用 Transfer Appliance 離線移轉資料：在網路連線和頻寬無法使用、受限或費用高昂的情況下，離線移轉大量資料並載入 Google Cloud 。
- 將資料上傳至 Cloud Storage：使用 Google Cloud 控制台、Google Cloud CLI、Cloud Storage API 或用戶端程式庫，將資料線上上傳至 Cloud Storage bucket。
選擇資料移轉方法時，請考量資料大小、時間限制、可用頻寬、成本目標，以及安全性和法規遵循要求等因素。如要瞭解如何規劃及實作資料移轉至 Google Cloud，請參閱「資料移轉選項」。
後續步驟
- 使用 Google Cloud Pricing Calculator 估算儲存空間費用。
- 瞭解建構雲端拓撲的最佳做法，針對安全性、韌性、成本和效能進行最佳化。
- 如要查看更多參考架構、圖表和最佳做法，請瀏覽 Cloud Architecture Center。
貢獻者
作者：Kumar Dhanagopal | 跨產品解決方案開發人員
其他貢獻者：
- Brennan Doyle | 解決方案架構師
- Dean Hildebrand | 技術長辦公室技術總監
- Geoffrey Noer | 產品群經理
- Jack Zhou | 技術文件撰稿者
- Jason Wu | 產品管理總監
- Jeff Allen | 解決方案架構師
- Samantha He | 技術撰稿人
- Sean Derrington | 儲存空間產品群經理