這份指南可協助您評估雲端工作負載的儲存空間需求、瞭解 Google Cloud中可用的儲存空間選項，並設計出可提供最佳技術和業務價值的儲存空間策略。
如要瞭解如何為 AI 和機器學習工作負載選取儲存空間服務，請參閱「AI Hypercomputer 中的 AI 和機器學習工作負載儲存空間服務總覽」。
設計程序總覽
身為雲端架構師，在規劃雲端工作負載的儲存空間時，您需要先考量工作負載的功能特性、安全限制、復原能力需求、效能期望和成本目標。接著，您需要查看Google Cloud中可用的儲存空間服務和功能。然後，根據您的需求和可用選項，選取所需的儲存服務和功能。下圖顯示這項三階段設計程序：
定義需求
請使用本節中的問卷調查，定義要在 Google Cloud中部署的工作負載的主要儲存空間需求。
定義儲存空間需求的指南
填寫問卷時，請參考下列原則：
細部定義規定
舉例來說，如果應用程式需要以網路檔案系統 (NFS) 為基礎的檔案儲存空間，請找出所需的 NFS 版本。
考量未來需求
舉例來說，您目前的部署作業可能只為亞洲國家/地區的使用者提供服務，但您可能打算將業務擴展到其他大陸。在這種情況下，請考量新業務地域的任何儲存相關法規要求。
考量雲端專屬的商機和需求
善用雲端專屬商機。
舉例來說，如要盡可能降低儲存在 Cloud Storage 中的資料儲存費用，您可以透過資料保留政策和生命週期設定，控管資料的儲存時間。
請考量雲端專屬需求。
舉例來說，您可能需要將單一資料中心內的內部部署資料，複製到兩個Google Cloud 位置，以確保資料備援。
問卷
以下問卷調查並非規劃時的完整檢查清單。您可以從這些建議著手，有系統地分析要部署至 Google Cloud的工作負載的所有儲存空間需求。
評估工作負載的特性
您需要儲存哪種資料？
範例
- 靜態網站內容
- 災難復原的備份與封存
- 法規遵循稽核記錄
- 使用者直接下載的大型資料物件
- 交易資料
- 非結構化和異質資料
您需要多少容量？考量目前和未來的需求。
容量是否應隨用量自動調整？
存取權規定為何？舉例來說，資料是否應可從 Google Cloud外部存取？
預期的讀寫模式為何？
範例
- 頻繁寫入和讀取
- 經常寫入，但偶爾讀取
- 偶爾寫入和讀取
- 偶爾寫入，但經常讀取
工作負載是否需要以檔案為基礎的存取權 (例如使用 NFS)？
多個用戶端是否應能同時讀取或寫入資料？
找出安全限制
您對資料加密有什麼要求？舉例來說，您是否需要使用自己控管的金鑰？
是否有任何資料落地規定？
定義資料復原能力需求
- 您的工作負載是否需要低延遲快取或暫存空間？
- 您是否需要複製雲端資料以確保備援？
- 您是否需要複製資料集的嚴格讀寫一致性？
設定成效預期
所需的 I/O 速率是多少？
您的應用程式需要哪些讀取和寫入輸送量等級？
您需要為哪些環境提供儲存空間？針對特定工作負載，您可能需要正式環境的高效能儲存空間，但可以為非正式環境選擇效能較低的選項。
查看儲存空間選項
Google Cloud 提供所有主要儲存格式 (區塊、檔案和物件) 的儲存服務。查看並評估各儲存格式適用的服務功能、設計選項和相對優勢。
總覽
區塊儲存空間
您儲存在區塊儲存空間中的資料會分成多個區塊，每個區塊都以獨立的區塊形式儲存，並具有專屬位址。應用程式會參照適當的區塊位址來存取資料。區塊儲存空間經過最佳化調整，可處理高 IOPS 工作負載，例如交易處理。這與地端部署儲存區域網路 (SAN) 和直接連接儲存裝置 (DAS) 系統類似。
Google Cloud 中的區塊儲存空間選項屬於 Compute Engine 服務。
| 選項 | 總覽 |
|---|---|
| Persistent Disk | 專用硬碟 (HDD) 和固態硬碟 (SSD)，適用於部署至 Compute Engine VM 和 Google Kubernetes Engine (GKE) 叢集的企業和資料庫應用程式。 |
| Google Cloud Hyperdisk | 為 Compute Engine VM 和 GKE 叢集提供快速且備援的網路儲存空間，可動態增加容量並設定效能。 |
| 本機 SSD | 連接本機的暫時性區塊儲存空間，適合用於高效能應用程式。 |
檔案儲存空間
資料會以檔案階層架構整理及呈現，並儲存在資料夾中，類似於地端部署網路附加儲存空間 (NAS)。檔案系統可使用 NFS 和伺服器訊息區塊 (SMB) 等通訊協定掛接在用戶端。應用程式會使用相關的檔案名稱和目錄路徑存取資料。
Google Cloud 提供一系列全代管檔案儲存解決方案。
| 解決方案 | 總覽 |
|---|---|
| Filestore |
使用 NFS 檔案伺服器，為 Compute Engine VM 和 GKE 叢集提供檔案式儲存空間。 |
| Google Cloud Managed Lustre |
低延遲平行檔案系統，適用於 AI、高效能運算 (HPC) 和資料密集型應用程式。 |
| Google Cloud NetApp Volumes | 使用 NFS、SMB 或區塊儲存空間通訊協定的檔案型儲存空間。 |
物件儲存空間
資料會以「物件」的形式，儲存在「bucket」的單層階層中。 每個物件都會獲派全域專屬 ID。物件可以有系統指派和使用者定義的中繼資料，協助您整理及管理資料。應用程式會使用 REST API 或用戶端程式庫，參照物件 ID 來存取資料。
Cloud Storage 提供成本低廉、高度耐用且可大幅擴充的物件儲存空間，適用於多種資料類型。您儲存在 Cloud Storage 中的資料可從任何位置存取，包括 Google Cloud 內外 Google Cloud。跨區域的備援機制可提供高可用性和可靠性，您可以選取符合資料保留和存取頻率需求的儲存空間級別。
比較分析
下表列出Google Cloud中儲存服務的主要功能。
| Persistent Disk | Hyperdisk | 本機 SSD | Filestore | Managed Lustre | NetApp Volumes | Cloud Storage | |
|---|---|---|---|---|---|---|---|
| 容量限制 |
每個磁碟 64 TiB，每個 VM 257 TiB。 最新規格： 永久磁碟說明文件 |
每個磁碟 64 TiB、每個 VM 512 TiB，以及每個儲存空間集區 5 PiB。 Exapool 是容量較大的 Hyperdisk 集區。 最新規格： Hyperdisk 說明文件 |
每個磁碟 375 GiB，每個 VM 12,000 GiB。 Titanium SSD 磁碟每個磁碟最多支援 6 TiB，每個 VM 最多支援 84,000 GiB。 最新規格： 本機 SSD 說明文件 |
每個執行個體 100 TiB，視服務層級而定。 | 每個執行個體 80.1 PiB，視效能層級而定。 |
每個儲存空間集區和每個磁碟區 20 PiB。 最新規格： NetApp Volumes 說明文件 |
每個物件 5 TiB，每個 bucket 沒有限制 (Rapid Bucket 除外)。 最新規格： Cloud Storage 說明文件 |
|
縮放 |
|
|
無法擴充 | 擴大及縮減規模 (可用區和區域層級) | 向上擴充 | 向上和向下擴充 | 根據用量自動調度資源 |
| 分享 |
支援 | 支援 | 無法分享 | 可掛接至多個 Compute Engine VM、遠端用戶端和 GKE 叢集 | 可掛接至多個 Compute Engine VM 和 GKE 叢集 | 可掛接至多個 Compute Engine VM、遠端用戶端和 GKE 叢集 |
|
| 加密金鑰選項 |
|
|
Google-owned and Google-managed encryption keys |
|
|
|
|
| 持續性 |
磁碟生命週期 | 磁碟生命週期 | 暫時性 (VM 停止或刪除時，資料會遺失) | Filestore 執行個體的生命週期 | Managed Lustre 執行個體的生命週期 | 磁碟區的生命週期 | Bucket 的生命週期 |
| 供應情形 |
可用區 | 可用區 |
| ||||
| 效能 |
線性資源調度：磁碟大小和 CPU 數量 | 動態調整永久儲存空間 | 高效能暫存儲存空間 | 可用區和區域： 自訂效能 | 根據所選效能層級進行擴充。 | 可擴充的效能 預期時間取決於服務層級。 |
|
| 管理 |
手動格式化及掛接 | 手動格式化及掛接 | 手動格式化、條帶化及掛接 | 全代管 | 全代管 | 全代管 | 全代管 |
下表列出各 Google Cloud儲存空間選項適用的工作負載類型：
| 儲存空間選項 | 工作負載類型 |
|---|---|
| Hyperdisk 或 Persistent Disk |
|
| 本機 SSD |
|
| Filestore |
|
| Managed Lustre |
|
| NetApp Volumes |
|
| Cloud Storage |
|
選擇儲存空間選項
選取儲存空間選項時，請注意以下兩點：
- 決定需要的儲存空間服務。
- 在特定服務中選擇所需功能和設計選項。
服務專屬功能和設計選項範例
Persistent Disk
- 部署區域和可用區
- 區域複製
- 磁碟類型、大小和 IOPS (適用於極端永久磁碟)
- 加密金鑰： Google-owned and Google-managed encryption keys或客戶自行管理的加密金鑰
- 快照排程
Hyperdisk
- 部署區域和可用區
- 磁碟類型、大小和已佈建 IOPS 或處理量
- 加密金鑰： Google-owned and Google-managed encryption keys或客戶自行管理的加密金鑰
- 複製：同步或非同步
- 快照排程
Filestore
- 部署區域和可用區
- 執行個體層級
- 容量
- IP 範圍：自動分配或自訂
- 存取控管
Managed Lustre
- 部署區域
- 容量和效能層級
- 加密金鑰： Google-owned and Google-managed encryption keys或客戶自行管理的加密金鑰
NetApp Volumes
- 部署區域
- 儲存空間集區的服務等級
- 集區和磁碟區容量
- 音量通訊協定
- 大量匯出規則
Cloud Storage
- 位置：多區域、雙區域、單一區域、單一可用區
- 儲存空間級別：Standard、Nearline、Coldline、Archive 或 Rapid
- 存取控管：統一或精細
- 加密金鑰： Google-owned and Google-managed encryption keys、客戶自行管理或客戶提供
- 資料保留政策
儲存空間建議
請參考下列建議，選擇符合需求的儲存服務和功能。如需 AI 和機器學習工作負載的專屬指引，請參閱「AI Hypercomputer 中 AI 和機器學習工作負載的儲存空間服務總覽」。
對於需要平行檔案系統的 AI、機器學習和 HPC 應用程式，請使用 Managed Lustre。
如果應用程式需要以檔案為基礎的存取權，請根據存取通訊協定、可用性和效能需求，選擇合適的檔案儲存服務。
存取通訊協定 建議 NFS - 如需區域可用性和可設定的高效能，請使用 Filestore Regional 或 NetApp Volumes Flex Unified。
- 如果可用區可用性足夠：
- 如要獨立設定效能和容量，請使用 Filestore Zonal 或 NetApp Volumes Flex Unified。
- 如要讓效能隨容量擴充，請使用 Filestore Zonal 或 NetApp Volumes Standard、Premium 或 Extreme。
詳情請參閱「 Filestore 服務級別」和「 NetApp Volumes 服務等級」。
SMB 使用 NetApp Volumes。 對於需要高效能主要儲存空間的工作負載，請視需求使用 Hyperdisk、本機 SSD 或 Persistent Disk。
規定 建議 運作快速的暫存磁碟或快取 使用本機 SSD 磁碟 (暫時性)。 區塊儲存空間，效能和容量可獨立擴充 使用 Hyperdisk，這是 Google 建議的耐久區塊儲存空間，也是最新機器系列的要求。請根據需求選擇適當的磁碟類型：
- 一般用途工作負載：
hyperdisk-balanced - 高 I/O 工作負載，例如高效能資料庫：
hyperdisk-extreme - 向外擴充分析、適用於易受成本影響的應用程式資料硬碟，以及冷儲存空間：
hyperdisk-throughput - 需要以唯讀模式連接多個 VM 的高處理量 ML 工作負載：
hyperdisk-ml以唯讀模式 - 多個 VM 同時寫入同一磁碟：
hyperdisk-balanced-high-availability(跨區域的兩個可用區)、hyperdisk-balanced或hyperdisk-extreme(單一可用區內) 採用多重寫入器模式
詳情請參閱「關於 Hyperdisk」。
可擴充容量的區塊儲存空間，適用於舊版 VM 使用永久磁碟。請根據需求選擇適當的磁碟類型：
- 循序 IOPS：
pd-standard - 需要大量 IOPS 的工作負載：
pd-extreme或pd-ssd - 在效能與成本之間取得平衡：
pd-balanced
詳情請參閱「關於永久磁碟」。
- 請根據備援需求，選擇可用區磁碟或區域磁碟。
規定 建議 區域中單一可用區內的備援 使用 Hyperdisk 或區域性 Persistent Disk。 區域內多個可用區的備援 使用 Hyperdisk Balanced High Availability 或區域性 Persistent Disk。
- 一般用途工作負載：
如要使用大規模且全球通用的儲存空間，請使用 Cloud Storage。
請根據資料存取頻率和儲存時間，選擇合適的 Cloud Storage 儲存空間級別。
條件 建議 存取頻率不一，或不確定/無法預測資料保留期限。 使用自動調整級別功能，根據各物件的存取模式，自動將 bucket 中的物件移轉至適當的儲存空間級別。 可用區儲存空間，適合需要毫秒以下延遲時間和高處理量的工作負載，例如 AI 和機器學習訓練、查核點建立、推論和分析。 使用Rapid儲存空間級別的快速 Bucket。 儲存經常存取的資料，包括用於高輸送量分析、資料湖泊、網站、串流影片和行動應用程式。 如要快取經常存取的資料，並從靠近用戶端的位置提供服務，請使用 Cloud CDN。
對於資料不常變更、但經常讀取的工作負載 (像是機器學習訓練、推論和分析)，您可以使用 Rapid Cache 提升讀取效能，並降低資料移轉成本。
成本低廉的儲存空間，適合存放至少 30 天的不常存取資料 (例如備份資料和長尾型多媒體內容)。 使用 Nearline 儲存空間級別。 低成本儲存空間，適合存放至少 90 天的不常存取資料 (例如災難復原)。 使用 Coldline 儲存空間級別。 成本最低的儲存空間，適用於不常存取的資料，且至少會儲存 365 天，例如監管法規封存檔案。 使用 Archive 儲存空間級別。 如需詳細的比較分析，請參閱「Cloud Storage 類別」。
資料移轉選項
選擇合適的 Google Cloud 儲存空間服務後，如要部署及執行工作負載，您需要將資料轉移至 Google Cloud。您需要轉移的資料可能位於地端部署環境或其他雲端平台。
你可以使用下列方法將資料轉移至 Google Cloud：
- 使用 Storage 移轉服務線上轉移資料： 自動在物件和檔案儲存系統之間轉移大量資料，包括 Cloud Storage、Amazon S3、Azure 儲存服務和地端部署資料來源。
- 使用 Transfer Appliance 離線轉移資料： 在網路連線和頻寬無法使用、受限或費用高昂的情況下，離線轉移及載入大量資料至 Google Cloud 。
- 將資料上傳至 Cloud Storage：使用 Google Cloud 控制台、Google Cloud CLI、Cloud Storage API 或用戶端程式庫，將資料上傳至 Cloud Storage bucket。
選擇資料傳輸方法時，請考量資料大小、時間限制、可用頻寬、費用目標，以及安全性和法規遵循要求等因素。如要瞭解如何規劃及執行資料轉移作業，請參閱 Google Cloud「資料轉移選項」。
後續步驟
- 使用 Google Cloud Pricing Calculator 估算儲存費用。
- 瞭解如何運用最佳做法，建構出安全、有韌性、具成本效益且效能優異的雲端拓撲。
- 如要查看更多參考架構、圖表和最佳做法，請瀏覽 Cloud Architecture Center。
貢獻者
作者：Kumar Dhanagopal | 跨產品解決方案開發人員
其他貢獻者：
- Brennan Doyle | 解決方案架構師
- Dean Hildebrand | 技術長辦公室技術總監
- Geoffrey Noer | 產品群經理
- Jack Zhou | 技術文件撰稿者
- Jason Wu | 產品管理總監
- Jeff Allen | 解決方案架構師
- Samantha He | 技術文件撰稿者
- Sean Derrington | 儲存空間產品群經理