關於 AI 和機器學習工作負載的儲存空間服務

儲存空間服務提供必要的資料架構，有助於在 AI Hypercomputer 中進行高效能模型訓練、推論和微調。

這些建議專為 叢集 GPU 提供。

這份文件旨在協助架構師、儲存空間工程師和開發人員評估及選取合適的儲存空間服務，以在 AI Hypercomputer 上執行工作負載。

儲存服務簡介

Google Cloud 提供多種儲存空間解決方案，可因應 AI 和機器學習用途進行最佳化：

  • Cloud Storage 是一種物件儲存系統，專為處理及儲存大量資料集而設計，例如訓練或大量推論所需的資料集。Cloud Storage 提供多項功能，協助您針對 AI 和機器學習工作，最佳化資料儲存空間。

  • Google Cloud Managed Lustre 是全代管且符合 POSIX 標準的平行檔案系統，專為訓練和推論工作負載設計，可提供低延遲和高並行中繼資料效能。

  • Hyperdisk 集區和 Hyperdisk Exapools 提供匯總的儲存容量、處理量和每秒輸入/輸出作業 (IOPS) 區塊，可供運算執行個體共用。您可以在預訂中要求 Hyperdisk Balanced 磁碟區或 Hyperdisk Throughput 磁碟區。

以下各節將詳細說明各項儲存空間服務。

Cloud Storage

Cloud Storage 是基礎物件儲存庫，可提供全球擴充性、耐用性和成本效益。使用 Cloud Storage 時，資料會以物件形式儲存在名為「bucket」的容器中。Cloud Storage 為值區提供多種功能，有助於提升 AI 和機器學習工作負載效能：

  • Cloud Storage Rapid 系列產品可讓資料更靠近運算資源，解決 AI 和機器學習工作負載的資料瓶頸。這些產品可讓您將資料與運算工作負載放在同一可用區，並為 GPU 或 TPU 叢集提供高效能且符合成本效益的資料儲存空間擴充功能。Cloud Storage Rapid 產品包括：

    • 快速 Bucket 可為區域 Bucket 提供 Cloud Storage 中最快的讀取和寫入效能。區域值區中的物件會儲存在 Rapid Storage，這是專為 I/O 密集型工作負載最佳化的高效能儲存空間級別。除了延遲時間較短，與 Cloud Storage 中的其他產品和 Bucket 位置相比，Rapid Bucket 的處理量也大幅提升 (最高可達 15 TB/秒)。

    • Rapid Cache 可加快現有 bucket 的資料讀取速度，且無須變更程式碼。Rapid Cache 是 Cloud Storage bucket 的 SSD 支援可用區讀取快取，用於處理資料讀取要求。相較於沒有快取的儲存空間，這項產品的處理量更高 (最高 2.5 TB/秒)，延遲時間也更短。

      Rapid Cache 通常是為多區域 bucket 設定，其中加速器容量分散在各個 Google Cloud 區域。從快取讀取資料時，產生的資料移轉費用會比直接從多區域 bucket 讀取資料時更低。

  • Cloud Storage FUSE 是開放原始碼的 FUSE 轉接器，可讓您將 bucket 掛接為本機檔案系統，方便應用程式使用標準檔案系統語意與物件儲存空間互動。這項功能可讓您透過本機檔案存取權，充分運用 Cloud Storage 的全球擴充性、耐久性和成本效益。Cloud Storage FUSE 由 Google積極維護及支援。

    Cloud Storage FUSE 提供多個用戶端快取和調整參數，例如平行下載。這些功能可以抽象化開發複雜性，並透過分片或平行化串流，協助達到最佳效能。

  • 階層式命名空間可在 bucket 中建立真正的檔案系統結構，並提供有效率的資料管理功能，包括重新命名不可分割的資料夾，以及在 bucket 透過 Cloud Storage FUSE 掛接時，加快檔案搜尋速度。相較於沒有階層命名空間的 bucket，階層命名空間的物件讀取和寫入每秒查詢次數 (QPS) 高出 8 倍。如要進一步瞭解使用階層式命名空間的優點，請參閱「效能和管理優勢」。

    如果工作負載需要高處理量資料載入和頻繁的模型檢查點，強烈建議啟用階層命名空間。使用 Rapid Bucket 建立區域 bucket 時，必須啟用階層命名空間。

Managed Lustre

Google Cloud Managed Lustre 是高效能、符合 POSIX 標準的全代管平行檔案系統，專為 AI 和 ML 應用程式最佳化。Managed Lustre 架構非常適合高處理量、低延遲和高並行中繼資料的 AI/機器學習工作負載，例如檢查點、強化學習中的高速權重傳播，以及鍵/值 (KV) 快取。

如要進一步瞭解 Managed Lustre 的常見用途，請參閱「商機」。

Hyperdisk 集區

Hyperdisk 集區可讓您管理及共用專屬集區中的儲存空間容量、處理量和 IOPS，並跨運算執行個體使用。這種做法可確保您擁有執行工作負載所需的儲存空間資源。

預留叢集 GPU 的容量時，您也可以要求 Hyperdisk 集區。這項動作會一次提供運算和儲存空間資源。

儲存服務比較

下表從主要特徵的角度，大致比較 Cloud Storage、Managed Lustre 和 Hyperdisk 集區：

特性 Cloud Storage Managed Lustre Hyperdisk 集區
架構

物件儲存庫

  • 資料預設會儲存在平面 bucket 中。所有儲存空間類型 (可用區、區域、雙區域和多區域) 都提供異地備援選項，可透過 Cloud Storage Rapid 功能加速備援。
  • 您可以視需要啟用階層式命名空間，建立支援以檔案系統結構儲存資料的 bucket。
  • 您可以選擇啟用 Cloud Storage FUSE，將 bucket 掛接為本機檔案系統。

平行檔案系統

  • 資料會以檔案形式儲存在Managed Lustre 執行個體中，並以本機檔案系統的形式掛接在加速器叢集上，無需進行任何額外調整。

Hyperdisk 集區

  • 如果您使用 Hyperdisk Balanced 磁碟區，儲存空間集區和 Exapool 支援開機和非開機磁碟。如果您使用 Hyperdisk Throughput 磁碟區，儲存空間集區和 Exapool 僅支援非開機磁碟。
儲存空間容量

容量可擴充至 EB 級。

容量最高可達 80 PB，視執行個體的效能層級而定。

每個集區的容量可從 10 TiB 擴充至 5 PiB (使用 Exapools 時，最多可達 5 EiB)。
效能

支援下列項目：

  • 使用 Rapid Bucket 開啟檔案時，延遲時間不到 1 毫秒
  • 使用 Rapid Bucket 時，每 TiB 可達數千萬 IOPS
  • 使用 Rapid Cache 時，頻寬最高可達 2.5 TiB/秒
  • 使用 Rapid Bucket 時，頻寬最高可達 15 TiB/s
  • 要求增加頻寬

支援下列項目：

  • 延遲時間不到一毫秒
  • 每 TiB 數千萬次 IOP
  • 頻寬最高可達 10 TiB/秒

支援下列項目：

  • 延遲時間不到一毫秒
  • Hyperdisk Balanced 儲存空間集區最多可佈建 4,194,304 IOPS
  • 儲存空間集區的佈建處理量最高可達 1 TiB/秒
  • 對於 Exapool，效能會隨著容量單位 (讀取效能最佳化、寫入效能最佳化或容量最佳化) 調整，可達數百萬 IOPS 和數 TB/秒的處理量
  • 容量和效能的標準或進階佈建
定價

詳情請參閱「Cloud Storage 定價」。

詳情請參閱 Managed Lustre 定價。

詳情請參閱「Persistent Disk 和 Hyperdisk 定價」。
依據需求提供的建議

建議用於需要可擴充物件儲存庫的應用程式，以及訓練資料集、非同步多層查核點和模型權重儲存空間的一般成本效益。特別是 Cloud Storage Rapid，建議用於高效能且符合成本效益的資料擴充。

建議用於需要完全符合 POSIX 標準的平行檔案系統或主目錄的應用程式。此外，也建議用於延遲時間敏感或中繼資料並行處理量高的工作負載，例如 KV 快取卸載、同步檢查點，以及用於強化學習的高速權重傳播。

建議用於節點開機磁碟、本機高效能檔案系統，以及需要穩定效能和高容量保證的專用暫存磁碟。

依用途提供儲存空間服務建議

用途 儲存服務建議 建議原因
訓練及準備資料集 物件儲存空間建議：Cloud Storage Rapid Bucket Cloud Storage 儲存空間值區提供容量、處理量規模、成本效益和耐久性，通常是大量訓練和推論資料集所需的條件。使用 Rapid Bucket 建立區域值區時，區域值區可享有極高的輸送量 (最高 15 TB/s)，且開啟檔案的延遲時間不到 1 毫秒，同時維持最佳成本。
檔案儲存空間建議： Managed Lustre Managed Lustre 的延遲時間不到一毫秒。 對於延遲時間短和中繼資料並行效能是首要考量的訓練和資料集準備工作，這項功能可做為專屬的超快速工作區。
移動或儲存模型權重，以進行檢查點或權重轉移 物件儲存空間建議：Cloud Storage Rapid Bucket 搭配 GCSFS (透過 fsspec 或使用 Cloud Storage FUSE 並調整用戶端效能) 時，Rapid Bucket 非常適合用於非同步多層或分散式檢查點。
檔案儲存空間建議： Managed Lustre Managed Lustre 提供不到一毫秒的延遲時間和平行資料存取機制，可讓數千名推出人員同時提取相同的權重檔案。
儲存及下載模型以進行推論 物件儲存空間建議：Cloud Storage Rapid Cache 或 Rapid Bucket

Rapid Cache 可做為加速器，有助於減少推論冷啟動。使用 Rapid Cache，模型權重可在與推論節點相同的區域中預先暖機，讓新的推論執行個體快速下載模型權重，並處理第一項要求。

Rapid Bucket 可做為高效能的加速區域儲存空間引擎，讓您在與推論機群相同的區域中，找到模型權重。

如要提供模型服務，建議使用 Run:ai Model Streamer for vLLM，以獲得最佳下載效能。對於其他推論堆疊，最佳化 Cloud Storage FUSE 平行下載參數可大幅縮短模型權重下載期間的冷啟動延遲時間。

檔案儲存空間建議： Managed Lustre Managed Lustre 提供毫秒以下的延遲時間和並行資料存取，有助於提升對效能要求嚴苛的模型，以及同時下載相同模型的並行 GPU 擴充作業。
KV 快取卸載 檔案儲存空間建議： Managed Lustre Managed Lustre 提供不到一毫秒的延遲時間和並行資料存取權，因此不同節點可以「提取」KV 快取，並繼續對話，不必重新處理整個對話記錄。
節點開機磁碟和本機高效能儲存空間 主要建議：Hyperdisk 集區 Hyperdisk 集區會匯總運算執行個體的儲存空間容量、IOPS 和處理量，為開機和非開機磁碟提供可預測的效能。

後續步驟