Cloud Storage 提供多種選項,協助您針對需要高效能的用途 (例如人工智慧 (AI)、機器學習 (ML) 和資料密集型分析) 最佳化資料儲存空間。本頁面將介紹這些選項,並引導您選取適合工作負載需求的選項。
Cloud Storage Rapid 產品系列
Cloud Storage Rapid 是 Cloud Storage 的高效能產品系列,旨在消除 AI/機器學習和資料分析工作負載的資料瓶頸。隨著 AI/機器學習模型日益複雜,資料集也達到 PB 級規模,儲存空間效能往往會成為昂貴 GPU 和 TPU 叢集的主要瓶頸。Cloud Storage Rapid 運用可用區架構,讓資料更靠近運算資源,有助於加速器保持飽和狀態、縮短訓練時間,並降低最嚴苛工作負載的總持有成本 (TCO)。
Cloud Storage Rapid 包含 Rapid Bucket 和 Rapid Cache。
使用 Rapid Bucket 將資料儲存在 Rapid Storage 儲存空間級別
Rapid bucket 是高效能的可用區物件儲存解決方案,可讓您將可用區定義為 bucket 的位置,將資料儲存在 Rapid 儲存空間級別。Rapid Bucket 可讓您將資料與 AI 加速器放在同一個實體區域,在其他 Cloud Storage 產品中,這個選項的延遲時間最短,處理量最高。Rapid Bucket 的延遲時間不到一毫秒,匯總處理量高達 15 TB/s,每秒查詢次數 (QPS) 最高可達 2,000 萬次。
Rapid bucket 支援有狀態的串流物件附加作業,可讓應用程式即時將資料寫入現有物件。這項功能可避免昂貴的物件重寫作業,並立即顯示資料,讓消費者應用程式在寫入資料時讀取資料。
最適合用於:訓練、查核點建立和服務需要超低延遲和高確定性效能的 AI 模型
適用於:讀取和寫入作業都需要專屬的高效能
如要瞭解如何使用 Rapid Bucket 建立可用區 bucket,請參閱「建立可用區 bucket」。
使用 Rapid Cache 建立區域快取
Rapid Cache 是全代管、採用 SSD 的可用區讀取快取,可搭配現有的區域、雙區域或多區域 bucket 使用,不需要變更 API。快取可提供暫時儲存容量和頻寬,並根據工作負載需求自動擴充或縮減。當與快取位於相同可用區的 VM 讀取資料時,系統會自動將資料從值區擷取至快取。
Rapid Cache 提供 2.5 TB/s 的匯總處理量,並將資料與 VM 放在同一可用區,縮短延遲時間,加快讀取速度。除了加快資料服務速度,從快取提供的資料所產生的資料移轉費、資料擷取費和作業費,也比直接從 bucket 提供的資料低。詳情請參閱「好處」一節,瞭解 Rapid Cache。
最佳用途:訓練、還原查核點,以及提供需要從現有 Cloud Storage bucket 取得高讀取頻寬的 AI 模型
適用情況:您在 Cloud Storage bucket 中已有資料儲存空間,並想加速存取
如要瞭解如何使用 Rapid Cache,請參閱「建立及管理快取」。