本文介紹 Google Cloud 中高效能運算 (HPC) 工作負載的儲存空間選項,並說明何時應為 HPC 工作負載使用平行檔案系統。在平行檔案系統中,多個用戶端會使用平行 I/O 路徑,存取儲存在多個網路儲存節點的共用資料。
本文資訊適用於架構師和管理員,協助他們為資料密集型 HPC 工作負載設計、佈建及管理儲存空間。本文件假設您已對網路檔案系統 (NFS)、平行檔案系統、POSIX 和 HPC 應用程式的儲存空間需求有概念上的瞭解。
什麼是 HPC?
HPC 系統會匯總多項運算資源,快速解決大型運算問題。HPC 推動了醫療照護、生命科學、媒體、娛樂、金融服務和能源等產業的研究和創新。研究人員、科學家和分析師會使用 HPC 系統進行實驗、執行模擬及評估原型。地震處理、基因組定序、媒體算繪和氣候模擬等 HPC 工作負載,會以不斷提高的資料速率和不斷降低的延遲時間,產生及存取大量資料。高效能儲存空間和資料管理是 HPC 基礎架構的重要建構模塊。
Google Cloud中 HPC 工作負載的儲存空間選項
在地端部署環境中設定及運作 HPC 基礎架構的成本高昂,且需要持續維護。此外,地端部署基礎架構通常無法迅速配合需求變化調度資源。具體來看,地端部署硬體的規劃、採購、部署及停用程序曠日廢時,因此難以及時加入或充分運用 HPC 資源。不過在雲端,組織能以高效率佈建採用最新技術的 HPC 基礎架構,並隨選調整容量。
Google Cloud 和我們的技術合作夥伴提供符合成本效益、彈性且可擴充的儲存空間選項,可用於在雲端部署 HPC 基礎架構,以及擴充地端部署 HPC 基礎架構。這樣一來,科學家、研究人員和分析師就能在需要時,立即取得額外的 HPC 容量來執行專案。
如要在 Google Cloud中部署 HPC 工作負載,您可以根據工作負載的需求,選擇下列儲存空間服務和產品:
| 工作負載類型 | 建議的儲存空間服務和產品 |
|---|---|
| 需要低延遲資料存取,但不需要對共用資料集進行極端 I/O,且用戶端之間的資料共用有限的工作負載。 | 使用 NFS 儲存空間。選擇下列其中一個選項: |
| 產生複雜、相互依賴且大規模 I/O 的工作負載,例如使用訊息傳遞介面 (MPI) 進行可靠處理序間通訊的緊耦合 HPC 應用程式。 | 使用平行檔案系統。選擇下列其中一個選項: 如要進一步瞭解平行檔案系統可支援的工作負載需求,請參閱「平行檔案系統的使用時機」。 |
平行檔案系統的使用時機
在平行檔案系統中,多個用戶端會使用平行 I/O 路徑,在多個網路儲存節點中儲存及存取共用資料。平行檔案系統適合用於緊密耦合的 HPC 工作負載,例如資料密集型人工智慧 (AI) 工作負載,以及使用 SAS 應用程式的數據分析工作負載。如果對延遲敏感的 HPC 工作負載有下列任一需求,建議使用 Managed Lustre 等平行檔案系統:
- 緊耦合資料處理:天氣建模和地震探測等 HPC 工作負載,需要使用多個相互依賴的工作,在多部伺服器上同時執行,重複處理資料。這些程序通常會使用 MPI 定期交換資料,並使用檢查點從失敗中快速復原。平行檔案系統可讓相互依賴的用戶端,透過低延遲網路同時儲存及存取大量共用資料。
- 支援 POSIX I/O API 和語意:Managed Lustre 等平行檔案系統,適合需要 POSIX API 和語意的工作負載。檔案系統的 API 和語意是獨立的功能。舉例來說,NFS 支援 POSIX API,應用程式可透過
open()、read()和write()等函式讀取及寫入資料。不過,NFS 協調不同用戶端之間資料存取的方式,與 POSIX 語意協調機器上不同執行緒之間資料存取的方式不同。舉例來說,NFS 不支援用戶端之間的 POSIX 寫後讀取快取一致性,而是依賴 NFSv3 中的弱一致性,以及 NFSv4 中的關閉後開啟一致性。 - PB 級容量:平行檔案系統可擴充至單一檔案系統命名空間中的多個 PB 容量。NetApp Volumes 支援高達 1 PB,Filestore 區域性和可用區級別則支援每個檔案系統高達 100 TiB。Cloud Storage 提供低成本且可靠的容量,可自動擴充,但可能無法滿足 HPC 工作負載的資料共用語意和低延遲需求。
- 低延遲和高頻寬:如果 HPC 工作負載需要高速存取超大型檔案或數百萬個小型檔案,平行檔案系統的效能會優於 NFS 和物件儲存庫。平行檔案系統提供的延遲時間不到一毫秒,遠低於物件儲存庫,而延遲時間會影響最大 IOPS。此外,平行檔案系統支援的最大頻寬可能比 NFS 系統高出好幾個數量級,這可能會使 VM 的 NIC 飽和。
- 極致的用戶端擴充能力:NFS 儲存空間可支援數千個用戶端。平行處理檔案系統可擴充,支援超過 10,000 個用戶端同時存取共用資料,且無論用戶端數量多寡,都能提供高處理量。
緊耦合 HPC 應用程式範例
本節說明緊耦合 HPC 應用程式的範例,這類應用程式需要平行檔案系統提供的低延遲和高處理量儲存空間。
由 AI 技術支援的分子建模
藥物研究是一項昂貴且需要大量資料的程序。現代藥物研究機構仰賴 AI 降低研發成本、有效擴充作業規模,以及加速科學研究。舉例來說,研究人員會使用由 AI 技術支援的應用程式模擬藥物分子之間的交互作用,並預測藥物化合物變化的影響。這些應用程式在強大的平行化 GPU 處理器上執行,可載入、整理及分析大量資料,快速完成模擬。平行檔案系統提供儲存空間 IOPS 和處理量,可充分發揮 AI 應用程式的效能。
使用 SAS 應用程式進行信用風險分析
房貸機構和投資銀行等金融服務機構,必須持續分析及監控客戶和投資組合的信用評等。舉例來說,大型房貸機構每天都會收集數千名潛在客戶的風險相關資料。信用分析師團隊會使用數據分析應用程式,協同審查每位客戶的不同資料,例如收入、信用記錄和消費模式。這項分析的洞察結果有助於信用分析師及時提供準確的放款建議。
為加速及擴充大型資料集的分析作業,金融服務機構會使用網格運算平台,例如 SAS Grid Manager。Managed Lustre 等平行檔案系統可支援多執行緒 SAS 應用程式的高處理量和低延遲儲存需求。
天氣預報
為了預測特定地理區域的天氣型態,氣象學家會將該區域劃分為多個「單元」,並在每個單元中部署監測裝置,例如地面雷達和氣象氣球。這些裝置會定期觀測及測量大氣狀況。這些裝置會持續將資料串流至在 HPC 叢集中執行的天氣預測應用程式。
天氣預測應用程式會使用數學模型處理串流資料,這些模型是以測得的天氣參數之間已知的物理關係為基礎。系統會透過獨立工作處理區域中各個儲存格的資料。應用程式收到新的測量結果時,每項工作都會疊代指派儲存格的最新資料,並與該區域中其他儲存格的工作交換輸出內容。為了可靠地預測天氣模式,應用程式需要儲存及共用數 TB 的資料,這些資料是由數千個平行執行的工作產生及存取。
飛機設計的 CFD
運算流體動力學 (CFD) 涉及使用數學模型、物理定律和運算邏輯,模擬氣體或液體在移動物體周圍的行為。飛機工程師設計機身時,會考量空氣動力學等因素。CFD 可讓設計師在投入時間和金錢打造昂貴的原型之前,快速模擬設計變更對空氣動力學的影響。分析每次模擬執行的結果後,設計師會最佳化飛機機身個別元件的體積和形狀等屬性,並重新模擬空氣動力學。CFD 可讓飛機設計師快速協作模擬數百項設計變更的效果。
為有效率地完成設計模擬,CFD 應用程式需要以毫秒級的速度存取共用資料,並能以高達 100 GBps 的速度儲存大量資料。
平行檔案系統選項總覽
本節概略介紹Google Cloud 中可用的平行檔案系統選項。
Google Cloud Managed Lustre
Managed Lustre 是 Google 代管的服務,可為緊密耦合的 HPC 工作負載提供高處理量和低延遲的儲存空間。這項服務提供高處理量、低延遲的大量資料集存取機制,可大幅加快 HPC 工作負載和 AI 訓練與推論速度。如要瞭解如何將 Managed Lustre 用於 AI 和機器學習工作負載,請參閱「AI Hypercomputer 中 AI 和機器學習工作負載的儲存空間服務總覽」。Managed Lustre 會將資料分散至多個儲存節點,讓多個 VM 能同時存取。這種平行存取機制可消除傳統檔案系統的瓶頸,讓工作負載快速擷取並處理所需的大量資料。
DDN Infinia
如需進階 AI 資料自動化調度管理功能,可以使用 Google Cloud Marketplace 提供的 DDN Infinia。Infinia 提供 AI 導向的 data intelligence 解決方案,專為推論、訓練和即時分析最佳化。這項服務可超快速擷取資料、建立中繼資料豐富的索引,並與 TensorFlow 和 PyTorch 等 AI 框架完美整合。
DDN Infinia 的主要功能如下:
- 高效能:延遲時間不到 1 毫秒,處理量達數 TB/秒。
- 擴充性:支援從 TB 級擴充至 EB 級,單一部署最多可容納 10 萬個以上的 GPU 和 100 萬個並行用戶端。
- 多租戶架構與可預測的服務品質 (QoS):為多個租戶提供安全、隔離的環境,並提供可預測的 QoS,確保各項工作負載的效能一致。
- 統一資料存取:內建多重通訊協定支援,包括與 Amazon S3 相容、CSI 和 Cinder,可與現有應用程式和工作流程順暢整合。
- 進階安全性:內建加密、容錯網域感知抹除編碼和快照等功能,可確保資料保護和法規遵循。
Sycomp 智慧型資料儲存平台
Sycomp Intelligent Data Storage Platform 可在 Google Cloud Marketplace 取得,讓您在 Google Cloud中執行高效能運算 (HPC)、AI 和機器學習,以及大數據工作負載。Sycomp Storage 可讓您同時存取數千個 VM 的資料、自動管理儲存空間級別來降低成本,以及在地端部署環境或 Google Cloud中執行應用程式。Sycomp Storage 可快速部署,並支援透過 NFS 和 IBM Storage Scale 用戶端存取資料。
IBM Storage Scale 是平行檔案系統,可協助安全管理大量 (PB) 資料。Sycomp Storage Scale 是平行檔案系統,非常適合 HPC、AI、機器學習、大數據和其他需要 POSIX 相容共用檔案系統的應用程式。Sycomp Storage 具備可調整的儲存空間容量和效能擴充功能,可支援各種規模的 HPC、AI 和機器學習工作負載。
在 Google Cloud中部署叢集後,您可以決定使用方式。選擇要僅在雲端使用叢集,還是以混合模式使用叢集,方法是連線至現有的地端部署 IBM Storage Scale 叢集、第三方 NFS NAS 解決方案或其他物件式儲存解決方案。
貢獻者
作者:Kumar Dhanagopal | 跨產品解決方案開發人員
其他貢獻者:
- Barak Epstein | 資深產品經理
- Carlos Boneti | 資深軟體工程師
- Dean Hildebrand | 技術長辦公室技術總監
- Sean Derrington | 儲存空間產品群經理
- Wyatt Gorman | HPC 對外產品經理