HPC 工作負載適用的平行檔案系統

Last reviewed 2025-05-19 UTC

本文將介紹 Google Cloud 高效能運算 (HPC) 工作負載的儲存選項，並說明何時應為 HPC 工作負載使用平行檔案系統。在平行檔案系統中，多個用戶端會使用平行 I/O 路徑，存取儲存在多個網路儲存節點中的共用資料。

本文適用於負責設計、佈建及管理儲存空間的架構師和管理員，這些儲存空間用於處理需要大量資料的 HPC 工作負載。本文假設您已瞭解網路檔案系統 (NFS)、平行檔案系統、POSIX，以及 HPC 應用程式的儲存空間需求。

什麼是 HPC？

HPC 系統會匯總多個運算資源，快速解決大型運算問題。HPC 可推動醫療照護、生命科學、媒體、娛樂、金融服務和能源等產業的研究與創新。研究人員、科學家和分析師會使用 HPC 系統進行實驗、執行模擬作業，以及評估原型。地震處理、基因體定序、媒體算繪和氣候模型等 HPC 工作負載，會以越來越高的資料速率產生及存取大量資料，且延遲時間越來越短。高效能儲存空間和資料管理是 HPC 基礎架構的重要建構區塊。

Google Cloud中的 HPC 工作負載儲存空間選項

地端部署環境的 HPC 基礎架構設置及運作成本高昂，且需要持續維護。此外，地端部署基礎架構通常無法迅速配合需求變化調度資源。具體來看，on-premises 硬體的規劃、採購、部署及停用程序曠日廢時，因此難以及時加入或充分運用 HPC 資源。不過在雲端，組織能以高效率佈建採用最新技術的 HPC 基礎架構，並依需求調整容量。

Google Cloud 和技術合作夥伴提供經濟實惠、彈性且可擴充的儲存空間選項，方便您在雲端部署 HPC 基礎架構，以及擴充地端部署 HPC 基礎架構。科學家、研究人員和分析師就能在需要時，立即取得額外的 HPC 容量來執行專案。

如要在 Google Cloud中部署 HPC 工作負載，您可以根據工作負載的需求，選擇下列儲存服務和產品：

工作負載類型 建議使用的儲存空間服務和產品
需要低延遲存取資料，但不需要極端 I/O 存取共用資料集，且用戶端之間資料共用有限的工作負載。 使用 NFS 儲存空間。選擇下列其中一個選項：
產生複雜、相互依存且大規模 I/O 的工作負載，例如使用訊息傳遞介面 (MPI) 進行可靠處理序間通訊的緊密耦合 HPC 應用程式。 使用平行檔案系統。選擇下列其中一個選項：
如要進一步瞭解平行檔案系統可支援的工作負載需求，請參閱「平行檔案系統的使用時機」。
這項服務支援平行讀取存取權，並會自動擴充以滿足工作負載的容量需求。

平行檔案系統的使用時機

在平行檔案系統中，多個用戶端會使用平行 I/O 路徑，在多個聯網儲存空間節點中儲存及存取共用資料。平行檔案系統非常適合緊密耦合的 HPC 工作負載，例如資料密集型人工智慧 (AI) 工作負載，以及使用 SAS 應用程式的分析工作負載。如果延遲時間對 HPC 工作負載至關重要，且工作負載符合下列任一需求，建議使用 Managed Lustre 等平行檔案系統：

  • 緊密耦合的資料處理：天氣建模和地震勘探等 HPC 工作負載需要使用多個相互依存的作業，在多部伺服器上同時執行，才能重複處理資料。這些程序通常會使用 MPI 定期交換資料，並使用檢查點從故障中快速復原。平行檔案系統可讓相互依存的用戶端透過低延遲網路，同時儲存及存取大量共用資料。
  • 支援 POSIX I/O API 和語意：平行檔案系統 (例如 Managed Lustre) 非常適合需要 POSIX API 和語意的工作負載。檔案系統的 API 和語意是獨立的功能。舉例來說，NFS 支援 POSIX API，應用程式就是透過 open()、read() 和 write() 等函式讀取及寫入資料。不過，NFS 在不同用戶端之間協調資料存取的方式，與 POSIX 語意在機器上不同執行緒之間協調資料存取的方式不同。舉例來說，NFS 不支援用戶端之間的 POSIX 寫入後讀取快取一致性，而是依賴 NFSv3 中的弱一致性，以及 NFSv4 中的接近開啟的一致性。
  • 容量達 PB 級：平行檔案系統可擴充至單一檔案系統命名空間中的多個 PB 容量。NetApp Volumes 最多支援 1 PB，而 Filestore 區域和可用區則最多支援每個檔案系統 100 TiB。Cloud Storage 提供低成本且可靠的容量，可自動調整資源配置，但可能無法滿足 HPC 工作負載的資料共用語意和低延遲需求。
  • 低延遲和高頻寬：對於需要高速存取超大型檔案或數百萬個小型檔案的 HPC 工作負載，平行檔案系統的效能優於 NFS 和物件儲存空間。平行檔案系統提供的延遲時間低於毫秒，遠低於物件儲存空間，這可能會影響最大 IOPS。此外，平行檔案系統支援的頻寬上限，可能比 NFS 系統高出幾個數量級，這可能會使 VM 的 NIC 達到飽和。
  • 極致用戶端 擴充：NFS 儲存空間可支援數千個用戶端。平行檔案系統可擴充，支援超過 10,000 個用戶端同時存取共用資料，且無論用戶端數量多少，都能提供高處理量。

緊耦合 HPC 應用程式範例

本節說明緊密耦合 HPC 應用程式的範例，這類應用程式需要平行檔案系統提供的低延遲和高處理量儲存空間。

AI 輔助分子模擬

藥物研究是耗費大量資金和資料的過程。現代藥物研究機構會運用 AI 降低研發成本、有效擴大規模，並加速科學研究。舉例來說，研究人員會使用 AI 應用程式模擬藥物中分子之間的互動，並預測藥物中化合物變化的影響。這些應用程式會在強大的平行化 GPU 處理器上執行，載入、整理及分析大量資料，以快速完成模擬。平行檔案系統提供必要的儲存空間 IOPS 和輸送量，可盡量提升 AI 應用程式的效能。

使用 SAS 應用程式分析信用風險

抵押貸款機構和投資銀行等金融服務機構，需要持續分析及監控客戶和投資組合的信用評等。舉例來說，大型抵押貸款機構每天都會蒐集數千名潛在客戶的風險相關資料。信用分析師團隊會使用分析應用程式，共同審查每位客戶資料的不同部分，例如收入、信用記錄和消費模式。這項分析的洞察資料可協助信用分析師及時做出準確的放款建議。

為加速及擴大規模數據分析大型資料集，金融服務機構會使用網格運算平台，例如 SAS Grid Manager。平行檔案系統 (如 Managed Lustre) 支援多執行緒 SAS 應用程式的高處理量和低延遲儲存空間需求。

天氣預報

為了預測特定地理區域的天氣模式，氣象學家會將該區域劃分為多個格線，並在每個格線中部署地面雷達和氣象氣球等監測裝置。這些裝置會定期觀察及測量大氣狀況，並持續將資料串流至 HPC 叢集中執行的天氣預報應用程式。

天氣預測應用程式會使用數學模型處理串流資料，這些模型是以測量到的天氣參數之間已知的物理關係為基礎。應用程式會為區域中的每個格點分別處理資料。應用程式收到新的測量結果時，每個工作都會針對所屬格點的最新資料進行疊代，並與區域中其他格點的工作交換輸出內容。如要可靠地預測天氣模式，應用程式需要儲存及共用數 TB 的資料，這些資料是由數千個並行執行的工作產生及存取。

飛機設計的 CFD

計算流體力學 (CFD) 涉及使用數學模型、物理定律和計算邏輯，模擬氣體或液體在移動物體周圍的行為。飛機工程師設計機身時，會考量空氣動力學。CFD 可讓設計人員在投入時間和金錢打造昂貴的原型之前，快速模擬設計變更對空氣動力學的影響。分析每次模擬執行的結果後，設計師會針對機身各個元件的體積和形狀等屬性進行最佳化，然後重新模擬空氣動力學。CFD 可讓飛機設計師協同作業，快速模擬數百種設計變更的效果。

如要有效率地完成設計模擬，CFD 應用程式需要以毫秒以下的速度存取共用資料，並以高達 100 GBps 的速度儲存大量資料。

平行檔案系統選項總覽

本節將概略介紹Google Cloud 中適用於平行處理檔案系統的選項。

Google Cloud Managed Lustre

Managed Lustre 是 Google 管理的服務，可為緊密耦合的 HPC 工作負載提供高處理量和低延遲的儲存空間。透過高處理量和低延遲存取大量資料集，Managed Lustre 可大幅加快 HPC 工作負載和 AI 訓練與推論的速度。如要瞭解如何將 Managed Lustre 用於 AI 和機器學習工作負載，請參閱設計 AI 和機器學習工作負載的儲存空間 Google Cloud。Managed Lustre 會將資料分散至多個儲存空間節點，讓許多 VM 同時存取。這種平行存取機制可消除傳統檔案系統造成的瓶頸，讓工作負載快速擷取及處理大量資料。

DDN Infinia

如需進階 AI 資料自動化調度管理，可以使用 DDN Infinia，這項服務已在 Google Cloud Marketplace 上架。Infinia 提供以 AI 為主的 data intelligence 解決方案，可針對推論、訓練和即時分析進行最佳化，並支援超快速資料擷取、富含中繼資料的索引，以及與 TensorFlow 和 PyTorch 等 AI 框架完美整合。

DDN Infinia 的主要功能如下：

  • 高效能：延遲時間不到 1 毫秒，處理量可達數 TB/秒。
  • 擴充性：支援從 TB 擴充至 EB，單一部署作業最多可容納 10 萬個以上的 GPU，以及 100 萬個同時連線的用戶端。
  • 多租戶，服務品質 (QoS) 可預測：為多個租戶提供安全、隔離的環境，並提供可預測的 QoS，確保工作負載效能一致。
  • 統一資料存取：內建多重通訊協定支援，包括與 Amazon S3 相容的通訊協定、CSI 和 Cinder，可與現有應用程式和工作流程順暢整合。
  • 進階安全性：內建加密功能、容錯網域感知清除編碼，以及有助於確保資料保護和法規遵循的快照。

Sycomp Intelligent Data Storage Platform

Sycomp Intelligent Data Storage Platform 可在 Google Cloud Marketplace 中取得，讓您在 Google Cloud中執行高效能運算 (HPC)、AI 和機器學習，以及大數據工作負載。使用 Sycomp Storage，您可以從數千部 VM 同時存取資料、自動管理儲存空間層級來降低成本，以及在地端部署或 Google Cloud執行應用程式。Sycomp Storage 部署快速，且支援透過 NFS 和 IBM Storage Scale 用戶端存取資料。

IBM Storage Scale 是一種平行檔案系統，可協助安全管理大量 (PB 級) 資料。Sycomp Storage Scale 是一個平行處理檔案系統，非常適合 HPC、AI、機器學習、大數據，以及其他需要符合 POSIX 規範共用檔案系統的應用程式。Sycomp Storage 具有可調整的儲存空間容量和效能擴充功能，可支援小型到大型的 HPC、AI 和 ML 工作負載。

在 Google Cloud中部署叢集後，您可以決定如何使用叢集。選擇要只在雲端中使用叢集，還是以混合模式使用，方法是連線至現有的內部部署 IBM Storage Scale 叢集、第三方 NFS NAS 解決方案或其他物件式儲存解決方案。

貢獻者

作者：Kumar Dhanagopal | 跨產品解決方案開發人員

其他貢獻者：