HPC 工作負載適用的平行檔案系統

本文將介紹 Google Cloud 適用於高效能運算 (HPC) 工作負載的儲存空間選項，並說明何時應為 HPC 工作負載使用平行檔案系統。在平行檔案系統中，多個用戶端會使用平行 I/O 路徑，存取儲存在多個網路儲存節點中的共用資料。

本文適用於負責設計、佈建及管理儲存空間的架構師和管理員，這些儲存空間用於處理需要大量資料的 HPC 工作負載。本文假設您已瞭解網路檔案系統 (NFS)、平行檔案系統、POSIX，以及 HPC 應用程式的儲存空間需求。

什麼是 HPC？

HPC 系統會匯總多個運算資源，快速解決大型運算問題。HPC 可推動醫療保健、生命科學、媒體、娛樂、金融服務和能源等產業的研究與創新。研究人員、科學家和分析師會使用 HPC 系統進行實驗、執行模擬作業，以及評估原型。地震處理、基因體定序、媒體算繪和氣候模型等 HPC 工作負載會產生並存取大量資料，且資料速率不斷提高，延遲時間則不斷縮短。高效能儲存空間和資料管理是 HPC 基礎架構的重要建構區塊。

Google Cloud中的 HPC 工作負載儲存空間選項

on-premises 環境的 HPC 基礎架構設置及運作成本高昂，且需要持續維護。此外，on-premises 基礎架構通常無法迅速配合需求變化調度資源。具體來看，on-premises 硬體的規劃、採購、部署及停用程序曠日廢時，因此難以及時加入或充分運用 HPC 資源。不過在雲端，組織能以高效率佈建採用最新技術的 HPC 基礎架構，並依需求調整容量。

Google Cloud 和技術合作夥伴提供經濟實惠、彈性且可擴充的儲存空間選項，方便您在雲端部署 HPC 基礎架構，並擴充內部部署 HPC 基礎架構。這樣一來，科學家、研究人員和分析師就能在需要時，立即取得額外的 HPC 容量來執行專案。

如要在 Google Cloud中部署 HPC 工作負載，您可以根據工作負載的需求，選擇下列儲存服務和產品：

工作負載類型 建議使用的儲存空間服務和產品
需要低延遲存取資料，但不需要對共用資料集進行極端 I/O，且用戶端之間資料共用有限的工作負載。 使用 NFS 儲存空間。選擇下列其中一個選項：
產生複雜、相互依存且大規模 I/O 的工作負載，例如使用訊息傳遞介面 (MPI) 進行可靠處理序間通訊的緊密耦合 HPC 應用程式。 使用平行檔案系統。選擇下列其中一個選項：
如要進一步瞭解平行檔案系統可支援的工作負載需求，請參閱「平行檔案系統的使用時機」。
這項服務支援平行讀取存取權，並會自動調度資源，滿足工作負載的容量需求。

平行檔案系統的使用時機

在並行檔案系統中，多個用戶端會使用並行 I/O 路徑，在多個聯網儲存節點中儲存及存取共用資料。平行檔案系統非常適合緊密耦合的 HPC 工作負載，例如資料密集型人工智慧 (AI) 工作負載，以及使用 SAS 應用程式的分析工作負載。對於有下列任一需求的延遲時間敏感型 HPC 工作負載，建議使用 Managed Lustre 等平行檔案系統：

  • 緊密耦合的資料處理：天氣模型和地震勘探等 HPC 工作負載需要使用多個相互依存的工作，在多部伺服器上同時執行，才能重複處理資料。這些程序通常會使用 MPI 定期交換資料，並透過檢查點從故障中快速復原。平行檔案系統可讓相互依存的用戶端透過低延遲網路，同時儲存及存取大量共用資料。
  • 支援 POSIX I/O API 和語意：Managed Lustre 等平行處理檔案系統非常適合需要 POSIX API 和語意的工作負載。檔案系統的 API 和語意是獨立的功能。舉例來說，NFS 支援 POSIX API，應用程式就是透過 open()、read() 和 write() 等函式讀取及寫入資料。但 NFS 在不同用戶端之間協調資料存取的方式，與 POSIX 語意在機器上不同執行緒之間協調資料存取的方式不同。舉例來說，NFS 不支援用戶端之間的 POSIX 讀後寫入快取一致性，而是依賴 NFSv3 中的弱一致性，以及 NFSv4 中的接近開啟的一致性。
  • 容量達 PB 級：平行檔案系統可擴充至單一檔案系統命名空間中的多個 PB 容量。NetApp Volumes 最多支援 1 PB，而 Filestore 區域和可用區級別的檔案系統最多支援 100 TiB。Cloud Storage 提供低成本且可靠的容量，可自動調整資源配置，但可能無法滿足 HPC 工作負載的資料共用語意和低延遲需求。
  • 低延遲和高頻寬：對於需要高速存取超大型檔案或數百萬個小型檔案的 HPC 工作負載，平行檔案系統的效能強於 NFS 和物件儲存空間。平行檔案系統提供的延遲時間低於毫秒，遠低於物件儲存空間，這可能會影響最大 IOPS。此外，平行檔案系統支援的頻寬上限，可能比 NFS 系統高出幾個數量級，這可能會使 VM 的 NIC 達到飽和。
  • 極致用戶端 擴充：NFS 儲存空間可支援數千個用戶端。平行檔案系統可擴充，支援超過 10,000 個用戶端同時存取共用資料，且無論用戶端數量多少，都能提供高輸送量。

緊耦合 HPC 應用程式範例

本節將說明緊密耦合 HPC 應用程式的範例，這類應用程式需要平行檔案系統提供的低延遲和高處理量儲存空間。

採用 AI 技術的分子模擬

藥物研究是耗費大量資金和資料的過程。現代藥物研究機構仰賴 AI 降低研發成本、有效率地擴大規模，並加速科學研究。舉例來說，研究人員會使用 AI 輔助應用程式模擬藥物中分子間的互動，並預測藥物中化合物變化的影響。這些應用程式會在強大的平行化 GPU 處理器上執行，載入、整理及分析大量資料，以快速完成模擬作業。平行檔案系統可提供儲存空間 IOPS 和總處理量，盡可能提升 AI 應用程式的效能。

使用 SAS 應用程式分析信用風險

抵押貸款機構和投資銀行等金融服務機構，需要持續分析及監控客戶和投資組合的信用評等。舉例來說，大型抵押貸款機構每天都會蒐集數千名潛在客戶的風險相關資料。信用分析師團隊會使用分析應用程式，共同審查每位客戶資料的不同部分，例如收入、信用記錄和消費模式。這項分析的洞察資料有助於信用分析師準確及時地提出貸款建議。

為加速及擴大規模分析大型資料集，金融服務機構會使用網格運算平台，例如 SAS Grid Manager。平行檔案系統 (例如 Managed Lustre) 支援多執行緒 SAS 應用程式的高處理量和低延遲儲存空間需求。

天氣預報

為了預測特定地理區域的天氣模式，氣象學家會將該區域劃分成數個格點，並在每個格點部署地面雷達和探空氣球等監測裝置。這些裝置會定期觀察及測量大氣狀況，裝置會持續將資料串流至 HPC 叢集中執行的天氣預報應用程式。

天氣預測應用程式會使用數學模型處理串流資料，這些模型是根據所測量天氣參數之間已知的物理關係建立。系統會使用個別工作處理區域中每個儲存格的資料。應用程式收到新測量結果時，每項工作都會針對所指派儲存格的最新資料進行疊代，並與該區域其他儲存格的工作交換輸出內容。為了可靠地預測天氣模式，應用程式需要儲存並分享數 TB 的資料，這些資料是由數千個平行執行的作業產生及存取。

飛機設計的 CFD

計算流體力學 (CFD) 涉及使用數學模型、物理定律和計算邏輯，模擬氣體或液體在移動物體周圍的行為。飛機工程師設計機身時，會考量空氣動力學。CFD 可讓設計人員在投入時間和金錢打造昂貴的原型之前，快速模擬設計變更對空氣動力學的影響。分析每次模擬執行的結果後，設計師會最佳化屬性，例如機身各個組件的體積和形狀，然後重新模擬空氣動力學。CFD 可讓飛機設計師協同作業，快速模擬數百項設計變更的影響。

如要有效率地完成設計模擬，CFD 應用程式需要以毫秒以下的速度存取共用資料，並以高達 100 GBps 的速度儲存大量資料。

平行檔案系統選項總覽

本節將概略介紹Google Cloud 中可用的平行檔案系統選項。

Google Cloud Managed Lustre

Managed Lustre 是 Google 代管的服務，可為緊密耦合的 HPC 工作負載提供高總處理量和低延遲的儲存空間。平行處理檔案系統提供高處理量、低延遲的大量資料集存取機制，可大幅加快高效能運算工作負載和 AI 訓練與推論速度。如要瞭解如何將 Managed Lustre 用於 AI 和機器學習工作負載，請參閱「在 Google Cloud 中為 AI 和機器學習工作負載設計儲存空間 Google Cloud」。代管 Lustre 會將資料分散至多個儲存節點，讓多部 VM 能同時存取。這種平行存取機制可消除傳統檔案系統的瓶頸，讓工作負載快速擷取並處理所需的大量資料。

DDN Infinia

如需進階 AI 資料協調功能，可以使用 Google Cloud Marketplace 提供的 DDN Infinia。Infinia 提供以 AI 為主的資料智慧解決方案，可最佳化推論、訓練和即時分析。可實現超快速資料擷取、豐富的中繼資料索引，以及與 TensorFlow 和 PyTorch 等 AI 架構的無縫整合。

DDN Infinia 的主要功能如下：

  • 高效能：提供不到 1 毫秒的延遲時間，以及每秒數 TB 的輸送量。
  • 可擴充性：支援從 TB 擴充至 EB，單一部署作業最多可容納 10 萬個以上的 GPU，以及 100 萬個並行用戶端。
  • 多租戶環境，服務品質 (QoS) 可預測：為多個租戶提供安全、隔離的環境，並可預測服務品質，確保工作負載效能一致。
  • 統一資料存取：透過內建的多重通訊協定支援 (包括與 Amazon S3 相容、CSI 和 Cinder)，與現有應用程式和工作流程順暢整合。
  • 進階安全性：內建加密、容錯網域感知清除編碼和快照等功能，有助於確保資料保護和法規遵循。

Sycomp Intelligent Data Storage Platform

Sycomp Intelligent Data Storage Platform 可在 Google Cloud Marketplace 中取得，讓您在 Google Cloud中執行高效能運算 (HPC)、AI 和機器學習，以及大數據工作負載。使用 Sycomp Storage，您可以同時從數千部 VM 存取資料、自動管理儲存空間層級來降低成本，以及在地端或 Google Cloud執行應用程式。Sycomp Storage 部署快速，並支援透過 NFS 和 IBM Storage Scale 用戶端存取資料。

IBM Storage Scale 是一種平行檔案系統，可協助安全管理大量 (PB 級) 資料。Sycomp Storage Scale 是一個平行處理檔案系統，非常適合 HPC、AI、機器學習、大數據，以及其他需要符合 POSIX 規範共用檔案系統的應用程式。Sycomp Storage 具有可調整的儲存空間容量和效能擴充功能，可支援小型到大型的 HPC、AI 和 ML 工作負載。

在 Google Cloud中部署叢集後，您可以決定如何使用叢集。選擇要只在雲端中使用叢集，還是以混合模式使用，方法是連線至現有的內部部署 IBM Storage Scale 叢集、第三方 NFS NAS 解決方案或其他物件式儲存解決方案。

貢獻者

作者：Kumar Dhanagopal | 跨產品解決方案開發人員

其他貢獻者：