選擇加速器基礎架構

您可以參考這份文件，根據生命週期階段 (例如小規模原型設計、即時推論和大規模分散式訓練)，找出最適合人工智慧 (AI) 和機器學習 (ML) 工作負載的加速器基礎架構。AI Hypercomputer 將加速器分為兩類：一般 GPU 和叢集式 GPU。

GPU 基礎架構

AI Hypercomputer 提供兩類 GPU。每個類別都有不同的管理模式，決定系統如何處理生命週期事件、管理維護作業，以及最佳化工作負載的網路：

一般 GPU 管理模型

一般 GPU 管理模式適用於優先考量資源獨立性和高可用性的工作負載。這個模型使用標準 Google Cloud 管理層，為已使用 Compute Engine 或 GKE 的團隊提供熟悉的體驗。

  • 維護：非同步。個別執行個體會獨立更新。在多節點服務機群中，單一節點的維護事件不會影響其他節點的可用性，因此流量可以重新導向至健康狀態良好的節點，不會導致整個工作停滯。

  • 主要用途：建議用於主流工作，例如即時推論、提供模型、小規模原型設計，以及不需要超級運算規模的開發環境。

一般 GPU 機器系列

下列機器系列為一般 GPU：

  • 配備 1、2 或 4 個 GPU 的 A3 High
  • A3 Edge
  • A2
  • G4
  • G2
  • N1+T4
  • N1+V100

如需各類一般 GPU 機器的技術資訊，請參閱「GPU 機型」。

叢集式 GPU 管理模式

叢集式 GPU 管理模式是超級運算等級的環境，專為大規模分散式訓練而設計。資源會透過叢集式 GPU 堆疊，以單一緊耦合系統的形式管理。

  • 維護：協調。這個模型會協調維護事件，支援緊耦合的工作負載。如要進行分散式訓練，可以使用同步維護，同時在所有節點套用更新。這種做法可避免節點重新啟動導致工作停滯，並盡可能提高有效處理量。這個模型也會提供 90 天維護通知。

  • 主要用途：專為訓練具有數兆個參數的百億億級基礎模型，或執行複雜的高效能運算 (HPC) 模擬 (例如藥物研發和蛋白質摺疊) 而設計。

叢集式 GPU 機器系列

下列機器系列為叢集式 GPU：

  • A5X
  • A4X Max
  • A4X
  • A4
  • A3 Ultra
  • A3 Mega
  • 配備 8 個 GPU 的 A3 High

如要瞭解各個叢集式 GPU 機器的技術資訊，請參閱「GPU 機型」。

能力評估表

比較一般 GPU 和叢集式 GPU 管理模式的技術和作業特性：

特性 一般 GPU 管理模型 叢集式 GPU 管理模式
主要用途 推論、提供模型、原型設計和開發 大規模分散式訓練和 HPC
維護 非同步：獨立節點更新可重新導向流量，不會中斷工作 協調：支援叢集層級的協調 (同步) 更新，讓節點保持同步，並盡可能提高有效輸送量
目標硬體 A3 High (1、2 或 4 個 GPU)、A3 Edge、G4、G2、A2、N1+T4 和 N1+V100 A5X、A4X Max、A4X、A4、A3 Ultra、A3 Mega 和 A3 High (8 個 GPU)
網路 透過 gVNIC 介面使用標準虛擬私有雲網路 (A3 Edge 除外，該系列會透過多個虛擬私有雲使用 GPUDirect-TCPX) 專用低延遲網路架構 (RDMA、RoCE、TCPX 或 NVIDIA NVLink)
管理堆疊 Standard Google Cloud 平面 (Compute Engine 或 GKE) 專用管理堆疊 (例如 Cluster Director)
可靠性 標準節點自動修復和 Pod 層級運作時間 Specialized Resource and Recovery 套件

決策準則

請參考下表，找出符合特定工作負載用途的硬體系列：

如果工作負載涉及... 建議的 GPU 基礎架構 建議的機器系列
原型設計與開發 一般 GPU A3 High (1、2 或 4 個 GPU)、A3 Edge、A2、G4、G2、N1+T4、N1+V100
即時推論 (< 1,000 億個參數) 一般 GPU A3 High (1、2 或 4 個 GPU)、A3 Edge、A2、G4、G2、N1+T4、N1+V100
跨多個 GPU 執行推論 叢集式 GPU A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU)
大規模訓練與推論 叢集式 GPU A4、A3 Ultra、A3 Mega、A3 High (8 個 GPU)
超大規模訓練 (超過 5,000 億個參數) 和分散式推論 叢集式 GPU A5X、A4X Max、A4X、A4

如需詳細的決策樹狀圖，將模型架構直接對應至硬體，請參閱「選擇加速器」。

確立這些主要條件後，請選擇自動化調度管理平台。這項選擇取決於團隊偏好自動化管理，還是精細控管作業系統和驅動程式。

後續步驟