叢集 GPU 總覽

叢集式 GPU

叢集式 GPU 經過最佳化調整，適用於人工智慧 (AI) 和機器學習 (ML) 工作負載，可優先處理大規模分散式訓練、多主機推論和複雜的高效能運算 (HPC) 工作。

團隊可透過叢集式 GPU，使用專門的網路架構和同步維護作業，將數千個互連的加速器部署及擴充為單一緊耦合系統。這個系列適合需要極高運算、記憶體和高速網路同步的工作負載。常見用途包括預先訓練具有數兆個參數的基礎模型、提供前沿模型，以及模擬藥物研發。

叢集式 GPU 的主要特性

• 同步維護： Google Cloud 同時更新叢集中的所有節點，避免單一節點重新啟動導致工作停滯。
• 自動化健康狀態監控：系統會主動找出落後者，並監控硬體故障或無訊息資料損毀。
• 主動更換節點：系統會從備用集區中，將效能不佳的 VM 逐出，並重新排程至健康狀態良好的機器。
• 符合軌道拓撲：符合軌道拓撲會將 GPU 對 GPU 流量與標準主機通訊隔離，確保大規模多節點協調作業不會出現抖動。
• 進階通訊協定：這些機器系列支援高頻寬互連，包括 GPUDirect RDMA (以 RoCE 為基礎)。

叢集式 GPU 系列和技術規格

請參閱下表，瞭解進階叢集式 GPU 機器系列的工作負載和硬體規格。如要進行百億億次級訓練，請使用 A5X、A4X Max、A4X 或 A3 Ultra 系列。

A5X 系列

注意：Compute Engine 服務水準協議 (SLA) 不適用於 A5X 機器系列。

如要訓練大規模基礎模型、執行推論模型的推論作業，或在裸機上執行複雜的高效能運算 (HPC) 模擬，請使用 A5X 機器系列。這個系列採用 NVIDIA Vera Rubin 超級晶片，可處理高運算和記憶體需求。

A5X 機型採用 NVIDIA Vera Rubin 超級晶片，適合用於基礎模型訓練、推論和提供服務。A5X 機型提供裸機執行個體。

A5X 是以 NVIDIA Vera Rubin NVL72 為基礎的百億億級平台。每部機器都有兩個插槽，配備 NVIDIA Vera CPU。這些 CPU 透過快速的晶片對晶片 (NVLink-C2C) 通訊，連接至四個 NVIDIA Rubin GPU。如要瞭解機型限制，請參閱「A5X 限制」。

注意：如要開始使用 A5X 執行個體，請與帳戶團隊聯絡，預留運算資源，並取得建立執行個體和叢集的指示。

機型	vCPU 數量	執行個體記憶體 (GB)	連接的本機 SSD (GiB)	實體 NIC 數量	網路頻寬上限 (Gbps)	NVIDIA Rubin GPU 數量	GPU 記憶體 (GB HBM4)
a5x-highgpu-4g-metal	176	1,440	48,000	10	7,200	4	1,152

上表注意事項如下：

• vCPU 數量：如果是 A5X 裸機執行個體，vCPU 數量為 176，代表 NVIDIA Vera CPU 平台上兩個 88 核心通訊端中的 176 個實體 CPU 核心。
• 網路頻寬上限：輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
• GPU 記憶體：GPU 記憶體是 GPU 裝置上用於儲存暫時資料的記憶體。這項資源與執行個體的記憶體分開，可處理圖形密集型工作負載較高的頻寬需求。

A4X Max 和 A4X 系列

注意：Compute Engine 服務水準協議 (SLA) 不適用於 A4X Max 和 A4X 機器系列。

如果您要訓練大規模的百億億次級基礎模型，或執行高度複雜的裸機高效能運算 (HPC) 模擬，請使用 A4X Max 或 A4X 機器系列。這些系列搭載 NVIDIA GB300 Grace Blackwell Ultra 超級晶片，可處理極高的運算和記憶體需求。

A4X Max (裸機)

A4X Max 機型採用 NVIDIA GB300 Grace Blackwell Ultra Superchip (nvidia-gb300)，適合基礎模型訓練和服務。A4X Max 機型提供裸機執行個體。

A4X Max 是採用 NVIDIA GB300 NVL72 的百億億次級平台，每部機器都有兩個插槽，配備搭載 Arm Neoverse V2 核心的 NVIDIA Grace CPU。這些 CPU 透過快速的晶片對晶片 (NVLink-C2C) 通訊，連線至四個 NVIDIA B300 Blackwell GPU。如要瞭解機型限制，請參閱「A4X Max 和 A4X 限制」。

注意：佈建 A4X Max 執行個體時，您必須預留容量，才能建立執行個體和叢集。接著，您就能建立執行個體，使用 AI Hypercomputer 提供的功能和服務。詳情請參閱「部署選項總覽」。

機型	vCPU 數量	執行個體記憶體 (GB)	連接的本機 SSD (GiB)	實體 NIC 數量	網路頻寬上限 (Gbps)	NVIDIA GB300 GPU 數量	GPU 記憶體 (GB HBM3e)
a4x-maxgpu-4g-metal	144	960	12,000	6	3,600	4	1,116

上表注意事項如下：

• vCPU 數量：vCPU 會在其中一個可用的 CPU 平台中部署為單一硬體超執行緒。
• 網路頻寬上限：輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
• GPU 記憶體：GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。

A4X

A4X 機型採用 NVIDIA GB200 Grace Blackwell Superchip (nvidia-gb200)，適合基礎模型訓練和提供。

A4X 是以 NVIDIA GB200 NVL72 為基礎的百億億級平台。每部機器都有兩個插槽，配備搭載 Arm Neoverse V2 核心的 NVIDIA Grace CPU。這些 CPU 透過快速的晶片對晶片 (NVLink-C2C) 通訊，連線至四個 NVIDIA B200 Blackwell GPU。如要瞭解機型限制，請參閱「A4X Max 和 A4X 限制」。

注意：佈建 A4X 執行個體時，必須預留容量，才能建立執行個體和叢集。接著，您就能建立執行個體，使用 AI Hypercomputer 提供的功能和服務。詳情請參閱「部署選項總覽」。

機型	vCPU 數量	執行個體記憶體 (GB)	連接的本機 SSD (GiB)	實體 NIC 數量	網路頻寬上限 (Gbps)	NVIDIA GB200 GPU 數量	GPU 記憶體 (GB HBM3e)
a4x-highgpu-4g	140	884	12,000	6	2,000	4	744

上表注意事項如下：

• vCPU 數量：vCPU 會在其中一個可用的 CPU 平台中部署為單一硬體超執行緒。
• 網路頻寬上限：輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
• GPU 記憶體：GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。

A4 系列

如果目標是訓練需要大規模平行處理的最先進基礎模型，請使用 A4 機器系列，盡可能縮短處理時間並提高硬體處理量。

A4 機型連接 NVIDIA B200 Blackwell GPU (nvidia-b200)，適合基礎模型訓練和提供。如要瞭解機型限制，請參閱「A4 限制」。

注意：佈建 A4 機型時，您必須預留容量來建立執行個體或叢集、使用 Spot VM、使用彈性啟動型 VM，或在 MIG 中建立大小調整要求。如需建立 A4 執行個體的操作說明，請參閱「建立 VM 和叢集總覽」。.

機型	vCPU 數量	執行個體記憶體 (GB)	連接的本機 SSD (GiB)	實體 NIC 數量	網路頻寬上限 (Gbps)	NVIDIA B200 Blackwell GPU 數量	GPU 記憶體 (GB HBM3e)
a4-highgpu-8g	224	3,968	12,000	10	3,600	8	1,440

上表注意事項如下：

• vCPU 數量：vCPU 會在其中一個可用的 CPU 平台中部署為單一硬體超執行緒。
• 網路頻寬上限：輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
• GPU 記憶體：GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。

A3 系列 (Ultra、Mega 和 High，配備 8 個 GPU)

如要執行大規模分散式訓練，或在多個主機上使用大型資料集資料表提供前沿模型，請使用 A3 機器系列，盡可能縮短主機間的網路延遲時間。

A3 Ultra

注意：佈建 A3 Ultra 機型時，您必須預留容量來建立執行個體或叢集、使用 Spot VM、使用彈性啟動型 VM，或在 MIG 中建立大小調整要求。如要進一步瞭解建立 A3 Ultra 執行個體時要設定的參數，請參閱「建立 VM 和叢集總覽」。

機型	vCPU 數量	執行個體記憶體 (GB)	連接的本機 SSD (GiB)	實體 NIC 數量	網路頻寬上限 (Gbps)	NVIDIA H200 GPU 數量	GPU 記憶體 (GB HBM3e)
a3-ultragpu-8g	224	2,952	12,000	10	3,600	8	1128

A3 Mega

注意：佈建 a3-megagpu-8g 機器類型時，建議您使用這些執行個體的叢集，並透過 Google Kubernetes Engine (GKE) 或 Slurm 等排程器進行部署。如需上述任一選項的詳細操作說明，請參閱下列內容：

• 如要建立 Google Kubernetes Engine 叢集，請參閱「使用 GKE 部署 A3 Mega 叢集」。
• 如要建立 Slurm 叢集，請參閱「部署 A3 Mega Slurm 叢集」。

機型	vCPU 數量	執行個體記憶體 (GB)	連接的本機 SSD (GiB)	實體 NIC 數量	網路頻寬上限 (Gbps)	NVIDIA H100 GPU 數量	GPU 記憶體 (GB HBM3)
a3-megagpu-8g	208	1,872	6,000	9	1,800	8	640

A3 High

注意：佈建 a3-highgpu-1g、a3-highgpu-2g 或 a3-highgpu-4g 機型時，必須使用 Spot VM 或彈性啟動型 VM 建立執行個體。如要瞭解上述做法的詳細操作說明，請參閱下列文章：

• 如要建立 Spot VM，請在建立加速器最佳化 VM 時，將佈建模式設為 SPOT。
• 如要建立彈性啟動型 VM，請使用下列任一方法：
  • 建立加速器最佳化 VM 時，建立獨立 VM 並將佈建模式設為 FLEX_START。
  • 在代管執行個體群組 (MIG) 建立大小調整要求。如需操作說明，請參閱「建立含有 GPU VM 的 MIG」。

機型	vCPU 數量	執行個體記憶體 (GB)	連接的本機 SSD (GiB)	實體 NIC 數量	網路頻寬上限 (Gbps)	NVIDIA H100 GPU 數量	GPU 記憶體 (GB HBM3)
a3-highgpu-1g	26	234	750	1	25	1	80
a3-highgpu-2g	52	468	1,500	1	50	2	160
a3-highgpu-4g	104	936	3,000	1	100	4	320
a3-highgpu-8g	208	1,872	6,000	5	1,000	8	640

上表注意事項如下：

• vCPU 數量：vCPU 會在其中一個可用的 CPU 平台中部署為單一硬體超執行緒。
• 網路頻寬上限：輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
• GPU 記憶體：GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。

取得資源

如要取得叢集式 GPU 的運算能力，必須協調高效能加速器的供需。由於這些資源實際位於專門的網路架構中，因此您必須透過代管工作流程提出要求。

您可以透過帳戶團隊預留運算資源，或使用未來預留項目和 Dynamic Workload Scheduler。

後續步驟

• 如要瞭解如何取得運算資源，請參閱「用量方案」。
• 如要評估基礎架構需求，請參閱「選擇基礎架構」。
• 如要規劃網路拓撲，請參閱「叢集環境的 GPU 網路需求」。
• 如要預留運算資源，請參閱「預留運算資源」。