GPU 機器類型

本文說明 AI Hypercomputer 支援的 GPU 機型系列。您可以建立使用這些機器系列的 Compute Engine 執行個體和叢集，執行人工智慧 (AI)、機器學習 (ML) 和高效能運算 (HPC) 工作負載。

如要在 AI Hypercomputer 上使用 GPU，您可以採用加速器最佳化機器系列的絕大多數機器系列。加速器最佳化機器系列中的每個機器系列，都使用特定 GPU 型號。如要進一步瞭解加速器最佳化機器系列，請參閱「加速器最佳化機器系列」一文。

以下各節說明 AI Hypercomputer 支援的加速器最佳化機器系列。

A4X Max 和 A4X 系列

注意： Compute Engine 服務水準協議 (SLA)不適用於 A4X Max 和 A4X 系列機器。

本節說明 A4X Max 和 A4X 系列機器的可用設定。如要進一步瞭解這些機器系列，請參閱 Compute Engine 說明文件中的A4X 和 A4X Max 加速器最佳化機器系列。

A4X Max (裸機)

A4X Max 機型使用 NVIDIA GB300 Grace Blackwell Ultra Superchip (nvidia-gb300)， 非常適合基礎模型訓練和服務。A4X Max 機型可做為裸機執行個體使用。

A4X Max 是以 NVIDIA GB300 NVL72 為基礎的百京級平台。每部機器都有兩個插槽，搭載 NVIDIA Grace CPU 和 Arm Neoverse V2 核心。這些 CPU 會透過快速晶片對晶片 (NVLink-C2C) 通訊，連接至四個 NVIDIA B300 Blackwell GPU。

注意：如要開始使用 A4X Max 機器類型，請與帳戶團隊聯絡。

						已連結 NVIDIA GB300 Grace Blackwell Ultra Superchip
機型	vCPU 數量^1	執行個體記憶體 (GB)	附加的本機 SSD (GiB)	實體 NIC 數量	網路頻寬上限 (Gbps)^2	GPU 數量	GPU 記憶體^3 (GB HBM3e)
a4x-maxgpu-4g-metal	144	960	12,000	6	3,600	4	1,116

¹ 在其中一個可用的 CPU 平台中，我們會以單一硬體超執行緒的形式提供 vCPU。
²輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
³GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這與執行個體的記憶體不同，專門用於處理需要高頻寬的繪圖密集型工作負載。

A4X

A4X 機型使用 NVIDIA GB200 Grace Blackwell Superchip (nvidia-gb200)， 非常適合基礎模型訓練和服務。

A4X 是以 NVIDIA GB200 NVL72 為基礎的百京級平台。每部機器都有兩個插槽，搭載 NVIDIA Grace CPU 和 Arm Neoverse V2 核心。這些 CPU 會透過快速晶片對晶片 (NVLink-C2C) 通訊，連線至四個 NVIDIA B200 Blackwell GPU。

注意：佈建 A4X 執行個體時，您必須預留容量，才能建立執行個體和叢集。接著，您就能建立例項，使用 AI Hypercomputer 提供的功能和服務。詳情請參閱部署選項總覽。

						已連結 NVIDIA GB200 Grace Blackwell 超級晶片
機型	vCPU 數量^1	執行個體記憶體 (GB)	附加的本機 SSD (GiB)	實體 NIC 數量	網路頻寬上限 (Gbps)^2	GPU 數量	GPU 記憶體^3 (GB HBM3e)
a4x-highgpu-4g	140	884	12,000	6	2,000	4	744

¹ 在其中一個可用的 CPU 平台中，我們會以單一硬體超執行緒的形式提供 vCPU。
²輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
³GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這與執行個體的記憶體不同，專門用於處理需要高頻寬的繪圖密集型工作負載。

A4 系列

注意： 您可以使用叢集健康狀態掃描器 (CHS) 工具，排解 A4 系列機器 GPU 叢集的問題。詳情請參閱「排解 GPU 叢集問題」。

本節將說明 A4 系列機器的可用設定。如要進一步瞭解這個機器系列，請參閱 Compute Engine 說明文件中的「A4 加速器最佳化機器系列」。

A4

A4 機型搭載 NVIDIA B200 Blackwell GPU (nvidia-b200)，非常適合基礎模型訓練和部署。

注意：佈建 A4 機型時，您必須預留容量才能建立執行個體或叢集、使用 Spot VM、使用彈性啟動 VM，或在 MIG 中建立大小調整要求。如需建立 A4 執行個體的操作說明，請參閱「建立 VM 和叢集總覽」。.

						已連結的 NVIDIA B200 Blackwell GPU
機型	vCPU 數量^1	執行個體記憶體 (GB)	附加的本機 SSD (GiB)	實體 NIC 數量	網路頻寬上限 (Gbps)^2	GPU 數量	GPU 記憶體^3 (GB HBM3e)
a4-highgpu-8g	224	3,968	12,000	10	3,600	8	1,440

¹ 在其中一個可用的 CPU 平台中，我們會以單一硬體超執行緒的形式提供 vCPU。
²輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
³GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這與執行個體的記憶體不同，專門用於處理需要高頻寬的繪圖密集型工作負載。

A3 系列

注意： 您可以使用 CHS 工具，排解 A3 Ultra、A3 Mega 和 A3 High GPU 叢集的疑難。詳情請參閱「排解 GPU 叢集問題」。

本節說明 A3 系列機器的可用設定。如要進一步瞭解這個機器系列，請參閱 Compute Engine 說明文件中的「A3 加速器最佳化機器系列」。

A3 Ultra

A3 Ultra 機型連接 NVIDIA H200 SXM GPU (nvidia-h200-141gb)，並提供 A3 系列中最高的網路效能。A3 Ultra 機型非常適合基礎模型訓練和服務。

注意：佈建 A3 Ultra 機型時，您必須預留容量才能建立執行個體或叢集、使用 Spot VM、使用彈性啟動 VM，或在 MIG 中建立大小調整要求。如要進一步瞭解建立 A3 Ultra 執行個體時要設定的參數，請參閱「建立 VM 和叢集總覽」。

						附加的 NVIDIA H200 GPU
機型	vCPU 數量^1	執行個體記憶體 (GB)	附加的本機 SSD (GiB)	實體 NIC 數量	網路頻寬上限 (Gbps)^2	GPU 數量	GPU 記憶體^3 (GB HBM3e)
a3-ultragpu-8g	224	2,952	12,000	10	3,600	8	1128

¹ 在其中一個可用的 CPU 平台中，我們會以單一硬體超執行緒的形式提供 vCPU。
²輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
³GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這與執行個體的記憶體不同，專門用於處理需要高頻寬的繪圖密集型工作負載。

A3 Mega

A3 Mega 機型配備 NVIDIA H100 SXM GPU，非常適合大型模型訓練和多主機推論。

注意：佈建 a3-megagpu-8g 機器類型時，建議使用這些執行個體的叢集，並透過 Google Kubernetes Engine (GKE) 或 Slurm 等排程器部署。如需這兩種方式的詳細操作說明，請參閱下列文章：

• 如要建立 Google Kubernetes Engine 叢集，請參閱「使用 GKE 部署 A3 Mega 叢集」。
• 如要建立 Slurm 叢集，請參閱「部署 A3 Mega Slurm 叢集」。

						附加的 NVIDIA H100 GPU
機型	vCPU 數量^1	執行個體記憶體 (GB)	附加的本機 SSD (GiB)	實體 NIC 數量	網路頻寬上限 (Gbps)^2	GPU 數量	GPU 記憶體^3 (GB HBM3)
a3-megagpu-8g	208	1,872	6,000	9	1,800	8	640

¹ 在其中一個可用的 CPU 平台中，我們會以單一硬體超執行緒的形式提供 vCPU。
²輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
³GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這與執行個體的記憶體不同，專門用於處理需要高頻寬的繪圖密集型工作負載。

A3 High

A3 High 機型配備 NVIDIA H100 SXM GPU，適合大型模型推論與模型微調。

注意：佈建 a3-highgpu-1g、a3-highgpu-2g 或 a3-highgpu-4g 機型時，必須使用 Spot VM 或彈性啟動 VM 建立執行個體。如需這些選項的詳細操作說明，請參閱下列文章：

• 如要建立 Spot VM，請在建立加速器最佳化 VM 時，將佈建模式設為 SPOT。
• 如要建立彈性啟動 VM，請使用下列任一方法：
  • 建立獨立 VM，並在建立加速器最佳化 VM 時，將佈建模式設為 FLEX_START。
  • 在代管執行個體群組 (MIG) 中建立規模調整要求。如需操作說明，請參閱建立含 GPU VM 的 MIG。

						附加的 NVIDIA H100 GPU
機型	vCPU 數量^1	執行個體記憶體 (GB)	附加的本機 SSD (GiB)	實體 NIC 數量	網路頻寬上限 (Gbps)^2	GPU 數量	GPU 記憶體^3 (GB HBM3)
a3-highgpu-1g	26	234	750	1	25	1	80
a3-highgpu-2g	52	468	1,500	1	50	2	160
a3-highgpu-4g	104	936	3,000	1	100	4	320
a3-highgpu-8g	208	1,872	6,000	5	1,000	8	640

¹ 在其中一個可用的 CPU 平台中，我們會以單一硬體超執行緒的形式提供 vCPU。
²輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
³GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這與執行個體的記憶體不同，專門用於處理需要高頻寬的繪圖密集型工作負載。

A3 Edge

A3 Edge 機型搭載 NVIDIA H100 SXM GPU，專為部署工作負載而設計，僅適用於部分區域。

注意：如要開始使用 A3 Edge 執行個體，請參閱「建立啟用 GPUDirect-TCPX 的 A3 VM」。

						附加的 NVIDIA H100 GPU
機型	vCPU 數量^1	執行個體記憶體 (GB)	附加的本機 SSD (GiB)	實體 NIC 數量	網路頻寬上限 (Gbps)^2	GPU 數量	GPU 記憶體^3 (GB HBM3)
a3-edgegpu-8g	208	1,872	6,000	5	600：適用於 asia-south1 和 northamerica-northeast2 400：適用於所有其他 A3 Edge 區域	8	640

¹ 在其中一個可用的 CPU 平台中，我們會以單一硬體超執行緒的形式提供 vCPU。
²輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
³GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這與執行個體的記憶體不同，專門用於處理需要高頻寬的繪圖密集型工作負載。

後續步驟

如要進一步瞭解 GPU，請參閱 Compute Engine 說明文件中的下列頁面：

• 瞭解 Compute Engine 上的 GPU。
• 查看 GPU 區域和可用區。
• 瞭解 GPU 定價。