本文概述 NVIDIA GPU 型號，您可以使用這些型號，加速 Compute Engine 執行個體上的機器學習 (ML)、資料處理和圖形密集型工作負載。本文也詳細說明哪些 GPU 會預先附加至加速器最佳化機器系列 (例如 A4X Max、A4X、A4、A3、A2、G4 和 G2)，以及哪些 GPU 可以附加至 N1 一般用途執行個體。
請參閱這份文件，比較不同 GPU 模型的效能、記憶體和功能。如要進一步瞭解加速器最佳化機器家族，包括 CPU 平台、儲存空間選項和網路功能，以及找出符合工作負載的特定機型，請參閱「加速器最佳化機器家族」。
如要進一步瞭解 Compute Engine 上的 GPU，請參閱「關於 GPU」。
如要查看 Compute Engine 中 GPU 的可用區域和可用區，請參閱「GPU 區域和可用區」。
總覽
Compute Engine 提供不同的機器類型，可支援各種工作負載。
部分機型支援 NVIDIA RTX 虛擬工作站 (vWS)。建立使用 NVIDIA RTX 虛擬工作站的執行個體時，Compute Engine 會自動新增 vWS 授權。如要瞭解虛擬工作站的定價，請參閱 GPU 定價頁面。
| GPU 機型 | |||
|---|---|---|---|
| AI 和機器學習工作負載 | 圖像和視覺化 | 其他 GPU 工作負載 | |
|
加速器最佳化 A 系列機器類型專為高效能運算 (HPC)、人工智慧 (AI) 和機器學習 (ML) 工作負載設計。 新一代 A 系列適合用於預先訓練及微調基礎模型，這類模型涉及大型加速器叢集，而 A2 系列則可用於訓練較小的模型和單一主機推論。 如果是這些機型，GPU 模型會自動連接至執行個體。 |
加速器最佳化 G 系列機型專為 NVIDIA Omniverse 模擬工作負載、圖形密集型應用程式、影片轉碼和虛擬桌面等工作負載設計。這些機型支援 NVIDIA RTX 虛擬工作站 (vWS)。 G 系列也可用於訓練較小的模型，以及單一主機推論。 如果是這些機型，GPU 模型會自動連接至執行個體。 |
除了 N1 共用核心 ( |
|
|
下列 GPU 型號可連接至 N1 一般用途機型：
|
||
您也可以在 AI Hypercomputer 上使用部分 GPU 機型。AI Hypercomputer 是經過最佳化調整的超級運算系統，可支援人工智慧 (AI) 和機器學習 (ML) 工作負載。如要建立高密度配置、效能最佳化的基礎架構，並整合 Google Kubernetes Engine (GKE) 和 Slurm 排程器，建議您選擇這個選項。
A4X Max 和 A4X 機器系列
A4X Max 和 A4X 機器系列採用以 NVIDIA 機架規模架構為基礎的百億億次級平台，並針對運算和記憶體密集型、網路繫結機器學習訓練和 HPC 工作負載進行最佳化。A4X Max 和 A4X 的主要差異在於 GPU 和網路元件。A4X Max 僅提供裸機執行個體，可直接存取主機伺服器的 CPU 和記憶體，不需透過 Compute Engine 虛擬機器管理程序層。
A4X Max 機型 (NVIDIA GB300)
A4X Max 加速器最佳化機型採用 NVIDIA GB300 Grace Blackwell Ultra Superchip (nvidia-gb300)，適合基礎模型訓練和服務。A4X Max 機型提供裸機執行個體。
A4X Max 是採用 NVIDIA GB300 NVL72 的百億億次級平台，每部機器都有兩個插槽，配備搭載 Arm Neoverse V2 核心的 NVIDIA Grace CPU。這些 CPU 透過快速的晶片對晶片 (NVLink-C2C) 通訊，連線至四個 NVIDIA B300 Blackwell GPU。如要瞭解機型限制，請參閱「A4X Max 和 A4X 限制」。
| 機型 | vCPU 數量 | 執行個體記憶體 (GB) | 連接的本機 SSD (GiB) | 實體 NIC 數量 | 網路頻寬上限 (Gbps) | NVIDIA GB300 GPU 數量 | GPU 記憶體 (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-maxgpu-4g-metal |
144 | 960 | 12,000 | 6 | 3,600 | 4 | 1,116 |
A4X Max 機型注意事項
上表注意事項：
- vCPU 數量：vCPU 會在其中一個可用的 CPU 平台中部署為單一硬體超執行緒。
- 網路頻寬上限：輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
- GPU 記憶體：GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。
A4X 機型 (NVIDIA GB200)
A4X 加速器最佳化機型採用 NVIDIA GB200 Grace Blackwell Superchip (nvidia-gb200)，適合基礎模型訓練和提供。
A4X 是以 NVIDIA GB200 NVL72 為基礎的百億億級平台。每部機器都有兩個插槽，配備搭載 Arm Neoverse V2 核心的 NVIDIA Grace CPU。這些 CPU 透過快速的晶片對晶片 (NVLink-C2C) 通訊，連線至四個 NVIDIA B200 Blackwell GPU。如要瞭解機型限制，請參閱「A4X Max 和 A4X 限制」。
| 機型 | vCPU 數量 | 執行個體記憶體 (GB) | 連接的本機 SSD (GiB) | 實體 NIC 數量 | 網路頻寬上限 (Gbps) | NVIDIA GB200 GPU 數量 | GPU 記憶體 (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-highgpu-4g |
140 | 884 | 12,000 | 6 | 2,000 | 4 | 744 |
A4X 機型注意事項
上表注意事項：
- vCPU 數量：vCPU 會在其中一個可用的 CPU 平台中部署為單一硬體超執行緒。
- 網路頻寬上限：輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
- GPU 記憶體：GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。
A4 機器系列 (NVIDIA B200)
A4 加速器最佳化機型連接 NVIDIA B200 Blackwell GPU (nvidia-b200)，適合基礎模型訓練和提供。如要瞭解機型限制，請參閱「A4 限制」。
| 機型 | vCPU 數量 | 執行個體記憶體 (GB) | 連接的本機 SSD (GiB) | 實體 NIC 數量 | 網路頻寬上限 (Gbps) | NVIDIA B200 Blackwell GPU 數量 | GPU 記憶體 (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4-highgpu-8g |
224 | 3,968 | 12,000 | 10 | 3,600 | 8 | 1,440 |
A4 機型注意事項
上表注意事項：
- vCPU 數量：vCPU 會在其中一個可用的 CPU 平台中部署為單一硬體超執行緒。
- 網路頻寬上限：輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
- GPU 記憶體：GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。
A3 機器系列
A3 加速器最佳化機型連接 NVIDIA H100 SXM 或 NVIDIA H200 SXM GPU。
A3 Ultra 機型 (NVIDIA H200)
A3 Ultra 機型連接 NVIDIA H200 SXM GPU (nvidia-h200-141gb)，在 A3 系列中提供最高的網路效能。A3 Ultra 機型適合用於基礎模型訓練和提供。如要瞭解機型限制，請參閱「A3 Ultra 限制」。
| 機型 | vCPU 數量 | 執行個體記憶體 (GB) | 連接的本機 SSD (GiB) | 實體 NIC 數量 | 網路頻寬上限 (Gbps) | NVIDIA H200 GPU 數量 | GPU 記憶體 (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
224 | 2,952 | 12,000 | 10 | 3,600 | 8 | 1128 |
A3 Ultra 機型注意事項
上表注意事項：
- vCPU 數量：vCPU 會在其中一個可用的 CPU 平台中部署為單一硬體超執行緒。
- 網路頻寬上限：輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
- GPU 記憶體：GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。
A3 Mega、High 和 Edge 機型 (NVIDIA H100)
如要使用 NVIDIA H100 SXM GPU，請選擇下列選項：
- A3 Mega：這類機型搭載 H100 SXM GPU (
nvidia-h100-mega-80gb)，適合大規模訓練和服務工作負載。 - A3 High：這類機型搭載 H100 SXM GPU (
nvidia-h100-80gb)，適合用於訓練和提供工作。 - A3 Edge：這類機型搭載 H100 SXM GPU (
nvidia-h100-80gb)，專為提供服務而設計，僅適用於部分區域。
A3 Mega
| 機型 | vCPU 數量 | 執行個體記憶體 (GB) | 連接的本機 SSD (GiB) | 實體 NIC 數量 | 網路頻寬上限 (Gbps) | NVIDIA H100 GPU 數量 | GPU 記憶體 (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-megagpu-8g |
208 | 1,872 | 6,000 | 9 | 1,800 | 8 | 640 |
A3 High
| 機型 | vCPU 數量 | 執行個體記憶體 (GB) | 連接的本機 SSD (GiB) | 實體 NIC 數量 | 網路頻寬上限 (Gbps) | NVIDIA H100 GPU 數量 | GPU 記憶體 (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-highgpu-1g |
26 | 234 | 750 | 1 | 25 | 1 | 80 |
a3-highgpu-2g |
52 | 468 | 1,500 | 1 | 50 | 2 | 160 |
a3-highgpu-4g |
104 | 936 | 3,000 | 1 | 100 | 4 | 320 |
a3-highgpu-8g |
208 | 1,872 | 6,000 | 5 | 1,000 | 8 | 640 |
A3 Edge
| 機型 | vCPU 數量 | 執行個體記憶體 (GB) | 連接的本機 SSD (GiB) | 實體 NIC 數量 | 網路頻寬上限 (Gbps) | NVIDIA H100 GPU 數量 | GPU 記憶體 (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-edgegpu-8g |
208 | 1,872 | 6,000 | 5 | 600 (asia-south1 和 northamerica-northeast2) 或 400 (所有其他 A3 Edge 區域) |
8 | 640 |
A3 Mega、High 和 Edge 機型注意事項
上表注意事項：
- vCPU 數量：vCPU 會在其中一個可用的 CPU 平台中部署為單一硬體超執行緒。
- 網路頻寬上限：輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
- GPU 記憶體：GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。
A2 機器系列 (NVIDIA A100)
A2 加速器最佳化機型連接 NVIDIA A100 GPU，適合用於模型微調、大型模型和成本最佳化推論。
A2 機器系列提供兩種類型：
- A2 Ultra：這類機型連接 A100 80GB GPU (
nvidia-a100-80gb) 和本機 SSD 磁碟。 - A2 Standard：這類機型連接 A100 40GB GPU (
nvidia-tesla-a100)。建立 A2 標準執行個體時，也可以新增本機 SSD 磁碟。如要瞭解可連接的磁碟數量，請參閱「需要選擇本機 SSD 磁碟數量的機型」。
A2 Ultra
| 機型 | vCPU 數量 | 執行個體記憶體 (GB) | 連接的本機 SSD (GiB) | 網路頻寬上限 (Gbps) | NVIDIA A100 80GB GPU 數量 | GPU 記憶體 (GB HBM2e) |
|---|---|---|---|---|---|---|
a2-ultragpu-1g |
12 | 170 | 375 | 24 | 1 | 80 |
a2-ultragpu-2g |
24 | 340 | 750 | 32 | 2 | 160 |
a2-ultragpu-4g |
48 | 680 | 1,500 | 50 | 4 | 320 |
a2-ultragpu-8g |
96 | 1,360 | 3,000 | 100 | 8 | 640 |
A2 Standard
| 機型 | vCPU 數量 | 執行個體記憶體 (GB) | 支援本機 SSD | 網路頻寬上限 (Gbps) | NVIDIA A100 40 GB GPU 數量 | GPU 記憶體 (GB HBM2) |
|---|---|---|---|---|---|---|
a2-highgpu-1g |
12 | 85 | 是 | 24 | 1 | 40 |
a2-highgpu-2g |
24 | 170 | 是 | 32 | 2 | 80 |
a2-highgpu-4g |
48 | 340 | 是 | 50 | 4 | 160 |
a2-highgpu-8g |
96 | 680 | 是 | 100 | 8 | 320 |
a2-megagpu-16g |
96 | 1,360 | 是 | 100 | 16 | 640 |
A2 機型注意事項
上表注意事項：
- vCPU 數量：vCPU 會在其中一個可用的 CPU 平台中部署為單一硬體超執行緒。
- 網路頻寬上限：輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
- GPU 記憶體：GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。
G4 機器系列 (NVIDIA RTX PRO 6000)
G4 加速器最佳化機型採用
NVIDIA RTX PRO 6000 Blackwell 伺服器版 GPU (nvidia-rtx-pro-6000)，適合 NVIDIA Omniverse 模擬工作負載、需要處理大量圖形的應用程式、影片轉碼和虛擬桌面。與 A 系列機型相比，G4 機型也提供低成本解決方案，可用於執行單一主機推論和模型微調。
您也可以在建立 G4 執行個體時新增 Titanium SSD 磁碟。如要瞭解可連接的磁碟數量，請參閱「需要選擇本機 SSD 磁碟數量的機器類型」。如要瞭解機型限制，請參閱「G4 限制」。
G4 系列的一大特色，是支援多 GPU 機型 (g4-standard-96、g4-standard-192、g4-standard-384) 的直接 GPU 對等互連 (P2P) 通訊。這樣一來，同一執行個體中的 GPU 就能透過 PCIe 匯流排直接交換資料，不需經過 CPU 主機。如要進一步瞭解 G4 GPU 對等互連通訊，請參閱「G4 GPU 對等互連通訊」。
| 機型 | vCPU 數量 | 執行個體記憶體 (GB) | 支援的 Titanium SSD 上限 (GiB) | 實體 NIC 數量 | 網路頻寬上限 (Gbps) | NVIDIA RTX PRO 6000 GPU 數量 | GPU 記憶體 (GB GDDR7) |
|---|---|---|---|---|---|---|---|
g4-standard-6 |
6 | 22 | 0 | 1 | 20 | 1/8 | 12 |
g4-standard-12 |
12 | 45 | 375 | 1 | 20 | 1/4 | 24 |
g4-standard-24 |
24 | 90 | 750 | 1 | 20 | 1/2 | 48 |
g4-standard-48 |
48 | 180 | 1,500 | 1 | 50 | 1 | 96 |
g4-standard-96 |
96 | 360 | 3,000 | 1 | 100 | 2 | 192 |
g4-standard-192 |
192 | 720 | 6,000 | 1 | 200 | 4 | 384 |
g4-standard-384 |
384 | 1,440 | 12,000 | 2 | 400 | 8 | 768 |
G4 機型注意事項
上表注意事項：
- vCPU 數量：vCPU 會在其中一個可用的 CPU 平台中部署為單一硬體超執行緒。
- 網路頻寬上限：輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
- GPU 記憶體：GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。
G2 機器系列 (NVIDIA L4)
G2 加速器最佳化機型連接 NVIDIA L4 GPU，非常適合用於成本最佳化推論、圖形密集和高效能運算工作負載。
每個 G2 機型也都有預設記憶體和自訂記憶體範圍。自訂記憶體範圍定義了您可以為每個機型的執行個體分配的記憶體量。建立 G2 執行個體時，也可以新增本機 SSD 磁碟。如要瞭解可連接的磁碟數量，請參閱「需要選擇本機 SSD 磁碟數量的機型」。
如要瞭解機型限制，請參閱「G2 限制」。
| 機型 | vCPU 數量 | 預設執行個體記憶體 (GB) | 自訂執行個體記憶體範圍 (GB) | 本機 SSD 支援上限 (GiB) | 網路頻寬上限 (Gbps) | NVIDIA L4 GPU 數量 | GPU 記憶體 (GB GDDR6) |
|---|---|---|---|---|---|---|---|
g2-standard-4 |
4 | 16 | 16 到 32 | 375 | 10 | 1 | 24 |
g2-standard-8 |
8 | 32 | 32 到 54 | 375 | 16 | 1 | 24 |
g2-standard-12 |
12 | 48 | 48 到 54 | 375 | 16 | 1 | 24 |
g2-standard-16 |
16 | 64 | 54 到 64 歲 | 375 | 32 | 1 | 24 |
g2-standard-24 |
24 | 96 | 96 至 108 | 750 | 32 | 2 | 48 |
g2-standard-32 |
32 | 128 | 96 到 128 | 375 | 32 | 1 | 24 |
g2-standard-48 |
48 | 192 | 192 至 216 | 1,500 | 50 | 4 | 96 |
g2-standard-96 |
96 | 384 | 384 至 432 | 3,000 | 100 | 8 | 192 |
G2 機型注意事項
上表注意事項：
- vCPU 數量：vCPU 會在其中一個可用的 CPU 平台中部署為單一硬體超執行緒。
- 網路頻寬上限：輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
- GPU 記憶體：GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。
N1 機器系列
您可以將下列 GPU 模型附加至 N1 機型，但 N1 共用核心機型除外。
與加速器最佳化機器系列中的機器類型不同，N1 機器類型並未隨附一組連接的 GPU。而是在建立執行個體時，指定要連接的 GPU 數量。
GPU 數量較少的 N1 執行個體會限制 vCPU 數量上限。一般來說，GPU 數量越多，建立的執行個體就能有更多 vCPU 和記憶體。
N1+T4 GPU
您可以使用下列執行個體設定，將 NVIDIA T4 GPU 附加至 N1 一般用途執行個體。
| 加速器類型 | NVIDIA T4 GPU 數量 | GPU 記憶體 (GB GDDR6) | vCPU 數量 | 執行個體記憶體 (GB) | 支援本機 SSD |
|---|---|---|---|---|---|
nvidia-tesla-t4或nvidia-tesla-t4-vws |
1 | 16 | 1 至 48 | 1 至 312 | 是 |
nvidia-tesla-t4或nvidia-tesla-t4-vws |
2 | 32 | 1 至 48 | 1 至 312 | 是 |
nvidia-tesla-t4或nvidia-tesla-t4-vws |
4 | 64 | 1 至 96 | 1 至 624 | 是 |
N1+T4 機型注意事項
上表適用以下附註：
- GPU 記憶體：GPU 記憶體是 GPU 裝置上可用的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。
N1+P4 GPU
您可以使用下列執行個體設定，將 NVIDIA P4 GPU 附加至 N1 一般用途執行個體。如果執行個體連接 NVIDIA P4 GPU，則只有 us-central1-c 和 northamerica-northeast1-b 可用區支援本機 SSD 磁碟。
| 加速器類型 | NVIDIA P4 GPU 數量 | GPU 記憶體 (GB GDDR5) | vCPU 數量 | 執行個體記憶體 (GB) | 支援本機 SSD |
|---|---|---|---|---|---|
nvidia-tesla-p4或nvidia-tesla-p4-vws |
1 | 8 | 1 到 24 | 1 至 156 | 是 (僅限 us-central1-c 和 northamerica-northeast1-b) |
nvidia-tesla-p4或nvidia-tesla-p4-vws |
2 | 16 | 1 至 48 | 1 至 312 | 是 (僅限 us-central1-c 和 northamerica-northeast1-b) |
nvidia-tesla-p4或nvidia-tesla-p4-vws |
4 | 32 | 1 至 96 | 1 至 624 | 是 (僅限 us-central1-c 和 northamerica-northeast1-b) |
N1+P4 機型注意事項
上表適用以下附註：
- GPU 記憶體：GPU 記憶體是 GPU 裝置上可用的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。
N1+V100 GPU
您可以使用下列執行個體設定，將 NVIDIA V100 GPU 附加至 N1 一般用途執行個體。如果執行個體連接 NVIDIA V100 GPU，則 us-east1-c 可用區不支援本機 SSD 磁碟。
| 加速器類型 | NVIDIA V100 GPU 數量 | GPU 記憶體 (GB HBM2) | vCPU 數量 | 執行個體記憶體 (GB) | 支援本機 SSD |
|---|---|---|---|---|---|
nvidia-tesla-v100 |
1 | 16 | 1 到 12 | 1 至 78 | 是 (us-east1-c除外) |
nvidia-tesla-v100 |
2 | 32 | 1 到 24 | 1 至 156 | 是 (us-east1-c除外) |
nvidia-tesla-v100 |
4 | 64 | 1 至 48 | 1 至 312 | 是 (us-east1-c除外) |
nvidia-tesla-v100 |
8 | 128 | 1 至 96 | 1 至 624 | 是 (us-east1-c除外) |
N1+V100 機型注意事項
上表適用以下附註：
- GPU 記憶體：GPU 記憶體是 GPU 裝置上可用的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。
搭載 GPU 的 N1 執行個體維護體驗
在 Compute Engine 執行個體的生命週期中，執行個體運作的主體機器會經歷多個主體事件。主機事件可能包括 Compute Engine 基礎架構的定期維護，或在極少數情況下發生的主機錯誤。Compute Engine 也會在背景中，對 Hypervisor 和網路套用一些不中斷服務的輕量升級。
下表說明 N1 附加 GPU 機型的主機維護功能：
| 機型 | GPU 數量 | 一般排定維護事件頻率 | 維護行為 | 排定維護作業的提前通知 | 隨選維護 | 模擬維護作業 |
|---|---|---|---|---|---|---|
| N1+T4 | 1 或 2 | 至少 15 天 | 終止並重新啟動 | 7 天 | 否 | 是 |
| N1+T4 | 4 | 至少 30 天 | 終止並重新啟動 | 7 天 | 是 | 是 |
| N1+P4 | 1 或 2 | 至少 15 天 | 終止並重新啟動 | 7 天 | 否 | 是 |
| N1+P4 | 4 | 至少 30 天 | 終止並重新啟動 | 7 天 | 是 | 是 |
| N1+V100 | 1、2 或 4 | 至少 15 天 | 終止並重新啟動 | 7 天 | 否 | 是 |
| N1+V100 | 8 | 至少 30 天 | 終止並重新啟動 | 7 天 | 是 | 是 |
上表注意事項：
- 排定維護事件的一般頻率：
上表顯示的維護頻率為約略值，不保證一定如此。Compute Engine 有時可能會更頻繁地執行維護作業。
一般比較圖表
下表說明 Compute Engine 上不同 GPU 模型的 GPU 記憶體大小、功能可用性和理想工作負載類型。
在下表中，N/A 表示指標不適用於這個 GPU 模型，或無法使用。
| 機型 (GPU 型號) | GPU 記憶體和頻寬 | 互連網路 | 支援 NVIDIA RTX 虛擬工作站 (vWS) | 最適用 |
|---|---|---|---|---|
| A4X Max (GB300) | 279 GB HBM3e (8 TBps) | NVLink 全網狀 (1,800 GBps) | 否 | 大規模分散式訓練和推論 MoE LLM、推薦系統、HPC |
| A4X (GB200) | 186 GB HBM3e (8 TBps) | NVLink 全網狀 (1,800 GBps) | 否 | 大規模分散式訓練和推論 LLM、推薦系統、HPC |
| A4 (B200) | 180 GB HBM3e (8 TBps) | NVLink 全網狀 (1,800 GBps) | 否 | 大規模分散式訓練和推論 LLM、推薦系統、HPC |
| A3 Ultra (H200) | 141 GB HBM3e (4.8 TBps) | NVLink 全網狀 (900 GBps) | 否 | 大型模型，搭配大型資料表，適用於機器學習訓練、推論、HPC、BERT、DLRM |
| A3 Mega、A3 High、A3 Edge (H100) | 80 GB HBM3 (3.35 TBps) | NVLink 全網狀 (900 GBps) | 否 | 大型模型，搭配大型資料表，適用於機器學習訓練、推論、HPC、BERT、DLRM |
| A2 Ultra (A100 80GB) | 80 GB HBM2e (1.9 TBps) | NVLink 全網狀 (600 GBps) | 否 | 大型模型，搭配大型資料表，適用於機器學習訓練、推論、HPC、BERT、DLRM |
| A2 標準 (A100 40 GB) | 40 GB HBM2 (1.6 TBps) | NVLink 全網狀 (600 GBps) | 否 | 機器學習訓練、推論、HPC |
| G4 (RTX PRO 6000) | 96 GB GDDR7 (1.597 TBps) | 不適用 | 是 | 機器學習推論、訓練、遠端視覺化工作站、影片轉碼、HPC |
| G2 (L4) | 24 GB GDDR6 (300 GBps) | 不適用 | 是 | 機器學習推論、訓練、遠端視覺化工作站、影片轉碼、HPC |
| N1 (T4) | 16 GB GDDR6 (320 GBps) | 不適用 | 是 | 機器學習推論、訓練、遠端視覺化工作站、影片轉碼 |
| N1 (P4) | 8 GB GDDR5 (192 GBps) | 不適用 | 是 | 遠端視覺化工作站、機器學習推論與影片轉碼 |
| N1 (V100) | 16 GB HBM2 (900 GBps) | NVLink 環 (300 GBps) | 否 | 機器學習訓練、推論、HPC |
如要比較 Compute Engine 支援的區域和各類 GPU 的價格，請參閱「GPU 定價」。
Tensor Core 和標準 CUDA 核心效能
下列各節提供各個 GPU 架構的效能指標，分為向量或標準 CUDA 核心和 Tensor Core 效能。
Tensor Core：Tensor 效能是指專用 Tensor Core 達到的處理量。這些是專用硬體單元 (通常稱為矩陣單元)，專門用於加速大型矩陣乘法累加運算，這是深度學習、訓練和推論的核心。
這類效能最適合深度學習、大型語言模型 (LLM)，以及任何可表示為密集矩陣運算的工作負載。對於相同資料類型，Tensor Core 的處理量明顯高於 CUDA 核心。
向量或標準 CUDA 核心：向量效能是指標準 CUDA 核心達到的處理量。這些是一般用途單元，使用單指令多執行緒 (SIMT) 模型運作，通常會對個別資料元素或向量執行運算。
這類效能最適合一般運算、圖像算繪，以及不涉及密集矩陣數學的工作負載。
Blackwell 架構
A4X Max、A4X、A4 和 G4 機型採用 NVIDIA 的 Blackwell 架構。
Tensor Core
這些機器類型採用 NVIDIA 的 Blackwell 架構，為 FP4 精確度提供 Tensor Core 支援，並擴充 INT4 功能，可在大型模型推論中提供高效能。
在下表中，N/A 表示指標不適用於這個 GPU 模型，或不適用於這個 GPU 模型。此外，也請注意下列事項：
- TF32、混合 FP16/32、INT8、FP8 和 FP4：Blackwell 架構支援這些精確度指標的結構稀疏性，可將運算處理量提高一倍。這個表格中的效能值假設為密集矩陣乘法。如果使用結構化稀疏性，效能會加倍。
- 混合 FP16/32：如要進行混合精確度訓練，在 Blackwell 架構上執行的 GPU 也支援
bfloat16資料類型。
| 機型 (GPU 型號) | FP64 (TFLOPS) | TF32 (TFLOPS) | 混合 FP16/32 (TFLOPS) | INT8 (TFLOPS) | FP8 (TFLOPS) | FP4 (TFLOPS) |
|---|---|---|---|---|---|---|
| A4X Max (GB300) | 1.3 | 1,250 | 2,500 | 5,000 | 5,000 | 15,000 |
| A4X (GB200) | 45 | 1,250 | 2,500 | 5,000 | 5,000 | 10,000 |
| A4 (B200) | 40 | 1,100 | 2,250 | 4,500 | 4,500 | 9,000 |
| G4 (RTX PRO 6000) | 不適用 | 233.9 | 467.8 | 935.6 | 935.6 | 1871.2 |
標準 CUDA 核心
採用 Blackwell 架構的機型可提供高效能 FP64 和 FP32 運算，適用於嚴苛的 HPC 和 AI 工作負載。
如果是 A4X Max、A4X 和 A4，FP16 作業會由 Tensor Core 加速。對於 G4，標準 CUDA 核心的 FP16 效能也包含在內，因為即使不使用 Tensor 核心，渲染和視覺化等圖形工作負載也能受益於 FP16 精確度降低的記憶體用量和頻寬需求。
在下表中，N/A 表示指標不適用或不適用於這個 GPU 模型。此外，也請注意下列事項：
- A4X Max (GB300) FP64：GB300 的 FP64 效能會降低，優先提升 FP4 效能。
| 機型 (GPU 型號) | FP64 (TFLOPS) | FP32 (TFLOPS) | FP16 (TFLOPS) |
|---|---|---|---|
| A4X Max (GB300) | 1.39 | 45 | 不適用 |
| A4X (GB200) | 45 | 45 | 不適用 |
| A4 (B200) | 40 | 80 | 不適用 |
| G4 (RTX PRO 6000) | 1.8 | 117 | 117 |
Hopper、Ada Lovelace 和 Ampere 架構
A3 系列採用 Hopper 架構，為 Transformer 模型導入專用引擎。A2 系列採用 Ampere 架構，為高效能訓練和推論提供平衡的基礎。G2 系列採用 Ada Lovelace 架構，可為 AI 推論、影片轉碼和圖形工作負載提供多功能且高效節能的加速功能。
Tensor Core
Hopper、Ada Lovelace 和 Ampere 架構採用先進的 Tensor Core，可加速 TF32、FP16、FP8 和 INT8 資料類型，為混合精度訓練和推論提供高處理量。
在下表中，N/A 表示指標不適用或不適用於這個 GPU 模型。此外，也請注意下列事項：
- TF32、混合 FP16/32、INT8 和 FP8：Hopper、Ada Lovelace 和 Ampere 架構支援這些精確度指標 (和 INT4) 的結構稀疏性，可將運算處理量提高一倍。這個表格中的效能值假設為密集矩陣乘法。如果使用結構化稀疏性，效能會加倍。
- 混合 FP16/32：如要進行混合精確度訓練，NVIDIA H200、H100、A100 和 L4 GPU 也支援
bfloat16資料類型。
| 機型 (GPU 型號) | FP64 (TFLOPS) | TF32 (TFLOPS) | 混合 FP16/32 (TFLOPS) | INT8 (TOPS) | FP8 (TFLOPS) |
|---|---|---|---|---|---|
| A3 Ultra (H200) | 67 | 494.5 | 989.5 | 1,979 | 1,979 |
| A3 Mega/High/Edge (H100) | 67 | 494.5 | 989.5 | 1,979 | 1,979 |
| A2 Ultra (A100 80GB) | 19.5 | 156 | 312 | 624 | 不適用 |
| A2 標準 (A100 40 GB) | 19.5 | 156 | 312 | 624 | 不適用 |
| G2 (L4) | 不適用 | 60 | 121 | 242.5 | 121 |
標準 CUDA 核心
採用 Hopper、Ada Lovelace 和 Ampere 架構的機型，可為嚴苛的高效能運算和 AI 工作負載，提供高效能的 FP64 和 FP32 運算。
在下表中，N/A 表示指標不適用於這個 GPU 模型，或不適用於這個 GPU 模型。
| 機型 (GPU 型號) | FP64 (TFLOPS) | FP32 (TFLOPS) |
|---|---|---|
| A3 Ultra (H200) | 34 | 67 |
| A3 Mega、High、Edge (H100) | 34 | 67 |
| A2 Ultra (A100 80GB) | 9.7 | 不適用 |
| A2 標準 (A100 40 GB) | 9.7 | 不適用 |
| G2 (L4) | 不適用 | 30.3 |
Volta、Pascal 和 Turing 架構
N1 機型使用下列 GPU 架構：
Tensor Core
NVIDIA 的 Turing 和 Volta 架構 (適用於 N1 執行個體) 為混合精度、INT8 和 INT4 運算提供 Tensor Core 支援，為深度學習推論提供基礎加速。
這些 GPU 採用第一代 Tensor Core，主要用於 FP16 訓練，以及推論中的 INT8 和 INT4 量化。這個表格不含 N1 (P4) 機器類型，因為該類型沒有 Tensor 核心。
在下表中，N/A 表示指標不適用或不適用於這個 GPU 模型。
| 機型 (GPU 型號) | 混合 FP16/32 (TFLOPS) | INT8 (TOPS) | INT4 (TOPS) |
|---|---|---|---|
| N1 (V100) | 125 | 不適用 | 不適用 |
| N1 (T4) | 65 | 130 | 260 |
標準 CUDA 核心
採用 Volta、Pascal 和 Turing 架構的機型配備 FP64 和 FP32 CUDA 核心，可加速一系列 HPC 和 AI 工作負載。
在下表中，N/A 表示指標不適用或不適用於這個 GPU 模型。
| 機型 (GPU 型號) | FP64 (TFLOPS) | FP32 (TFLOPS) |
|---|---|---|
| N1 (V100) | 7.8 | 15.6 |
| N1 (T4) | 不適用 | 8.1 |
| N1 (P4) | 0.2 | 5.5 |
後續步驟
- 進一步瞭解 Compute Engine GPU。
- 查看 GPU 區域和可用區供應情形。
- 查看網路頻寬和 GPU。
- 查看 GPU 定價詳細資料。