本文概述附加 GPU 的 Compute Engine 執行個體網路頻寬功能和設定。瞭解各種 GPU 機型的網路頻寬上限、網路介面卡 (NIC) 排列方式，以及建議的虛擬私有雲網路設定，包括 A4X Max、A4X、A4、A3、A2、G4、G2 和 N1 系列。瞭解這些設定有助於最佳化 Compute Engine 分散式工作負載的效能。
總覽
下表提供 GPU 機型網路功能的概略比較。
| 機型 | GPU 模型 | 總頻寬上限 | GPU 對 GPU 網路技術 |
|---|---|---|---|
| A4X Max | NVIDIA GB300 Ultra 超級晶片 | 3,600 Gbps | GPUDirect RDMA |
| A4X | NVIDIA GB200 超級晶片 | 2,000 Gbps | GPUDirect RDMA |
| A4 | NVIDIA B200 | 3,600 Gbps | GPUDirect RDMA |
| A3 Ultra | NVIDIA H200 | 3,600 Gbps | GPUDirect RDMA |
| A3 Mega | NVIDIA H100 80GB | 1,800 Gbps | GPUDirect-TCPXO |
| A3 High | NVIDIA H100 80GB | 1,000 Gbps | GPUDirect-TCPX |
| A3 Edge | NVIDIA H100 80GB | 600 Gbps | GPUDirect-TCPX |
| G4 | NVIDIA RTX PRO 6000 | 400 Gbps | 不適用 |
| A2 Standard 和 A2 Ultra | NVIDIA A100 40 GB、NVIDIA A100 80 GB | 100 Gbps | 不適用 |
| G2 | NVIDIA L4 | 100 Gbps | 不適用 |
| N1 | NVIDIA T4、NVIDIA V100 | 100 Gbps | 不適用 |
| N1 | NVIDIA P4 | 32 Gbps | 不適用 |
GPUDirect RDMA 和 MRDMA 函式
在特定加速器最佳化機型上， Google Cloud 會使用 MRDMA 做為 GPU 對 GPU 網路的網路介面實作，支援 GPUDirect RDMA。
GPUDirect RDMA 是 NVIDIA 技術，可讓網路介面卡 (NIC) 透過 PCIe 直接存取 GPU 記憶體，略過主機 CPU 和系統記憶體。NIC 和 GPU 之間的點對點通訊，可大幅降低節點間 GPU 對 GPU 通訊的延遲時間。
MRDMA 是 A4X Max、A4X、A4 和 A3 Ultra 機型使用的網路介面實作，可提供 GPUDirect RDMA 功能。MRDMA 以 NVIDIA ConnectX NIC 為基礎，並透過下列其中一種方式部署：
- MRDMA 虛擬函式 (VF)：用於 A3 Ultra、A4 和 A4X 系列。
- MRDMA 實體函式 (PF)：用於 A4X Max 系列。
MRDMA 函式和網路監控工具
A4X、A4 和 A3 Ultra 機型使用 MRDMA 虛擬函式 (VF)，實作高效能的 GPU 對 GPU 網路。由於這些是虛擬化實體，因此與實體函式 (PF) 相比，某些硬體層級的監控功能會受到限制。
使用 MRDMA VF 時，標準實體通訊埠計數器 (例如結尾為 _phy 的計數器) 會顯示在 ethtool -S 輸出中，但不會在網路活動期間更新。這是 MRDMA VF 架構的特性。如要準確追蹤這些介面的網路效能，請查看「vPort Counter Table」(vPort 計數器資料表) 的項目，而非「Physical Port Counter Table」(實體通訊埠計數器資料表)。
A4X Max 機型使用 MRDMA PF。與採用 MRDMA VF 的機型不同，A4X Max 支援 GPU 網路的所有實體通訊埠計數器。
查看 GPU 機型的網路概念
請參閱下列各節，瞭解各 GPU 機型的網路配置和頻寬速度。
A4X Max 和 A4X 機型
A4X Max 和 A4X 機器系列均採用 NVIDIA Blackwell 架構，專為高需求的大規模分散式 AI 工作負載設計。兩者的主要差異在於附加的加速器和網路硬體，如下表所示：
| A4X Max 機器系列 | A4X 機器系列 | |
|---|---|---|
| 附加硬體 | NVIDIA GB300 Ultra 超級晶片 | NVIDIA GB200 超級晶片 |
| GPU 對 GPU 網路 | 4 個 NVIDIA ConnectX-8 (CX-8) SuperNIC，在 8 向符合軌道 (rail-aligned) 拓撲中提供 3,200 Gbps 頻寬 | 4 個 NVIDIA ConnectX-7 (CX-7) NIC，在 4 向符合軌道拓撲中提供 1,600 Gbps 頻寬 |
| GPU 對 GPU 網路實作 | 8 個 MRDMA 實體函式 (PF)，設定為每個 NIC 2 個 PF | 4 個 MRDMA 虛擬函式 (VF)，設定為每個 NIC 1 個 VF |
| 一般用途網路 | 2 個 Titanium 智慧型 NIC，提供 400 Gbps 頻寬 | 2 個 Titanium 智慧型 NIC，提供 400 Gbps 頻寬 |
| 網路頻寬總上限 | 3,600 Gbps | 2,000 Gbps |
多層式網路架構
A4X Max 和 A4X 運算執行個體採用多層階層式網路架構，並搭配符合軌道 (rail-aligned) 設計，可針對各種通訊類型最佳化效能。在這個拓撲中，執行個體會透過多個獨立的網路平面 (稱為「軌」) 相互連線。
- A4X Max 執行個體採用 8 向符合軌道拓撲，其中四個 800 Gbps ConnectX-8 NIC 分別連線至兩個獨立的 400 Gbps 軌道。
- A4X 執行個體採用 4 向符合軌道 (rail-aligned) 拓撲，四個 ConnectX-7 NIC 分別連至獨立軌道。
這些機型的網路層如下：
節點內和子區塊內通訊 (NVLink)：高速 NVLink 網路架構可互連 GPU，實現高頻寬、低延遲的通訊。這個架構會連結單一執行個體中的所有 GPU，並延伸至由 18 個 A4X Max 或 A4X 執行個體 (共 72 個 GPU) 組成的子模塊。如此一來，子區塊中的所有 72 個 GPU 就能像在單一大型 GPU 伺服器中一樣通訊。
子模塊間通訊 (採用 RoCE 的 ConnectX NIC)：如要將工作負載擴充至單一子模塊以外，這些機器會使用 NVIDIA ConnectX NIC。這些 NIC 採用基於融合乙太網路的 RDMA (RoCE)，在子模塊之間提供高頻寬、低延遲的通訊，讓您能建構包含數千個 GPU 的大規模訓練叢集。
一般用途網路 (Titanium 智慧型 NIC)：除了專用 GPU 網路外，每個執行個體都有兩個 Titanium 智慧型 NIC，可為一般網路工作提供 400 Gbps 的頻寬。包括儲存、管理，以及連線至其他 Google Cloud 服務或公開網際網路的流量。
A4X Max 架構
A4X Max 架構以 NVIDIA GB300 Ultra 超級晶片為核心，這項設計的主要特色，是將四個 800 Gbps NVIDIA ConnectX-8 (CX-8) SuperNIC 直接連至 GPU。每個 ConnectX-8 都是雙埠 NIC，會以兩個實體函式 (PF) 的形式向執行個體公開。這些 NIC 是 8 向符合軌道 (rail-aligned) Network Topology 的一部分，每個 NIC 都會連線至兩個獨立的 400 Gbps 軌道。這條直接路徑可啟用 RDMA，為不同子模塊之間的 GPU 對 GPU 通訊提供高頻寬和低延遲。這些 Compute Engine 執行個體也包含高效能本機 SSD，連接至 ConnectX-8 NIC，可繞過 PCIe 匯流排，加快資料存取速度。
A4X 架構
A4X 架構採用 NVIDIA GB200 Superchip。在這個設定中，四個 NVIDIA ConnectX-7 (CX-7) NIC 會連線至主機 CPU。這項設定可為子區塊之間的 GPU 對 GPU 通訊提供高效能網路。
A4X Max 和 A4X 虛擬私有雲 (VPC) 網路設定
如要使用這些機型的完整網路功能，您必須建立虛擬私有雲網路，並附加至執行個體。如要使用所有可用的 NIC，您必須按照下列方式建立虛擬私有雲網路：
兩個一般虛擬私有雲網路，用於 Titanium 智慧型網路介面卡。
- 如果是 A4X Max，這些虛擬私有雲網路會使用 Intel IDPF LAN PF 裝置驅動程式。
- 如果是 A4X，這些虛擬私有雲網路會使用 Google 虛擬 NIC (gVNIC) 網路介面。
建立多個 A4X Max 或 A4X 子區塊的叢集時，ConnectX NIC 必須有一個具備 RoCE 網路設定檔的虛擬私有雲網路。RoCE 虛擬私有雲網路必須為每個網路軌提供一個子網路。也就是說，A4X Max 執行個體有八個子網路，A4X 執行個體則有四個子網路。如果使用單一子區塊，則可省略這個虛擬私有雲網路，因為多節點 NVLink 網狀架構會處理 GPU 對 GPU 的直接通訊。
如要設定這些網路，請參閱 AI Hypercomputer 說明文件中的「建立虛擬私有雲網路」。
A4X Max 和 A4X 機型
A4X Max
| 機型 | vCPU 數量 | 執行個體記憶體 (GB) | 連接的本機 SSD (GiB) | 實體 NIC 數量 | 網路頻寬上限 (Gbps) | NVIDIA GB300 GPU 數量 | GPU 記憶體 (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-maxgpu-4g-metal |
144 | 960 | 12,000 | 6 | 3,600 | 4 | 1,116 |
上表注意事項：
A4X
| 機型 | vCPU 數量 | 執行個體記憶體 (GB) | 連接的本機 SSD (GiB) | 實體 NIC 數量 | 網路頻寬上限 (Gbps) | NVIDIA GB200 GPU 數量 | GPU 記憶體 (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-highgpu-4g |
140 | 884 | 12,000 | 6 | 2,000 | 4 | 744 |
上表注意事項：
A4 和 A3 Ultra 機型
A4 機型連接 NVIDIA B200 GPU，A3 Ultra 機型則連接 NVIDIA H200 GPU。
這些機型提供八個 NVIDIA ConnectX-7 (CX-7) 網路介面卡 (NIC) 和兩個 Google 虛擬 NIC (gVNIC)。八個 CX-7 NIC 提供的網路總頻寬為 3,200 Gbps。這些 NIC 僅用於高頻寬 GPU 對 GPU 通訊，無法用於其他網路需求，例如公開網際網路連線能力。如下圖所示，每個 CX-7 NIC 都會對應到一個 GPU，以最佳化非統一記憶體存取 (NUMA)。這八個 GPU 透過全對全 NVLink 橋接器相互連結，可快速通訊。另外兩個 gVNIC 網路介面卡是智慧型 NIC，可提供額外 400 Gbps 的網路頻寬，滿足一般用途網路需求。這些網路介面卡結合後，可為這些機器提供最高 3,600 Gbps 的網路總頻寬。
A4 和 A3 Ultra 執行個體的高效能 GPU 對 GPU 網路，是透過為八個 ConnectX-7 NIC 分別使用 MRDMA 虛擬函式 (VF) 來實作。
如要使用這些多個 NIC，您必須建立 3 個虛擬私有雲網路，如下所示：
- 兩個一般虛擬私有雲網路：每個 gVNIC 都必須連接至不同的虛擬私有雲網路
- 一個 RoCE 虛擬私有雲網路：所有八個 CX-7 NIC 共用同一個 RoCE 虛擬私有雲網路
如要設定這些網路，請參閱 AI Hypercomputer 說明文件中的「建立虛擬私有雲網路」。
A4
| 機型 | vCPU 數量 | 執行個體記憶體 (GB) | 連接的本機 SSD (GiB) | 實體 NIC 數量 | 網路頻寬上限 (Gbps) | NVIDIA B200 Blackwell GPU 數量 | GPU 記憶體 (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4-highgpu-8g |
224 | 3,968 | 12,000 | 10 | 3,600 | 8 | 1,440 |
上表注意事項：
A3 Ultra
| 機型 | vCPU 數量 | 執行個體記憶體 (GB) | 連接的本機 SSD (GiB) | 實體 NIC 數量 | 網路頻寬上限 (Gbps) | NVIDIA H200 GPU 數量 | GPU 記憶體 (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
224 | 2,952 | 12,000 | 10 | 3,600 | 8 | 1128 |
上表注意事項：
A3 Mega、High 和 Edge 機型
這類機型連接 H100 GPU。每個機型都有固定的 GPU 數量、vCPU 數量和記憶體大小。
- 單一 NIC A3 VM：如果 A3 VM 附加 1 到 4 個 GPU，則只能使用單一實體網路介面卡 (NIC)。
- 多 NIC A3 VM：對於附加 8 個 GPU 的 A3 VM，可以使用多個實體 NIC。在這些 A3 機型中，NIC 在周邊元件互連快捷 (PCIe) 匯流排上的排列方式如下：
- A3 Mega 機型：可使用 8+1 的 NIC 排列方式。在這種配置下，8 個 NIC 會共用同一個 PCIe 匯流排，而 1 個 NIC 則位於獨立的 PCIe 匯流排。
- A3 High 機型：可使用 4+1 的 NIC 排列方式。在這種配置下，4 個 NIC 會共用同一個 PCIe 匯流排，而 1 個 NIC 則位於獨立的 PCIe 匯流排。
- A3 Edge 機型：可採用 4+1 的 NIC 排列方式。在這種配置下，4 個 NIC 會共用同一個 PCIe 匯流排，而 1 個 NIC 則位於獨立的 PCIe 匯流排。這 5 個 NIC 為每個 VM 提供 400 Gbps 的網路總頻寬。
共用相同 PCIe 匯流排的 NIC，其非統一記憶體存取 (NUMA) 對齊方式為每兩個 NVIDIA H100 GPU 一個 NIC。這些 NIC 適合用於專用的高頻寬 GPU 對 GPU 通訊。位於獨立 PCIe 匯流排上的實體 NIC 適合用於其他網路需求。如需 A3 High 和 A3 Edge VM 的網路設定操作說明，請參閱「設定巨型封包 MTU 網路」。
A3 Mega
| 機型 | vCPU 數量 | 執行個體記憶體 (GB) | 連接的本機 SSD (GiB) | 實體 NIC 數量 | 網路頻寬上限 (Gbps) | NVIDIA H100 GPU 數量 | GPU 記憶體 (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-megagpu-8g |
208 | 1,872 | 6,000 | 9 | 1,800 | 8 | 640 |
A3 High
| 機型 | vCPU 數量 | 執行個體記憶體 (GB) | 連接的本機 SSD (GiB) | 實體 NIC 數量 | 網路頻寬上限 (Gbps) | NVIDIA H100 GPU 數量 | GPU 記憶體 (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-highgpu-1g |
26 | 234 | 750 | 1 | 25 | 1 | 80 |
a3-highgpu-2g |
52 | 468 | 1,500 | 1 | 50 | 2 | 160 |
a3-highgpu-4g |
104 | 936 | 3,000 | 1 | 100 | 4 | 320 |
a3-highgpu-8g |
208 | 1,872 | 6,000 | 5 | 1,000 | 8 | 640 |
A3 Edge
| 機型 | vCPU 數量 | 執行個體記憶體 (GB) | 連接的本機 SSD (GiB) | 實體 NIC 數量 | 網路頻寬上限 (Gbps) | NVIDIA H100 GPU 數量 | GPU 記憶體 (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-edgegpu-8g |
208 | 1,872 | 6,000 | 5 | 600 (asia-south1 和 northamerica-northeast2) 或 400 (所有其他 A3 Edge 區域) |
8 | 640 |
上表注意事項：
- vCPU 數量：vCPU 會在其中一個可用的 CPU 平台中部署為單一硬體超執行緒。
- 網路頻寬上限：輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
- GPU 記憶體：GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。
A2 機型
每個 A2 機型都連接固定數量的 NVIDIA A100 40GB 或 NVIDIA A100 80GB GPU。每個機型也都有固定的 vCPU 數量和記憶體大小。
A2 機器系列分為兩種類型：
- A2 Ultra：這類機型連接 A100 80GB GPU 和本機 SSD 磁碟。
- A2 Standard：這類機型連接 A100 40GB GPU。
A2 Ultra
| 機型 | vCPU 數量 | 執行個體記憶體 (GB) | 連接的本機 SSD (GiB) | 網路頻寬上限 (Gbps) | NVIDIA A100 80GB GPU 數量 | GPU 記憶體 (GB HBM2e) |
|---|---|---|---|---|---|---|
a2-ultragpu-1g |
12 | 170 | 375 | 24 | 1 | 80 |
a2-ultragpu-2g |
24 | 340 | 750 | 32 | 2 | 160 |
a2-ultragpu-4g |
48 | 680 | 1,500 | 50 | 4 | 320 |
a2-ultragpu-8g |
96 | 1,360 | 3,000 | 100 | 8 | 640 |
A2 Standard
| 機型 | vCPU 數量 | 執行個體記憶體 (GB) | 支援本機 SSD | 網路頻寬上限 (Gbps) | NVIDIA A100 40 GB GPU 數量 | GPU 記憶體 (GB HBM2) |
|---|---|---|---|---|---|---|
a2-highgpu-1g |
12 | 85 | 是 | 24 | 1 | 40 |
a2-highgpu-2g |
24 | 170 | 是 | 32 | 2 | 80 |
a2-highgpu-4g |
48 | 340 | 是 | 50 | 4 | 160 |
a2-highgpu-8g |
96 | 680 | 是 | 100 | 8 | 320 |
a2-megagpu-16g |
96 | 1,360 | 是 | 100 | 16 | 640 |
上表注意事項：
- vCPU 數量：vCPU 會在其中一個可用的 CPU 平台中部署為單一硬體超執行緒。
- 網路頻寬上限：輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
- GPU 記憶體：GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。
G4 機型
G4 加速器最佳化機型採用
NVIDIA RTX PRO 6000 Blackwell 伺服器版 GPU (nvidia-rtx-pro-6000)，適合 NVIDIA Omniverse 模擬工作負載、需要處理大量圖形的應用程式、影片轉碼和虛擬桌面。與 A 系列機型相比，G4 機型也提供低成本解決方案，可用於執行單一主機推論和模型微調。
您也可以在建立 G4 執行個體時新增 Titanium SSD 磁碟。如要瞭解可連接的磁碟數量，請參閱「需要選擇本機 SSD 磁碟數量的機器類型」。如要瞭解機型限制，請參閱「G4 限制」。
| 機型 | vCPU 數量 | 執行個體記憶體 (GB) | 支援的 Titanium SSD 上限 (GiB) | 實體 NIC 數量 | 網路頻寬上限 (Gbps) | NVIDIA RTX PRO 6000 GPU 數量 | GPU 記憶體 (GB GDDR7) |
|---|---|---|---|---|---|---|---|
g4-standard-6 |
6 | 22 | 0 | 1 | 20 | 1/8 | 12 |
g4-standard-12 |
12 | 45 | 375 | 1 | 20 | 1/4 | 24 |
g4-standard-24 |
24 | 90 | 750 | 1 | 20 | 1/2 | 48 |
g4-standard-48 |
48 | 180 | 1,500 | 1 | 50 | 1 | 96 |
g4-standard-96 |
96 | 360 | 3,000 | 1 | 100 | 2 | 192 |
g4-standard-192 |
192 | 720 | 6,000 | 1 | 200 | 4 | 384 |
g4-standard-384 |
384 | 1,440 | 12,000 | 2 | 400 | 8 | 768 |
上表注意事項：
- vCPU 數量：vCPU 會在其中一個可用的 CPU 平台中部署為單一硬體超執行緒。
- 網路頻寬上限：輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
- GPU 記憶體：GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。
G2 機型
G2 加速器最佳化機型連接 NVIDIA L4 GPU，非常適合用於成本最佳化推論、圖形密集和高效能運算工作負載。
每個 G2 機型也都有預設記憶體和自訂記憶體範圍。自訂記憶體範圍定義了您可以為每個機型的執行個體分配的記憶體量。建立 G2 執行個體時，也可以新增本機 SSD 磁碟。如要瞭解可連接的磁碟數量，請參閱「需要選擇本機 SSD 磁碟數量的機型」。
如要將較高的網路頻寬速率 (50 Gbps 以上) 套用至大多數 GPU 執行個體，建議使用 Google 虛擬 NIC (gVNIC)。如要進一步瞭解如何建立使用 gVNIC 的 GPU 執行個體，請參閱「建立使用較高頻寬的 GPU 執行個體」。
| 機型 | vCPU 數量 | 預設執行個體記憶體 (GB) | 自訂執行個體記憶體範圍 (GB) | 本機 SSD 支援上限 (GiB) | 網路頻寬上限 (Gbps) | NVIDIA L4 GPU 數量 | GPU 記憶體 (GB GDDR6) |
|---|---|---|---|---|---|---|---|
g2-standard-4 |
4 | 16 | 16 到 32 | 375 | 10 | 1 | 24 |
g2-standard-8 |
8 | 32 | 32 到 54 | 375 | 16 | 1 | 24 |
g2-standard-12 |
12 | 48 | 48 到 54 | 375 | 16 | 1 | 24 |
g2-standard-16 |
16 | 64 | 54 到 64 歲 | 375 | 32 | 1 | 24 |
g2-standard-24 |
24 | 96 | 96 至 108 | 750 | 32 | 2 | 48 |
g2-standard-32 |
32 | 128 | 96 到 128 | 375 | 32 | 1 | 24 |
g2-standard-48 |
48 | 192 | 192 至 216 | 1,500 | 50 | 4 | 96 |
g2-standard-96 |
96 | 384 | 384 至 432 | 3,000 | 100 | 8 | 192 |
上表注意事項：
- vCPU 數量：vCPU 會在其中一個可用的 CPU 平台中部署為單一硬體超執行緒。
- 網路頻寬上限：輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
- GPU 記憶體：GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。
N1 + GPU 機型
對於已連結 T4 和 V100 GPU 的 N1 一般用途虛擬機器 (VM) 執行個體，您可以根據 GPU 和 vCPU 數量的組合，取得最高 100 Gbps 的網路頻寬。如要瞭解所有其他 N1 GPU 執行個體，請參閱「總覽」。
請參閱下列章節，根據 GPU 型號、vCPU 和 GPU 數量，計算 T4 和 V100 執行個體可用的網路頻寬上限。
少於 5 個 vCPU
對於 vCPU 數量不超過 5 個的 T4 和 V100 執行個體，網路頻寬上限為 10 Gbps。
超過 5 個 vCPU
對於 vCPU 數量超過 5 個的 T4 和 V100 執行個體，網路頻寬上限是根據該 VM 的 vCPU 和 GPU 數量計算。
如要將較高的網路頻寬速率 (50 Gbps 以上) 套用至大多數 GPU 執行個體，建議使用 Google 虛擬 NIC (gVNIC)。如要進一步瞭解如何建立使用 gVNIC 的 GPU 執行個體，請參閱「建立使用較高頻寬的 GPU 執行個體」。
| GPU 模型 | GPU 數量 | 網路頻寬上限計算 |
|---|---|---|
| NVIDIA V100 | 1 | min(vcpu_count * 2, 32) |
| 2 | min(vcpu_count * 2, 32) |
|
| 4 | min(vcpu_count * 2, 50) |
|
| 8 | min(vcpu_count * 2, 100) |
|
| NVIDIA T4 | 1 | min(vcpu_count * 2, 32) |
| 2 | min(vcpu_count * 2, 50) |
|
| 4 | min(vcpu_count * 2, 100) |
MTU 設定和 GPU 機型
如要提高網路處理量，請為虛擬私有雲網路設定較高的最大傳輸單位 (MTU) 值。MTU 值越高，封包大小越大，封包標頭負擔越小，進而提高酬載資料處理量。
如果是 GPU 機型，建議您為虛擬私有雲網路採用下列 MTU 設定。
| GPU 機型 | 建議的 MTU (以位元組為單位) | |
|---|---|---|
| 一般虛擬私有雲網路 | RoCE 虛擬私有雲網路 | |
|
8896 | 8896 |
|
8244 | 不適用 |
|
8896 | 不適用 |
設定 MTU 值時，請注意下列事項：
- 8192 是兩個 4 KB 頁面。
- 在 A3 Mega、A3 High 和 A3 Edge VM 中，如果 GPU NIC 已啟用標頭分割功能，建議使用 8244。
- 除非表格另有指示，否則請使用 8896。
建立高頻寬 GPU 機器
如要建立使用較高網路頻寬的 GPU 執行個體，請根據機型採用下列其中一種方法：
如要建立使用較高網路頻寬的 A2、G2 和 N1 執行個體，請參閱「為 A2、G2 和 N1 執行個體使用較高網路頻寬」。如要測試或驗證這些機器的頻寬速度，可以使用基準測試。詳情請參閱「檢查網路頻寬」。
如要建立使用較高網路頻寬的 A3 Mega 執行個體，請參閱「部署 A3 Mega Slurm 叢集以進行機器學習訓練」。如要測試或驗證這些機器的頻寬速度，請按照「檢查網路頻寬」中的步驟進行基準測試。
如為使用較高網路頻寬的 A3 High 和 A3 Edge 執行個體，請參閱「建立已啟用 GPUDirect-TCPX 的 A3 VM」。如要測試或驗證這些機器的頻寬速度，可以使用基準測試。詳情請參閱「檢查網路頻寬」。
如果是其他加速器最佳化機型，則不需採取任何行動，即可使用較高的網路頻寬；按照說明文件建立執行個體，即會使用高網路頻寬。如要瞭解如何為其他加速器最佳化機型建立執行個體，請參閱「建立已連接 GPU 的 VM」。
後續步驟
- 進一步瞭解 GPU 平台。
- 瞭解如何建立附加 GPU 的執行個體。
- 瞭解如何使用更高的網路頻寬。
- 瞭解 GPU 定價。