一般 GPU 總覽

一般 GPU 經過最佳化調整，適用於優先考量作業彈性、資源獨立性和成本效益的人工智慧 (AI) 和機器學習 (ML) 工作負載。

一般 GPU 可讓團隊部署及擴充 NVIDIA 加速器，並享有完整的作業自主權，不必處理協調超級運算叢集的複雜架構。這類架構適合優先考量高可用性、自助式佈建和獨立擴充的工作負載。常見用途包括即時推論、RAG、原型設計，以及中小型模型訓練。

一般 GPU 的主要特性

  • 作業彈性：您可以使用標準 GKE (Autopilot 和 Standard) 和 Compute Engine 介面管理資源，簡化部署和擴充作業。
  • 高可用性： Google Cloud 會獨立更新個別執行個體，確保一個節點的更新不會影響其他節點的可用性，讓負載平衡器能重新導向流量，而不會中斷服務機群。
  • 簡化網路：工作負載使用標準虛擬私有雲 (VPC) 服務，以及 Google 虛擬 NIC (gVNIC) 介面上的標準 TCP/IP，免除複雜的硬體層級架構。
  • 成本最佳化：您可以將 Spot VM 用於容錯研究，與標準隨選費率相比，最多可節省 90% 的成本。
  • 自助式取得：您可以直接透過標準預留項目和隨選要求取得容量，不需透過帳戶團隊管理的工作流程。

一般 GPU 系列和技術規格

查看一般 GPU 機器系列的工作負載和硬體規格。如需高處理量的服務，請使用 A3 Edge 系列。

A3 系列 (High 搭配 1、2 或 4 個 GPU 和 Edge)

A3 High (1、2 或 4 個 GPU)

如果您執行的是推論或標準訓練工作負載，需要高效能，但不需要完整的 8 GPU 同步叢集，請使用 A3 High 機器系列，並連接 1、2 或 4 個 GPU。

A3 High 機型配備 NVIDIA H100 SXM GPU，適合大型模型推論和模型微調。如要瞭解機型限制，請參閱「A3 High 限制」。

機型 vCPU 數量 執行個體記憶體 (GB) 連接的本機 SSD (GiB) 實體 NIC 數量 網路頻寬上限 (Gbps) NVIDIA H100 GPU 數量 GPU 記憶體 (GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1,500 1 50 2 160
a3-highgpu-4g 104 936 3,000 1 100 4 320
a3-highgpu-8g 208 1,872 6,000 5 1,000 8 640

上表注意事項：

  • vCPU 數量：vCPU 會在其中一個可用的 CPU 平台中部署為單一硬體超執行緒。
  • 網路頻寬上限：輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
  • GPU 記憶體：GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。

A3 Edge

如果您在多部主機上執行高處理量的分散式推論工作負載，但沒有協調的叢集架構，請使用 A3 Edge 系列，簡化標準虛擬私人網路的部署作業。

A3 Edge 機型搭載 NVIDIA H100 SXM GPU，專為提供服務而設計，僅適用於部分區域。如要瞭解機型限制，請參閱「A3 Edge 限制」。

機型 vCPU 數量 執行個體記憶體 (GB) 連接的本機 SSD (GiB) 實體 NIC 數量 網路頻寬上限 (Gbps) NVIDIA H100 GPU 數量 GPU 記憶體 (GB HBM3)
a3-edgegpu-8g 208 1,872 6,000 5 600 (asia-south1 和 northamerica-northeast2) 或 400 (所有其他 A3 Edge 區域) 8 640

A2 系列 (Standard 和 Ultra)

如要執行高效能單一節點提供模型，或小規模模型微調，請使用 A2 機器系列，存取專屬 NVIDIA A100 GPU 資源。

A2 Ultra

機型 vCPU 數量 執行個體記憶體 (GB) 連接的本機 SSD (GiB) 網路頻寬上限 (Gbps) NVIDIA A100 80GB GPU 數量 GPU 記憶體 (GB HBM2e)
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1,500 50 4 320
a2-ultragpu-8g 96 1,360 3,000 100 8 640

上表注意事項：

  • vCPU 數量：vCPU 會在其中一個可用的 CPU 平台中部署為單一硬體超執行緒。
  • 網路頻寬上限：輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
  • GPU 記憶體：GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。

A2 Standard

機型 vCPU 數量 執行個體記憶體 (GB) 支援本機 SSD 網路頻寬上限 (Gbps) NVIDIA A100 40 GB GPU 數量 GPU 記憶體 (GB HBM2)
a2-highgpu-1g 12 85 是 24 1 40
a2-highgpu-2g 24 170 是 32 2 80
a2-highgpu-4g 48 340 是 50 4 160
a2-highgpu-8g 96 680 是 100 8 320
a2-megagpu-16g 96 1,360 是 100 16 640

上表注意事項：

  • vCPU 數量：vCPU 會在其中一個可用的 CPU 平台中部署為單一硬體超執行緒。
  • 網路頻寬上限：輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
  • GPU 記憶體：GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。

G4 系列

如果團隊需要符合成本效益的入門級推論或標準圖形轉譯工作負載，請使用搭載 NVIDIA RTX PRO 6000 GPU 的 G4 機器系列。

G4 機型採用 NVIDIA RTX PRO 6000 Blackwell 伺服器版 GPU (nvidia-rtx-pro-6000)，適合 NVIDIA Omniverse 模擬工作負載、需要處理大量圖形的應用程式、影片轉碼和虛擬桌面。與 A 系列機型相比，G4 機型也提供低成本解決方案，可用於執行單一主機推論和模型微調。

您也可以在建立 G4 執行個體時新增 Titanium SSD 磁碟。如要瞭解可連接的磁碟數量，請參閱「需要選擇本機 SSD 磁碟數量的機器類型」。如要瞭解機型限制，請參閱「G4 限制」。

機型 vCPU 數量 執行個體記憶體 (GB) 支援的 Titanium SSD 上限 (GiB) 實體 NIC 數量 網路頻寬上限 (Gbps) NVIDIA RTX PRO 6000 GPU 數量 GPU 記憶體 (GB GDDR7)
g4-standard-6 6 22 0 1 20 1/8 12
g4-standard-12 12 45 375 1 20 1/4 24
g4-standard-24 24 90 750 1 20 1/2 48
g4-standard-48 48 180 1,500 1 50 1 96
g4-standard-96 96 360 3,000 1 100 2 192
g4-standard-192 192 720 6,000 1 200 4 384
g4-standard-384 384 1,440 12,000 2 400 8 768

*GPU 記憶體是指 GPU 裝置上可用於暫時儲存資料的記憶體。這項資源與執行個體的記憶體分開，專門用於處理加速工作負載 (例如機器學習和圖形密集型工作負載) 的高頻寬需求。

G2 系列

如要部署主流即時推論應用程式或檢索增強生成 (RAG) 管道，請使用 G2 機器系列，搭配 NVIDIA L4 GPU 兼顧效能和成本效益。

機型 vCPU 數量 預設執行個體記憶體 (GB) 自訂執行個體記憶體範圍 (GB) 本機 SSD 支援上限 (GiB) 網路頻寬上限 (Gbps) NVIDIA L4 GPU 數量 GPU 記憶體 (GB GDDR6)
g2-standard-4 4 16 16 到 32 375 10 1 24
g2-standard-8 8 32 32 到 54 375 16 1 24
g2-standard-12 12 48 48 到 54 375 16 1 24
g2-standard-16 16 64 54 到 64 歲 375 32 1 24
g2-standard-24 24 96 96 至 108 750 32 2 48
g2-standard-32 32 128 96 到 128 375 32 1 24
g2-standard-48 48 192 192 至 216 1,500 50 4 96
g2-standard-96 96 384 384 至 432 3,000 100 8 192

上表注意事項：

  • vCPU 數量：vCPU 會在其中一個可用的 CPU 平台中部署為單一硬體超執行緒。
  • 網路頻寬上限：輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
  • GPU 記憶體：GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這項資源與執行個體的記憶體分開，專門用於處理需要大量圖形的工作負載，滿足較高的頻寬需求。

N1 系列 (NVIDIA T4 或 V100)

如果您的首要考量是成本敏感的實驗，或執行低並行、入門級推論，請使用 N1 機器系列附加 NVIDIA T4 或 V100 GPU。

NVIDIA T4

加速器類型 NVIDIA T4 GPU 數量 GPU 記憶體 (GB GDDR6) vCPU 數量 執行個體記憶體 (GB) 支援本機 SSD
nvidia-tesla-t4或nvidia-tesla-t4-vws 1 16 1 至 48 1 至 312 是
nvidia-tesla-t4或nvidia-tesla-t4-vws 2 32 1 至 48 1 至 312 是
nvidia-tesla-t4或nvidia-tesla-t4-vws 4 64 1 至 96 1 至 624 是

NVIDIA V100

加速器類型 NVIDIA V100 GPU 數量 GPU 記憶體 (GB HBM2) vCPU 數量 執行個體記憶體 (GB) 支援本機 SSD
nvidia-tesla-v100 1 16 1 到 12 1 至 78 是 (us-east1-c除外)
nvidia-tesla-v100 2 32 1 到 24 1 至 156 是 (us-east1-c除外)
nvidia-tesla-v100 4 64 1 至 48 1 至 312 是 (us-east1-c除外)
nvidia-tesla-v100 8 128 1 至 96 1 至 624 是 (us-east1-c除外)

取得資源

一般 GPU 加速器採用標準自助佈建。您可以透過標準預留項目、隨選要求或 Spot VM 取得容量。由於隨選容量可能缺貨，請盡可能使用 Spot VM 或彈性啟動 VM。

後續步驟