TPU v5e

本文說明 Cloud TPU v5e 的架構和支援的設定。

TPU v5e 支援單主機和多主機訓練，以及單主機推論。多主機推論可透過 Sax 支援。詳情請參閱「Cloud TPU 推論」。

系統架構

每個 v5e 晶片包含一個 TensorCore。每個 TensorCore 有 4 個矩陣乘法單元 (MXU)、1 個向量單元和 1 個純量單元。

下圖為 TPU v5e 晶片。

v5e 晶片圖

下表列出 v5e 的主要規格和值。

規格 值
效能/總持有成本 (TCO) (預期) 0.65 倍
每個晶片的尖峰運算效能 (bf16) 197 TFLOP
每個晶片的尖峰運算效能 (Int8) 393 TOPs
每顆晶片的 HBM 容量 16 GB
每晶片的 HBM 頻寬 800 GiBps
雙向晶片間互連 (ICI) 頻寬 (每個晶片) 400 GBps
每個晶片的 ICI 通訊埠 4
每部主機的 DRAM 512 GiB
每部主機的晶片數 8
TPU Pod 大小 256 個方塊
互連網路拓撲 2D 環面
每個 Pod 的 BF16 尖峰運算效能 50.63 PFLOPs
每個 Pod 的 All-reduce 頻寬 51.2 TB/秒
每個 Pod 的對分頻寬 1.6 TB/秒
各主機的 NIC 設定 2 個 100 Gbps NIC
每個 Pod 的資料中心網路頻寬 6.4 Tbps
每個 Pod 的尖峰運算效能 100 PetaOps (Int8)

設定

Cloud TPU v5e 是結合訓練和推論 (提供) 的產品。訓練工作會針對處理量和可用性進行最佳化，而提供工作則會針對延遲時間進行最佳化。在專為提供模型而佈建的 TPU 上執行訓練工作，可用性可能會降低；同樣地，在專為訓練而佈建的 TPU 上執行提供模型的工作，延遲時間可能會增加。

v5e 支援下列 2D 切片形狀：

拓撲 TPU 晶片數量 主機數量
1x1 1 1/8
2x2 4 1/2
2x4 8 1
4x4 16 2
4x8 32 4
8x8 64 8
8x16 128 16
16x16 256 32

VM 類型

v5e TPU 配量中的每個 TPU VM 包含 1、4 或 8 個晶片。在 4 晶片和更小的配量中，所有 TPU 晶片都共用相同的非統一記憶體存取 (NUMA) 節點。

如果是 8 晶片 v5e TPU VM，NUMA 分區內的 CPU 與 TPU 通訊效率會更高。舉例來說，在下圖中，CPU0-Chip0 通訊會比 CPU0-Chip4 通訊更快。

NUMA 節點通訊

下表比較 TPU v5e VM 類型：

VM 類型 機型 每個 VM 的 vCPU 數量 每個 VM 的 RAM (GB) 每個 VM 的 NUMA 節點數量
1 晶片 VM ct5lp-hightpu-1t 24 48 1
4 晶片 VM ct5lp-hightpu-4t 112 192 1
8 晶片 VM ct5lp-hightpu-8t 224 384 2

用於提供服務的 Cloud TPU v5e 類型

單一主機服務最多支援 8 個 v5e 晶片。支援的設定包括 1x1、2x2 和 2x4 切片。每個切片分別有 1、4 和 8 個晶片。

支援提供服務的 TPU v5e 設定：1x1、2x2 和 2x4。

如要為提供工作佈建 TPU，請在 CLI 或 API TPU 建立要求中，使用下列其中一種 TPU 配量大小：

TPU 晶片數量 機型
1 ct5lp-hightpu-1t
4 ct5lp-hightpu-4t
8 ct5lp-hightpu-8t

如要進一步瞭解如何管理 TPU，請參閱「管理 TPU」。如要進一步瞭解 Cloud TPU 的系統架構，請參閱「系統架構」。

如要使用超過 8 個 v5e 晶片提供服務 (也稱為多主機提供服務)，請使用 Sax。詳情請參閱「 Cloud TPU 推論」。

用於訓練的 Cloud TPU v5e 類型

訓練最多支援 256 個晶片。

如要為 v5e 訓練工作佈建 TPU，請在 CLI 或 API TPU 建立要求中，使用下列其中一種 TPU 配量大小：

TPU 晶片數量 機型 拓撲
16 ct5lp-hightpu-4t 4x4
32 ct5lp-hightpu-4t 4x8
64 ct5lp-hightpu-4t 8x8
128 ct5lp-hightpu-4t 8x16
256 ct5lp-hightpu-4t 16x16

如要進一步瞭解如何管理 TPU，請參閱「管理 TPU」。如要進一步瞭解 Cloud TPU 的系統架構，請參閱「系統架構」。