本文概略介紹 Google Kubernetes Engine (GKE) 中的 Ironwood (TPU7x)。Ironwood (TPU7x) 是 Google 的第七代 Tensor Processing Unit (TPU),專為大規模 AI 工作負載設計。與前幾代 TPU 相比,效能大幅提升,可訓練及提供更大、更複雜的模型。
Ironwood (TPU7x) 的特性
Ironwood (TPU7x) 具備獨特功能,與其他 TPU 版本不同。這些功能會影響可用性、節點集區設定和工作負載效能。
如要瞭解基礎硬體,請參閱「Ironwood (TPU7x) 架構」。
可用性
Ironwood (TPU7x) 適用於 1.34.0-gke.2201000 以上版本的 GKE Standard 叢集,以及 1.34.1-gke.3084001 以上版本的 Autopilot 叢集。
多主機節點集區的工作負載政策
建立多主機 TPU 配量節點集區時,Ironwood (TPU7x) 會使用工作負載政策,設定基礎架構的實體位置。建立工作負載政策後,請使用 --placement-policy 旗標套用政策。這項政策會取代其他 TPU 版本使用的 --tpu-topology 旗標。
工作負載政策是一種資源政策,可讓您設定基礎架構的實體位置。Ironwood (TPU7x) 支援高處理量工作負載政策。這項政策會將 TPU VM 放在相同位置,以縮短網路延遲時間,並讓您定義維護策略,盡可能減少工作負載中斷情形。
NUMA 繫結
Ironwood (TPU7x) 架構包含下列元素:
- 每個 Ironwood (TPU7x) 虛擬機器 (VM) 包含四個晶片和兩個 NIC。
- 每個 VM 包含兩個非統一記憶體存取 (NUMA) 節點。
- CPU、記憶體和 NIC 資源會平均分配給兩個 NUMA 節點。
跨不同 NUMA 節點存取資源 (跨 NUMA 存取) 可能會導致工作負載效能瓶頸。因此,為了最佳化工作負載效能,GKE 允許您在多容器設定中部署工作負載。這會將每個容器繫結至指定 NUMA 節點中的 CPU、記憶體和 TPU 資源。
LLM 參考實作
如要瞭解如何在 Ironwood (TPU7x) 上部署大型語言模型 (LLM),請參閱下列參考實作。您可以使用下列任一選項建立叢集:
- Cluster Toolkit:使用 Cluster Toolkit 自動建立叢集及部署工作負載。這套工具包提供參考設計藍圖,其中包含在 GKE 上設定 Ironwood (TPU7x) 的最佳做法。詳情請參閱「部署 GKE Ironwood (TPU7x) 叢集」。
- Google Cloud CLI 上的 GKE:使用 Google Cloud CLI 手動建立 GKE 叢集執行個體,精確自訂或擴充現有的正式版 GKE 環境。
| LLM | Cluster Toolkit | Google Cloud CLI 中的 GKE |
|---|---|---|
採用 BF16 和 4x4x4 拓撲的 Llama 70b |
使用 Cluster Toolkit,在 Ironwood (TPU7x) GKE 叢集預先訓練 llama3.1-70b 工作負載 | 使用 Kubernetes JobSet,在 Ironwood (TPU7x) GKE 叢集預先訓練 llama3.1-70b 工作負載 |
DeepSeek (BF16 和 4x4x8 拓撲) |
使用 Cluster Toolkit,在 Ironwood (TPU7x) GKE 叢集預先訓練 deepseek3-671b 工作負載 | 使用 Kubernetes JobSet,在 Ironwood (TPU7x) GKE 叢集預先訓練 deepseek3-671b 工作負載 |
GPT-oss-120b (採用 BF16 和 4x4x4 拓撲) |
使用 Cluster Toolkit,在 Ironwood (TPU7x) GKE 叢集預先訓練 gpt-oss-120b 工作負載 | 使用 Kubernetes JobSet,在 Ironwood (TPU7x) GKE 叢集預先訓練 gpt-oss-120b 工作負載 |
Qwen3-235b-a22b (BF16 和 4x8x8 拓撲) |
使用 Cluster Toolkit,在 Ironwood (TPU7x) GKE 叢集預先訓練 qwen3-235b-a22b 工作負載 | 使用 Kubernetes JobSet,在 Ironwood (TPU7x) GKE 叢集預先訓練 qwen3-235b-a22b 工作負載 |
後續步驟
- 瞭解如何在 GKE 中規劃 TPU。
- 瞭解如何在 GKE 中部署 TPU。
- 使用 Cluster Toolkit 部署 Ironwood (TPU7x) 叢集和訓練工作負載:
- 部署 GKE Ironwood (TPU7x) 叢集
- 設定 GKE 消耗選項
- 使用 Cluster Toolkit 在 GKE 上佈建 Managed Lustre
- 使用 TPU7x (Ironwood) 訓練模型