本文档简要介绍了 Google Kubernetes Engine (GKE) 中的 Ironwood (TPU7x)。Ironwood (TPU7x) 是 Google 的第七代张量处理单元 (TPU),专为大规模 AI 工作负载而设计。与之前的 TPU 世代相比,它提供了显著的性能提升,可让您训练和提供更大、更复杂的模型。
Ironwood (TPU7x) 的特性
Ironwood (TPU7x) 引入了独特的功能,使其有别于其他 TPU 版本。这些功能会影响可用性、节点池配置和工作负载性能。
如需了解底层硬件,请参阅 Ironwood (TPU7x) 架构。
可用性
Ironwood (TPU7x) 适用于运行 1.34.0-gke.2201000 版及更高版本的 GKE Standard 集群,以及运行 1.34.1-gke.3084001 版及更高版本的 Autopilot 集群。
多主机节点池的工作负载政策
Ironwood (TPU7x) 使用工作负载政策在您创建多主机 TPU 切片节点池时配置底层基础设施的物理位置。您需要先创建工作负载政策,然后使用 --placement-policy 标志应用该政策。此政策会取代其他 TPU 版本使用的 --tpu-topology 标志。
工作负载政策是一种资源政策,可用于配置基础设施的物理位置。Ironwood (TPU7x) 支持高吞吐量工作负载政策。此政策会将 TPU 虚拟机并置,以缩短网络延迟时间,并允许您定义维护策略,以最大限度地减少工作负载中断。
NUMA 绑定
Ironwood (TPU7x) 架构包含以下元素:
- 每台 Ironwood (TPU7x) 虚拟机 (VM) 包含 4 个芯片和 2 个 NIC。
- 每个虚拟机包含两个非统一内存访问 (NUMA) 节点。
- CPU、内存和 NIC 资源在两个 NUMA 节点之间平均分配。
跨不同 NUMA 节点访问资源(跨 NUMA 访问)可能会在工作负载中引入性能瓶颈。因此,为了优化工作负载性能,GKE 允许您在多容器设置中部署工作负载。这会将每个容器绑定到给定 NUMA 节点内的 CPU、内存和 TPU 资源。
LLM 的参考实现
如需了解如何在 Ironwood (TPU7x) 上部署大语言模型 (LLM),请参阅以下参考实现。您可以使用以下任一选项来创建集群:
- Cluster Toolkit:使用 Cluster Toolkit 自动创建集群和部署工作负载。该工具包提供了参考设计蓝图,其中包含在 GKE 上配置 Ironwood (TPU7x) 的最佳实践。如需了解详情,请参阅部署 GKE Ironwood (TPU7x) 集群。
- GKE on Google Cloud CLI:使用 Google Cloud CLI 手动创建 GKE 集群实例,以便精确自定义或扩展现有生产 GKE 环境。
| LLM | Cluster Toolkit | GKE on Google Cloud CLI |
|---|---|---|
采用 BF16 和 4x4x4 拓扑的 Llama 70b |
使用 Cluster Toolkit 在 Ironwood (TPU7x) GKE 集群上预训练 llama3.1-70b 工作负载 | 使用 Kubernetes JobSet 在 Ironwood (TPU7x) GKE 集群上预训练 llama3.1-70b 工作负载 |
采用 BF16 和 4x4x8 拓扑的 DeepSeek |
使用 Cluster Toolkit 在 Ironwood (TPU7x) GKE 集群上预训练 deepseek3-671b 工作负载 | 使用 Kubernetes JobSet 在 Ironwood (TPU7x) GKE 集群上预训练 deepseek3-671b 工作负载 |
采用 BF16 和 4x4x4 拓扑的 GPT-oss-120b |
使用 Cluster Toolkit 在 Ironwood (TPU7x) GKE 集群上预训练 gpt-oss-120b 工作负载 | 使用 Kubernetes JobSet 在 Ironwood (TPU7x) GKE 集群上预训练 gpt-oss-120b 工作负载 |
采用 BF16 和 4x8x8 拓扑的 Qwen3-235b-a22b |
使用 Cluster Toolkit 在 Ironwood (TPU7x) GKE 集群上预训练 qwen3-235b-a22b 工作负载 | 使用 Kubernetes JobSet 在 Ironwood (TPU7x) GKE 集群上预训练 qwen3-235b-a22b 工作负载 |
后续步骤
- 了解如何规划 GKE 中的 TPU。
- 了解如何在 GKE 中部署 TPU。
- 使用 Cluster Toolkit 部署 Ironwood (TPU7x) 集群和训练工作负载: