关于 GKE 中的 Ironwood (TPU7x)

本文档简要介绍了 Google Kubernetes Engine (GKE) 中的 Ironwood (TPU7x)。Ironwood (TPU7x) 是 Google 的第七代张量处理单元 (TPU),专为大规模 AI 工作负载而设计。与之前的 TPU 世代相比,它提供了显著的性能提升,可让您训练和提供更大、更复杂的模型。

Ironwood (TPU7x) 的特性

Ironwood (TPU7x) 引入了独特的功能,使其有别于其他 TPU 版本。这些功能会影响可用性、节点池配置和工作负载性能。

如需了解底层硬件,请参阅 Ironwood (TPU7x) 架构。

可用性

Ironwood (TPU7x) 适用于运行 1.34.0-gke.2201000 版及更高版本的 GKE Standard 集群,以及运行 1.34.1-gke.3084001 版及更高版本的 Autopilot 集群。

多主机节点池的工作负载政策

Ironwood (TPU7x) 使用工作负载政策在您创建多主机 TPU 切片节点池时配置底层基础设施的物理位置。您需要先创建工作负载政策,然后使用 --placement-policy 标志应用该政策。此政策会取代其他 TPU 版本使用的 --tpu-topology 标志。

工作负载政策是一种资源政策,可用于配置基础设施的物理位置。Ironwood (TPU7x) 支持高吞吐量工作负载政策。此政策会将 TPU 虚拟机并置,以缩短网络延迟时间,并允许您定义维护策略,以最大限度地减少工作负载中断。

NUMA 绑定

Ironwood (TPU7x) 架构包含以下元素:

  • 每台 Ironwood (TPU7x) 虚拟机 (VM) 包含 4 个芯片和 2 个 NIC。
  • 每个虚拟机包含两个非统一内存访问 (NUMA) 节点。
  • CPU、内存和 NIC 资源在两个 NUMA 节点之间平均分配。

跨不同 NUMA 节点访问资源(跨 NUMA 访问)可能会在工作负载中引入性能瓶颈。因此,为了优化工作负载性能,GKE 允许您在多容器设置中部署工作负载。这会将每个容器绑定到给定 NUMA 节点内的 CPU、内存和 TPU 资源。

LLM 的参考实现

如需了解如何在 Ironwood (TPU7x) 上部署大语言模型 (LLM),请参阅以下参考实现。您可以使用以下任一选项来创建集群:

  • Cluster Toolkit:使用 Cluster Toolkit 自动创建集群和部署工作负载。该工具包提供了参考设计蓝图,其中包含在 GKE 上配置 Ironwood (TPU7x) 的最佳实践。如需了解详情,请参阅部署 GKE Ironwood (TPU7x) 集群。
  • GKE on Google Cloud CLI:使用 Google Cloud CLI 手动创建 GKE 集群实例,以便精确自定义或扩展现有生产 GKE 环境。
LLM Cluster Toolkit GKE on Google Cloud CLI
采用 BF16 和 4x4x4 拓扑的 Llama 70b 使用 Cluster Toolkit 在 Ironwood (TPU7x) GKE 集群上预训练 llama3.1-70b 工作负载 使用 Kubernetes JobSet 在 Ironwood (TPU7x) GKE 集群上预训练 llama3.1-70b 工作负载
采用 BF16 和 4x4x8 拓扑的 DeepSeek 使用 Cluster Toolkit 在 Ironwood (TPU7x) GKE 集群上预训练 deepseek3-671b 工作负载 使用 Kubernetes JobSet 在 Ironwood (TPU7x) GKE 集群上预训练 deepseek3-671b 工作负载
采用 BF16 和 4x4x4 拓扑的 GPT-oss-120b 使用 Cluster Toolkit 在 Ironwood (TPU7x) GKE 集群上预训练 gpt-oss-120b 工作负载 使用 Kubernetes JobSet 在 Ironwood (TPU7x) GKE 集群上预训练 gpt-oss-120b 工作负载
采用 BF16 和 4x8x8 拓扑的 Qwen3-235b-a22b 使用 Cluster Toolkit 在 Ironwood (TPU7x) GKE 集群上预训练 qwen3-235b-a22b 工作负载 使用 Kubernetes JobSet 在 Ironwood (TPU7x) GKE 集群上预训练 qwen3-235b-a22b 工作负载

后续步骤