GKE 中的 Ironwood (TPU7x) 簡介

本文概略介紹 Google Kubernetes Engine (GKE) 中的 Ironwood (TPU7x)。Ironwood (TPU7x) 是 Google 的第七代 Tensor Processing Unit (TPU),專為大規模 AI 工作負載設計。與前幾代 TPU 相比,效能大幅提升,可訓練及提供更大、更複雜的模型。

Ironwood (TPU7x) 的特性

Ironwood (TPU7x) 具備獨特功能,與其他 TPU 版本不同。這些功能會影響可用性、節點集區設定和工作負載效能。

如要瞭解基礎硬體,請參閱「Ironwood (TPU7x) 架構」。

可用性

Ironwood (TPU7x) 適用於 1.34.0-gke.2201000 以上版本的 GKE Standard 叢集,以及 1.34.1-gke.3084001 以上版本的 Autopilot 叢集。

多主機節點集區的工作負載政策

建立多主機 TPU 配量節點集區時,Ironwood (TPU7x) 會使用工作負載政策,設定基礎架構的實體位置。建立工作負載政策後,請使用 --placement-policy 旗標套用政策。這項政策會取代其他 TPU 版本使用的 --tpu-topology 旗標。

工作負載政策是一種資源政策,可讓您設定基礎架構的實體位置。Ironwood (TPU7x) 支援高處理量工作負載政策。這項政策會將 TPU VM 放在相同位置,以縮短網路延遲時間,並讓您定義維護策略,盡可能減少工作負載中斷情形。

NUMA 繫結

Ironwood (TPU7x) 架構包含下列元素:

  • 每個 Ironwood (TPU7x) 虛擬機器 (VM) 包含四個晶片和兩個 NIC。
  • 每個 VM 包含兩個非統一記憶體存取 (NUMA) 節點。
  • CPU、記憶體和 NIC 資源會平均分配給兩個 NUMA 節點。

跨不同 NUMA 節點存取資源 (跨 NUMA 存取) 可能會導致工作負載效能瓶頸。因此,為了最佳化工作負載效能,GKE 允許您在多容器設定中部署工作負載。這會將每個容器繫結至指定 NUMA 節點中的 CPU、記憶體和 TPU 資源。

LLM 參考實作

如要瞭解如何在 Ironwood (TPU7x) 上部署大型語言模型 (LLM),請參閱下列參考實作。您可以使用下列任一選項建立叢集:

  • Cluster Toolkit:使用 Cluster Toolkit 自動建立叢集及部署工作負載。這套工具包提供參考設計藍圖,其中包含在 GKE 上設定 Ironwood (TPU7x) 的最佳做法。詳情請參閱「部署 GKE Ironwood (TPU7x) 叢集」。
  • Google Cloud CLI 上的 GKE:使用 Google Cloud CLI 手動建立 GKE 叢集執行個體,精確自訂或擴充現有的正式版 GKE 環境。
LLM Cluster Toolkit Google Cloud CLI 中的 GKE
採用 BF16 和 4x4x4 拓撲的 Llama 70b 使用 Cluster Toolkit,在 Ironwood (TPU7x) GKE 叢集預先訓練 llama3.1-70b 工作負載 使用 Kubernetes JobSet,在 Ironwood (TPU7x) GKE 叢集預先訓練 llama3.1-70b 工作負載
DeepSeek (BF16 和 4x4x8 拓撲) 使用 Cluster Toolkit,在 Ironwood (TPU7x) GKE 叢集預先訓練 deepseek3-671b 工作負載 使用 Kubernetes JobSet,在 Ironwood (TPU7x) GKE 叢集預先訓練 deepseek3-671b 工作負載
GPT-oss-120b (採用 BF16 和 4x4x4 拓撲) 使用 Cluster Toolkit,在 Ironwood (TPU7x) GKE 叢集預先訓練 gpt-oss-120b 工作負載 使用 Kubernetes JobSet,在 Ironwood (TPU7x) GKE 叢集預先訓練 gpt-oss-120b 工作負載
Qwen3-235b-a22b (BF16 和 4x8x8 拓撲) 使用 Cluster Toolkit,在 Ironwood (TPU7x) GKE 叢集預先訓練 qwen3-235b-a22b 工作負載 使用 Kubernetes JobSet,在 Ironwood (TPU7x) GKE 叢集預先訓練 qwen3-235b-a22b 工作負載

後續步驟