Informazioni su Ironwood (TPU7x) in GKE

Questo documento fornisce una panoramica di Ironwood (TPU7x) in Google Kubernetes Engine (GKE). Ironwood (TPU7x) è la Tensor Processing Unit (TPU) di settima generazione di Google, progettata su misura per workload AI su larga scala. Offre un miglioramento significativo delle prestazioni rispetto alle generazioni di TPU precedenti, consentendoti di addestrare e gestire modelli più grandi e complessi.

Caratteristiche di Ironwood (TPU7x)

Ironwood (TPU7x) introduce funzionalità uniche che lo distinguono dalle altre versioni di TPU. Queste funzionalità influiscono sulla disponibilità, sulla configurazione pool di nodi e sulle prestazioni del workload.

Per informazioni sull'hardware sottostante, consulta Architettura Ironwood (TPU7x).

Disponibilità

Ironwood (TPU7x) è disponibile nei cluster GKE Standard che eseguono la versione 1.34.0-gke.2201000 e successive e nei cluster Autopilot che eseguono la versione 1.34.1-gke.3084001 e successive.

Policy dei workload per i pool di nodi multi-host

Ironwood (TPU7x) utilizza una policy del workload per configurare il posizionamento fisico dell'infrastruttura sottostante quando crei node pool di slice TPU multi-host. Crea una policy del workload e poi applicala utilizzando il flag --placement-policy. Questa policy sostituisce il flag --tpu-topology utilizzato da altre versioni di TPU.

Una policy del workload è un tipo di policy delle risorse che consente di configurare il posizionamento fisico dell'infrastruttura. Ironwood (TPU7x) supporta la policy dei workload Throughput elevato. Questa policy colloca le VM TPU per ridurre la latenza di rete e ti consente di definire la strategia di manutenzione per ridurre al minimo le interruzioni del workload.

associazione NUMA

L'architettura Ironwood (TPU7x) include i seguenti elementi:

  • Ogni macchina virtuale (VM) Ironwood (TPU7x) contiene quattro chip e due NIC.
  • Ogni VM contiene due nodi Non-Uniform Memory Access (NUMA).
  • Le risorse di CPU, memoria e NIC sono suddivise equamente tra i due nodi NUMA.

L'accesso alle risorse su nodi NUMA diversi (accesso cross-NUMA) può introdurre colli di bottiglia delle prestazioni nei workload. Pertanto, per ottimizzare le prestazioni del workload, GKE ti consente di eseguire il deployment dei workload in una configurazione multi-container. In questo modo, ogni container viene associato alle risorse di CPU, memoria e TPU all'interno di un determinato nodo NUMA.

Implementazioni di riferimento degli LLM

Per scoprire come eseguire il deployment di modelli linguistici di grandi dimensioni (LLM) su Ironwood (TPU7x), consulta le seguenti implementazioni di riferimento. Per la creazione del cluster, puoi utilizzare una delle seguenti opzioni:

  • Cluster Toolkit: utilizza Cluster Toolkit per automatizzare la creazione dei cluster e il deployment dei workload. Il toolkit fornisce progetti di architettura di riferimento che incorporano le best practice per la configurazione di Ironwood (TPU7x) su GKE. Per saperne di più, consulta Esegui il deployment di un cluster GKE Ironwood (TPU7x).
  • GKE su Google Cloud CLI: utilizza Google Cloud CLI per creare manualmente l'istanza del cluster GKE per una personalizzazione precisa o l'espansione degli ambienti GKE di produzione esistenti.
LLM Cluster Toolkit GKE su Google Cloud CLI
Llama 70b con BF16 e una topologia 4x4x4 Preaddestra il workload llama3.1-70b sui cluster GKE Ironwood (TPU7x) con Cluster Toolkit Preaddestra il workload llama3.1-70b sui cluster GKE Ironwood (TPU7x) con JobSet Kubernetes
DeepSeek con BF16 e una topologia 4x4x8 Pre-addestra il workload deepseek3-671b sui cluster GKE Ironwood (TPU7x) con Cluster Toolkit Preaddestra il workload deepseek3-671b sui cluster GKE Ironwood (TPU7x) con JobSet Kubernetes
GPT-oss-120b con BF16 e una topologia 4x4x4 Preaddestra il workload gpt-oss-120b sui cluster GKE Ironwood (TPU7x) con Cluster Toolkit Preaddestra il workload gpt-oss-120b sui cluster GKE Ironwood (TPU7x) con JobSet Kubernetes
Qwen3-235b-a22b con BF16 e una topologia 4x8x8 Preaddestra il workload qwen3-235b-a22b sui cluster GKE Ironwood (TPU7x) con Cluster Toolkit Preaddestra il workload qwen3-235b-a22b sui cluster GKE Ironwood (TPU7x) con JobSet Kubernetes

Passaggi successivi