Acerca de Ironwood (TPU7x) en GKE

En este documento, se proporciona una descripción general de Ironwood (TPU7x) en Google Kubernetes Engine (GKE). Ironwood (TPU7x) es la unidad de procesamiento tensorial (TPU) de séptima generación de Google, diseñada a medida para cargas de trabajo de IA a gran escala. Ofrece una mejora significativa del rendimiento en comparación con las generaciones anteriores de TPU, lo que te permite entrenar y entregar modelos más grandes y complejos.

Características de Ironwood (TPU7x)

Ironwood (TPU7x) presenta funciones únicas que la diferencian de otras versiones de TPU. Estas funciones afectan la disponibilidad, la configuración del grupo de nodos y el rendimiento de las cargas de trabajo.

Para obtener información sobre el hardware subyacente, consulta Arquitectura de Ironwood (TPU7x).

Disponibilidad

Ironwood (TPU7x) está disponible en los clústeres de GKE Standard que ejecutan la versión 1.34.0-gke.2201000 y posteriores, y en los clústeres de Autopilot que ejecutan la versión 1.34.1-gke.3084001 y posteriores.

Política de cargas de trabajo para grupos de nodos de varios hosts

Ironwood (TPU7x) usa una política de carga de trabajo para configurar la ubicación física de la infraestructura subyacente cuando creas grupos de nodos de porción de TPU de varios hosts. Crea una política de cargas de trabajo y, luego, aplícala con la marca --placement-policy. Esta política reemplaza la marca --tpu-topology que usan otras versiones de TPU.

Una política de cargas de trabajo es un tipo de política de recursos que te permite configurar la ubicación física de la infraestructura. Ironwood (TPU7x) admite la política de carga de trabajo de alta capacidad de procesamiento. Esta política coloca las VMs de TPU en la misma ubicación para reducir la latencia de red y te permite definir la estrategia de mantenimiento para minimizar las interrupciones de las cargas de trabajo.

Vinculación a nodos NUMA

La arquitectura de Ironwood (TPU7x) incluye los siguientes elementos:

  • Cada máquina virtual (VM) de Ironwood (TPU7x) contiene cuatro chips y dos NIC.
  • Cada VM contiene dos nodos de acceso no uniforme a la memoria (NUMA).
  • Los recursos de CPU, memoria y NIC se dividen de manera equitativa entre los dos nodos de NUMA.

Acceder a recursos en diferentes nodos de NUMA (acceso entre NUMA) puede generar cuellos de botella de rendimiento en tus cargas de trabajo. Por lo tanto, para optimizar el rendimiento de tu carga de trabajo, GKE te permite implementar tus cargas de trabajo en una configuración de varios contenedores. Esto vincula cada contenedor a los recursos de CPU, memoria y TPU dentro de un nodo NUMA determinado.

Implementaciones de referencia de LLM

Para aprender a implementar modelos de lenguaje grandes (LLM) en Ironwood (TPU7x), consulta las siguientes implementaciones de referencia. Puedes usar una de las siguientes opciones para crear clústeres:

  • Cluster Toolkit: Usa Cluster Toolkit para automatizar la creación de clústeres y la implementación de tus cargas de trabajo. El kit de herramientas proporciona planos de diseño de referencia que incorporan prácticas recomendadas para configurar Ironwood (TPU7x) en GKE. Para obtener más información, consulta Implementa un clúster de Ironwood (TPU7x) de GKE.
  • GKE en Google Cloud CLI: Usa Google Cloud CLI para crear la instancia de tu clúster de GKE de forma manual y personalizar o expandir con precisión los entornos de producción de GKE existentes.
LLM Cluster Toolkit CLI de GKE en Google Cloud CLI
Llama 70b con BF16 y una topología 4x4x4 Entrena previamente la carga de trabajo de llama3.1-70b en clústeres de GKE de Ironwood (TPU7x) con Cluster Toolkit Preentrena la carga de trabajo de llama3.1-70b en clústeres de GKE de Ironwood (TPU7x) con JobSet de Kubernetes
DeepSeek con BF16 y una topología 4x4x8 Entrena previamente la carga de trabajo de deepseek3-671b en clústeres de GKE de Ironwood (TPU7x) con Cluster Toolkit Entrena previamente la carga de trabajo de deepseek3-671b en clústeres de GKE de Ironwood (TPU7x) con JobSet de Kubernetes
GPT-oss-120b con BF16 y una topología 4x4x4 Preentrena la carga de trabajo gpt-oss-120b en clústeres de GKE de Ironwood (TPU7x) con Cluster Toolkit Entrena previamente la carga de trabajo gpt-oss-120b en clústeres de GKE de Ironwood (TPU7x) con JobSet de Kubernetes
Qwen3-235b-a22b con BF16 y una topología 4x8x8 Entrena previamente la carga de trabajo qwen3-235b-a22b en clústeres de GKE de Ironwood (TPU7x) con Cluster Toolkit Entrena previamente la carga de trabajo qwen3-235b-a22b en clústeres de GKE de Ironwood (TPU7x) con JobSet de Kubernetes

¿Qué sigue?