Recursos de TPU en Compute Engine

Puedes crear y administrar TPU con recursos de Compute Engine. En esta página, se proporciona una descripción general conceptual del uso de las TPU con Compute Engine. Mapea los conceptos de TPU a los recursos de Compute Engine y describe el proceso para migrar a Compute Engine.

Conceptos de TPU y Compute Engine

Para administrar los recursos de TPU en Compute Engine, es útil comprender estos conceptos principales de TPU y Compute Engine:

  • VM de TPU: Es una máquina virtual que se conecta directamente al hardware de TPU. Una sola VM de TPU es igual a una porción de host único.
  • Porción de TPU: Es un grupo lógico de chips TPU interconectados al que se accede a través de una o más VMs de TPU. Los segmentos tienen uno de los siguientes alcances:
    • Porción de un solo host: Una porción que consta de una máquina anfitrión. Porción de host único es otra forma de referirse a una sola VM de TPU.
    • Porción de varios host: Es una porción que consta de varias VMs de TPU interconectadas con una interconexión entre chips (ICI) de alta velocidad.

Para crear y administrar recursos de TPU en Compute Engine, usa los siguientes recursos de Compute Engine:

  • Instancia de VM: Es una máquina virtual de Compute Engine. Una porción de TPU de host único se crea como una instancia de VM individual. En la API heredada de Cloud TPU, un segmento de TPU único se representa con un objeto Node de REST.
  • Grupo de instancias administrado (MIG): Es un conjunto de instancias de VM administradas como una sola unidad. Las porciones de TPU de varios hosts se crean como un MIG con una topología de acelerador especificada en una política de carga de trabajo. En la API heredada de Cloud TPU, una o más porciones se representan con objetos QueuedResource o Node de REST.

Mapa conceptual de TPU y Compute Engine

En la siguiente tabla, se describe cómo se asignan los conceptos de TPU a los recursos de Compute Engine:

Concepto de TPU Recurso de Compute Engine Detalles del recurso Caso de uso
VM de TPU Instancia de VM Es una VM de Compute Engine que proporciona acceso directo al hardware de TPU. Tareas individuales de la VM, ejecución de comandos SSH o depuración
Porción de TPU de host único o subhost Instancia de VM o MIG con una sola VM Es una configuración que consta de una máquina anfitrión física. Inferencias con ajuste de escala automático
Porción de TPU de varios hosts MIG con topología de acelerador especificada en la política de carga de trabajo Es un grupo de VMs de TPU interconectadas a través de ICI y administradas como una sola unidad lógica. Entrenamiento distribuido a gran escala que requiere aprovisionamiento atómico

Migra desde la API de Cloud TPU

La API de Cloud TPU ya no está en desarrollo activo. Esto incluye Google Cloud CLI para la API de Cloud TPU y las bibliotecas cliente de Cloud para la API de Cloud TPU. La API de Cloud TPU solo recibirá correcciones de errores y actualizaciones de seguridad. Las nuevas generaciones de hardware, comenzando con TPU7x (Ironwood), solo son compatibles con Compute Engine o Google Kubernetes Engine (GKE). Para obtener las funciones más recientes y la compatibilidad con las versiones de TPU más recientes, migra reemplazando las llamadas heredadas a la API de Cloud TPU por sus equivalentes en Compute Engine o GKE.

Según tus requisitos de orquestación y carga de trabajo, elige una de las siguientes rutas:

  • Compute Engine: Se recomienda para los usuarios que requieren control directo a nivel de la VM o imágenes de SO personalizadas. Para comenzar a aprovisionar TPU en Compute Engine, consulta Guía de inicio rápido: Crea una VM de TPU.
  • GKE: Se recomienda para cargas de trabajo alojadas en contenedores, escalamiento automático y organización a gran escala. Para obtener más información sobre el uso de TPU con GKE, consulta Acerca de las TPU en GKE.

Recursos TPU existentes

Los recursos de TPU creados con la API de Cloud TPU (Node o QueuedResource objetos REST) son incompatibles con Compute Engine y GKE. Para comenzar a usar Compute Engine o GKE, haz lo siguiente:

  • Vuelve a escribir cualquier secuencia de comandos que use la API de Cloud TPU para que use las APIs de Compute Engine o GKE.
  • Borra los recursos con la API de Cloud TPU y vuelve a crearlos con las APIs de Compute Engine o GKE.

Limitaciones

Las TPUs en Compute Engine tienen las siguientes limitaciones:

  • Versiones de TPU: Compute Engine admite v5p, v6e y TPU7x.
  • Modo de capacidad: El modo de capacidad total para las TPU no está disponible con Compute Engine.
  • Multislice: La creación de grupos de porciones de TPU de varios hosts interconectadas no está disponible con Compute Engine. Para usar Multislice, debes usar Google Kubernetes Engine (GKE). Para obtener más información, consulta Implementa TPU Multislices en GKE.
  • Recopilaciones: La programación de recopilaciones no está disponible con Compute Engine. Para usar la programación de recopilación, debes usar GKE. Para obtener más información, consulta Programación de recopilación en la documentación de GKE.

¿Qué sigue?