Recursos de Cloud TPU en Compute Engine

Puedes crear y administrar TPU con recursos de Compute Engine. En esta página, se proporciona una descripción general conceptual del uso de TPU con Compute Engine. Se asignan conceptos de Cloud TPU a recursos de Compute Engine y se describe el proceso para migrar a Compute Engine.

Conceptos principales de Cloud TPU

Para administrar recursos de TPU en Compute Engine, es útil comprender estos conceptos principales de TPU:

  • VM de TPU: Es una máquina virtual que se conecta directamente al hardware de TPU. Una sola VM de TPU es lo mismo que una porción de host único.
  • Porción de TPU: Es un grupo lógico de chips TPU interconectados, a los que se accede a través de una o más VMs de TPU. En la API de TPU, una sola porción de TPU se representa con un objeto REST Node o QueuedResource. Las porciones tienen uno de los siguientes alcances:
    • Porción de host único: Es una porción que consta de una máquina anfitrión. Porción de host único es otra forma de referirse a una sola VM de TPU.
    • Porción de varios hosts: Es una porción que consta de varias VMs de TPU interconectadas mediante una interconexión entre chips (ICI) de alta velocidad.
No usas los siguientes objetos de la API de Cloud TPU cuando administras recursos de TPU en Compute Engine, pero proporcionan un contexto útil si estás familiarizado con la API heredada de Cloud TPU:

  • Node: Es un objeto REST de la API heredada de Cloud TPU que representa una sola porción de TPU. En Compute Engine, esto se asigna a una instancia de VM o a un grupo de instancias administrado (MIG).
  • QueuedResource: Es un objeto REST de la API heredada de Cloud TPU que representa una o más porciones de TPU. Los recursos en cola se usan para solicitar y administrar la capacidad de TPU a través de una cola. En Compute Engine, las VMs de inicio flexible proporcionan una funcionalidad similar.

Mapa conceptual de TPU y Compute Engine

En la siguiente tabla, se describe cómo se asignan los conceptos de TPU a los recursos de Compute Engine:

Concepto de Cloud TPU Recurso de Compute Engine Detalles del recurso Caso de uso
VM de TPU Instancia de VM Una VM de Compute Engine que proporciona acceso directo al hardware de TPU. Tareas individuales de VM, ejecución de comandos SSH o depuración
Porción de TPU de host único o subhost Instancia de VM o MIG con una sola VM Una configuración que consta de una máquina anfitrión física. Inferencia con ajuste de escala automático
Porción de TPU de varios hosts MIG con topología de acelerador especificada en la política de carga de trabajo Un grupo de VMs de TPU interconectadas mediante ICI, administradas como una sola unidad lógica. Entrenamiento distribuido a gran escala que requiere aprovisionamiento atómico

Migra desde la API de Cloud TPU

La API de Cloud TPU ya no está en desarrollo activo. Esto incluye Google Cloud CLI para la API de Cloud TPU y las bibliotecas cliente de Cloud para la API de Cloud TPU. La API de Cloud TPU solo recibirá correcciones de errores y actualizaciones de seguridad. Las nuevas generaciones de hardware, a partir de TPU7x (Ironwood), solo son compatibles con Compute Engine o Google Kubernetes Engine (GKE). Para obtener las funciones más recientes y la compatibilidad con las versiones más recientes de TPU, migra reemplazando tus llamadas heredadas a la API de Cloud TPU por sus equivalentes en Compute Engine o GKE.

Según tus requisitos de orquestación y carga de trabajo, elige una de las siguientes rutas:

  • Compute Engine: Se recomienda para los usuarios que requieren control directo a nivel de VM o imágenes de SO personalizadas. Para comenzar a aprovisionar TPU en Compute Engine, consulta la Guía de inicio rápido: Crea una VM de TPU.
  • GKE: Se recomienda para cargas de trabajo alojadas en contenedores, ajuste de escala automático y orquestación a gran escala. Para obtener más información sobre el uso de TPU con GKE, consulta Acerca de las TPU en GKE.

Recursos de TPU existentes

Los recursos de TPU creados con la API de Cloud TPU (objetos REST Node o QueuedResource) no son compatibles con Compute Engine y GKE. Para comenzar a usar Compute Engine o GKE, haz lo siguiente:

  • Vuelve a escribir cualquier secuencia de comandos que use la API de Cloud TPU para usar las APIs de Compute Engine o GKE.
  • Borra los recursos con la API de Cloud TPU y vuelve a crearlos con las APIs de Compute Engine o GKE.

Limitaciones

Las TPU en Compute Engine tienen las siguientes limitaciones:

  • Versiones de TPU: Compute Engine admite v5p, v6e y TPU7x.
  • Modo de capacidad: El modo Todas las capacidades para TPU no está disponible con Compute Engine.
  • Multislice: La creación de grupos de porciones de TPU de varios hosts interconectadas no está disponible con Compute Engine. Para usar Multislice, debes usar Google Kubernetes Engine (GKE). Para obtener más información, consulta Implementa Multislices de TPU en GKE.
  • Colecciones: La programación de colecciones no está disponible con Compute Engine. Para usar la programación de colecciones, debes usar GKE. Para obtener más información, consulta Programación de colecciones en la documentación de GKE.

¿Qué sigue?