Recursos de Cloud TPU en Compute Engine

Puedes crear y administrar unidades de procesamiento tensorial (TPUs) con recursos de Compute Engine. En esta página, se proporciona una descripción general conceptual del uso de TPUs con Compute Engine. Se asignan conceptos de TPU a recursos de Compute Engine y se describen los flujos de trabajo de alto nivel para crear recursos de TPU.

Conceptos principales de TPU

Para administrar recursos de TPU en Compute Engine, es útil comprender estos conceptos principales de TPU:

  • VM de TPU: Es una máquina virtual que se conecta directamente al hardware de TPU.
  • Porción de TPU: Es un grupo lógico de chips de TPU interconectados, a los que se accede a través de una o más VMs de TPU. Las porciones tienen uno de los siguientes alcances:
    • Porción de host único: Es una porción que consta de una máquina anfitrión. En general, esto se asigna a una VM de TPU.
    • Porción de varios hosts: Es una porción que consta de varias VMs de TPU interconectadas mediante una interconexión entre chips (ICI) de alta velocidad.

    Mapa de conceptos de TPU y Compute Engine

    En la siguiente tabla, se describe cómo se asignan los conceptos de TPU a los recursos de Compute Engine:

    Concepto de Cloud TPU Recurso de Compute Engine Detalles del recurso Caso de uso
    VM de TPU Instancia de VM Una VM de Compute Engine que proporciona acceso directo al hardware de TPU. Tareas individuales de VM, ejecución de comandos SSH o depuración
    Porción de TPU de host único Instancia de VM o MIG con una sola VM Una configuración que consta de una máquina anfitrión física. Inferencia con ajuste de escala automático
    Porción de TPU de varios hosts MIG con topología de acelerador especificada en la política de carga de trabajo Un grupo de VMs de TPU interconectadas mediante ICI, administradas como una sola unidad lógica. Entrenamiento distribuido a gran escala que requiere aprovisionamiento atómico

    Migra desde la API de Cloud TPU

    La API de Cloud TPU, incluida Google Cloud CLI y las bibliotecas cliente de Cloud para Cloud TPU, ya no está en desarrollo activo. La API de Cloud TPU solo recibirá correcciones de errores y actualizaciones de seguridad. Las nuevas generaciones de hardware, a partir de TPU7x (Ironwood), solo son compatibles con Compute Engine o Google Kubernetes Engine (GKE). Para obtener las funciones más recientes y la compatibilidad con las versiones más recientes de TPU, migra reemplazando tus llamadas heredadas a la API de Cloud TPU por sus equivalentes en Compute Engine o GKE.

    Según tus requisitos de orquestación y carga de trabajo, elige una de las siguientes rutas:

    • Compute Engine: Se recomienda para los usuarios que requieren control directo a nivel de VM o imágenes de SO personalizadas. Para comenzar a aprovisionar TPUs en Compute Engine, consulta Guía de inicio rápido: Crea una VM de TPU.
    • GKE: Se recomienda para cargas de trabajo alojadas en contenedores, ajuste de escala automático y orquestación a gran escala. Para obtener más información sobre el uso de TPUs con GKE, consulta Acerca de las TPUs en GKE.

    Recursos de TPU existentes

    Los recursos de TPU creados con la API de Cloud TPU (objetos REST Node o QueuedResource) no son compatibles con Compute Engine ni GKE. Para comenzar a usar Compute Engine o GKE, haz lo siguiente:

    • Vuelve a escribir cualquier secuencia de comandos que use la API de Cloud TPU para usar las APIs de Compute Engine o GKE.
    • Borra los recursos con la API de Cloud TPU y vuelve a crearlos con las APIs de Compute Engine o GKE.

    Limitaciones

    Las TPUs en Compute Engine tienen las siguientes limitaciones:

    • Versiones de TPU: Compute Engine admite v5p, v6e y TPU7x.
    • Modo de capacidad: El modo All Capacity para TPUs no está disponible con Compute Engine.
    • Porciones múltiples: La creación de grupos de porciones de TPU de varios hosts interconectadas no está disponible con Compute Engine. Para usar porciones múltiples, debes usar Google Kubernetes Engine (GKE). Para obtener más información, consulta Implementa porciones múltiples de TPU en GKE.
    • Colecciones: La programación de colecciones no está disponible con Compute Engine. Para usar la programación de colecciones, debes usar GKE. Para obtener más información, consulta Programación de colecciones en la documentación de GKE.

    ¿Qué sigue?