Instancias de TPU en MIG

Los grupos de instancias administrados (MIG) automatizan la creación, la configuración y la administración del ciclo de vida de una colección de VMs. Los MIG proporcionan beneficios, como alta disponibilidad a través de la reparación automática y las implementaciones regionales (multizona), el escalado automático para controlar cargas variables y las actualizaciones progresivas simplificadas para las aplicaciones. Para obtener más información, consulta Grupos de instancias administrados.

Puedes usar MIG para crear y administrar VMs de TPU para las versiones de TPU v5p, v6e y TPU7x. Puedes crear MIG con una sola VM de TPU, VMs de TPU independientes (también llamadas porciones de host único) y MIG con VMs de TPU interconectadas (también llamadas porciones de varios hosts).

Cada porción en un MIG de host único tiene, como máximo, una VM de TPU. Las VMs de TPU dentro del MIG no están conectadas con vínculos de interconexión entre chips (ICI).

Una porción de varios hosts contiene varias VMs de TPU que están interconectadas con vínculos de ICI.

MIG con porciones de TPU de host único

Crear un grupo de instancias administrado (MIG) con varias instancias de TPU independientes es beneficioso para las cargas de trabajo que requieren varias VMs de TPU individuales, pero no necesitan que estén interconectadas con vínculos de ICI para cargas de trabajo distribuidas. Por ejemplo:

  • Entrega de inferencias: Cada VM en el MIG puede controlar de forma independiente las solicitudes de inferencia. Un MIG te permite escalar la cantidad de instancias de entrega según la demanda y administrarlas como un grupo.
  • Tareas independientes paralelas: Un MIG proporciona una forma de administrar muchos trabajos de entrenamiento pequeños e independientes o de otros cálculos que se pueden ejecutar en paralelo en VMs de TPU individuales.
  • Administración: Los MIG proporcionan las siguientes funciones:
    • Implementación: Define una plantilla de instancias una vez y usa el MIG para crear varias VMs de TPU idénticas.
    • Escalabilidad: Ajusta la cantidad de VMs de TPU cambiando el tamaño del MIG.
    • Actualizaciones progresivas: Actualiza el software o el tipo de máquina en todas las VMs de forma controlada.
  • Rentabilidad: Para las tareas que no requieren la potencia o la interconectividad completas de una porción de TPU grande, usar varias porciones de TPU más pequeñas e independientes puede ser más rentable.

Para obtener más información, consulta Crea un MIG con porciones de TPU de host único.

MIG con una porción de varios hosts

A diferencia de los grupos de porciones de TPU independientes, un MIG configurado para una porción de varios hosts administra un conjunto de VMs de TPU que están estrechamente acopladas a través de vínculos de ICI. Esto crea una sola porción de TPU lógica.

Beneficios y rendimiento

Los MIG para porciones de TPU de varios hosts proporcionan la escala y el rendimiento necesarios para las cargas de trabajo de aprendizaje automático intensivas.

  • Entrenamiento distribuido: El entrenamiento de modelos de aprendizaje automático suele requerir más potencia de TPU de la que puede proporcionar una sola VM de TPU. Las porciones de TPU más grandes distribuyen el procesamiento entre muchos chips TPU y VMs, y los vínculos de ICI permiten una comunicación rápida entre ellos. Esto es fundamental para el rendimiento del entrenamiento.
  • Ancho de banda de interconexión alto: La red de ICI proporciona un mayor ancho de banda y una menor latencia entre los chips TPU de la porción que la red estándar del centro de datos (DCN). Esto es esencial para las operaciones síncronas comunes en el entrenamiento de modelos grandes.

Operaciones atómicas del ciclo de vida

Para garantizar la integridad de la topología interconectada, el MIG administra todo el segmento como una sola unidad indivisible durante todo su ciclo de vida.

  • Creación: Todas las VMs de la porción se aprovisionan juntas. Si no hay suficiente capacidad en buen estado e interconectada disponible para toda la topología solicitada, no se crea la porción.
  • Borrado: El MIG borra todo el segmento como una unidad.
  • Cambio de tamaño: El cambio de tamaño se restringe al escalamiento de 0 al tamaño completo de la porción, o del tamaño completo de la porción a 0. No puedes cambiar el tamaño de una porción de varias VM de forma parcial.

Requisitos de configuración

Para configurar un MIG de varios hosts, se debe definir la topología de interconexión física y las propiedades de las instancias individuales.

  • Política de carga de trabajo: Debes especificar una política de carga de trabajo con el parámetro accelerator-topology (por ejemplo, 4x4, 8x8 o 4x4x4). Esto configura el MIG para que trate las instancias como una sola porción interconectada. Para obtener información sobre la topología, consulta Arquitectura del sistema.
  • Plantilla de instancias: Define propiedades como el tipo de máquina, la imagen de disco y otros parámetros de configuración para cada VM dentro de la porción.

Disponibilidad de Slice y recuperación de fallas

Cuando usas MIG para crear una porción de TPU de varios hosts, el comportamiento de recuperación ante fallas depende del modelo de aprovisionamiento y del modo de reserva que uses:

  • Cuando un MIG usa reservas a pedido, de inicio flexible o de otro tipo (excepto las reservas en el modo All Capacity). En esta situación, Compute Engine administra automáticamente el proceso de recuperación de porciones. Si se produce una falla en el host o en la ICI, la porción pasa al estado REACTIVATING. Todas las VMs de la porción pasan al estado REPAIRING, aunque no necesariamente todas al mismo tiempo. Luego, Compute Engine recupera automáticamente el segmento reiniciando las VMs juntas en una capacidad en buen estado.

  • Cuando un MIG usa el modelo de aprovisionamiento spot En esta situación, eres responsable de administrar el proceso de recuperación de porciones. Si se produce la interrupción de las VMs Spot, Compute Engine finaliza todas las instancias de la porción. La porción pasa al estado FAILED y las VMs pasan al estado TERMINATED. Para recuperarte del estado de error, debes volver a crear la porción de forma manual.

  • Cuando un MIG usa reservas en el modo All Capacity. En esta situación, eres responsable de administrar el proceso de recuperación de porciones. Si se produce un error, la porción pasa al estado FAILED y debes volver a crearla de forma manual.

    El comportamiento en el modo All Capacity también depende de lo siguiente:

    • Falla del host o VM defectuosa informada. La VM afectada pasa al estado REPAIRING. Una vez que se corrige el hardware subyacente, la VM vuelve al estado RUNNING.
    • Próximo mantenimiento de emergencia. Cuando inicias un evento de mantenimiento de forma manual, las VMs pasan del estado RUNNING al REPAIRING. Después de que finalice el mantenimiento, la VM volverá al estado RUNNING.
    • Falla de ICI. Las VMs permanecen en el estado RUNNING, pero el estado de la porción cambia al estado FAILED.

Para volver a crear una porción después de la interrupción de las VMs Spot o una falla en el modo de capacidad total, debes realizar una de las siguientes acciones:

  • Borra y vuelve a crear el MIG.
  • Cambia el tamaño del MIG a 0 y, luego, auméntalo al tamaño requerido.

Recuperación ante fallas por interrupción de una instancia

Si borras o detienes una instancia de TPU, o detienes una instancia desde el sistema operativo, la porción pasa al estado FAILED. En esta situación, la porción permanece en el estado FAILED hasta que la vuelvas a crear. Para volver a crear la porción, debes borrar y volver a crear el MIG, o cambiar el tamaño del MIG a 0 y, luego, aumentar su tamaño.

Para obtener más información sobre los estados de las porciones, consulta Visualiza el estado de una porción de TPU.

Limitaciones

En las siguientes secciones, se explican las limitaciones para crear un MIG con VMs de TPU.

Limitaciones de las plantillas de instancias

Las plantillas de instancias que especifican un tipo de máquina de TPU tienen las siguientes limitaciones:

  • Cuando uses el modelo de aprovisionamiento vinculado a la reserva, debes configurar la acción de finalización de la instancia para que se borre.

  • Las TPU solo pueden consumir reservas orientadas específicamente.

  • No puedes especificar una política de posición.

  • No debes inhabilitar el reinicio automático en los siguientes casos:

    • Porciones de varios hosts que usan modelos de aprovisionamiento estándar, de inicio flexible o vinculados a reservas (incluido el modo All Capacity).

    • Host único con el modelo de aprovisionamiento vinculado a la reserva en el modo All Capacity.

  • No debes habilitar el reinicio automático cuando uses el modelo de aprovisionamiento Spot.

Limitaciones de los MIG

Los MIG con TPU tienen las siguientes limitaciones:

  • Operaciones de ciclo de vida: No puedes detener, iniciar, reanudar ni suspender instancias de TPU. Para cambiar los parámetros de configuración que requieren un reinicio o para dejar de generar cargos, debes borrar las instancias.

  • Distribución de zonas de MIG regionales: Debes configurar la forma de distribución objetivo como ANY_SINGLE_ZONE.

  • Actualizaciones de configuración en un MIG:

    • No puedes actualizar un MIG que forme una porción de TPU de varios hosts debido a la topología de acelerador definida.
    • Puedes actualizar un MIG que forme porciones de TPU de host único con los métodos automáticos o selectivos. Sin embargo, las actualizaciones de la porción de TPU de host único no admiten la acción de reinicio (RESTART). Si es necesario reiniciar y la acción más disruptiva permitida es reemplazar (REPLACE), el actualizador reemplazará la instancia; de lo contrario, el intento de actualización fallará con un error.

  • Para un MIG que forma una porción de TPU de varios hosts, también se aplican las siguientes limitaciones:

    • Política de tamaño objetivo: Debes establecer el modo de política de tamaño objetivo en BULK. Una vez que establezcas este modo, no podrás cambiarlo.

    • Tamaño objetivo: En el modo masivo, puedes establecer el tamaño objetivo en 0 o en la cantidad de instancias que se requieren para formar la topología del acelerador.

    • Política de carga de trabajo: Debes especificar una política de carga de trabajo en la que se defina la topología del acelerador. Después de establecer la política de cargas de trabajo, no puedes cambiarla ni quitarla del MIG.

    • Reparaciones iniciadas por el MIG: Debes desactivar las reparaciones iniciadas por el MIG configurando el campo defaultActionOnFailure como DO_NOTHING. En esta configuración, el MIG no realiza ninguna acción en una instancia con errores. Compute Engine recupera automáticamente la instancia con errores reiniciando todas las instancias de la misma porción con capacidad en buen estado.

  • Funciones no admitidas: Los MIG con TPU no admiten las siguientes funciones:

¿Qué sigue?