Crea VMs de TPU con inicio flexible con Compute Engine

Las VMs de TPU con inicio flexible, que cuentan con la tecnología del programador dinámico de cargas de trabajo, ofrecen una forma flexible y rentable de acceder a los recursos de TPU para las cargas de trabajo de IA durante un máximo de 7 días sin reservas a largo plazo. Cuando solicitas VMs de TPU con inicio flexible, tu solicitud permanece en una cola hasta que haya capacidad disponible. Una vez aprovisionadas, las VMs de TPU se ejecutarán durante el período que hayas especificado.

Las VMs de TPU con inicio flexible son una buena opción para la experimentación rápida, las pruebas a pequeña escala, el aprovisionamiento dinámico de TPU destinado a cargas de trabajo de inferencia, el ajuste de modelos y las ejecuciones de cargas de trabajo que tardan menos de 7 días. Para obtener más información sobre otras opciones de consumo de TPU, consulta Opciones de consumo de Cloud TPU.

Puedes borrar los recursos de TPU en cualquier momento para detener la facturación. Para obtener más información sobre los precios de las TPU, consulta Precios de Cloud TPU.

Limitaciones

Las VMs de TPU con inicio flexible tienen las limitaciones que se indican a continuación:

  • Puedes solicitar VMs de TPU con inicio flexible para un período de hasta 7 días.
  • Puedes solicitar las siguientes versiones y zonas de Cloud TPU:
    • TPU7x: us-central1-c
    • TPU v6e: asia-northeast1-b, us-east5-a, us-south1-ai1b
    • TPU v5p: us-east5-a

Los MIG con TPU tienen las siguientes limitaciones:

  • Operaciones de ciclo de vida: No puedes detener, iniciar, reanudar ni suspender instancias de TPU. Para cambiar la configuración que requiere un reinicio o dejar de generar cargos, debes borrar las instancias.

  • Distribución de zonas del MIG regional: Debes establecer la forma de distribución objetivo en ANY_SINGLE_ZONE.

  • Actualizaciones de configuración en un MIG:

    • No puedes actualizar un MIG que forma una porción de TPU multihost debido a la topología de acelerador definida.
    • Puedes actualizar un MIG que forma segmentos de TPU de host único con los métodos automático o selectivo. Sin embargo, las actualizaciones de segmentos de TPU de host único no admiten la acción de reinicio (RESTART). Si es necesario un reinicio y la acción más disruptiva permitida es reemplazar (REPLACE), el actualizador reemplazará la instancia; de lo contrario, el intento de actualización fallará con un error.

  • En el caso de un MIG que forma una porción de TPU de varios hosts, también se aplican las siguientes limitaciones:

    • Política de tamaño objetivo: Debes establecer el modo de política de tamaño objetivo en BULK. Una vez que establezcas este modo, no podrás cambiarlo.

    • Tamaño objetivo: En el modo masivo, puedes establecer el tamaño objetivo en 0 o en la cantidad de instancias que se requieren para formar la topología del acelerador.

    • Política de carga de trabajo: Debes especificar una política de carga de trabajo en la que se defina la topología del acelerador. Después de establecer la política de carga de trabajo, no podrás cambiarla ni quitarla del MIG.

  • Funciones no admitidas: Las MIG con TPU no admiten las siguientes funciones:

Antes de comenzar

Antes de solicitar VMs de TPU con inicio flexible, debes seguir los pasos que se indican más abajo:

  • Instalar la Google Cloud CLI
  • Crear un proyecto de Google Cloud
  • Habilita la API de Compute Engine (compute.googleapis.com).
  • Asegúrate de tener los permisos necesarios:
    • roles/compute.instanceAdmin.v1
    • roles/iam.serviceAccountUser

Para obtener más información, consulta Configura un proyecto de Google Cloud para TPUs.

Asegúrate de tener suficiente cuota de recursos interrumpibles para usar las VMs de TPU con inicio flexible. Si tu carga de trabajo requiere más núcleos que tu asignación actual, puedes solicitar un aumento de la cuota. Para obtener más información, consulta Cuotas de Cloud TPU.

Crea VMs de TPU con inicio flexible con MIGs

Para usar las VMs de TPU Flex-start, debes crear un grupo de instancias administrado (MIG) con una configuración específica de la plantilla de instancias.

Para obtener instrucciones generales sobre cómo crear VMs de inicio flexible, consulta Crea VMs de inicio flexible.

Crea VMs de TPU con inicio flexible con una porción de varios hosts

Crea una plantilla de instancias

Crea una plantilla de instancias que especifique el modelo de aprovisionamiento FLEX_START y la duración de ejecución que elijas.

gcloud compute instance-templates create TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --provisioning-model=FLEX_START \
    --instance-termination-action=DELETE \
    --max-run-duration=DURATION \
    --region=REGION \
    --maintenance-policy=TERMINATE

Reemplaza los marcadores de posición que se indican más abajo:

  • TEMPLATE_NAME: El nombre de la plantilla de instancias.
  • MACHINE_TYPE: Es el tipo de máquina de la VM de TPU (por ejemplo, ct6e-standard-8t).
  • IMAGE_FAMILY: Es la familia de imagen de SO para la VM de TPU (por ejemplo, ubuntu-accelerator-2204-amd64-with-tpu-v6e).
  • IMAGE_PROJECT: Es el proyecto de imagen de SO para la VM de TPU (por ejemplo, ubuntu-os-accelerator-images).
  • DURATION: Es la duración máxima de ejecución (por ejemplo, 7d para 7 días).
  • REGION: Región en la que se creará la plantilla de instancias.

Crear una política de cargas de trabajo

El siguiente comando crea una política de cargas de trabajo. Esto es opcional para las segmentaciones de un solo host.

gcloud compute resource-policies create workload WORKLOAD_POLICY_NAME \
  --type=high-throughput \
  --accelerator-topology=TOPOLOGY

Reemplaza los marcadores de posición que se indican más abajo:

  • WORKLOAD_POLICY_NAME: Es el nombre de tu política de carga de trabajo.
  • TOPOLOGY: Es la topología de las VMs de TPU, por ejemplo, 4x4x8.

Crea el MIG

Crea el MIG con la plantilla.

gcloud compute instance-groups managed create MIG_NAME \
    --zone=ZONE \
    --template=TEMPLATE_NAME \
    --size=SIZE \
    --workload-policy=projects/PROJECT_ID/regions/WORKLOAD_POLICY_REGION/resourcePolicies/WORKLOAD_POLICY_NAME \
    --target-size-policy-mode=bulk

Reemplaza los marcadores de posición que se indican más abajo:

  • MIG_NAME: Es el nombre de tu MIG.
  • ZONE: Es la zona de tu MIG.
  • TEMPLATE_NAME: El nombre de la plantilla de instancias.
  • SIZE: Es la cantidad de instancias que se crearán.
  • PROJECT_ID: Es el ID de tu proyecto de Google Cloud .
  • WORKLOAD_POLICY_REGION: Es la región en la que se define la política de carga de trabajo.
  • WORKLOAD_POLICY_NAME: Es el nombre de tu política de carga de trabajo.

Crea VMs de TPU con inicio flexible con segmentos de host único

Crea una plantilla de instancias

Crea una plantilla de instancias que especifique el modelo de aprovisionamiento FLEX_START y la duración de ejecución que elijas.

gcloud compute instance-templates create TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --provisioning-model=FLEX_START \
    --instance-termination-action=DELETE \
    --max-run-duration=DURATION \
    --region=REGION \
    --maintenance-policy=TERMINATE

Reemplaza los marcadores de posición que se indican más abajo:

  • TEMPLATE_NAME: El nombre de la plantilla de instancias.
  • MACHINE_TYPE: Es el tipo de máquina de la VM de TPU (por ejemplo, ct6e-standard-8t).
  • IMAGE_FAMILY: Es la familia de imagen de SO para la VM de TPU (por ejemplo, ubuntu-accelerator-2204-amd64-with-tpu-v6e).
  • IMAGE_PROJECT: Es el proyecto de imagen de SO para la VM de TPU (por ejemplo, ubuntu-os-accelerator-images).
  • DURATION: Es la duración máxima de ejecución (por ejemplo, 7d para 7 días).
  • REGION: Región en la que se creará la plantilla de instancias.

Crear una política de cargas de trabajo

El siguiente comando crea una política de cargas de trabajo. Esto es opcional para las segmentaciones de un solo host.

gcloud compute resource-policies create workload WORKLOAD_POLICY_NAME \
  --type=high-throughput

Reemplaza los marcadores de posición que se indican más abajo:

  • WORKLOAD_POLICY_NAME: Es un nombre para tu política de carga de trabajo.

Crea el MIG

Crea el MIG con la plantilla.

gcloud compute instance-groups managed create MIG_NAME \
    --zone=ZONE \
    --template=TEMPLATE_NAME \
    --size=SIZE \
    --workload-policy=projects/PROJECT_ID/regions/WORKLOAD_POLICY_REGION/resourcePolicies/WORKLOAD_POLICY_NAME

Reemplaza los marcadores de posición que se indican más abajo:

  • MIG_NAME: Es el nombre de tu MIG.
  • ZONE: Es la zona de tu MIG.
  • TEMPLATE_NAME: El nombre de la plantilla de instancias.
  • SIZE: Es la cantidad de instancias que se crearán.
  • PROJECT_ID: Es el ID de tu proyecto de Google Cloud .
  • WORKLOAD_POLICY_REGION: Región en la que se define la política de cargas de trabajo.
  • WORKLOAD_POLICY_NAME: El nombre de tu política de carga de trabajo.