Créer des VM TPU à démarrage flexible avec Compute Engine

Les VM TPU à démarrage flexible, optimisées par le planificateur de charges de travail dynamiques, offrent un moyen flexible et économique d'accéder aux ressources TPU pour les charges de travail d'IA pendant sept jours maximum, sans réservation à long terme. Lorsque vous demandez des VM TPU à démarrage flexible, votre requête reste dans une file d'attente jusqu'à ce que la capacité soit disponible. Une fois provisionnées, les VM TPU s'exécutent pendant la durée que vous avez spécifiée.

Les VM TPU à démarrage flexible conviennent bien aux expérimentations rapides, aux tests à petite échelle, au provisionnement dynamique de TPU pour les charges de travail d'inférence, au réglage précis des modèles et aux exécutions de charges de travail qui durent moins de sept jours. Pour en savoir plus sur les autres options de consommation de TPU, consultez Options de consommation de Cloud TPU.

Vous pouvez supprimer vos ressources TPU à tout moment pour mettre fine à la facturation. Pour en savoir plus sur la tarification des TPU, consultez Tarifs de Cloud TPU.

Limites

Les VM TPU à démarrage flexible présentent les limites suivantes :

  • Vous ne pouvez demander des VM TPU à démarrage flexible que pour une durée maximale de sept jours.
  • Vous pouvez demander les versions et les zones Cloud TPU suivantes :
    • TPU7x : us-central1-c
    • TPU v6e : asia-northeast1-b, us-east5-a, us-south1-ai1b
    • TPU v5p : us-east5-a

Les MIG avec TPU présentent les limites suivantes :

  • Opérations de cycle de vie : vous ne pouvez pas arrêter, démarrer, reprendre ni suspendre les instances de TPU. Pour modifier les configurations qui nécessitent un redémarrage ou pour ne plus être facturé, vous devez supprimer les instances.

  • Distribution des zones du MIG régional : vous devez définir la forme de distribution cible sur ANY_SINGLE_ZONE.

  • Mises à jour de configuration dans un MIG :

    • Vous ne pouvez pas mettre à jour un MIG qui forme une tranche TPU multi-hôtes en raison de la topologie d'accélérateur définie.
    • Vous pouvez mettre à jour un MIG qui forme des tranches de TPU à hôte unique à l'aide des méthodes automatique ou sélective. Toutefois, les mises à jour pour les tranches de TPU à hôte unique ne sont pas compatibles avec l'action de redémarrage (RESTART). Si un redémarrage est nécessaire et que l'action la plus perturbatrice autorisée est le remplacement (REPLACE), le programme de mise à jour remplace l'instance. Sinon, la tentative de mise à jour échoue et une erreur est générée.

  • Pour un MIG qui forme une tranche TPU multi-hôte, les limites suivantes s'appliquent également :

    • Règle de taille cible : vous devez définir le mode de règle de taille cible sur BULK. Une fois ce mode défini, vous ne pouvez plus le modifier.

    • Taille cible : en mode groupé, vous pouvez définir la taille cible sur 0 ou sur le nombre d'instances nécessaires pour former la topologie d'accélérateur.

    • Règle de charge de travail : vous devez spécifier une règle de charge de travail dans laquelle la topologie de l'accélérateur est définie. Une fois que vous avez défini la règle de charge de travail, vous ne pouvez plus la modifier ni la supprimer du MIG.

  • Fonctionnalités non compatibles : les MIG avec TPU ne sont pas compatibles avec les fonctionnalités suivantes :

Avant de commencer

Avant de demander des VM TPU à démarrage flexible, vous devez :

  • Installez la Google Cloud CLI
  • Créez un projet Google Cloud
  • Activez l'API Compute Engine (compute.googleapis.com).
  • Assurez-vous de disposer des autorisations requises :
    • roles/compute.instanceAdmin.v1
    • roles/iam.serviceAccountUser

Pour en savoir plus, consultez Configurer un projet Google Cloud pour les TPU.

Assurez-vous de disposer d'un quota préemptif suffisant pour utiliser les VM TPU à démarrage flexible. Si votre charge de travail nécessite plus de cœurs que votre allocation actuelle, vous pouvez demander une augmentation de quota. Pour en savoir plus, consultez Quotas Cloud TPU.

Créer des VM TPU à démarrage flexible avec des MIG

Pour utiliser des VM TPU à démarrage flexible, vous devez créer un groupe d'instances géré (MIG) avec une configuration de modèle d'instance spécifique.

Pour obtenir des instructions générales sur la création de VM à démarrage flexible, consultez Créer des VM à démarrage flexible.

Créer des VM TPU à démarrage flexible avec une tranche multi-hôtes

Créer un modèle d'instance

Créez un modèle d'instance spécifiant le modèle d'approvisionnement FLEX_START et la durée d'exécution de votre choix.

gcloud compute instance-templates create TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --provisioning-model=FLEX_START \
    --instance-termination-action=DELETE \
    --max-run-duration=DURATION \
    --region=REGION \
    --maintenance-policy=TERMINATE

Remplacez les espaces réservés suivants :

  • TEMPLATE_NAME : nom de votre modèle d'instance.
  • MACHINE_TYPE : type de machine pour la VM TPU (par exemple, ct6e-standard-8t).
  • IMAGE_FAMILY : famille d'images de l'OS pour la VM TPU (par exemple, ubuntu-accelerator-2204-amd64-with-tpu-v6e)
  • IMAGE_PROJECT : projet d'image d'OS pour la VM TPU (par exemple, ubuntu-os-accelerator-images).
  • DURATION : durée d'exécution maximale (par exemple, 7d pour sept jours).
  • REGION : Région dans laquelle créer le modèle d'instance.

Créer une règle de charge de travail

La commande suivante crée une règle de charge de travail. Cette option est facultative pour les tranches à hôte unique.

gcloud compute resource-policies create workload WORKLOAD_POLICY_NAME \
  --type=high-throughput \
  --accelerator-topology=TOPOLOGY

Remplacez les espaces réservés suivants :

  • WORKLOAD_POLICY_NAME : nom de votre stratégie de charge de travail.
  • TOPOLOGY : topologie des VM TPU, par exemple 4x4x8.

Créer le MIG

Créez le MIG à l'aide du modèle.

gcloud compute instance-groups managed create MIG_NAME \
    --zone=ZONE \
    --template=TEMPLATE_NAME \
    --size=SIZE \
    --workload-policy=projects/PROJECT_ID/regions/WORKLOAD_POLICY_REGION/resourcePolicies/WORKLOAD_POLICY_NAME \
    --target-size-policy-mode=bulk

Remplacez les espaces réservés suivants :

  • MIG_NAME : nom de votre MIG.
  • ZONE : zone de votre MIG.
  • TEMPLATE_NAME : nom de votre modèle d'instance.
  • SIZE : nombre d'instances à créer.
  • PROJECT_ID : ID de votre projet Google Cloud .
  • WORKLOAD_POLICY_REGION : région dans laquelle la règle de charge de travail est définie.
  • WORKLOAD_POLICY_NAME : nom de votre stratégie de charge de travail.

Créer des VM TPU à démarrage flexible avec des tranches à hôte unique

Créer un modèle d'instance

Créez un modèle d'instance spécifiant le modèle d'approvisionnement FLEX_START et la durée d'exécution de votre choix.

gcloud compute instance-templates create TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --provisioning-model=FLEX_START \
    --instance-termination-action=DELETE \
    --max-run-duration=DURATION \
    --region=REGION \
    --maintenance-policy=TERMINATE

Remplacez les espaces réservés suivants :

  • TEMPLATE_NAME : nom de votre modèle d'instance.
  • MACHINE_TYPE : type de machine pour la VM TPU (par exemple, ct6e-standard-8t).
  • IMAGE_FAMILY : famille d'images de l'OS pour la VM TPU (par exemple, ubuntu-accelerator-2204-amd64-with-tpu-v6e)
  • IMAGE_PROJECT : projet d'image OS pour la VM TPU (par exemple, ubuntu-os-accelerator-images)
  • DURATION : durée d'exécution maximale (par exemple, 7d pour sept jours).
  • REGION : Région dans laquelle créer le modèle d'instance.

Créer une règle de charge de travail

La commande suivante crée une règle de charge de travail. Cette option est facultative pour les tranches à hôte unique.

gcloud compute resource-policies create workload WORKLOAD_POLICY_NAME \
  --type=high-throughput

Remplacez les espaces réservés suivants :

  • WORKLOAD_POLICY_NAME : nom de votre règle de charge de travail.

Créer le MIG

Créez le MIG à l'aide du modèle.

gcloud compute instance-groups managed create MIG_NAME \
    --zone=ZONE \
    --template=TEMPLATE_NAME \
    --size=SIZE \
    --workload-policy=projects/PROJECT_ID/regions/WORKLOAD_POLICY_REGION/resourcePolicies/WORKLOAD_POLICY_NAME

Remplacez les espaces réservés suivants :

  • MIG_NAME : nom de votre MIG.
  • ZONE : zone de votre MIG.
  • TEMPLATE_NAME : nom de votre modèle d'instance.
  • SIZE : nombre d'instances à créer.
  • PROJECT_ID : ID de votre projet Google Cloud .
  • WORKLOAD_POLICY_REGION : région dans laquelle la règle de charge de travail est définie.
  • WORKLOAD_POLICY_NAME : nom de votre stratégie de charge de travail.