Ressources Cloud TPU dans Compute Engine

Vous pouvez créer et gérer des TPU à l'aide de ressources Compute Engine. Cette page présente les concepts liés à l'utilisation des TPU avec Compute Engine. Elle mappe les concepts Cloud TPU aux ressources Compute Engine et décrit le processus de migration vers Compute Engine.

Concepts Cloud TPU principaux

Pour gérer les ressources TPU dans Compute Engine, il est utile de comprendre les concepts TPU principaux suivants :

  • VM TPU : machine virtuelle qui se connecte directement au matériel TPU. Une seule VM TPU est identique à une tranche à hôte unique.
  • Tranche TPU : groupe logique de puces TPU interconnectées, accessibles via une ou plusieurs VM TPU. Dans l'API TPU, une seule tranche TPU est représentée par un objet REST Node ou QueuedResource. Les tranches ont l'une des étendues suivantes :
    • Tranche à hôte unique : tranche composée d'une seule machine hôte. Tranche à hôte unique est une autre façon de désigner une seule VM TPU.
    • Tranche multi-hôte : tranche composée de plusieurs VM TPU interconnectées à l'aide d'une interconnexion entre puces (ICI) à haut débit.
Vous n'utilisez pas les objets d'API Cloud TPU suivants lorsque vous gérez des ressources TPU dans Compute Engine, mais ils fournissent un contexte utile si vous connaissez l'ancienne API Cloud TPU :

  • Node: objet REST de l'ancienne API Cloud TPU qui représente une seule tranche TPU. Dans Compute Engine, il est mappé à une instance de VM ou à un groupe d'instances géré (MIG).
  • QueuedResource: objet REST de l'ancienne API Cloud TPU qui représente une ou plusieurs tranches TPU. Les ressources en file d'attente sont utilisées pour demander et gérer la capacité TPU via une file d'attente. Dans Compute Engine, les VM à démarrage flexible offrent des fonctionnalités similaires.

Mappage des concepts TPU et Compute Engine

Le tableau suivant décrit comment les concepts TPU sont mappés aux ressources Compute Engine :

Concept Cloud TPU Ressource Compute Engine Détails de la ressource Cas d'utilisation
VM TPU Instance de VM VM Compute Engine qui fournit un accès direct au matériel TPU. Tâches de VM individuelles, exécution de commandes SSH ou débogage
Tranche TPU à hôte unique ou sous-hôte Instance de VM ou MIG avec une seule VM Configuration composée d'une seule machine hôte physique. Inférence avec autoscaling
Tranche TPU multi-hôte MIG avec topologie d'accélérateur spécifiée dans la règle de charge de travail Groupe de VM TPU interconnectées à l'aide d'une ICI, géré comme une seule unité logique. Entraînement distribué à grande échelle nécessitant un provisionnement atomique

Migrer depuis l'API Cloud TPU

L'API Cloud TPU n'est plus activement développée. Cela inclut la Google Cloud CLI pour l'API Cloud TPU et les bibliothèques clientes Cloud pour l'API Cloud TPU. L'API Cloud TPU ne recevra que des correctifs et des mises à jour de sécurité. Les nouvelles générations de matériel, à commencer par TPU7x (Ironwood), ne sont compatibles qu'avec Compute Engine ou Google Kubernetes Engine (GKE). Pour bénéficier des dernières fonctionnalités et de la compatibilité avec les dernières versions de TPU, migrez en remplaçant vos anciens appels d'API Cloud TPU par leurs équivalents dans Compute Engine ou GKE.

En fonction de vos exigences en matière d'orchestration et de charge de travail, choisissez l'une des options suivantes :

  • Compute Engine : recommandé pour les utilisateurs qui ont besoin d'un contrôle direct au niveau de la VM ou d'images d'OS personnalisées. Pour commencer à provisionner des TPU dans Compute Engine, consultez Démarrage rapide : Créer une VM TPU.
  • GKE : recommandé pour les charges de travail conteneurisées, le scaling automatisé et l'orchestration à grande échelle. Pour en savoir plus sur l'utilisation des TPU avec GKE, consultez À propos des TPU dans GKE.

Ressources TPU existantes

Les ressources TPU créées à l'aide de l'API Cloud TPU (objets REST Node ou QueuedResource) ne sont pas compatibles avec Compute Engine ni GKE. Pour commencer à utiliser Compute Engine ou GKE :

  • Réécrivez tous les scripts qui utilisent l'API Cloud TPU pour utiliser les API Compute Engine ou GKE.
  • Supprimez les ressources à l'aide de l'API Cloud TPU et recréez-les à l'aide des API Compute Engine ou GKE.

Limites

Les TPU dans Compute Engine présentent les limites suivantes :

  • Versions de TPU : Compute Engine est compatible avec v5p, v6e et TPU7x.
  • Mode de capacité : le mode "Toute la capacité" pour les TPU n'est pas disponible avec Compute Engine.
  • Multislice : la création de groupes de tranches TPU multi-hôtes interconnectées n'est pas disponible avec Compute Engine. Pour utiliser Multislice, vous devez utiliser Google Kubernetes Engine (GKE). Pour en savoir plus, consultez Déployer des multislices TPU dans GKE.
  • Collections : la planification de la collecte n'est pas disponible avec Compute Engine. Pour utiliser la planification de la collecte, vous devez utiliser GKE. Pour en savoir plus, consultez Planification de la collecte dans la documentation GKE.

Étape suivante