Ressources TPU dans Compute Engine

Vous pouvez créer et gérer des TPU à l'aide des ressources Compute Engine. Cette page présente les concepts liés à l'utilisation des TPU avec Compute Engine. Il mappe les concepts de TPU aux ressources Compute Engine et décrit le processus de migration vers Compute Engine.

Concepts relatifs aux TPU et à Compute Engine

Pour gérer les ressources TPU dans Compute Engine, il est utile de comprendre les principaux concepts liés aux TPU et à Compute Engine :

  • VM TPU : machine virtuelle qui se connecte directement au matériel TPU. Une seule VM TPU équivaut à une tranche à hôte unique.
  • Tranche de TPU : groupe logique de puces TPU interconnectées, accessible via une ou plusieurs VM TPU. Les tranches ont l'une des portées suivantes :
    • Tranche à hôte unique : tranche composée d'une seule machine hôte. Le terme tranche à hôte unique est une autre façon de désigner une seule VM TPU.
    • Tranche multi-hôte : tranche constituée de plusieurs VM TPU interconnectées à l'aide d'une interconnexion entre puces (ICI) à haut débit.

Pour créer et gérer des ressources TPU dans Compute Engine, vous utilisez les ressources Compute Engine suivantes :

  • Instance de VM : machine virtuelle Compute Engine. Une tranche de TPU à hôte unique est créée en tant qu'instance de VM individuelle. Dans l'ancienne API Cloud TPU, une tranche de TPU unique est représentée par un objet REST Node.
  • Groupe d'instances géré (MIG, Managed Instance Group) : ensemble d'instances de VM gérées comme une seule unité. Les tranches de TPU multi-hôte sont créées en tant que MIG avec une topologie d'accélérateur spécifiée dans une règle de charge de travail. Dans l'ancienne API Cloud TPU, une ou plusieurs tranches sont représentées à l'aide d'objets REST QueuedResource ou Node.

Carte conceptuelle de TPU et Compute Engine

Le tableau suivant décrit comment les concepts TPU sont mappés aux ressources Compute Engine :

Concept de TPU Ressource Compute Engine Détails de la ressource Cas d'utilisation
VM TPU Instance de VM VM Compute Engine qui fournit un accès direct au matériel TPU. Tâches de VM individuelles, exécution de commandes SSH ou débogage
Tranche de TPU à hôte unique ou sous-hôte Instance de VM ou MIG avec une seule VM Configuration composée d'une seule machine hôte physique. Inférence avec autoscaling
Tranche TPU multihôte MIG avec une topologie d'accélérateur spécifiée dans la règle de charge de travail Groupe de VM TPU interconnectées à l'aide d'ICI, géré comme une seule unité logique. Entraînement distribué à grande échelle nécessitant un provisionnement atomique

Migrer depuis l'API Cloud TPU

L'API Cloud TPU n'est plus activement développée. Cela inclut la Google Cloud CLI pour l'API Cloud TPU et les bibliothèques clientes Cloud pour l'API Cloud TPU. L'API Cloud TPU ne recevra que des correctifs de bugs et des mises à jour de sécurité. Les nouvelles générations de matériel, à commencer par TPU7x (Ironwood), ne sont compatibles qu'avec Compute Engine ou Google Kubernetes Engine (GKE). Pour bénéficier des dernières fonctionnalités et de la compatibilité avec les dernières versions de TPU, migrez en remplaçant vos anciens appels d'API Cloud TPU par leurs équivalents dans Compute Engine ou GKE.

En fonction de vos exigences en matière d'orchestration et de charge de travail, choisissez l'un des chemins suivants :

  • Compute Engine : recommandé pour les utilisateurs qui ont besoin d'un contrôle direct au niveau des VM ou d'images d'OS personnalisées. Pour commencer à provisionner des TPU dans Compute Engine, consultez Démarrage rapide : créer une VM TPU.
  • GKE : recommandé pour les charges de travail conteneurisées, le scaling automatique et l'orchestration à grande échelle. Pour en savoir plus sur l'utilisation des TPU avec GKE, consultez À propos des TPU dans GKE.

Ressources TPU existantes

Les ressources TPU créées à l'aide de l'API Cloud TPU (objets REST Node ou QueuedResource) ne sont pas compatibles avec Compute Engine et GKE. Pour commencer à utiliser Compute Engine ou GKE :

  • Réécrivez tous les scripts qui utilisent l'API Cloud TPU pour utiliser les API Compute Engine ou GKE.
  • Supprimez les ressources à l'aide de l'API Cloud TPU et recréez-les à l'aide des API Compute Engine ou GKE.

Limites

Les TPU dans Compute Engine présentent les limites suivantes :

  • Versions de TPU : Compute Engine est compatible avec les versions v5p, v6e et TPU7x.
  • Mode Capacité : le mode Toute la capacité pour les TPU n'est pas disponible avec Compute Engine.
  • Multislice : la création de groupes de tranches de TPU multihôtes interconnectées n'est pas disponible avec Compute Engine. Pour utiliser Multislice, vous devez utiliser Google Kubernetes Engine (GKE). Pour en savoir plus, consultez Déployer des TPU Multislices dans GKE.
  • Collections : la planification des collections n'est pas disponible avec Compute Engine. Pour utiliser la planification de la collecte, vous devez utiliser GKE. Pour en savoir plus, consultez la section Planification de la collecte dans la documentation de GKE.

Étapes suivantes