Ressources Cloud TPU dans Compute Engine

Vous pouvez créer et gérer des Tensor Processing Units (TPU) à l'aide des ressources Compute Engine. Cette page présente les concepts liés à l'utilisation des TPU avec Compute Engine. Il mappe les concepts de TPU aux ressources Compute Engine et décrit les workflows généraux pour créer des ressources TPU.

Concepts principaux des TPU

Pour gérer les ressources TPU dans Compute Engine, il est utile de comprendre les principaux concepts liés aux TPU :

  • VM TPU : machine virtuelle qui se connecte directement au matériel TPU.
  • Tranche de TPU : groupe logique de puces TPU interconnectées, accessible via une ou plusieurs VM TPU. Les tranches ont l'une des portées suivantes :
    • Tranche à hôte unique : tranche composée d'une seule machine hôte. En général, cela correspond à une VM TPU.
    • Tranche multi-hôte : tranche composée de plusieurs VM TPU interconnectées à l'aide d'une interconnexion entre puces (ICI) à haut débit.

    Carte conceptuelle de TPU et Compute Engine

    Le tableau suivant décrit comment les concepts TPU sont mappés aux ressources Compute Engine :

    Concept Cloud TPU Ressource Compute Engine Détails de la ressource Cas d'utilisation
    VM TPU Instance de VM VM Compute Engine qui fournit un accès direct au matériel TPU. Tâches de VM individuelles, exécution de commandes SSH ou débogage
    Tranche de TPU à hôte unique Instance de VM ou MIG avec une seule VM Configuration composée d'une seule machine hôte physique. Inférence avec autoscaling
    Tranche TPU multihôte MIG avec une topologie d'accélérateur spécifiée dans la règle de charge de travail Groupe de VM TPU interconnectées à l'aide d'ICI, géré comme une seule unité logique. Entraînement distribué à grande échelle nécessitant un provisionnement atomique

    Migrer depuis l'API Cloud TPU

    L'API Cloud TPU, y compris la Google Cloud CLI et les bibliothèques clientes Cloud pour Cloud TPU, ne sont plus en développement actif. L'API Cloud TPU ne recevra que des corrections de bugs et des mises à jour de sécurité. Les nouvelles générations de matériel, à partir de TPU7x (Ironwood), ne sont compatibles qu'avec Compute Engine ou Google Kubernetes Engine (GKE). Pour bénéficier des dernières fonctionnalités et de la compatibilité avec les dernières versions de TPU, migrez en remplaçant vos anciens appels d'API Cloud TPU par leurs équivalents dans Compute Engine ou GKE.

    En fonction de vos exigences en matière d'orchestration et de charge de travail, choisissez l'un des chemins suivants :

    • Compute Engine : recommandé pour les utilisateurs qui ont besoin d'un contrôle direct au niveau des VM ou d'images d'OS personnalisées. Pour commencer à provisionner des TPU dans Compute Engine, consultez Démarrage rapide : créer une VM TPU.
    • GKE : recommandé pour les charges de travail conteneurisées, le scaling automatique et l'orchestration à grande échelle. Pour en savoir plus sur l'utilisation des TPU avec GKE, consultez À propos des TPU dans GKE.

    Ressources TPU existantes

    Les ressources TPU créées à l'aide de l'API Cloud TPU (objets REST Node ou QueuedResource) ne sont pas compatibles avec Compute Engine et GKE. Pour commencer à utiliser Compute Engine ou GKE :

    • Réécrivez tous les scripts qui utilisent l'API Cloud TPU pour utiliser les API Compute Engine ou GKE.
    • Supprimez les ressources à l'aide de l'API Cloud TPU et recréez-les à l'aide des API Compute Engine ou GKE.

    Limites

    Les TPU dans Compute Engine présentent les limites suivantes :

    • Versions de TPU : Compute Engine est compatible avec les versions v5p, v6e et TPU7x.
    • Mode Capacité : le mode Toute la capacité pour les TPU n'est pas disponible avec Compute Engine.
    • Multislice : la création de groupes de tranches de TPU multihôtes interconnectées n'est pas disponible avec Compute Engine. Pour utiliser Multislice, vous devez utiliser Google Kubernetes Engine (GKE). Pour en savoir plus, consultez Déployer des TPU Multislices dans GKE.
    • Collections : la planification des collections n'est pas disponible avec Compute Engine. Pour utiliser la planification de la collecte, vous devez utiliser GKE. Pour en savoir plus, consultez la section Planification de la collecte dans la documentation de GKE.

    Étapes suivantes