Planifier vos ressources Cloud TPU

Cette page explique comment planifier l'utilisation de vos Tensor Processing Unit (TPU).

Sélectionner une option de consommation

Les options de consommation font référence aux différentes façons d'obtenir et d'utiliser des ressources de calcul. Vous pouvez demander une capacité de VM Cloud TPU en fonction de vos besoins en termes de vitesse, de durée, de coût et de tolérance à la préemption. Plusieurs options sont disponibles :

  • À la demande : instances standards avec paiement à l'usage.
  • VM Spot : instances préemptives à faible coût. Utilise un quota préemptif.
  • VM à démarrage flexible : réservez de la capacité selon vos besoins, pendant sept jours maximum, sans réservation à long terme ni gestion complexe des quotas.
  • Réservations : réservez de la capacité pour une durée spécifique (jusqu'à 90 jours ou un an ou plus), ce qui garantit la disponibilité. Utilise un quota à la demande.

Pour les TPU v6e et les générations ultérieures, vous pouvez également utiliser GKE avec TPU Cluster Director. Cette fonctionnalité est disponible via une réservation en mode "All Capacity" (Toute la capacité). Elle offre un accès complet à votre capacité réservée et une visibilité totale sur la configuration matérielle, l'utilisation et l'état du TPU. Pour en savoir plus, consultez Présentation du mode "All Capacity".

Le tableau suivant compare les options de consommation de TPU en fonction de leur fonctionnement, de leurs cas d'utilisation idéaux, des versions et zones de TPU compatibles, ainsi que des types de quotas requis.

Option d'utilisation Fonctionnement Utilisation optimale Versions de TPU et zones compatibles Type de quota pour l'API Cloud TPU
Réservations futures pour un an ou plus

Vous demandez des ressources TPU à l'avance pour un an ou plus. Ces ressources sont réservées à votre usage exclusif pendant cette période.

Les réservations offrent le plus haut niveau d'assurance pour l'obtention de la capacité et sont moins chères que les ressources à la demande.

Les réservations futures de TPU incluent une remise sur engagement d'utilisation. Les remises sur engagement d'utilisation vous permettent de bénéficier de prix réduits lorsque vous souscrivez un contrat d'engagement d'utilisation. Pour en savoir plus, consultez Réservations futures pour un an ou plus

 Les réservations futures pour un an ou plus sont idéales pour les tâches d'entraînement de longue durée et les charges de travail d'inférence. Toutes les versions de TPU : consultez Régions et zones de TPU. Quota à la demande
Réservations futures jusqu'à 90 jours (mode Agenda)

Vous demandez des ressources TPU pour une heure de début et une durée spécifiques, entre un et 90 jours. Ces ressources sont réservées à votre usage exclusif pendant cette période. Pour en savoir plus, consultez Réservations futures jusqu'à 90 jours (en mode Agenda).

Les réservations offrent le plus haut niveau d'assurance pour l'obtention de la capacité et offrent un prix inférieur à celui des ressources à la demande.

 Les réservations futures en mode Agenda sont adaptées aux charges de travail d'entraînement et d'expérimentation qui nécessitent de débuter à une heure précise et ont une durée définie.

TPU7x (Ironwood) pour l'entraînement et la mise en service : us-central1-c

v6e (Trillium) pour l'entraînement et la mise en service : asia-northeast1-b, us-east5-a

v5p pour l'entraînement et la mise en service : us-east5-a

v5e pour l'entraînement : us-west4-a

v5e pour la mise en service : us-central1-a

 Aucun quota requis
À la demande

Vous demandez des ressources TPU pour une utilisation immédiate, aussi longtemps que vous en avez besoin.

L'option à la demande offre une grande flexibilité. Les ressources à la demande ne sont pas préemptées, mais il n'est pas garanti qu'il y aura suffisamment de ressources TPU disponibles pour répondre à votre demande. L'option à la demande est définie par défaut lorsque vous créez des ressources TPU. Pour en savoir plus sur la création et l'utilisation de TPU à la demande, consultez Créer des VM TPU.

 L'option à la demande est adaptée aux tâches urgentes et aux charges de travail qui nécessitent une heure de fin flexible. Toutes les versions de TPU : consultez Régions et zones de TPU. Quota à la demande
Démarrage flexible (Preview)

Vous demandez des ressources TPU pour une durée spécifique (jusqu'à sept jours) sans avoir à réserver de capacité à l'avance.

Les VM TPU à démarrage flexible sont fournies à partir d'un pool de capacité dédié. La disponibilité de ces ressources est donc plus élevée que celle des ressources à la demande. Pour en savoir plus, consultez Demander des VM TPU à démarrage flexible.

Pour en savoir plus sur l'utilisation des VM TPU à démarrage flexible avec Google Kubernetes Engine (GKE), consultez À propos du provisionnement de GPU et de TPU avec le mode de provisionnement à démarrage flexible.

 Le démarrage flexible est idéal pour les expérimentations, les tests à petite échelle, le provisionnement dynamique de TPU pour les charges de travail d'inférence, l'affinage de modèles, et les exécutions de charges de travail qui durent moins de sept jours.

TPU7x (Ironwood) : us-central1-c (avec GKE uniquement)

v6e (Trillium): asia-northeast1-b, us-east5-a

v5p : us-east5-a

v5e : us-west4-a

 Quota préemptif
Spot

Vous demandez des ressources TPU qui peuvent être préemptées.

Les VM Spot sont disponibles à un prix beaucoup plus bas que les ressources à la demande. Les VM Spot sont souvent plus faciles à obtenir que les ressources à la demande, mais elles peuvent être préemptées (arrêtées) à tout moment. La durée d'exécution n'est pas limitée. Pour en savoir plus sur les VM Spot TPU, consultez Gérer des VM Spot TPU.

 Spot est une bonne solution pour planifier des charges de travail de priorité inférieure, comme le pré-entraînement et l'affinage de modèles, ainsi que les tâches de simulation tolérantes aux interruptions de disponibilité. Toutes les versions de TPU : consultez les régions et zones de TPU. Quota préemptif

Demander un quota de TPU

Pour utiliser des VM TPU, quelle que soit l'option de consommation, vous avez besoin d'un quota à la demande ou préemptif pour les cœurs ou les puces Cloud TPU. Assurez-vous de disposer d'un quota suffisant pour l'option, la version de TPU, la taille et la zone de votre choix. Les quotas sont spécifiques à chaque version de TPU et diffèrent selon l'utilisation à la demande ou préemptive. Certaines versions de TPU disposent de quotas par défaut. Pour d'autres, vous devez demander un quota. Pour en savoir plus, consultez Quotas Cloud TPU.

Si vous utilisez des TPU avec Google Kubernetes Engine (GKE), vous avez besoin d'un quota d'API Compute Engine au lieu du quota d'API TPU standard. Pour en savoir plus sur les quotas de TPU dans GKE, consultez Vérifier que vous disposez d'un quota de TPU.

Choisir la version de TPU

Sélectionnez la version de TPU, par exemple v5e, v5p, v6e ou TPU7x (Ironwood), en fonction des besoins d'entraînement ou d'inférence de votre modèle. Pour en savoir plus, consultez Versions de TPU.

Étape suivante