Planifier vos ressources Cloud TPU

Cette page explique comment planifier l'utilisation de Tensor Processing Unit (TPU).

Sélectionner une option de consommation

Les options de consommation font référence aux différentes façons d'obtenir et d'utiliser des ressources de calcul. Vous pouvez demander une capacité de VM Cloud TPU en fonction de vos besoins en termes de vitesse, de durée, de coût et de tolérance à la préemption. Plusieurs options sont disponibles :

  • À la demande : instances standards avec paiement à l'usage.
  • VM Spot : instances préemptives à moindre coût. Utilise le quota préemptif.
  • VM à démarrage flexible : réservez de la capacité selon vos besoins, pendant sept jours maximum, sans réservation à long terme ni gestion complexe des quotas.
  • Réservations : réservez de la capacité pour une durée spécifique (jusqu'à 90 jours ou un an et plus), ce qui garantit la disponibilité. Utilise le quota à la demande.

Pour les TPU v6e et les générations ultérieures, vous pouvez également utiliser GKE avec TPU Cluster Director. Cette fonctionnalité est disponible avec une réservation en mode "Toutes capacités". Il offre un accès complet à votre capacité réservée et une visibilité totale sur la configuration matérielle, l'utilisation et l'état du TPU. Pour en savoir plus, consultez Présentation du mode "Toutes les capacités".

Le tableau suivant compare les options d'utilisation de TPU en fonction de leur fonctionnement, de leurs cas d'utilisation idéaux, des versions et zones de TPU compatibles, et des types de quotas requis.

Option d'utilisation Fonctionnement Utilisation optimale Versions de TPU et zones compatibles Type de quota pour l'API Cloud TPU
Réservations futures pour un an ou plus

Vous demandez des ressources TPU à l'avance pour un an ou plus. Ces ressources vous sont réservées exclusivement pendant cette période.

Les réservations offrent le plus haut niveau d'assurance pour l'obtention de la capacité et sont moins chères que les ressources à la demande.

Les réservations futures de TPU incluent une remise sur engagement d'utilisation. Les remises sur engagement d'utilisation vous permettent de bénéficier de prix réduits lorsque vous souscrivez un contrat d'engagement d'utilisation. Pour en savoir plus, consultez Réservations futures pour un an ou plus.

 Les réservations futures pour un an ou plus sont idéales pour les tâches d'entraînement de longue durée et les charges de travail d'inférence. Toutes les versions de TPU : consultez Régions et zones de TPU. Quota à la demande
Réservations futures jusqu'à 90 jours (mode Agenda) (Preview)

Vous demandez des ressources TPU selon une heure de début et pour une durée spécifiques, comprises entre 1 et 90 jours. Ces ressources vous sont réservées exclusivement pendant cette période. Pour en savoir plus, consultez Réservations futures jusqu'à 90 jours (en mode Agenda).

Les réservations offrent le plus haut niveau d'assurance pour l'obtention de la capacité et sont moins chères que les ressources à la demande.

 Les réservations futures en mode Agenda sont adaptées aux charges de travail d'entraînement et d'expérimentation qui nécessitent de débuter à une heure précise et ont une durée définie.

TPU v7x (Ironwood) (preview) pour l'entraînement et le serving : us-central1-c

v6e (Trillium) pour l'entraînement et la mise en service : asia-northeast1-b, us-east5-a

v5p pour l'entraînement et la mise en service : us-east5-a

v5e pour l'entraînement : us-west4-a

v5e pour la mise en service : us-central1-a

 Aucun quota requis
À la demande

Vous demandez des ressources TPU à utiliser immédiatement, aussi longtemps que vous en avez besoin.

L'option à la demande offre une grande flexibilité. Les ressources à la demande ne sont pas préemptées, mais il n'est pas garanti qu'il y aura suffisamment de ressources TPU disponibles pour répondre à votre demande. L'option à la demande est définie par défaut lorsque vous créez des ressources TPU. Pour en savoir plus sur la création et l'utilisation de TPU à la demande, consultez Créer des VM TPU.

 L'option à la demande est adaptée aux tâches urgentes et aux charges de travail qui nécessitent une heure de fin flexible. Toutes les versions de TPU : consultez Régions et zones de TPU. Quota à la demande
Démarrage flexible (Aperçu)

Vous demandez des ressources TPU pour une durée spécifique (jusqu'à sept jours) sans avoir à réserver de capacité à l'avance.

Les VM TPU à démarrage flexible sont fournies à partir d'un pool de capacité dédié. La disponibilité de ces ressources est donc plus élevée que celle des ressources à la demande. Pour en savoir plus, consultez Demander des VM TPU à démarrage flexible.

Pour en savoir plus sur l'utilisation des VM TPU à démarrage flexible avec Google Kubernetes Engine (GKE), consultez À propos du provisionnement de GPU et de TPU avec le mode de provisionnement à démarrage flexible.

 Le démarrage flexible est idéal pour les expérimentations, les tests à petite échelle, le provisionnement dynamique de TPU pour les charges de travail d'inférence, l'affinage de modèles et les exécutions de charges de travail qui durent moins de sept jours.

TPU7x (Ironwood) (preview) : us-central1-c (avec GKE uniquement)

v6e (Trillium) : asia-northeast1-b, us-east5-a

v5p : us-east5-a

v5e : us-west4-a

 Quota préemptif
Spot

Vous demandez des ressources TPU qui peuvent être préemptées.

Les VM Spot sont disponibles à un prix nettement inférieur à celui des ressources à la demande. Les VM Spot sont souvent plus faciles à obtenir que les ressources à la demande, mais elles peuvent être préemptées (arrêtées) à tout moment. La durée d'exécution n'est pas limitée. Pour en savoir plus sur les VM Spot TPU, consultez Gérer des VM Spot TPU.

 Spot est une bonne solution pour planifier des charges de travail de priorité inférieure, comme le pré-entraînement et l'affinage de modèles, ainsi que les tâches de simulation tolérantes aux interruptions de disponibilité. Toutes les versions de TPU : consultez Régions et zones de TPU. Quota préemptif

Demander un quota de TPU

Pour utiliser des VM TPU, quelle que soit l'option d'utilisation, vous avez besoin d'un quota à la demande ou préemptif pour les cœurs ou les puces Cloud TPU. Assurez-vous d'avoir suffisamment de quota pour l'option, la version, la taille et la zone de TPU que vous avez choisies. Les quotas sont spécifiques à chaque version de TPU et diffèrent selon l'utilisation à la demande ou préemptible. Certaines versions de TPU disposent de quotas par défaut, tandis que pour d'autres, vous devez demander un quota. Pour en savoir plus, consultez Quotas Cloud TPU.

Si vous utilisez des TPU avec Google Kubernetes Engine (GKE), vous avez besoin du quota de l'API Compute Engine au lieu du quota standard de l'API TPU. Pour en savoir plus sur les quotas de TPU dans GKE, consultez Vérifier que vous disposez d'un quota de TPU.

Choisir la version de TPU

Sélectionnez la version de TPU, par exemple v5e, v5p, v6e ou TPU7x (Ironwood), en fonction des besoins d'entraînement ou d'inférence de votre modèle. Pour en savoir plus, consultez Versions de TPU.

Étapes suivantes