Ce document explique les différentes manières, appelées options de consommation, d'obtenir et d'utiliser des ressources de calcul sur AI Hypercomputer. Choisissez l'option qui correspond le mieux à votre charge de travail, à sa durée et à vos besoins en termes de coûts.
Chaque option de consommation spécifie les éléments suivants :
Comment accéder à la capacité pour créer des VM ou des clusters.
Le modèle de provisionnement sous-jacent, qui détermine la disponibilité, la durée de vie et le prix de vos VM.
Comparaison des options de consommation
Le tableau suivant récapitule les principales différences entre les options de consommation :
| Option d'utilisation | Réservations futures dans AI Hypercomputer | Réservations futures jusqu'à 90 jours (en mode Agenda) | Démarrage flexible | Spot |
|---|---|---|---|---|
| Machines compatibles | A4X Max, A4X, A4, A3 Ultra, A3 Mega ou A3 High | A4, A3 Ultra, A3 Mega ou A3 High avec 8 GPU | Toute machine GPU sauf A4X Max et A4X | Toute machine GPU sauf A4X Max et A4X |
| Durée de vie | Illimité | Jusqu'à 90 jours | Jusqu'à 7 jours | Illimité (mais soumis à préemption) |
| Préemptif | ||||
| Garantie de capacité | Très élevée. Si Google Cloud approuve votre demande de réservation, vous avez la quasi-certitude que Compute Engine provisionnera la capacité demandée. | Très élevée. Si Google Cloud approuve votre demande de réservation, vous avez la quasi-certitude que Compute Engine provisionnera la capacité demandée. | Limitée. Compute Engine s'efforce de planifier le provisionnement de la capacité demandée. | Limitée. Compute Engine s'efforce de provisionner la capacité demandée. |
| Quota | Google Cloud augmente automatiquement le quota avant que la capacité ne soit fournie. | Aucun quota n'est consommé. | Consomme le quota préemptif. | Consomme le quota préemptif. |
| Tarifs |
|
|
|
|
| Allocation des ressources | Dense | Dense |
|
Standard (Stratégie compacte facultative) |
| Modèle de provisionnement | Lié à la réservation | Lié à la réservation | Démarrage flexible | Spot |
| Méthode de création |
Pour créer des VM, vous devez procéder comme suit :
|
Pour créer des VM, vous devez procéder comme suit :
|
Lorsque vous demandez à créer des VM à démarrage flexible, Compute Engine planifie leur création en fonction de la disponibilité. Lorsque de la capacité devient disponible, Compute Engine provisionne les VM Flex-start. Pour créer des VM à démarrage flexible, utilisez l'une des méthodes décrites dans Présentation des options de déploiement. |
Vous pouvez créer des VM immédiatement à l'aide de l'une des méthodes décrites dans la présentation des options de déploiement. |
Sélectionner une option de consommation
Utilisez l'organigramme suivant pour choisir l'option de consommation qui correspond le mieux à votre charge de travail :
Les questions du schéma précédent sont les suivantes :
Avez-vous besoin de capacité pendant plus de 90 jours ?
Oui : consultez Utiliser des réservations futures dans AI Hypercomputer.
Non : passez à la question 2.
Souhaitez-vous une capacité réservée ?
Oui : consultez Utiliser des réservations futures en mode Agenda.
Non : passez à la question 3.
Votre charge de travail est-elle tolérante aux pannes ?
Non : consultez Utiliser le démarrage flexible.
Oui : consultez Utiliser Spot.
Utiliser les réservations futures dans AI Hypercomputer
Pour exécuter des charges de travail distribuées de longue durée et à grande échelle qui nécessitent des ressources à allocation dense, vous pouvez demander des ressources de calcul pour une période spécifique à venir. Vous bénéficiez d'un accès exclusif à vos ressources réservées pendant cette période. Vous pouvez les utiliser pour créer des VM ou des clusters. À la fin de la période de réservation, Compute Engine effectue les opérations suivantes :
- Compute Engine supprime la réservation.
- En fonction de l'action d'arrêt que vous spécifiez pour les VM, Compute Engine arrête ou supprime toutes les VM qui utilisent la réservation.
Charges de travail idéales pour les réservations futures dans AI Hypercomputer
Les réservations futures sont idéales pour les charges de travail suivantes :
Pré-entraînement des modèles de fondation
Inférence de modèle de fondation multihôte
Caractéristiques clés des réservations futures dans AI Hypercomputer
Les réservations futures présentent les caractéristiques suivantes :
-
Vous pouvez réserver des types de machines A4X Max, A4X, A4, A3 Ultra, A3 Mega ou A3 High (8 GPU). Les machines sont allouées de manière dense pour minimiser la latence du réseau.
-
Vous pouvez réserver n'importe quel nombre de VM pour n'importe quelle durée à partir d'une date ultérieure. Utilisez les ressources réservées pour créer et exécuter des VM jusqu'à la fin de la période de réservation. Si vous réservez des ressources pendant au moins un an, vous devez souscrire un engagement basé sur les ressources et l'associer à vos ressources réservées.
-
Une fois la période de réservation commencée, vous pouvez modifier les réservations créées automatiquement comme suit :
-
Vous utilisez le modèle de provisionnement lié à la réservation, qui présente les avantages suivants :
Vous avez plus de chances d'obtenir des GPU.
En plus de l'engagement associé à vos VM, vous bénéficiez d'une remise allant jusqu'à 53 % sur les vCPU et les GPU.
Utiliser les réservations futures dans AI Hypercomputer
Pour utiliser des réservations futures afin de créer des VM ou des clusters, vous devez procéder comme suit :
-
Demandez à réserver de la capacité. Vous contactez l'équipe responsable de votre compte et spécifiez les ressources à réserver. En fonction de la disponibilité, Google crée une demande de réservation provisoire pour vous. Si elle vous semble correcte, vous pouvez l'envoyer. Google Cloud approuve immédiatement la demande de réservation.
Pour obtenir des instructions, consultez Réserver de la capacité.
-
Consommer des ressources réservées Au début de la période de réservation choisie, vous pouvez utiliser la réservation pour créer des VM ou des clusters.
Pour connaître les différentes méthodes de création de VM ou de clusters, consultez Présentation des options de déploiement.
Utiliser les réservations futures en mode Agenda
Pour exécuter des charges de travail distribuées de courte durée qui nécessitent des ressources à allocation dense, vous pouvez demander des ressources de calcul pour une durée maximale de 90 jours. Vous bénéficiez d'un accès exclusif aux ressources réservées pendant cette période. Vous pouvez les utiliser pour créer des VM ou des clusters. À la fin de la période de réservation, Compute Engine effectue les opérations suivantes :
- Compute Engine supprime la réservation.
- En fonction de l'action d'arrêt que vous spécifiez pour les VM, Compute Engine arrête ou supprime toutes les VM qui utilisent la réservation.
Charges de travail idéales pour les réservations futures en mode Agenda
Les réservations futures en mode Agenda sont idéales pour les charges de travail suivantes :
Pré-entraînement du modèle
Affinage de modèles
Simulations
Inférence
Principales caractéristiques des réservations futures en mode Agenda
Les réservations futures en mode Agenda présentent les caractéristiques suivantes :
-
Vous pouvez réserver des types de machines A4, A3 Ultra, A3 Mega ou A3 High (8 GPU). Ces machines sont allouées de manière dense pour minimiser la latence réseau.
-
Vous pouvez consulter la disponibilité future et réserver jusqu'à 80 VM pendant 90 jours maximum. Vous pouvez ensuite utiliser les ressources réservées pour créer des VM jusqu'à la fin de la période de réservation.
-
Une fois la période de réservation commencée, vous pouvez modifier les réservations créées automatiquement comme suit :
-
Vous utilisez le modèle de provisionnement lié à la réservation, qui présente les avantages suivants :
Vous avez plus de chances d'obtenir des GPU.
Vous bénéficiez d'une remise allant jusqu'à 53 % sur les vCPU et les GPU.
Utiliser les réservations futures en mode Agenda
Pour utiliser les réservations futures en mode Agenda afin de créer des VM ou des clusters, vous devez suivre les étapes suivantes :
-
Consultez la disponibilité des ressources. Vous pouvez consulter la disponibilité future des ressources que vous souhaitez réserver. Lorsque vous créez une demande de réservation, vous pouvez spécifier le nombre, le type et la durée de réservation des ressources dont vous avez vérifié la disponibilité. Cette action augmente les chances que Google Cloud approuve votre demande.
Pour obtenir des instructions, consultez Afficher la disponibilité future des ressources.
-
Capacité de réservation : Vous créez une demande de réservation pour une date et une heure futures. Google Cloud approuve la demande de réservation dans les deux minutes. Si elle est approuvée, Compute Engine réserve la capacité. À la date de livraison choisie, vous pouvez utiliser les ressources réservées pour créer des VM ou des clusters.
Pour obtenir des instructions, consultez Créer une demande de réservation pour des VM avec GPU ou des TPU.
-
Consommer des ressources réservées Au début de la période de réservation choisie, vous pouvez utiliser la réservation pour créer des VM ou des clusters.
Pour connaître les différentes méthodes de création de VM ou de clusters, consultez les pages suivantes :
- Pour créer des VM A4, A3 Ultra, A3 Mega ou A3 High (8 GPU), consultez la présentation des options de déploiement.
- Pour créer des VM A3 Mega ou A3 High (8 GPU) avec GPUDirect-TCPX activé, consultez Créer une VM A3 avec GPUDirect-TCPX activé.
Utiliser le démarrage flexible
Pour exécuter des charges de travail de courte durée nécessitant des ressources allouées de manière dense, vous pouvez demander des ressources de calcul pendant sept jours maximum à l'aide du démarrage flexible. Chaque fois que des ressources sont disponibles, Compute Engine crée le nombre de VM que vous avez demandé. Vous pouvez arrêter les VM à démarrage flexible autonomes, mais pas celles qu'un groupe d'instances gérées (MIG) crée par le biais de demandes de redimensionnement. Les VM à démarrage flexible existent jusqu'à ce que vous les supprimiez ou jusqu'à ce que Compute Engine les supprime à la fin de leur durée d'exécution.
Charges de travail idéales pour le démarrage flexible
Le démarrage flexible est idéal pour les charges de travail qui peuvent démarrer à tout moment, comme les suivantes :
Pré-entraînement de petits modèles
Affinage de modèles
Simulations
Inférence par lot
Principales caractéristiques du démarrage flexible
Le démarrage flexible présente les caractéristiques suivantes :
-
Vous pouvez demander n'importe quel type de machine GPU, à l'exception des types A4X Max et A4X. L'allocation des ressources varie en fonction de la méthode de création :
- Pour les VM à démarrage flexible autonomes, les machines utilisent un placement standard. Ce placement alloue des machines en fonction de la disponibilité, ce qui peut entraîner une grande distance entre les VM d'une même zone. Pour minimiser la latence du réseau en plaçant les VM à démarrage flexible plus près les unes des autres, vous pouvez éventuellement appliquer une stratégie d'emplacement compact aux VM.
- Pour toutes les autres méthodes de création, les machines sont allouées de manière dense afin de minimiser la latence réseau.
Vous utilisez le modèle de provisionnement de démarrage Flex, qui présente les avantages suivants :
Vous avez plus de chances d'obtenir des GPU.
Vous bénéficiez d'une remise allant jusqu'à 53 % sur les vCPU, la mémoire et les GPU.
Utiliser le démarrage flexible
Pour utiliser le démarrage flexible afin de créer des VM ou des clusters, vous devez procéder comme suit :
-
Facultatif : créez une stratégie d'emplacement compact. Si vous souhaitez créer des VM à démarrage flexible autonomes, vous pouvez créer une stratégie de concentration pour spécifier la proximité des VM. La distance minimale que vous choisissez affecte les types de machines et le nombre de VM compatibles avec la stratégie.
-
Créez des VM à démarrage flexible. Une fois que vous avez demandé à créer des VM, Compute Engine planifie leur création en fonction de la disponibilité. Lorsque de la capacité devient disponible, Compute Engine provisionne les VM à démarrage flexible. Les VM s'exécutent jusqu'à ce que vous les arrêtiez ou les supprimiez, ou jusqu'à ce qu'elles atteignent la fin de leur durée d'exécution.
Pour obtenir des instructions, consultez Présentation des options de déploiement.
Utiliser Spot
Pour exécuter des charges de travail tolérantes aux pannes, vous pouvez obtenir des ressources de calcul immédiatement en fonction de leur disponibilité. Vous obtenez des ressources au prix le plus bas possible. Toutefois, Compute Engine peut préempter des VM à tout moment pour récupérer de la capacité.
Charges de travail idéales pour les instances Spot
Spot est idéal pour les charges de travail où les interruptions sont acceptables, comme les suivantes :
Traitement par lot
Calcul hautes performances (HPC)
Intégration continue et déploiement continu (CI/CD)
Analyse de données
Encodage multimédia
Inférence en ligne
Principales caractéristiques de Spot
Spot présente les caractéristiques suivantes :
-
Vous pouvez créer n'importe quel type de machine GPU, à l'exception des types A4X Max et A4X. L'allocation dense dépend de la disponibilité des ressources. Pour vous assurer d'une allocation plus proche, vous pouvez appliquer une stratégie d'emplacement compact aux VM.
-
Vous pouvez créer des VM immédiatement. Les VM s'exécutent jusqu'à ce que vous les arrêtiez ou supprimiez, ou jusqu'à ce que Compute Engine les préempte pour récupérer de la capacité.
-
Vous utilisez le modèle de provisionnement Spot, qui présente les avantages suivants :
Vous avez plus de chances d'obtenir des GPU.
Vous bénéficiez d'une remise allant jusqu'à 91 % sur de nombreux types de machines, GPU, TPU et disques SSD locaux.
Utiliser Spot
Pour utiliser Spot afin de créer des VM ou des clusters, vous devez procéder comme suit :
-
Facultatif : créez une stratégie d'emplacement compact. Vous créez une stratégie de concentration pour spécifier la proximité des VM. La distance minimale que vous choisissez affecte les types de machines et le nombre de VM compatibles avec la stratégie.
-
Créez des VM Spot. Vous pouvez créer autant de VM que vous le souhaitez, en fonction de la disponibilité. Les VM s'exécutent jusqu'à ce que vous les arrêtiez ou supprimiez, ou jusqu'à ce que Compute Engine les préempte pour récupérer de la capacité.
Pour obtenir des instructions, consultez Présentation des options de déploiement.