Instances de TPU dans les MIG

Les groupes d'instances gérés (MIG) automatisent la création, la configuration et la gestion du cycle de vie d'un ensemble de VM. Les MIG offrent des avantages tels que la haute disponibilité grâce à l'autoréparation et aux déploiements régionaux (multizones), l'autoscaling pour gérer les charges variables et des mises à jour progressives simplifiées pour les applications. Pour en savoir plus, consultez Groupes d'instances gérés.

Vous pouvez utiliser des MIG pour créer et gérer des VM TPU pour les versions de TPU v5p, v6e et TPU7x. Vous pouvez créer des MIG avec une seule VM TPU, des VM TPU indépendantes (également appelées tranches à hôte unique) et des MIG avec des VM TPU interconnectées (également appelées tranches multi-hôtes).

Chaque tranche d'un MIG à hôte unique comporte au maximum une VM TPU. Les VM TPU du MIG ne sont pas connectées par des liens d'interconnexion entre puces (ICI).

Une tranche multi-hôte contient plusieurs VM TPU interconnectées avec des liaisons ICI.

MIG avec des tranches de TPU à hôte unique

La création d'un groupe d'instances géré (MIG) avec plusieurs instances TPU indépendantes est utile pour les charges de travail qui nécessitent plusieurs VM TPU individuelles, mais qui n'ont pas besoin d'être interconnectées avec des liaisons ICI pour les charges de travail distribuées. Exemple :

  • Diffusion d'inférence : chaque VM du MIG peut gérer indépendamment les requêtes d'inférence. Un MIG vous permet d'ajuster le nombre d'instances de diffusion en fonction de la demande et de les gérer en tant que groupe.
  • Tâches indépendantes parallèles : un MIG permet de gérer de nombreux petits jobs d'entraînement indépendants ou d'autres calculs pouvant s'exécuter en parallèle sur des VM TPU uniques.
  • Gestion : les MIG offrent les fonctionnalités suivantes :
    • Déploiement : définissez un modèle d'instance une seule fois et utilisez le MIG pour créer plusieurs VM TPU identiques.
    • Évolutivité : ajustez le nombre de VM TPU en redimensionnant le MIG.
    • Mises à jour progressives : mettez à jour le logiciel ou le type de machine sur toutes les VM de manière contrôlée.
  • Rentabilité : pour les tâches qui ne nécessitent pas la puissance ou l'interconnectivité complètes d'une grande tranche de TPU, il peut être plus rentable d'utiliser plusieurs tranches de TPU plus petites et indépendantes.

Pour en savoir plus, consultez Créer un MIG avec des tranches de TPU à hôte unique.

MIG avec une tranche multi-hôte

Contrairement aux groupes de tranches TPU indépendantes, un MIG configuré pour une tranche multi-hôte gère un ensemble de VM TPU étroitement couplées par des liaisons ICI. Une seule tranche TPU logique est alors créée.

Avantages et performances

Les MIG pour les tranches de TPU multi-hôtes offrent l'évolutivité et les performances requises pour les charges de travail de machine learning intensives.

  • Entraînement distribué : L'entraînement des modèles d'apprentissage automatique nécessite souvent plus de puissance TPU qu'une seule machine virtuelle TPU ne peut en fournir. Les tranches de TPU plus grandes répartissent le calcul sur de nombreuses puces TPU et VM, les liaisons ICI permettant une communication rapide entre elles. C'est essentiel pour les performances d'entraînement.
  • Bande passante d'interconnexion élevée : le réseau ICI offre une bande passante plus élevée et une latence plus faible entre les puces TPU de la tranche que le réseau de centre de données (DCN) standard. Ceci est essentiel pour les opérations synchrones courantes dans l'entraînement de grands modèles.

Opérations atomiques du cycle de vie

Pour garantir l'intégrité de la topologie interconnectée, le MIG gère l'intégralité de la tranche comme une seule unité indivisible tout au long de son cycle de vie.

  • Création : toutes les VM de la tranche sont provisionnées ensemble. Si la capacité interconnectée opérationnelle n'est pas suffisante pour l'ensemble de la topologie demandée, la tranche n'est pas créée.
  • Suppression : le MIG supprime l'intégralité de la tranche en tant qu'unité.
  • Redimensionnement : le redimensionnement est limité au scaling de 0 à la taille complète de la tranche, ou de la taille complète de la tranche à 0. Vous ne pouvez pas redimensionner partiellement une tranche multi-VM.

Configuration requise

La configuration d'un MIG multi-hôte nécessite de définir à la fois la topologie d'interconnexion physique et les propriétés des instances individuelles.

  • Règle de charge de travail : vous devez spécifier une règle de charge de travail avec le paramètre accelerator-topology (par exemple, 4x4, 8x8 ou 4x4x4). Cela configure le MIG pour qu'il traite les instances comme une seule tranche interconnectée. Pour en savoir plus sur la topologie, consultez Architecture du système.
  • Modèle d'instance : définit des propriétés telles que le type de machine, l'image disque et d'autres paramètres pour chaque VM de la tranche.

Disponibilité des tranches et reprise après échec

Lorsque vous utilisez des MIG pour créer une tranche de TPU multi-hôte, le comportement de récupération après défaillance dépend du modèle de provisionnement et du mode de réservation que vous utilisez :

  • Lorsqu'un MIG utilise des VM à la demande, des VM à démarrage flexible ou des réservations (à l'exclusion des réservations en mode Toute la capacité). Dans ce scénario, Compute Engine gère automatiquement le processus de récupération des tranches. En cas de défaillance de l'hôte ou de l'ICI, la tranche passe à l'état REACTIVATING. Toutes les VM de la tranche passent à l'état REPAIRING, mais pas nécessairement toutes en même temps. Compute Engine récupère ensuite automatiquement la tranche en redémarrant les VM ensemble sur une capacité opérationnelle.

  • Lorsqu'un MIG utilise le modèle de provisionnement Spot. Dans ce scénario, vous êtes chargé de gérer le processus de récupération des tranches. Si une préemption de VM Spot se produit, Compute Engine arrête toutes les instances de la tranche. La tranche passe à l'état FAILED et les VM passent à l'état TERMINATED. Pour récupérer l'état d'échec, vous devez recréer la tranche manuellement.

  • Lorsqu'un MIG utilise des réservations en mode "Toute la capacité". Dans ce scénario, vous êtes chargé de gérer le processus de récupération des tranches. En cas d'échec, la tranche passe à l'état FAILED et vous devez recréer la tranche manuellement.

    Le comportement en mode "Toute la capacité" dépend également des éléments suivants :

    • Défaillance de l'hôte ou signalement d'une VM défectueuse La VM concernée passe à l'état REPAIRING. Une fois le matériel sous-jacent réparé, la VM repasse à l'état RUNNING.
    • Maintenance d'urgence à venir. Lorsque vous démarrez manuellement un événement de maintenance, les VM passent de l'état RUNNING à l'état REPAIRING. Une fois la maintenance terminée, la VM revient à l'état RUNNING.
    • Échec de l'ICI. Les VM restent à l'état RUNNING, mais l'état de la tranche passe à l'état FAILED.

Pour recréer une tranche après la préemption de VM Spot ou une défaillance en mode "Toute la capacité", vous devez effectuer l'une des opérations suivantes :

  • Supprimez et recréez le MIG.
  • Redimensionnez le MIG sur 0, puis augmentez-le à la taille requise.

Reprise après échec suite à l'interruption d'une instance

Si vous supprimez ou arrêtez une instance de TPU, ou si vous arrêtez une instance depuis le système d'exploitation, la tranche passe à l'état FAILED. Dans ce scénario, la tranche reste à l'état FAILED jusqu'à ce que vous la recréiez. Pour recréer la tranche, vous devez supprimer et recréer le MIG, ou redimensionner le MIG sur 0, puis augmenter sa taille.

Pour en savoir plus sur les états des tranches, consultez Afficher l'état d'une tranche de TPU.

Limites

Les sections suivantes expliquent les limites de la création d'un MIG avec des VM TPU.

Limites des modèles d'instance

Les modèles d'instance qui spécifient un type de machine TPU présentent les limites suivantes :

  • Lorsque vous utilisez le modèle de provisionnement lié à la réservation, vous devez définir l'action d'arrêt de l'instance sur "Supprimer".

  • Les TPU ne peuvent utiliser que des réservations spécifiquement ciblées.

  • Vous ne pouvez pas spécifier de stratégie d'emplacement.

  • Vous ne devez pas désactiver le redémarrage automatique dans les cas suivants :

    • Tranches multi-hôtes utilisant des modèles de provisionnement standards, à démarrage flexible ou liés à une réservation (y compris le mode "Toute la capacité").

    • Hôte unique utilisant le modèle de provisionnement lié à une réservation en mode "Toute la capacité".

  • Vous ne devez pas activer le redémarrage automatique lorsque vous utilisez le modèle de provisionnement Spot.

Limites des MIG

Les MIG avec des TPU présentent les limites suivantes :

  • Opérations de cycle de vie : vous ne pouvez pas arrêter, démarrer, reprendre ni suspendre des instances TPU. Pour modifier les configurations qui nécessitent un redémarrage ou pour ne plus payer de frais, vous devez supprimer les instances.

  • Distribution de zone de MIG régional : vous devez définir la forme de distribution cible sur ANY_SINGLE_ZONE.

  • Mises à jour de configuration dans un MIG :

    • Vous ne pouvez pas mettre à jour un MIG qui forme une tranche TPU multi-hôte en raison de la topologie d'accélérateur définie.
    • Vous pouvez mettre à jour un MIG qui forme des tranches de TPU à hôte unique à l'aide des méthodes automatique ou sélective. Toutefois, les mises à jour d'une tranche de TPU à hôte unique ne sont pas compatibles avec l'action de redémarrage (RESTART). Si un redémarrage est nécessaire et que l'action la plus perturbatrice autorisée est le remplacement (REPLACE), l'outil de mise à jour remplace l'instance. Sinon, la tentative de mise à jour échoue et renvoie une erreur.

  • Pour un MIG qui forme une tranche de TPU multi-hôte, les limites suivantes s'appliquent également :

    • Règle de taille cible : vous devez définir le mode de la règle de taille cible sur BULK. Une fois ce mode défini, vous ne pouvez plus le modifier.

    • Taille cible : en mode groupé, vous pouvez définir la taille cible sur 0 ou sur le nombre d'instances requises pour former la topologie d'accélérateur.

    • Règle de charge de travail : vous devez spécifier une règle de charge de travail dans laquelle la topologie de l'accélérateur est définie. Une fois que vous avez défini la stratégie de charge de travail, vous ne pouvez plus la modifier ni la supprimer du MIG.

    • Réparations initiées par le MIG : vous devez désactiver les réparations initiées par le MIG en définissant le champ defaultActionOnFailure sur DO_NOTHING. Dans cette configuration, le MIG n'effectue aucune action sur une instance défaillante. Compute Engine récupère automatiquement l'instance défaillante en redémarrant toutes les instances de la même tranche sur une capacité opérationnelle.

  • Fonctionnalités non compatibles : les MIG avec TPU ne sont pas compatibles avec les fonctionnalités suivantes :

Étapes suivantes