Utiliser des VM à démarrage flexible avec un cluster Slurm

Ce guide explique comment configurer et utiliser des VM Flex-start avec Slurm sur Gemini Enterprise Agent Platform. Cette intégration vous permet d'utiliser des modèles de provisionnement de VM flexibles pour vos charges de travail d'entraînement.

Configuration et création de clusters

Avant de créer un cluster qui utilise des VM à démarrage flexible, assurez-vous que votre projet dispose d'un quota préemptif suffisant pour les processeurs virtuels, la mémoire et les accélérateurs demandés par vos pools de nœuds à démarrage flexible. Pour en savoir plus, consultez Quota de VM Flex-start.

Vérifier les autorisations de l'agent de service des API Google

Vous n'avez pas besoin d'attribuer des rôles IAM supplémentaires aux groupes d'instances gérés qui provisionnent des VM à démarrage flexible. Ces groupes utilisent un agent de service géré par Google qui est configuré automatiquement lorsque vous activez les API requises. Pour activer les API requises, consultez Premiers pas.

Le groupe d'instances géré pour les nœuds de connexion Slurm utilise l'agent de service des API Google (PROJECT_NUMBER@cloudservices.gserviceaccount.com). Cet agent de service dispose du rôle Éditeur (roles/editor) par défaut. Si votre organisation a supprimé ce rôle, attribuez les rôles suivants à l'agent de service des API Google afin qu'il puisse créer les nœuds de connexion :

  • Administrateur d'instances Compute (v1) (roles/compute.instanceAdmin.v1) : permet à l'agent de service de créer, de lister et de supprimer des instances de VM.
  • Utilisateur du compte de service (roles/iam.serviceAccountUser) : permet à l'agent de service d'associer un compte de service aux VM.

Créer un cluster Slurm avec le modèle de provisionnement de démarrage flexible

Pour créer un cluster Slurm qui utilise le modèle de provisionnement Démarrage flexible, vous devez spécifier provisioning_model dans la configuration du pool de nœuds de la spécification de votre cluster lorsque vous envoyez votre requête de création de cluster à l'aide de l'API.

Exemple d'extrait de configuration : enregistrez la configuration JSON suivante dans un fichier nommé cluster_config.json. Cet exemple utilise explicitement un slurm_spec. Remplacez les espaces réservés (par exemple, <project-id>, <region>, <zone>) par vos valeurs réelles.

{
  "display_name": "flexvm",
  "name": "projects/<project-id>/locations/<region>/modelDevelopmentClusters/",
  "network": {
    "network": "projects/<project-id>/global/networks/default",
    "subnetwork": "projects/<project-id>/regions/<region>/subnetworks/default"
  },
  "node_pools": [
    {
      "id": "login",
      "machine_spec": { "machine_type": "n2-standard-8" },
      "scaling_spec": { "min_node_count": 1, "max_node_count": 1 },
      "enable_public_ips": "true",
      "zone": "<zone>",
      "boot_disk": { "boot_disk_type": "pd-standard", "boot_disk_size_gb": 120 }
    },
    {
      "id": "a3u",
      "machine_spec": {
        "machine_type": "a3-ultragpu-8g",
        "accelerator_type": "NVIDIA_H200_141GB",
        "accelerator_count": 8
      },
      "provisioning_model": "FLEX_START",
      "flex_start_max_duration": "604800s",
      "scaling_spec": { "min_node_count": 0, "max_node_count": 2 },
      "zone": "<zone>",
      "enable_public_ips": "true",
      "boot_disk": { "boot_disk_type": "hyperdisk-balanced", "boot_disk_size_gb": 400 }
    }
  ],
  "orchestrator_spec": {
    "slurm_spec": {
      "home_directory_storage": "projects/<project-id>/locations/<zone>/instances/<filestore-id>",
      "partitions": [ { "id": "a3u", "node_pool_ids": [ "a3u" ] } ],
      "login_node_pool_id": "login"
    }
  }
}

Suivez les étapes de la section Créer un cluster Slurm pour vous authentifier et envoyer la requête.

Durée maximale du démarrage flexible : vous pouvez éventuellement définir la durée d'exécution maximale de vos instances à démarrage flexible. Utilisez le champ flex_start_max_duration dans la configuration de votre pool de nœuds, en spécifiant la valeur sous forme de chaîne en secondes, suivie d'un "s" (par exemple, "172800s" pour deux jours). Si aucune valeur n'est spécifiée, le système applique par défaut une durée de sept jours.

Cycle de vie opérationnel et résilience

Il est essentiel de comprendre le cycle de vie des nœuds à démarrage flexible dans un environnement Slurm sur Gemini Enterprise Agent Platform pour planifier vos jobs.

Contraintes de démarrage flexible

Toutes les VM à démarrage flexible ont une durée d'exécution maximale fixe, définie par le paramètre flex_start_max_duration.

  • Limite de durée : par défaut, la flex_start_max_duration est définie sur sept jours. Vous pouvez remplacer cette limite en spécifiant un flex_start_max_duration personnalisé compris entre 10 minutes (600 secondes) et 7 jours (604 800 secondes) dans la configuration de votre pool de nœuds pour mieux correspondre aux durées d'exécution attendues de vos jobs.
  • Arrêt : lorsque cette limite est atteinte, Compute Engine arrête l'instance.

Comportement du scaling des nœuds

Les sections suivantes décrivent les deux stratégies de scaling disponibles : statique et dynamique.

Nœud statique

Les nœuds statiques vous permettent de gérer un pool fixe de ressources toujours disponibles (par exemple, min_node_count > 0).

  • Provisionnement : les nœuds sont demandés immédiatement lors de la création ou du redimensionnement du cluster pour atteindre le nombre minimal de nœuds.
  • Expiration et récupération : lorsqu'un nœud Flex Start statique atteint son flex_start_max_duration et est arrêté par Compute Engine, le système tente automatiquement de recréer le nœud pour restaurer la capacité du cluster définie. Ce cycle garantit que le pool statique reste rempli, qu'un job Slurm soit en attente sur les nœuds ou non.

Nœud dynamique

Les nœuds dynamiques permettent au cluster d'effectuer un scaling à la hausse uniquement lorsque cela est nécessaire.

  • Provisionnement : lorsqu'un job est mis en file d'attente (état PENDING), le planificateur Slurm demande des ressources en créant un groupe d'instances géré et en émettant une requête de redimensionnement.
  • Expiration et récupération : à l'expiration, le système ne provisionne un nouveau nœud de démarrage flexible que si un job Slurm est en attente sur les nœuds.

Résilience et réparation automatique des clusters

Slurm sur Gemini Enterprise Agent Platform surveille l'état des nœuds aux étapes clés du cycle de vie des jobs. Les vérifications d'état sont exécutées avant le démarrage d'un job (prologue) et après sa fin (épilogue) pour aider à maintenir la stabilité du job.

  • Gestion des exceptions matérielles : si le service détecte des problèmes matériels critiques (comme des erreurs de GPU), il est conçu pour réparer automatiquement la VM défaillante.
  • Remplacement automatique : si le job est toujours à l'état EN ATTENTE (ou s'il a été remis en file d'attente à l'état EN ATTENTE en raison de la défaillance du nœud), le système provisionne automatiquement une nouvelle instance de démarrage flexible pour remplacer la VM défaillante. Cela permet à votre charge de travail de se poursuivre sur du matériel opérationnel sans intervention manuelle.