In diesem Leitfaden finden Sie eine Anleitung zum Konfigurieren und Verwenden von Flex-Start-VMs mit Slurm auf der Gemini Enterprise Agent Platform. Mit dieser Integration können Sie flexible VM-Bereitstellungsmodelle für Ihre Trainingsarbeitslasten verwenden.
Konfiguration und Clustererstellung
Bevor Sie einen Cluster erstellen, der Flex-Start-VMs verwendet, müssen Sie prüfen, ob Ihr Projekt über ausreichend Kontingent für VMs auf Abruf für die vCPUs, den Arbeitsspeicher und die Beschleuniger verfügt, die von Ihren Flex-Start-Knotenpools angefordert werden. Weitere Informationen finden Sie unter Kontingent für Flex-Start-VMs.
Berechtigungen für den Google APIs-Dienst-Agent prüfen
Sie müssen den verwalteten Instanzgruppen, die Flex-Start-VMs bereitstellen, keine zusätzlichen IAM-Rollen zuweisen. Diese Gruppen verwenden einen von Google verwalteten Dienst-Agent, der automatisch eingerichtet wird, wenn Sie die erforderlichen APIs aktivieren. Informationen zum Aktivieren der erforderlichen APIs finden Sie unter Erste Schritte.
Die verwaltete Instanzgruppe für die Slurm-Login-Knoten verwendet den Google APIs-Dienst-Agent (PROJECT_NUMBER@cloudservices.gserviceaccount.com).
Dieser Dienst-Agent hat standardmäßig die Rolle „Bearbeiter“ (roles/editor). Wenn Ihre Organisation diese Rolle entfernt hat, weisen Sie dem Google APIs-Dienst-Agent die folgenden Rollen zu, damit er die Login-Knoten erstellen kann:
- Compute Instance Admin (v1) (
roles/compute.instanceAdmin.v1): Ermöglicht dem Dienst-Agent, VM-Instanzen zu erstellen, aufzulisten und zu löschen. - Dienstkontonutzer (
roles/iam.serviceAccountUser): Ermöglicht dem Dienst-Agent, ein Dienstkonto an die VMs anzuhängen.
Slurm-Cluster mit dem Bereitstellungsmodell „Flex-Start“ erstellen
Wenn Sie einen Slurm-Cluster erstellen möchten, der das Bereitstellungsmodell „Flex-Start“ verwendet, müssen Sie beim Senden der Anfrage zur Clustererstellung über die API provisioning_model in der Knotenpoolkonfiguration Ihrer Clusterspezifikation angeben.
Beispiel für ein Konfigurations-Snippet: Speichern Sie die folgende JSON-Konfiguration in einer Datei mit dem Namen cluster_config.json. In diesem Beispiel wird explizit ein slurm_spec verwendet.
Ersetzen Sie die Platzhalter (z. B. <project-id>, <region>, <zone>) durch Ihre tatsächlichen Werte.
{
"display_name": "flexvm",
"name": "projects/<project-id>/locations/<region>/modelDevelopmentClusters/",
"network": {
"network": "projects/<project-id>/global/networks/default",
"subnetwork": "projects/<project-id>/regions/<region>/subnetworks/default"
},
"node_pools": [
{
"id": "login",
"machine_spec": { "machine_type": "n2-standard-8" },
"scaling_spec": { "min_node_count": 1, "max_node_count": 1 },
"enable_public_ips": "true",
"zone": "<zone>",
"boot_disk": { "boot_disk_type": "pd-standard", "boot_disk_size_gb": 120 }
},
{
"id": "a3u",
"machine_spec": {
"machine_type": "a3-ultragpu-8g",
"accelerator_type": "NVIDIA_H200_141GB",
"accelerator_count": 8
},
"provisioning_model": "FLEX_START",
"flex_start_max_duration": "604800s",
"scaling_spec": { "min_node_count": 0, "max_node_count": 2 },
"zone": "<zone>",
"enable_public_ips": "true",
"boot_disk": { "boot_disk_type": "hyperdisk-balanced", "boot_disk_size_gb": 400 }
}
],
"orchestrator_spec": {
"slurm_spec": {
"home_directory_storage": "projects/<project-id>/locations/<zone>/instances/<filestore-id>",
"partitions": [ { "id": "a3u", "node_pool_ids": [ "a3u" ] } ],
"login_node_pool_id": "login"
}
}
}
Folgen Sie der Anleitung unter Slurm-Cluster erstellen, um sich zu authentifizieren und die Anfrage zu senden.
Maximale Flex-Start-Dauer: Sie können optional die maximale Ausführungsdauer für Ihre Flex-Start-Instanzen festlegen. Verwenden Sie das Feld flex_start_max_duration in Ihrer Knotenpoolkonfiguration und geben Sie den Wert als String in Sekunden an, gefolgt von einem „s“ (z. B. „172800s“ für 2 Tage). Wenn keine Angabe gemacht wird, beträgt die Standardeinstellung des Systems 7 Tage.
Betriebslebenszyklus und Ausfallsicherheit
Das Verständnis des Lebenszyklus von Flex Start-Knoten in einer Slurm-Umgebung auf der Gemini Enterprise Agent Platform ist für die Planung Ihrer Jobs entscheidend.
Einschränkungen für Flex-Start
Alle Flex-Start-VMs haben eine feste maximale Ausführungsdauer, die durch die Einstellung flex_start_max_duration definiert wird.
- Dauerlimit: Standardmäßig ist die
flex_start_max_durationauf 7 Tage festgelegt. Sie können dieses Limit überschreiben, indem Sie in Ihrer Knotenpoolkonfiguration einen benutzerdefiniertenflex_start_max_duration-Wert zwischen 10 Minuten (600 Sekunden) und 7 Tagen (604.800 Sekunden) angeben, der besser zu Ihren erwarteten Joblaufzeiten passt. - Beendigung: Wenn dieses Limit erreicht ist, beendet Compute Engine die Instanz strikt.
Knotenskalierungsverhalten
In den folgenden Abschnitten werden die beiden verfügbaren Skalierungsstrategien beschrieben: statisch und dynamisch.
Statischer Knoten
Mit statischen Knoten können Sie einen festen Pool von Ressourcen verwalten, die immer verfügbar sind (z. B. min_node_count > 0).
- Bereitstellung: Knoten werden sofort nach der Erstellung oder Größenänderung des Clusters angefordert, um die Mindestanzahl von Knoten zu erreichen.
- Ablauf und Wiederherstellung: Wenn ein statischer Flex Start-Knoten seinen
flex_start_max_durationerreicht und von Compute Engine beendet wird, versucht das System automatisch, den Knoten neu zu erstellen, um die definierte Clusterkapazität wiederherzustellen. Dieser Zyklus sorgt dafür, dass der statische Pool immer gefüllt ist, unabhängig davon, ob ein Slurm-Job auf die Knoten wartet.
Dynamischer Knoten
Mit dynamischen Knoten kann der Cluster nur bei Bedarf hochskaliert werden.
- Bereitstellung: Wenn ein Job in die Warteschlange gestellt wird (Status
PENDING), fordert der Slurm-Scheduler Ressourcen an, indem er eine verwaltete Instanzgruppe erstellt und eine Anfrage zur Größenanpassung ausgibt. - Ablauf und Wiederherstellung: Nach Ablauf stellt das System nur dann einen neuen Flex Start-Knoten bereit, wenn ein Slurm-Job auf den Knoten aussteht.
Cluster-Ausfallsicherheit und automatische Reparatur
Slurm auf der Gemini Enterprise Agent Platform überwacht den Zustand von Knoten in wichtigen Phasen des Joblebenszyklus. Systemdiagnosen werden sowohl vor dem Start eines Jobs (Prolog) als auch nach dem Abschluss (Epilog) ausgeführt, um die Jobstabilität zu gewährleisten.
- Hardwarefehlerbehandlung: Wenn der Dienst kritische Hardwareprobleme (z. B. GPU-Fehler) erkennt, wird die fehlerhafte VM automatisch repariert.
- Automatischer Ersatz: Wenn sich der Job noch im Status AUSSTEHEND befindet (oder aufgrund des Knotenausfalls wieder in die Warteschlange mit dem Status AUSSTEHEND gestellt wurde), stellt das System automatisch eine neue Flex Start-Instanz bereit, um die fehlerhafte VM zu ersetzen. So kann die Arbeitslast ohne manuelles Eingreifen auf fehlerfreier Hardware fortgesetzt werden.