Gemini Enterprise Agent Platform-Trainingscluster verwenden Simple Linux Utility for Resource Management (Slurm) als Orchestrator für die Verwaltung und Planung von Jobs in Ihrem Cluster.
Slurm ist ein weit verbreitetes Open-Source-Clusterverwaltungs- und Jobplanungssystem, das für seine Skalierbarkeit und Fehlertoleranz bekannt ist.
Wichtige Funktionen von Slurm
- Slurm weist eine Reihe von Compute-Knoten für die exklusive Nutzung eines bestimmten Jobs für einen definierten Zeitraum zu. So wird sichergestellt, dass ein Job dedizierten Zugriff auf die Ressourcen hat, die er für die Ausführung ohne Störungen benötigt.
- Slurm bietet ein Framework für die Verwaltung des gesamten Lebenszyklus eines Jobs – von der Einreichung und Ausführung bis hin zum Monitoring und Abschluss. Dieses System ist speziell für die Verarbeitung paralleler Jobs konzipiert, die auf einer Reihe von zugewiesenen Knoten ausgeführt werden.
- Slurm verwaltet eine Warteschlange mit ausstehenden Jobs und verwendet eine ausgefeilte Priorisierungs-Engine, um den Zugriff auf Rechenressourcen zu steuern. Durch die Berücksichtigung von Faktoren wie Jobgröße, Nutzerpriorität und Wartezeit sorgt dieses System für eine faire und effiziente Ressourcennutzung im gesamten Cluster.
Grundlegende Clusterkonfiguration
Bevor Sie Jobs ausführen können, müssen Sie die grundlegende Struktur Ihres Slurm-Clusters definieren. In diesem Abschnitt werden die wichtigsten Konfigurationseinstellungen beschrieben, darunter das Organisieren von Compute-Knoten in Partitionen, das Angeben eines dedizierten Login-Knotenpools und das Konfigurieren eines freigegebenen Basisverzeichnisses für Ihre Nutzer.
Partitionen
Partitionen gruppieren Knoten in logische Sätze, was für die Verwaltung verschiedener Maschinentypen oder Zugriffsebenen nützlich sein kann. Sie werden als Liste im Feld „partitions“ der slurm_spec definiert.
Jedes Partitionsobjekt hat die folgenden Pflichtfelder:
id: Eine eindeutige Kennung für die Partition.node_pool_ids: Eine Liste mit den IDs eines oder mehrerer Knotenpools, die zu dieser Partition gehören.
Beispiel:
"partitions": [
{
"id": "a4",
"node_pool_ids": [ "a4" ]
}
]
Jobs, die ohne --partition gesendet werden, werden auf der Standardpartition ausgeführt. Wenn Sie die Standardpartition angeben möchten, setzen Sie default_partition_id in der slurm_spec auf die id einer Ihrer Partitionen. Wenn Sie sie nicht festlegen, ist die erste Partition in der Liste die Standardpartition.
Login-Knoten
Der Login-Knotenpool bietet dedizierte Knoten, die als primärer Einstiegspunkt für Nutzer dienen, um mit dem Cluster zu interagieren. Das Feld login_node_pool_id gibt die eindeutige Kennung für diesen Pool an.
Beispiel:
"login_node_pool_id": "login"
Speicher für Basisverzeichnis
Im Feld home_directory_storage wird die Filestore-Instanz angegeben, die als Verzeichnis /home auf allen Knoten im Cluster bereitgestellt werden soll. Dadurch wird ein freigegebenes, nichtflüchtiges Basisverzeichnis für alle Nutzer bereitgestellt.
Sie müssen den vollständigen Ressourcennamen der Filestore-Instanz für diesen Wert angeben.
Beispiel:
"home_directory_storage": "projects/PROJECT_ID/locations/REGION-ZONE/instances/FILESTORE_INSTANCE_NAME"
Slurm-Controller-Version
Im optionalen Feld controller_version wird die Slurm-Version angegeben, die der Controller-Knoten des Clusters verwendet. Unterstützte Werte sind "26.05" und "25.05". Wenn Sie nichts angeben, verwenden neue Cluster standardmäßig "26.05". Sie können die Slurm-Controller-Version nach dem Erstellen eines Clusters nicht mehr ändern.
Beispiel:
"controller_version": "25.05"
Erweiterte Slurm-Konfiguration
Mit Trainingsclustern der Gemini Enterprise Agent Platform können Sie slurm.conf-Parameter festlegen und in einem laufenden Cluster ändern. Weitere Informationen finden Sie unter Slurm-Konfigurationszuordnungen.
Ressourcenerfassung, vorzeitiges Beenden und Priorität
Die Slurm-Ressourcenerfassung ist für jeden Cluster aktiviert, sodass Sie die Ressourcennutzung pro Job, z. B. CPU-Zeit und Arbeitsspeicher, verfolgen können. Sie können auch Abrechnungslimits erzwingen, die Jobpriorität gewichten und die Preemption über config aktivieren, wie in der Beispiel-Clusterspezifikation gezeigt. Informationen zur Funktionsweise finden Sie in der Slurm-Dokumentation zu Accounting, zum Multifaktor-Prioritäts-Plug-in und zum vorzeitigen Beenden.
Prolog- und Epilog-Scripts
Sie können benutzerdefinierte Bash-Skripts so konfigurieren, dass sie automatisch am Anfang (Prolog) und am Ende (Epilog) jedes Jobs ausgeführt werden. Verwenden Sie dazu die folgenden Felder:
prolog_bash_scripts: Eine Liste von Strings, wobei jeder String den vollständigen Inhalt eines Bash-Skripts enthält, das vor Beginn des Jobs ausgeführt werden soll.epilog_bash_scripts: Eine Liste von Strings, wobei jeder String den vollständigen Inhalt eines Bash-Skripts enthält, das nach Abschluss des Jobs ausgeführt werden soll.
Das ist nützlich, um eine eindeutige Jobumgebung einzurichten oder automatisierte Bereinigungsaufgaben auszuführen.
Beispiel für eine Clusterspezifikation
Das folgende Beispiel zeigt eine JSON-Konfiguration zum Erstellen eines Trainingsclusters. Sie können diese Spezifikation an Ihre eigenen Anforderungen anpassen.
{ // ... other cluster configurations ... "orchestratorSpec": { "slurmSpec": { "partitions": [ { "id": "a4", "node_pool_ids": ["a4"] } ], "login_node_pool_id": "login", "home_directory_storage": "projects/PROJECT_ID/locations/REGION-ZONE/instances/FILESTORE_INSTANCE_ID", "config": { "AccountingStorageEnforce": "associations,limits,qos", "PriorityType": "priority/multifactor", "PriorityWeightAge": "1000", "PriorityWeightFairshare": "10000", "PreemptType": "preempt/partition_prio", "PreemptMode": "REQUEUE", "PreemptExemptTime": "00:10:00" }, "prolog_bash_scripts": [ "#!/bin/bash\necho 'First prolog script running'", "#!/bin/bash\necho 'Second prolog script running'" ], "epilog_bash_scripts": [ "#!/bin/bash\necho 'Epilog script running'" ] // ... other Slurm settings ... } } }
Clusterverwaltung und ‑vorgänge
Ausgeführten Cluster verwalten
Nachdem Ihr Cluster mit den ausgewählten Einstellungen für die Ressourcenerfassung und vorzeitiges Beenden erstellt wurde, können Sie die Befehlszeilentools von Slurm verwenden, um Nutzerkonten zu verwalten und die Jobplanung zu überwachen.
Kontoverwaltung mit sacctmgr
Der Befehl sacctmgr ist das primäre Tool zum Verwalten von Nutzer- und Kontoinformationen in der Slurm-Datenbank. Wenn Sie beispielsweise einem Konto einen neuen Nutzer hinzufügen und ihm Zugriff auf eine Partition gewähren möchten, führen Sie den folgenden Befehl aus:
sudo sacctmgr add User Accounts=<account> Partition=<partition> <user>
Eine vollständige Liste aller sacctmgr-Optionen finden Sie in der offiziellen Slurm-Dokumentation zur Ressourcenerfassung.
Jobpriorität prüfen
Verwenden Sie das Dienstprogramm sprio, um die Prioritätskomponenten der einzelnen Jobs in der Warteschlange zu prüfen. Das ist hilfreich, um zu verstehen, warum bestimmte Jobs vor anderen ausgeführt werden.
Ausführliche Informationen zur Verwendung finden Sie in der Dokumentation zum sprio-Dienstprogramm.
Beispiele für Preemption
Die offizielle Slurm-Dokumentation enthält mehrere Arbeitsbeispiele für verschiedene Strategien für das vorzeitige Beenden. Diese finden Sie auf der Seite Slurm-Preemption.
Nächste Schritte
Im Folgenden geht es um die letzten Schritte des Machine-Learning-Lebenszyklus: die Verwaltung, Bereitstellung und das Monitoring Ihrer trainierten Modelle.
- Modell für die Inferenz bereitstellen: Stellen Sie Ihr trainiertes Modell auf einem Gemini Enterprise Agent Platform-Endpunkt bereit, um Online-Inferenzanfragen in großem Umfang zu verarbeiten.
- Modelllebenszyklus verwalten: Mit der Gemini Enterprise Agent Platform Model Registry können Sie Ihre Modelle versionieren, vergleichen und verwalten. Eine Pipeline kann so konfiguriert werden, dass ein neues Modell nach erfolgreichem Training automatisch registriert wird.
- Überwachen Sie Ihre Pipelineausführungen und die Modellleistung:
- Pipeline-Monitoring: Verfolgen Sie die Ausführungsgrafik, Artefakte und Leistung Ihrer Pipelineausführungen, um Probleme zu beheben und die Orchestrierung zu optimieren.
- Gemini Enterprise Agent Platform Model Monitoring: Richten Sie nach der Bereitstellung ein Monitoring ein, um Abweichungen und Anomalien in der Vorhersageleistung Ihres Modells zu erkennen. So können Sie die Genauigkeit des Modells im Laufe der Zeit aufrechterhalten.
- Kosten optimieren und Clusterlebenszyklus verwalten: Wenn Sie automatisierte Pipelines verwenden, verwalten Sie den Lebenszyklus des Clusters unter Berücksichtigung der Ausführungshäufigkeit.
- Fügen Sie bei seltenen Ausführungen einen letzten Pipelineschritt hinzu, um den Cluster zu löschen und Kosten zu sparen. Dazu wird in der Regel eine benutzerdefinierte Pipelinekomponente erstellt, die die Löschfunktion aufruft.
- Wenn Sie häufig Ausführungen vornehmen, lassen Sie den Cluster aktiv, um die Startzeit des Jobs zu verkürzen.