Orchestrierung

Wenn Sie an Gemini Enterprise Agent Platform-Trainingsclustern interessiert sind, wenden Sie sich an Ihren Vertriebsmitarbeiter, um Zugriff zu erhalten.

Gemini Enterprise Agent Platform-Trainingscluster verwenden Simple Linux Utility for Resource Management (Slurm) als Orchestrator für die Verwaltung und Planung von Jobs in Ihrem Cluster.

Slurm ist ein weit verbreitetes Open-Source-Clusterverwaltungs- und Jobplanungssystem, das für seine Skalierbarkeit und Fehlertoleranz bekannt ist.

Wichtige Funktionen von Slurm

  • Slurm weist eine Reihe von Compute-Knoten für die exklusive Nutzung eines bestimmten Jobs für einen definierten Zeitraum zu. So wird sichergestellt, dass ein Job dedizierten Zugriff auf die Ressourcen hat, die er für die Ausführung ohne Störungen benötigt.
  • Slurm bietet ein Framework für die Verwaltung des gesamten Lebenszyklus eines Jobs – von der Einreichung und Ausführung bis hin zum Monitoring und Abschluss. Dieses System ist speziell für die Verarbeitung paralleler Jobs konzipiert, die auf einer Reihe von zugewiesenen Knoten ausgeführt werden.
  • Slurm verwaltet eine Warteschlange mit ausstehenden Jobs und verwendet eine ausgefeilte Priorisierungs-Engine, um den Zugriff auf Rechenressourcen zu steuern. Durch die Berücksichtigung von Faktoren wie Jobgröße, Nutzerpriorität und Wartezeit sorgt dieses System für eine faire und effiziente Ressourcennutzung im gesamten Cluster.

Grundlegende Clusterkonfiguration

Bevor Sie Jobs ausführen können, müssen Sie die grundlegende Struktur Ihres Slurm-Clusters definieren. In diesem Abschnitt werden die wichtigsten Konfigurationseinstellungen beschrieben, darunter das Organisieren von Compute-Knoten in Partitionen, das Angeben eines dedizierten Login-Knotenpools und das Konfigurieren eines freigegebenen Basisverzeichnisses für Ihre Nutzer.

Partitionen

Partitionen gruppieren Knoten in logische Sätze, was für die Verwaltung verschiedener Maschinentypen oder Zugriffsebenen nützlich sein kann. Sie werden als Liste im Feld „partitions“ der slurm_spec definiert.

Jedes Partitionsobjekt hat die folgenden Pflichtfelder:

  • id: Eine eindeutige Kennung für die Partition.
  • node_pool_ids: Eine Liste mit den IDs eines oder mehrerer Knotenpools, die zu dieser Partition gehören.

Beispiel:

"partitions": [
  {
    "id": "a4",
    "node_pool_ids": [ "a4" ]
  }
]

Jobs, die ohne --partition gesendet werden, werden auf der Standardpartition ausgeführt. Wenn Sie die Standardpartition angeben möchten, setzen Sie default_partition_id in der slurm_spec auf die id einer Ihrer Partitionen. Wenn Sie sie nicht festlegen, ist die erste Partition in der Liste die Standardpartition.

Login-Knoten

Der Login-Knotenpool bietet dedizierte Knoten, die als primärer Einstiegspunkt für Nutzer dienen, um mit dem Cluster zu interagieren. Das Feld login_node_pool_id gibt die eindeutige Kennung für diesen Pool an.

Beispiel:

"login_node_pool_id": "login"

Speicher für Basisverzeichnis

Im Feld home_directory_storage wird die Filestore-Instanz angegeben, die als Verzeichnis /home auf allen Knoten im Cluster bereitgestellt werden soll. Dadurch wird ein freigegebenes, nichtflüchtiges Basisverzeichnis für alle Nutzer bereitgestellt.

Sie müssen den vollständigen Ressourcennamen der Filestore-Instanz für diesen Wert angeben.

Beispiel:

"home_directory_storage": "projects/PROJECT_ID/locations/REGION-ZONE/instances/FILESTORE_INSTANCE_NAME"

Slurm-Controller-Version

Im optionalen Feld controller_version wird die Slurm-Version angegeben, die der Controller-Knoten des Clusters verwendet. Unterstützte Werte sind "26.05" und "25.05". Wenn Sie nichts angeben, verwenden neue Cluster standardmäßig "26.05". Sie können die Slurm-Controller-Version nach dem Erstellen eines Clusters nicht mehr ändern.

Beispiel:

"controller_version": "25.05"

Erweiterte Slurm-Konfiguration

Mit Trainingsclustern der Gemini Enterprise Agent Platform können Sie slurm.conf-Parameter festlegen und in einem laufenden Cluster ändern. Weitere Informationen finden Sie unter Slurm-Konfigurationszuordnungen.

Ressourcenerfassung, vorzeitiges Beenden und Priorität

Die Slurm-Ressourcenerfassung ist für jeden Cluster aktiviert, sodass Sie die Ressourcennutzung pro Job, z. B. CPU-Zeit und Arbeitsspeicher, verfolgen können. Sie können auch Abrechnungslimits erzwingen, die Jobpriorität gewichten und die Preemption über config aktivieren, wie in der Beispiel-Clusterspezifikation gezeigt. Informationen zur Funktionsweise finden Sie in der Slurm-Dokumentation zu Accounting, zum Multifaktor-Prioritäts-Plug-in und zum vorzeitigen Beenden.

Prolog- und Epilog-Scripts

Sie können benutzerdefinierte Bash-Skripts so konfigurieren, dass sie automatisch am Anfang (Prolog) und am Ende (Epilog) jedes Jobs ausgeführt werden. Verwenden Sie dazu die folgenden Felder:

  • prolog_bash_scripts: Eine Liste von Strings, wobei jeder String den vollständigen Inhalt eines Bash-Skripts enthält, das vor Beginn des Jobs ausgeführt werden soll.
  • epilog_bash_scripts: Eine Liste von Strings, wobei jeder String den vollständigen Inhalt eines Bash-Skripts enthält, das nach Abschluss des Jobs ausgeführt werden soll.

Das ist nützlich, um eine eindeutige Jobumgebung einzurichten oder automatisierte Bereinigungsaufgaben auszuführen.

Beispiel für eine Clusterspezifikation

Das folgende Beispiel zeigt eine JSON-Konfiguration zum Erstellen eines Trainingsclusters. Sie können diese Spezifikation an Ihre eigenen Anforderungen anpassen.

{
  // ... other cluster configurations ...
  "orchestratorSpec": {
    "slurmSpec": {
      "partitions": [
        {
          "id": "a4",
          "node_pool_ids": ["a4"]
        }
      ],
      "login_node_pool_id": "login",
      "home_directory_storage": "projects/PROJECT_ID/locations/REGION-ZONE/instances/FILESTORE_INSTANCE_ID",
      "config": {
        "AccountingStorageEnforce": "associations,limits,qos",
        "PriorityType": "priority/multifactor",
        "PriorityWeightAge": "1000",
        "PriorityWeightFairshare": "10000",
        "PreemptType": "preempt/partition_prio",
        "PreemptMode": "REQUEUE",
        "PreemptExemptTime": "00:10:00"
      },
      "prolog_bash_scripts": [
        "#!/bin/bash\necho 'First prolog script running'",
        "#!/bin/bash\necho 'Second prolog script running'"
      ],
      "epilog_bash_scripts": [
        "#!/bin/bash\necho 'Epilog script running'"
      ]
      // ... other Slurm settings ...
    }
  }
}

Clusterverwaltung und ‑vorgänge

Ausgeführten Cluster verwalten

Nachdem Ihr Cluster mit den ausgewählten Einstellungen für die Ressourcenerfassung und vorzeitiges Beenden erstellt wurde, können Sie die Befehlszeilentools von Slurm verwenden, um Nutzerkonten zu verwalten und die Jobplanung zu überwachen.

Kontoverwaltung mit sacctmgr

Der Befehl sacctmgr ist das primäre Tool zum Verwalten von Nutzer- und Kontoinformationen in der Slurm-Datenbank. Wenn Sie beispielsweise einem Konto einen neuen Nutzer hinzufügen und ihm Zugriff auf eine Partition gewähren möchten, führen Sie den folgenden Befehl aus:

sudo sacctmgr add User Accounts=<account> Partition=<partition> <user>

Eine vollständige Liste aller sacctmgr-Optionen finden Sie in der offiziellen Slurm-Dokumentation zur Ressourcenerfassung.

Jobpriorität prüfen

Verwenden Sie das Dienstprogramm sprio, um die Prioritätskomponenten der einzelnen Jobs in der Warteschlange zu prüfen. Das ist hilfreich, um zu verstehen, warum bestimmte Jobs vor anderen ausgeführt werden.

Ausführliche Informationen zur Verwendung finden Sie in der Dokumentation zum sprio-Dienstprogramm.

Beispiele für Preemption

Die offizielle Slurm-Dokumentation enthält mehrere Arbeitsbeispiele für verschiedene Strategien für das vorzeitige Beenden. Diese finden Sie auf der Seite Slurm-Preemption.

Nächste Schritte

Im Folgenden geht es um die letzten Schritte des Machine-Learning-Lebenszyklus: die Verwaltung, Bereitstellung und das Monitoring Ihrer trainierten Modelle.

  • Modell für die Inferenz bereitstellen: Stellen Sie Ihr trainiertes Modell auf einem Gemini Enterprise Agent Platform-Endpunkt bereit, um Online-Inferenzanfragen in großem Umfang zu verarbeiten.
  • Modelllebenszyklus verwalten: Mit der Gemini Enterprise Agent Platform Model Registry können Sie Ihre Modelle versionieren, vergleichen und verwalten. Eine Pipeline kann so konfiguriert werden, dass ein neues Modell nach erfolgreichem Training automatisch registriert wird.
  • Überwachen Sie Ihre Pipelineausführungen und die Modellleistung:
  • Kosten optimieren und Clusterlebenszyklus verwalten: Wenn Sie automatisierte Pipelines verwenden, verwalten Sie den Lebenszyklus des Clusters unter Berücksichtigung der Ausführungshäufigkeit.
    • Fügen Sie bei seltenen Ausführungen einen letzten Pipelineschritt hinzu, um den Cluster zu löschen und Kosten zu sparen. Dazu wird in der Regel eine benutzerdefinierte Pipelinekomponente erstellt, die die Löschfunktion aufruft.
    • Wenn Sie häufig Ausführungen vornehmen, lassen Sie den Cluster aktiv, um die Startzeit des Jobs zu verkürzen.