Vollständig verwalteten Slurm-Cluster mit zwei A4-VMs erstellen

Vollständig verwalteten Slurm-Cluster mit zwei A4-VMs erstellen

In dieser Kurzanleitung wird beschrieben, wie Sie einen Slurm-Cluster mit Cluster Director erstellen und eine Verbindung zu ihm herstellen. Der von Ihnen erstellte Cluster verwendet zwei A4-VM-Instanzen, die dafür konzipiert sind, dass Ihr Slurm-Cluster große Modelltrainings- und Inferenzarbeitslasten effizient verarbeiten kann.

Wichtig :Für diese Kurzanleitung benötigen Sie genügend Ressourcen, um zwei A4-VMs zu erstellen. Um diese Ressourcen zu erhalten, müssen Sie entweder Ressourcen für ein zukünftiges Datum und eine zukünftige Uhrzeit reservieren oder Ihre A4-VMs als Flex-Start-VMs oder Spot-VMs erstellen. Weitere Informationen finden Sie unter Nutzungsoption auswählen.

Cluster Director ist ein verwalteter Dienst, der die Clusterbereitstellung vereinfacht und automatisiert. So wird der betriebliche Aufwand reduziert und Sie können sich auf die Ausführung Ihrer Arbeitslast konzentrieren. Wenn Sie mehr Kontrolle über die Bereitstellung und Verwaltung Ihres Clusters haben möchten, erstellen Sie einen Slurm-Cluster mit dem Cluster Toolkit.

---

Eine detaillierte Anleitung dazu finden Sie direkt in der Google Cloud Console. Klicken Sie dazu einfach auf Anleitung:

Anleitung

---

Hinweis

Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie einfach ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Aktivieren Sie die Hypercompute Cluster API, die Compute Engine API, die Filestore API, die Google Cloud Managed Lustre API, die Cloud Logging API und die Cloud Monitoring API:

   APIs aktivieren
2. Prüfen Sie, ob Ihr Projekt und das Compute Engine-Standarddienstkonto die folgenden IAM-Rollen (Identity and Access Management) haben:

   • Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen der Kurzanleitung benötigen:

     • Zum Erstellen und Verwalten eines Clusters: Cluster Director-Bearbeiter (roles/hypercomputecluster.editor) für Ihr Projekt
     • Zum Erstellen und Verwalten von VMs in einem Cluster: Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) für Ihr Projekt
     • So nutzen Sie eine Reservierung für ein einzelnes Projekt: Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) für Ihr Projekt
     • So nutzen Sie eine freigegebene Reservierung: Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) für das Inhaberprojekt und alle Nutzerprojekte, in denen Sie die Reservierung nutzen möchten
     • So stellen Sie eine Verbindung zum Anmeldeknoten in einem Cluster her:
       • Compute OS Login (roles/compute.osLogin) für Ihr Projekt
       • Nutzer IAP-gesicherter Tunnel (roles/iap.tunnelResourceAccessor) für Ihr Projekt

     Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

     Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

   • Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Compute Engine-Standarddienstkonto zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen dieser Kurzanleitung benötigen:

     • So erstellen Sie einen Cluster: Dienstkontonutzer (roles/iam.serviceAccountUser)
     • So verwalten Sie Ressourcen in einem Cluster:
       • Log-Autor (roles/logging.logWriter)
       • Monitoring-Messwert-Autor (roles/monitoring.metricWriter)
       • Storage-Objekt-Betrachter (roles/storage.objectViewer)

3. Wenn für die Organisation, in der sich Ihr Projekt befindet, eine Trusted Image-Richtlinie (constraints/compute.trustedImageProjects) gilt, prüfen Sie, ob das Projekt clusterdirector-public-images in der Liste der zulässigen Projekte enthalten ist. Informationen zum Aufrufen der Trusted Image-Richtlinien für Ihre Organisation finden Sie unter Einschränkungen für den Image-Zugriff festlegen.

Kosten

In dieser Kurzanleitung werden die folgenden kostenpflichtigen Google Cloud Ressourcen verwendet:

• Compute Engine:

  • Zwei VMs mit A4-Maschinentypen

  • Ein Persistent Disk-Volume für den Slurm-Anmeldeknoten mit 100 GB

  • Ein Google Cloud Hyperdisk Balanced-Volume mit 100 GB für die A4-VMs

• Filestore: Eine Filestore-Instanz mit 10 TiB (10.240 GiB)

Mit dem Preisrechner können Sie eine Kostenschätzung Ihrer voraussichtlichen Nutzung vornehmen.

Slurm-Cluster erstellen

So erstellen Sie einen Slurm-Cluster:

1. Rufen Sie in der Google Cloud Console die Seite Cluster Director auf.

   Zu Cluster Director

2. Klicken Sie auf  Cluster erstellen.

3. Klicken Sie im angezeigten Dialogfeld auf Schrittweise Konfiguration. Die Seite Cluster erstellen wird angezeigt.

4. Geben Sie im Feld Clustername cluster001 ein.

5. Klicken Sie im Bereich Compute auf Ressourcen konfigurieren. Führen Sie im angezeigten Bereich Ressourcenkonfiguration hinzufügen die folgenden Schritte aus:

   1. Wählen Sie in der Liste GPU-Typ die Option NVIDIA B200 180 GB aus.

   2. Geben Sie im Feld Anzahl der Instanzen den Wert 2 ein.

   3. Wählen Sie im Abschnitt Nutzungsoptionen die Nutzungsoption aus, die Sie zum Abrufen von Ressourcen verwenden möchten.

   4. Geben Sie im Bereich Standort die Region und Zone an, in der Sie Ihre A4-VMs erstellen möchten oder in der die Reservierung vorhanden ist, die Sie zum Erstellen Ihrer VMs verwenden möchten.

   5. Klicken Sie auf Fertig.

6. Klicken Sie im Navigationsmenü auf Speicher.

7. Klicken Sie im Bereich Speicher auf  Speicherkonfiguration bearbeiten. Führen Sie im angezeigten Bereich Speicherkonfiguration hinzufügen die folgenden Schritte aus:

   1. Wählen Sie im Abschnitt Kapazität die Option 10–100 TiB in Schritten von 2,5 TiB aus.

   2. Klicken Sie auf Fertig.

8. Klicken Sie auf Erstellen. Die Seite Cluster wird angezeigt.

   Das Erstellen des Clusters kann einige Zeit dauern. Die Fertigstellungszeit hängt von der Anzahl der angeforderten VMs und der Ressourcenverfügbarkeit in der Zone der VMs ab. Sind die angeforderten Ressourcen nicht verfügbar, behält Cluster Director die Erstellungsanfrage bei, bis die Ressourcen verfügbar werden.

Anfrage zur Clustererstellung aufrufen

So prüfen Sie die Anfrage zum Erstellen des Clusters:

1. Klicken Sie in der Tabelle Cluster in der Spalte Name auf cluster001. Eine Seite mit den Details des Clusters wird angezeigt, wobei der Tab Details ausgewählt ist.

2. Suchen Sie im Abschnitt Compute nach der Zeile Status. Wenn AI Hypercomputer den Wert auf Bereit festlegt, können Sie mit dem nächsten Abschnitt fortfahren.

Über SSH eine Verbindung zu Ihrem Cluster herstellen

Führen Sie die folgenden Schritte aus, um eine SSH-Verbindung zu Ihrem Cluster herzustellen:

1. Klicken Sie auf den Tab Knoten.

2. Suchen Sie in der Tabelle Anmeldeknoten nach der Zeile mit dem Knoten cluster001-login-001. Klicken Sie in dieser Zeile in der Spalte Verbinden auf den SSH-Button. Das Fenster SSH im Browser wird angezeigt.

3. Wenn Sie dazu aufgefordert werden, klicken Sie auf Autorisieren. Die Verbindung zu Ihrem Cluster kann einige Zeit dauern. Wenn das Terminal bereit ist, fahren Sie mit dem nächsten Abschnitt fort.

   Hinweis :Wenn beim Herstellen einer Verbindung zu Ihrem Cluster Fehler auftreten, lesen Sie den Abschnitt SSH-Fehler beheben.

Beispieljobs ausführen

Führen Sie im Fenster SSH-in-Browser die folgenden Schritte aus:

1. Führen Sie folgenden Befehl aus, um zu prüfen, ob Slurm ausgeführt wird:

   sinfo
   

2. Führen Sie den folgenden Befehl aus, um einen Testjob zu senden, der den Hostnamen des Knotens zurückgibt:

   srun hostname
   

3. Führen Sie den folgenden Befehl aus, um einen Batchjob zu senden, der 30 Sekunden lang inaktiv ist:

   sbatch --wrap="sleep 30"
   

4. Führen Sie den folgenden Befehl aus, um den Status von Jobs in der Warteschlange zu prüfen:

   squeue
   

5. Führen Sie den folgenden Befehl aus, um Ressourcenerfassungsdaten für Jobs aufzurufen:

   sacct
   

Sie haben erfolgreich einen Slurm-Cluster erstellt, eine Verbindung zu ihm hergestellt und Beispieljobs ausgeführt. Wenn AI Hypercomputer die A4-VMs noch nicht erstellt hat, können Sie warten, bis der Cluster die VMs erstellt hat, den Cluster ändern, um VMs hinzuzufügen oder zu entfernen, oder den Cluster löschen, um unnötige Gebühren zu vermeiden.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud -Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:

Projekt löschen

Am einfachsten vermeiden Sie weitere Kosten, wenn Sie das zum Ausführen der Anleitung erstellte Projekt löschen.

So löschen Sie das Projekt:

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, zum Beispiel eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, anstatt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. Wechseln Sie in der Google Cloud -Console zur Seite Ressourcen verwalten.

   Zur Seite „Ressourcen verwalten“

2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

Cluster löschen

So löschen Sie den Cluster und die zugehörigen Ressourcen, die Sie im Rahmen dieser Kurzanleitung erstellt haben:

1. Klicken Sie auf der Seite mit den Details Ihres Clusters auf  Löschen.

2. Geben Sie im angezeigten Dialogfeld cluster001 ein und klicken Sie zur Bestätigung auf Löschen.

Nächste Schritte

• Reservierungsnutzung prüfen

• Clustertopologie ansehen

• Cluster ändern

• Clusterstatus verwalten