Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Cluster erstellen

Wenn Sie sich für Trainingscluster der Gemini Enterprise Agent Platform interessieren, wenden Sie sich an Ihren Vertriebsmitarbeiter, um Zugriff zu erhalten.

Auf dieser Seite wird die direkte, API-gesteuerte Methode zum Erstellen und Verwalten eines Trainingsclusters beschrieben. Sie erfahren, wie Sie die vollständige Konfiguration Ihres Clusters, einschließlich Anmeldeknoten, leistungsstarker GPU-Partitionen wie der A4 und Slurm-Orchestratoreinstellungen, in einer JSON-Datei definieren. Außerdem wird beschrieben, wie Sie diese Konfiguration mit `curl` und REST API-Aufrufen bereitstellen, den Cluster erstellen und seinen Lebenszyklus mit den Vorgängen GET, LIST, UPDATE und DELETE verwalten.

Clusterkonfiguration definieren

Erstellen Sie eine JSON-Datei, um die vollständige Konfiguration für Ihren Trainingscluster zu definieren.

Wenn Ihre Organisationsrichtlinie öffentliche IP-Adressen auf Compute-Instanzen verbietet, stellen Sie den Trainingscluster mit dem Parameter enable_public_ips: false bereit und verwenden Sie Cloud NAT für den Internet-Ausgang.

Der erste Schritt beim Bereitstellen eines Trainingsclusters besteht darin, die vollständige Konfiguration in einer JSON-Datei zu definieren. Diese Datei dient als Blaupause für Ihren Cluster und gibt alles an, von seinem Namen und den Netzwerkeinstellungen bis hin zur Hardware für seine Anmelde- und Worker-Knoten.

Im folgenden Abschnitt finden Sie mehrere vollständige JSON-Konfigurationsdateien, die als praktische Vorlagen für eine Vielzahl gängiger Anwendungsfälle dienen. Sehen Sie sich diese Liste an, um das Beispiel zu finden, das Ihren Anforderungen am besten entspricht, und verwenden Sie es als Ausgangspunkt.

Nur GPU mit Filestore: Eine Standardkonfiguration für das allgemeine GPU-Training.
GPU mit Filestore und Managed Lustre: Eine erweiterte Einrichtung für E/A-intensive Jobs.
GPU mit Startskript: Hier wird gezeigt, wie Sie beim Start benutzerdefinierte Befehle auf Knoten ausführen.
Cluster nur mit CPU: Eine grundlegende Konfiguration, die nur CPU-Ressourcen verwendet.
CPU mit erweiterter Slurm-Konfiguration: Ein Beispiel für benutzerdefinierte Slurm-Scheduler-Einstellungen.

Auf jedes Beispiel folgt eine detaillierte Beschreibung der wichtigsten Parameter, die in der jeweiligen Konfiguration verwendet werden.

Nur GPU mit Filestore

Dies ist die Standardkonfiguration. Sie bietet eine Filestore-Instanz, die als /home Verzeichnis für den Cluster dient und für die allgemeine Verwendung und zum Speichern von Nutzerdaten geeignet ist.

Das folgende Beispiel zeigt den Inhalt von gpu-filestore.json. Mit dieser Spezifikation wird ein Cluster mit einer GPU-Partition erstellt. Sie können diese als Vorlage verwenden und Werte wie machineType oder nodeCount an Ihre Anforderungen anpassen.

Eine Liste der Parameter finden Sie unter Parameterverweis.

 {
  "display_name": "DISPLAY_NAME",
  "network": {
    "network": "projects/PROJECT_ID/global/networks/NETWORK",
    "subnetwork": "projects/PROJECT_ID/regions/REGION/subnetworks/SUBNETWORK"
  },
  "node_pools": [
    {
      "id": "login",
      "machine_spec": {
        "machine_type": "n2-standard-8"
      },
      "scaling_spec": {
        "min_node_count": MIN_NODE_COUNT,
        "max_node_count": MAX_NODE_COUNT
      },
      "enable_public_ips": true,
      "zone": "ZONE",
      "boot_disk": {
        "boot_disk_type": "pd-standard",
        "boot_disk_size_gb": 200
      },
      "labels": { "example-key": "example-value" }
    },
    {
      "id": "a4",
      "machine_spec": {
        "machine_type": "a4-highgpu-8g",
        "accelerator_type": "NVIDIA_B200",
        "accelerator_count": 8,
        "reservation_affinity": {
          "reservationAffinityType": "RESERVATION_AFFINITY_TYPE",
          "key": "compute.googleapis.com/reservation-name",
          "values": [
            "projects/PROJECT_ID/zones/ZONE/reservations/RESERVATION_NAME"
          ]
        }
      },
      "provisioning_model": "RESERVATION",
      "scaling_spec": {
        "min_node_count": MIN_NODE_COUNT,
        "max_node_count": MAX_NODE_COUNT
      },
      "enable_public_ips": true,
      "zone": "ZONE",
      "boot_disk": {
        "boot_disk_type": "hyperdisk-balanced",
        "boot_disk_size_gb": 200
      },
      "labels": { "example-key": "example-value" }
    }
  ],
  "orchestrator_spec": {
    "slurm_spec": {
      "home_directory_storage": "projects/PROJECT_ID/locations/ZONE/instances/FILESTORE",
      "partitions": [
        {
          "id": "a4",
          "node_pool_ids": [
            "a4"
          ]
        }
      ],
      "login_node_pool_id": "login"
    }
  }
}

GPU mit Filestore und Managed Lustre

Diese erweiterte Konfiguration umfasst zusätzlich zur Standard-Filestore-Instanz ein leistungsstarkes Lustre-Dateisystem. Wählen Sie diese Option aus, wenn Ihre Trainingsjobs einen hohen Durchsatz für den Zugriff auf große Datensätze erfordern.

Eine Liste der Parameter finden Sie unter Parameterverweis.

{
  "display_name": "DISPLAY_NAME",
  "network": {
    "network": "projects/PROJECT_ID/global/networks/NETWORK",
    "subnetwork": "projects/PROJECT_ID/regions/asia-sREGION/subnetworks/SUBNETWORK"
  },
  "node_pools": [
    {
      "id": "login",
      "machine_spec": {
        "machine_type": "n2-standard-8"
      },
      "scaling_spec": {
        "min_node_count": MIN_NODE_COUNT,
        "max_node_count": MAX_NODE_COUNT
      },
      "enable_public_ips": true,
      "zone": "ZONE",
      "boot_disk": {
        "boot_disk_type": "pd-standard",
        "boot_disk_size_gb": 200
      },
      "lustres": [
        "projects/PROJECT_ID/locations/ZONE/instances/LUSTRE"
      ]
    },
    {
      "id": "a4",
      "machine_spec": {
        "machine_type": "a4-highgpu-8g",
        "accelerator_type": "NVIDIA_B200",
        "accelerator_count": 8,
        "reservation_affinity": {
          "reservation_affinity_type": RESERVATION_AFFINITY_TYPE,
          "key": "compute.googleapis.com/reservation-name",
          "values": [
            "projects/PROJECT_ID/zones/ZONE/reservations/RESERVATION_NAME"
          ]
        }
      },
      "provisioning_model": "RESERVATION",
      "scaling_spec": {
        "min_node_count": MIN_NODE_COUNT,
        "max_node_count": MAX_NODE_COUNT
      },
      "enable_public_ips": true,
      "zone": "ZONE",
      "boot_disk": {
        "boot_disk_type": "hyperdisk-balanced",
        "boot_disk_size_gb": 200
      },
      "lustres": [
        "projects/PROJECT_ID/locations/ZONE/instances/LUSTRE"
      ]
    }
  ],
  "orchestrator_spec": {
    "slurm_spec": {
      "home_directory_storage": "projects/PROJECT_ID/locations/ZONE/instances/FILESTORE",
      "partitions": [
        {
          "id": "a4",
          "node_pool_ids": [
            "a4"
          ]
        }
      ],
      "login_node_pool_id": "login"
    }
  }
}

GPU mit Startskript

In diesem Beispiel wird gezeigt, wie Sie einem Knotenpool ein benutzerdefiniertes Skript hinzufügen. Dieses Skript wird beim Start auf allen Knoten in diesem Pool ausgeführt. Fügen Sie dazu zusätzlich zu den allgemeinen Einstellungen die entsprechenden Felder zur Definition Ihres Knotenpools hinzu. Eine Liste der Parameter und ihrer Beschreibungen finden Sie unter Parameterverweis.

{
  "display_name": "DISPLAY_NAME",
  "network": {
    "network": "projects/PROJECT_ID/global/networks/NETWORK",
    "subnetwork": "projects/PROJECT_ID/regions/REGION/subnetworks/SUBNETWORK"
  },
  "node_pools": [
    {
      "id": "login",
      "machine_spec": {
        "machine_type": "n2-standard-8"
      },
      "scaling_spec": {
        "min_node_count": MIN_NODE_COUNT,
        "max_node_count": MAX_NODE_COUNT
      },
      "enable_public_ips": true,
      "zone": "ZONE",
      "boot_disk": {
        "boot_disk_type": "pd-standard",
        "boot_disk_size_gb": 200
      },
      "startup_script" : "#Example script\nsudo mkdir -p /data\necho 'Script Finished'\n",
    },
    {
      "id": "a4",
      "machine_spec": {
        "machine_type": "a4-highgpu-8g",
        "accelerator_type": "NVIDIA_B200",
        "accelerator_count": 8,
        "reservation_affinity": {
          "reservationAffinityType": "RESERVATION_AFFINITY_TYPE",
          "key": "compute.googleapis.com/reservation-name",
          "values": [
            "projects/PROJECT_ID/zones/ZONE/reservations/RESERVATION_NAME"
          ]
        }
      },
      "provisioning_model": "PROVISIONING_MODEL",
      "scaling_spec": {
        "min_node_count": MIN_NODE_COUNT,
        "max_node_count": MAX_NODE_COUNT
      },
      "enable_public_ips": true,
      "zone": "ZONE",
      "boot_disk": {
        "boot_disk_type": "hyperdisk-balanced",
        "boot_disk_size_gb": 200
      },
      "startup_script" : "#Example script\nsudo mkdir -p /data\necho 'Script Finished'\n",
    }
  ],
  "orchestrator_spec": {
    "slurm_spec": {
      "home_directory_storage": "projects/PROJECT_ID/locations/ZONE/instances/FILESTORE",
      "partitions": [
        {
          "id": "a4",
          "node_pool_ids": [
            "a4"
          ]
        }
      ],
      "login_node_pool_id": "login"
    }
  }
}

Cluster nur mit CPU

Um eine Trainingsclusterumgebung bereitzustellen, müssen Sie zuerst die vollständige Konfiguration in einer JSON-Datei definieren. Diese Datei dient als Blaupause für Ihren Cluster und gibt alles an, von seinem Namen und den Netzwerkeinstellungen bis hin zur Hardware für seine Anmelde- und Worker-Knoten.

Eine Liste der Parameter finden Sie unter Parameterverweis.

{
  "display_name": "DISPLAY_NAME",
  "network": {
    "network": "projects/PROJECT_ID/global/networks/NETWORK",
    "subnetwork": "projects/PROJECT_ID/regions/REGION/subnetworks/SUBNETWORK"
  },
  "node_pools": [
    {
      "id": "cpu",
      "machine_spec": {
        "machine_type": "n2-standard-8"
      },
      "scaling_spec": {
        "min_node_count": MIN_NODE_COUNT,
        "max_node_count": MAX_NODE_COUNT
      },
      "zone": "ZONE",
      "enable_public_ips": true,
      "boot_disk": {
        "boot_disk_type": "pd-standard",
        "boot_disk_size_gb": 120
      }
    },
    {
      "id": "login",
      "machine_spec": {
        "machine_type": "n2-standard-8",
      }
      "scaling_spec": {
        "min_node_count": MIN_NODE_COUNT,
        "max_node_count": MAX_NODE_COUNT
      },
      "zone": "ZONE",
      "enable_public_ips": true,
      "boot_disk": {
        "boot_disk_type": "pd-standard",
        "boot_disk_size_gb": 120
      }
    },
  ],
  "orchestrator_spec": {
    "slurm_spec": {
      "home_directory_storage": "projects/PROJECT_ID/locations/ZONE/instances/FILESTORE",
      "partitions": [
        {
          "id": "cpu",
          "node_pool_ids": [
            "cpu"
          ]
        }
      ],
      "login_node_pool_id": "login"
    }
  }
}

CPU mit erweiterter Slurm-Konfiguration

In diesem Beispiel wird gezeigt, wie Sie den Slurm-Orchestrator mit erweiterten Parametern anpassen. Verwenden Sie diese Vorlage, wenn Sie eine detaillierte Kontrolle über das Verhalten bei der Jobplanung benötigen, z. B. zum Festlegen von Prioritätsgewichtungen für mehrere Faktoren, zum Konfigurieren der Job-Preemption und zum Ausführen von Prolog- und Epilog-Skripts für die automatisierte Jobeinrichtung und -bereinigung.

Eine Liste der Parameter finden Sie unter Parameterverweis.

{
  "display_name": "DISPLAY_NAME",
  "network": {
    "network": "projects/PROJECT_ID/global/networks/NETWORK",
    "subnetwork": "projects/PROJECT_ID/regions/REGION/subnetworks/SUBNETWORK"
  },
  "node_pools": [
    {
      "id": "cpu",
      "machine_spec": {
        "machine_type": "n2-standard-8"
      },
      "scaling_spec": {
        "min_node_count": MIN_NODE_COUNT,
        "max_node_count": MAX_NODE_COUNT
      },
      "zone": "ZONE",
      "enable_public_ips": true,
      "boot_disk": {
        "boot_disk_type": "pd-standard",
        "boot_disk_size_gb": 120
      }
    },
    {
      "id": "login",
      "machine_spec": {
        "machine_type": "n2-standard-8"
      },
      "scaling_spec": {
        "min_node_count": MIN_NODE_COUNT,
        "max_node_count": MAX_NODE_COUNT
      },
      "zone": "ZONE",
      "enable_public_ips": true,
      "boot_disk": {
        "boot_disk_type": "pd-standard",
        "boot_disk_size_gb": 120
      }
    }
  ],
  "orchestrator_spec": {
    "slurm_spec": {
      "home_directory_storage": "projects/PROJECT_ID/locations/ZONE/instances/FILESTORE",
      "accounting": {
        "accounting_storage_enforce": "ACCOUNTING_STORAGE_ENFORCE"
      },
      "scheduling": {
        "priority_type": "PRIORITY_TYPE",
        "priority_weight_age": PRIORITY_WEIGHT_AGE,
        "priority_weight_assoc": PRIORITY_WEIGHT_ASSOC,
        "priority_weight_fairshare": PRIORITY_WEIGHT_FAIRSHARE,
        "priority_weight_job_size": PRIORITY_WEIGHT_JOB_SIZE,
        "priority_weight_partition": PRIORITY_WEIGHT_PARTITION,
        "priority_weight_qos": PRIORITY_WEIGHT_QOS,
        "priority_weight_tres": "PRIORITY_WEIGHT_TRES",
        "preempt_type": "PREEMPT_TYPE",
        "preempt_mode": "PREEMPT_MODE",
        "preempt_exempt_time": "PREEMPT_EXEMPT_TIME"
      },
      "prolog_bash_scripts": [
        "#!/bin/bash\necho 'First prolog script running'",
        "#!/bin/bash\necho 'Second prolog script running'"
      ],
      "epilog_bash_scripts": [
        "#!/bin/bash\necho 'Epilog script running'"
      ]
      "partitions": [
        {
          "id": "cpu",
          "node_pool_ids": [
            "cpu"
          ]
        }
      ],
      "login_node_pool_id": "login"
    }
  }
}

Sobald Ihr Cluster in einer JSON-Datei definiert ist, verwenden Sie die folgenden REST API-Befehle, um den Cluster bereitzustellen und zu verwalten. In den Beispielen wird ein gcurl-Alias verwendet, eine praktische, authentifizierte Verknüpfung für die Interaktion mit den API-Endpunkten. Diese Befehle decken den gesamten Lebenszyklus ab, von der ersten Bereitstellung Ihres Clusters über das Aktualisieren eines Clusters, das Abrufen seines Status, das Auflisten aller Cluster bis hin zum Löschen des Clusters.

Authentifizierung

alias gcurl='curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json"'

JSON-Datei erstellen

Erstellen Sie eine JSON-Datei (z. B. @cpu-cluster.json), um die Konfiguration für Ihren Modelltrainingscluster anzugeben.

Cluster bereitstellen

Nachdem Sie die JSON-Konfigurationsdatei erstellt haben, können Sie den Cluster mit der REST API bereitstellen.

Umgebungsvariablen festlegen

Legen Sie vor dem Ausführen des Befehls die folgenden Umgebungsvariablen fest. Dadurch wird der API-Befehl übersichtlicher und einfacher zu verwalten.

PROJECT_ID: Ihre Google Cloud Projekt-ID, unter der der Cluster erstellt wird.
REGION: Die Google Cloud Region für den Cluster und seine Ressourcen.
ZONE: Die Google Cloud Zone, in der die Clusterressourcen bereitgestellt werden.
CLUSTER_ID: Eine eindeutige Kennung für Ihren Trainingscluster, die auch als Präfix für die Benennung zugehöriger Ressourcen verwendet wird.

Befehl zum Erstellen ausführen

Führen Sie nun den folgenden `gcurl`-Befehl aus. Dabei wird die JSON-Datei (in diesem Beispiel, cpu-cluster.json) als Anfragetext und die gerade festgelegten Umgebungsvariablen verwendet, um den API-Endpunkt und die Abfrageparameter zu erstellen.

  gcurl -X POST -d @cpu-cluster.json https://REGION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/REGION/modelDevelopmentClusters?model_development_cluster_id=CLUSTER_ID

Sobald die Bereitstellung beginnt, wird eine Vorgangs-ID generiert. Kopieren Sie diese ID. Sie benötigen sie im nächsten Schritt, um Ihren Cluster zu validieren.

  gcurl -X POST -d @cpu-cluster.json https://us-central1-aiplatform.googleapis.com/v1beta1/projects/managedtraining-project/locations/us-central1/modelDevelopmentClusters?model_development_cluster_id=training
  {
      "name": "projects/1059558423163/locations/us-central1/operations/2995239222190800896",
      "metadata": {
      "@type": "type.googleapis.com/google.cloud.aiplatform.v1beta1.CreateModelDevelopmentClusterOperationMetadata",
      "genericMetadata": {
        "createTime": "2025-10-24T14:16:59.233332Z",
        "updateTime": "2025-10-24T14:16:59.233332Z"
      },
      "progressMessage": "Create Model Development Cluster request received, provisioning..."
  }

Clusterbereitstellung validieren

Verfolgen Sie den Fortschritt der Bereitstellung anhand der Vorgangs-ID, die Sie beim Bereitstellen des Clusters erhalten haben. Im zuvor genannten Beispiel ist 2995239222190800896 die Vorgangs-ID.

    gcurl https://REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID

Zusammenfassung

Wenn Sie Ihre Clusterkonfiguration mit dem gcurl-POST-Befehl senden, wird die Bereitstellung Ihres Clusters initiiert. Dies ist ein asynchroner, lang andauernder Vorgang. Die API gibt sofort eine Antwort mit einer Operation ID zurück. Es ist wichtig, diese ID zu speichern, da Sie sie in den folgenden Schritten verwenden, um den Fortschritt der Bereitstellung zu verfolgen, zu prüfen, ob der Cluster erfolgreich erstellt wurde, und seinen Lebenszyklus zu verwalten.

Parameterverweis

In der folgenden Liste werden alle Parameter beschrieben, die in den Konfigurationsbeispielen verwendet werden. Die Parameter sind in logische Gruppen unterteilt, basierend auf der Ressource, die sie konfigurieren.

Allgemeine und Netzwerkeinstellungen

DISPLAY_NAME: Ein eindeutiger Name für Ihren Trainingscluster. Der String darf nur alphanumerische Kleinbuchstaben enthalten, muss mit einem Buchstaben beginnen und ist auf 10 Zeichen begrenzt.
PROJECT_ID: Ihre Google Cloud Projekt-ID.
REGION: Die Region, in der sich der Cluster und seine Ressourcen befinden. Google Cloud
NETWORK: Das Virtual Private Cloud-Netzwerk, das für die Ressourcen des Clusters verwendet werden soll.
ZONE: Die Google Cloud Zone für den Cluster und seine Ressourcen.
SUBNETWORK: Das Subnetz , das für die Ressourcen des Clusters verwendet werden soll.

Knotenpoolkonfiguration

Mit den folgenden Parametern werden die Knotenpools für Anmelde- und Worker-Knoten definiert.

Allgemeine Knotenpooleinstellungen

ID: Eine eindeutige Kennung für den Knotenpool im Cluster (z. B. "login", "a4", "cpu").
PROVISIONING_MODEL: Das Bereitstellungsmodell für den Worker-Knoten (z. B. ON_DEMAND, SPOT, RESERVATION, FLEX_START).
MACHINE_TYPE: Der Maschinentyp für den Worker-Knoten. Unterstützte Werte sind a3-megagpu-8g, a3-ultragpu-8g, a4-highgpu-8g.
MIN_NODE_COUNT: Der Wert von MIN_NODE_COUNT muss mit dem Wert von MAX_NODE_COUNT übereinstimmen.
MAX_NODE_COUNT: Für den Anmeldeknotenpool muss der Wert von MAX_NODE_COUNT mit dem Wert von MIN_NODE_COUNT übereinstimmen.
ENABLE_PUBLIC_IPS: Ein boolescher Wert (true oder false), der angibt, ob der Anmeldeknoten eine öffentliche IP-Adresse hat.
BOOT_DISK_TYPE: Der Typ des Bootlaufwerks für den Anmeldeknoten (z. B. pd-standard, pd-ssd).
BOOT_DISK_SIZE_GB: Die Größe des Bootlaufwerks in GB für den Anmeldeknoten.
LABELS: Eine Reihe von Schlüssel/Wert-Paaren zum Labeln des Knotenpools.

Zusätzliche Speichereinstellungen

FILESTORES (entspricht filestores in einem node_pools Objekt): Eine Liste der bereits vorhandenen Filestore Instanzen, die im Knotenpool für den gemeinsamen Dateizugriff bereitgestellt werden sollen.
LUSTRES (entspricht lustres in einem node_pools Objekt): Eine Liste der bereits vorhandenen Lustre-Instanzen, die im Knotenpool für den Hochleistungs-Dateizugriff bereitgestellt werden sollen.

Workerspezifische Einstellungen

ACCELERATOR_TYPE: Der entsprechende GPU-Beschleuniger, der an die Worker-Knoten angehängt werden soll. Unterstützte Werte sind:
- NVIDIA_H100_MEGA_80GB
- NVIDIA_H200_141GB
- NVIDIA_B200
ACCELERATOR_COUNT: Die Anzahl der Beschleuniger, die an jeden Worker-Knoten angehängt werden sollen.
RESERVATION_AFFINITY_TYPE (entspricht machine_spec.reservation_affinity.reservationAffinityType): Die Reservierungsaffinität für den Knotenpool. Dieser Parameter muss SPECIFIC_RESERVATION sein. Dies ist der einzige unterstützte Wert. Wenn SPECIFIC_RESERVATION verwendet wird, müssen Sie die Reservierung in machine_spec.reservation_affinity.values angeben.
RESERVATION_NAME: Der Name der Reservierung, die für den Knotenpool verwendet werden soll. Dieser wird im vollständigen Ressourcennamen der Reservierung verwendet, der in machine_spec.reservation_affinity.values angegeben ist, z. B. projects/PROJECT_ID/zones/ZONE/reservations/RESERVATION_NAME. Eine Reservierung ist erforderlich, wenn RESERVATION_AFFINITY_TYPE ist SPECIFIC_RESERVATION.

Orchestrator- und Speicherkonfiguration

Diese Felder sind im Block orchestrator_spec.slurm_spec der JSON Datei definiert.

Grundlegende Slurm- und Speichereinstellungen

HOME_DIRECTORY_STORAGE (entspricht home_directory_storage): Der vollständige Ressourcenname der bereits vorhandenen Speicherinstanz, die als /home Verzeichnis bereitgestellt werden soll. Kann eine Filestore- oder Lustre-Instanz sein.
LOGIN_NODE_POOL_ID (entspricht login_node_pool_id): Die ID des Knotenpools, der für Anmeldeknoten verwendet werden soll.
partitions: Eine Liste von Partitionsobjekten, wobei für jedes Objekt eine id und eine Liste von node_pool_ids erforderlich sind.

Erweiterte Slurm-Einstellungen

prolog_bash_scripts: Eine Liste von Strings, wobei jeder String den vollständigen Inhalt eines Bash-Skripts enthält, das vor Beginn eines Jobs ausgeführt werden soll.
epilog_bash_scripts: Eine Liste von Strings, wobei jeder String den vollständigen Inhalt eines Bash-Skripts enthält, das nach Abschluss eines Jobs ausgeführt werden soll.
ACCOUNTING_STORAGE_ENFORCE: Erzwingt Abrechnungslimits für die Speichernutzung.
PRIORITY_TYPE: Der Algorithmus für die Planungsreihenfolge, der verwendet werden soll (z. B. priority/multifactor).
priority_weight_*: Eine Reihe von Ganzzahlwerten, mit denen verschiedenen Faktoren bei der Berechnung der Planungsreihenfolge Gewicht zugewiesen wird (z. B. priority_weight_age,priority_weight_fairshare).
PREEMPT_TYPE: Das Preemption-Plug-in, das verwendet werden soll (z. B. preempt/partition_prio).
PREEMPT_MODE: Der Modus für das Preemption-Plug-in (z. B. REQUEUE).
PREEMPT_EXEMPT_TIME: Die Zeit nach dem Start eines Jobs, in der er nicht unterbrochen werden kann.

Laufzeitkonfiguration

Diese Felder sind im Block runtime_spec der JSON-Datei definiert.

service_account: Das Standarddienstkonto, das vom Cluster verwendet wird, wenn Arbeitslasten darauf ausgeführt werden. Wenn nicht angegeben, wird das Compute Engine-Standarddienstkonto verwendet. Dieses Feld kann nach der Clustererstellung nicht mehr aktualisiert werden.

Nächste Schritte

Verwenden Sie Ihren aktiven persistenten Trainingscluster, um Ihre Arbeitslasten für maschinelles Lernen auszuführen.

Job in Ihrem Cluster ausführen: Senden Sie einen CustomJob, um einen Trainingsjob in Ihrem persistenten Cluster auszuführen.
- Informationen zum Ausführen eines verteilten Trainingsjobs
Training mit Gemini Enterprise Agent Platform Pipelines orchestrieren: Für wiederholbare Workflows in Produktionsqualität können Sie den Prozess zum Senden von Jobs mit Agent Platform Pipelines automatisieren.
- Informationen zum Orchestrieren von Jobs in einem Trainingscluster
Cluster ansehen und verwalten: Mit der Google Cloud CLI oder der Google Cloud Console können Sie vorhandene Cluster auflisten, ihren Status prüfen und Konfigurationsdetails ansehen.
- Informationen zum Verwalten Ihres Trainingsclusters
Cluster löschen, um Kosten zu vermeiden: Trainingscluster sind persistent und verursachen Kosten, solange sie aktiv sind.
- Informationen zum Löschen Ihres Trainingsclusters

Cluster erstellen Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Clusterkonfiguration definieren

Nur GPU mit Filestore

GPU mit Filestore und Managed Lustre

GPU mit Startskript

Cluster nur mit CPU

CPU mit erweiterter Slurm-Konfiguration

Authentifizierung

JSON-Datei erstellen

Cluster bereitstellen

Umgebungsvariablen festlegen

Befehl zum Erstellen ausführen

Clusterbereitstellung validieren

Zusammenfassung

Parameterverweis

Allgemeine und Netzwerkeinstellungen

Knotenpoolkonfiguration

Allgemeine Knotenpooleinstellungen

Zusätzliche Speichereinstellungen

Workerspezifische Einstellungen

Orchestrator- und Speicherkonfiguration

Grundlegende Slurm- und Speichereinstellungen

Erweiterte Slurm-Einstellungen

Laufzeitkonfiguration

Nächste Schritte

Cluster erstellen