Arbeitslastrichtlinien für MIGs erstellen

In diesem Dokument wird beschrieben, wie Sie Richtlinien für verwaltete Instanzgruppen (Managed Instance Groups, MIGs) erstellen, die A4X Max-, A4X-, A4-, A3 Ultra-, A3 Mega-, A3 High- (8 GPUs) oder H4D-Compute Engine-Instanzen verwenden. Weitere Informationen zu den Anforderungen und Einschränkungen die beim Erstellen von Arbeitslastrichtlinien gelten, finden Sie unter Arbeitslastrichtlinien.

Mit einer Arbeitslastrichtlinie können Sie die Platzierung oder Topologie für die Compute Engine-Instanzen in Ihrer MIG angeben. Sie können beispielsweise Arbeitslastrichtlinien verwenden, um Compute-Instanzen näher beieinander zu platzieren und so die Netzwerklatenz für Arbeitslasten mit künstlicher Intelligenz (KI), maschinellem Lernen (ML) oder Hochleistungs-Computing (HPC) zu minimieren.

Hinweis

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen für das Projekt die IAM-Rolle Compute Instance Admin (Version 1) (roles/compute.instanceAdmin.v1) zu gewähren, um die Berechtigungen zu erhalten, die Sie zum Erstellen und Anwenden von Arbeitslastrichtlinien auf MIGs benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen und Anwenden von Arbeitslastrichtlinien auf MIGs erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen , um die notwendigen Berechtigungen anzuzeigen, die erforderlich sind:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Arbeitslastrichtlinien zu erstellen und auf MIGs anzuwenden:

  • Zum Erstellen einer Arbeitslastrichtlinie: compute.resourcePolicies.create für das Projekt

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Arbeitslastrichtlinie erstellen

Verwenden Sie eine der folgenden Methoden, um eine Arbeitslastrichtlinie zu erstellen. Die Methode hängt von der Maschinenserie ab, die von den Compute-Instanzen in Ihrer MIG verwendet wird:

Arbeitslastrichtlinie für A4X Max- oder A4X-Instanzen erstellen

Wenn Sie eine Arbeitslastrichtlinie auf A4X Max- oder A4X-Instanzen in einer MIG anwenden, müssen Sie beim Erstellen der Richtlinie einen Wert für die Beschleunigertopologie angeben. Dadurch können Ihre Arbeitslasten eine nicht blockierende Netzwerkleistung im großen Maßstab erzielen.

Wählen Sie eine der folgenden Optionen aus, um eine Arbeitslastrichtlinie für A4X Max- oder A4X-Instanzen zu erstellen:

gcloud

Verwenden Sie den gcloud compute resource-policies create workload-policy Befehl mit dem --accelerator-topology=1x72 Flag, um eine Arbeitslastrichtlinie für A4X Max- oder A4X-Instanzen zu erstellen:

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --accelerator-topology=1x72 \
    --type=high-throughput \
    --region=REGION

Ersetzen Sie Folgendes:

  • WORKLOAD_POLICY_NAME: der Name für Ihre Arbeitslastrichtlinie.

  • REGION: die Region, in der Sie Ihre Arbeitslastrichtlinie erstellen möchten. Geben Sie eine Region an, in der Sie die MIG erstellen möchten und in der der Maschinentyp verfügbar ist, den Sie verwenden möchten. Unter Verfügbare Regionen und Zonenfinden Sie eine Liste der Regionen, in denen die Maschinentypen A4X Max oder A4X verfügbar sind.

REST

Senden Sie eine POST Anfrage an die resourcePolicies.insert Methode, um eine Arbeitslastrichtlinie für A4X Max- oder A4X-Instanzen zu erstellen. Geben Sie im Anfragetext das Feld acceleratorTopology an, das auf 1x72 gesetzt ist:

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "acceleratorTopology": "1x72",
    "type": "HIGH_THROUGHPUT"
  }
}

Ersetzen Sie Folgendes:

  • PROJECT_ID: die ID des Projekts, in dem Sie Ihre Arbeitslastrichtlinie erstellen möchten.

  • REGION: die Region, in der Sie Ihre Arbeitslastrichtlinie erstellen möchten. Geben Sie eine Region an, in der Sie die MIG erstellen möchten und in der der Maschinentyp verfügbar ist, den Sie verwenden möchten. Unter Verfügbare Regionen und Zonenfinden Sie eine Liste der Regionen, in denen die Maschinentypen A4X Max oder A4X verfügbar sind.

  • WORKLOAD_POLICY_NAME: der Name für Ihre Arbeitslastrichtlinie.

Arbeitslastrichtlinie für A4-, A3 Ultra-, A3 Mega-, A3 High- (8 GPUs) oder H4D-Instanzen erstellen

Wenn Sie eine Arbeitslastrichtlinie auf A4-, A3 Ultra-, A3 Mega-, A3 High- (8 GPUs) oder H4D-Instanzen in einer MIG anwenden möchten, empfehlen wir, beim Erstellen der Richtlinie einen Wert für den maximalen Topologieabstand anzugeben. Dadurch wird eine engere Platzierung zwischen den Compute-Instanzen gewährleistet. Je kompakter die von Ihnen angegebene Platzierung ist, desto weniger Ressourcen sind jedoch möglicherweise in der Zone verfügbar, in der Sie Ihre Compute-Instanzen erstellen möchten.

Wählen Sie eine der folgenden Optionen aus, um eine Arbeitslastrichtlinie für A4-, A3 Ultra-, A3 Mega- oder A3 High-Instanzen (8 GPUs) zu erstellen:

gcloud

Verwenden Sie den gcloud compute resource-policies create workload-policy Befehl, um eine Arbeitslastrichtlinie zu erstellen. Geben Sie die folgenden Flags im Befehl an, je nachdem, wie nah Sie die Compute-Instanzen in einer MIG platzieren möchten:

  • Wenn Sie Ihre Compute-Instanzen nach Möglichkeit nah beieinander platzieren möchten, geben Sie das Flag --type=high-throughput an:

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --region=REGION

  • Wenn Sie die Platzierung Ihrer Compute-Instanzen weiter steuern möchten, geben Sie die Flags --max-topology-distance und --type=high-throughput an:

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --max-topology-distance=TOPOLOGY_DISTANCE \
    --type=high-throughput \
    --region=REGION

Ersetzen Sie Folgendes:

  • WORKLOAD_POLICY_NAME: der Name für Ihre Arbeitslastrichtlinie.

  • REGION: die Region, in der Sie Ihre Arbeitslastrichtlinie erstellen möchten. Geben Sie eine Region an, in der Sie die MIG erstellen möchten und in der der Maschinentyp verfügbar ist, den Sie verwenden möchten. Unter Verfügbare Regionen und Zonen finden Sie eine Liste der Regionen, in denen GPU-Maschinentypen verfügbar sind.

  • TOPOLOGY_DISTANCE: der maximale Topologieabstand. Ein kürzerer maximaler Abstand kann die Wahrscheinlichkeit der VM-Verfügbarkeit verringern. Geben Sie einen der folgenden Werte an:

    • Wenn Sie A4- oder H4D-Instanzen im selben Cluster platzieren möchten: CLUSTER

    • Wenn Sie A4-, A3 Ultra-, A3 Mega-, A3 High- (8 GPUs) oder H4D-Instanzen im selben Block platzieren möchten: BLOCK

    • Wenn Sie A4-, A3 Ultra- oder H4D-Instanzen im selben Unterblock platzieren möchten: SUBBLOCK

REST

Senden Sie eine POST Anfrage an die resourcePolicies.insert Methode, um eine Arbeitslastrichtlinie zu erstellen. Geben Sie im Anfragetext die folgenden Felder an, je nachdem, wie nah Sie die Compute-Instanzen in einer MIG platzieren möchten:

  • Wenn Sie Ihre Compute-Instanzen nach Möglichkeit nah beieinander platzieren möchten, geben Sie im Anfragetext das Feld type an:

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "type": "HIGH_THROUGHPUT"
  }
}

  • Wenn Sie die Platzierung Ihrer Compute-Instanzen weiter steuern möchten, geben Sie im Anfragetext die Felder maxTopologyDistance und type an:

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "maxTopologyDistance": "TOPOLOGY_DISTANCE",
    "type": "HIGH_THROUGHPUT"
  }
}

Ersetzen Sie Folgendes:

  • PROJECT_ID: die ID des Projekts, in dem Sie Ihre Arbeitslastrichtlinie erstellen möchten.

  • REGION: die Region, in der Sie Ihre Arbeitslastrichtlinie erstellen möchten. Geben Sie eine Region an, in der Sie die MIG erstellen möchten und in der der Maschinentyp verfügbar ist, den Sie verwenden möchten. Unter Verfügbare Regionen und Zonen finden Sie eine Liste der Regionen, in denen GPU-Maschinentypen verfügbar sind.

  • WORKLOAD_POLICY_NAME: der Name für Ihre Arbeitslastrichtlinie.

  • TOPOLOGY_DISTANCE: der maximale Topologieabstand. Ein kürzerer maximaler Abstand kann die Wahrscheinlichkeit der VM-Verfügbarkeit verringern. Geben Sie einen der folgenden Werte an:

    • Wenn Sie A4- oder H4D-Instanzen im selben Cluster platzieren möchten: CLUSTER

    • Wenn Sie A4-, A3 Ultra-, A3 Mega-, A3 High- (8 GPUs) oder H4D-Instanzen im selben Block platzieren möchten: BLOCK

    • Wenn Sie A4-, A3 Ultra- oder H4D-Instanzen im selben Unterblock platzieren möchten: SUBBLOCK

Nächste Schritte