Arbeitslastrichtlinien für MIGs erstellen

In diesem Dokument wird beschrieben, wie Sie Richtlinien für verwaltete Instanzgruppen (Managed Instance Groups, MIGs) mit A4X Max-, A4X-, A4-, A3 Ultra-, A3 Mega-, A3 High- (8 GPUs) oder H4D-Compute Engine-Instanzen erstellen. Weitere Informationen zu den Anforderungen und Einschränkungen, die Sie beim Erstellen von Arbeitslastrichtlinien anwenden, finden Sie unter Arbeitslastrichtlinien.

Mit einer Arbeitslastrichtlinie können Sie die Platzierung oder Topologie für die Compute Engine-Instanzen in Ihrer verwalteten Instanzgruppe angeben. Sie können beispielsweise Arbeitslastrichtlinien verwenden, um Compute-Instanzen näher zueinander zu platzieren und so die Netzwerklatenz für Arbeitslasten aus den Bereichen künstliche Intelligenz (KI), maschinelles Lernen (ML) oder Hochleistungs-Computing (HPC) zu minimieren.

Hinweis

Erforderliche Rollen

Um die Berechtigungen zu erhalten, die Sie zum Erstellen und Anwenden von Arbeitslastrichtlinien auf verwaltete Instanzgruppen benötigen, bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) für das Projekt zu gewähren. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen und Anwenden von Arbeitslastrichtlinien auf MIGs erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Arbeitslastrichtlinien für MIGs zu erstellen und anzuwenden:

  • So erstellen Sie eine Arbeitslastrichtlinie: compute.resourcePolicies.create für das Projekt

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Arbeitslastrichtlinie erstellen

Verwenden Sie eine der folgenden Methoden, um eine Arbeitslastrichtlinie zu erstellen, je nachdem, welche Maschinenserie die Compute-Instanzen in Ihrer MIG verwenden:

Arbeitslastrichtlinie für A4X Max- oder A4X-Instanzen erstellen

Wenn Sie eine Arbeitslastrichtlinie auf A4X Max- oder A4X-Instanzen in einer verwalteten Instanzgruppe anwenden, müssen Sie beim Erstellen der Richtlinie einen Wert für die Beschleunigertopologie angeben. Diese Aktion trägt dazu bei, dass Ihre Arbeitslasten eine nicht blockierende Netzwerkleistung im großen Maßstab erzielen.

Wählen Sie eine der folgenden Optionen aus, um eine Arbeitslastrichtlinie für A4X Max- oder A4X-Instanzen zu erstellen:

gcloud

Verwenden Sie zum Erstellen einer Workload-Richtlinie für A4X Max- oder A4X-Instanzen den Befehl gcloud compute resource-policies create workload-policy mit dem Flag --accelerator-topology=1x72:

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --accelerator-topology=1x72 \
    --type=high-throughput \
    --region=REGION

Ersetzen Sie Folgendes:

  • WORKLOAD_POLICY_NAME: Der Name Ihrer Arbeitslastrichtlinie.

  • REGION: Die Region, in der Sie die Arbeitslastrichtlinie erstellen möchten. Geben Sie eine Region an, in der Sie die MIG erstellen möchten und in der der Maschinentyp verfügbar ist, den Sie verwenden möchten. Informationen dazu, in welchen Regionen die Maschinentypen A4X Max oder A4X verfügbar sind, finden Sie unter Verfügbare Regionen und Zonen.

REST

Senden Sie zum Erstellen einer Arbeitslastrichtlinie für A4X Max- oder A4X-Instanzen eine POST-Anfrage an die Methode resourcePolicies.insert. Geben Sie im Anfragetext das Feld acceleratorTopology an, das auf 1x72 gesetzt ist.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "acceleratorTopology": "1x72",
    "type": "HIGH_THROUGHPUT"
  }
}

Ersetzen Sie Folgendes:

  • PROJECT_ID: die ID des Projekts, in dem Sie die Workload-Richtlinie erstellen möchten.

  • REGION: Die Region, in der Sie die Arbeitslastrichtlinie erstellen möchten. Geben Sie eine Region an, in der Sie die MIG erstellen möchten und in der der Maschinentyp verfügbar ist, den Sie verwenden möchten. Informationen dazu, in welchen Regionen die Maschinentypen A4X Max oder A4X verfügbar sind, finden Sie unter Verfügbare Regionen und Zonen.

  • WORKLOAD_POLICY_NAME: Der Name Ihrer Arbeitslastrichtlinie.

Arbeitslastrichtlinie für A4-, A3 Ultra-, A3 Mega-, A3 High- (8 GPUs) oder H4D-Instanzen erstellen

Wenn Sie eine Arbeitslastrichtlinie auf A4-, A3 Ultra-, A3 Mega-, A3 High- (8 GPUs) oder H4D-Instanzen in einer MIG anwenden möchten, empfehlen wir, beim Erstellen der Richtlinie einen maximalen Topologieabstandswert anzugeben. Diese Aktion trägt dazu bei, dass Ihre Compute-Instanzen näher beieinander platziert werden. Je kompakter die von Ihnen angegebene Platzierung ist, desto weniger Ressourcen sind möglicherweise in der Zone verfügbar, in der Sie Ihre Compute-Instanzen erstellen möchten.

Wählen Sie eine der folgenden Optionen aus, um eine Arbeitslastrichtlinie für A4-, A3 Ultra-, A3 Mega- oder A3 High-Instanzen (8 GPUs) zu erstellen:

gcloud

Verwenden Sie zum Erstellen einer Workload-Richtlinie den Befehl gcloud compute resource-policies create workload-policy. Je nachdem, wie nah Sie Compute-Instanzen in einer MIG platzieren möchten, fügen Sie dem Befehl die folgenden Flags hinzu:

  • Wenn Sie Ihre Compute-Instanzen möglichst nah beieinander platzieren möchten, fügen Sie das Flag --type=high-throughput ein:

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --region=REGION

  • Wenn Sie die Platzierung Ihrer Compute-Instanzen weiter steuern möchten, fügen Sie die Flags --max-topology-distance und --type=high-throughput hinzu:

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --max-topology-distance=TOPOLOGY_DISTANCE \
    --type=high-throughput \
    --region=REGION

Ersetzen Sie Folgendes:

  • WORKLOAD_POLICY_NAME: Der Name Ihrer Arbeitslastrichtlinie.

  • REGION: Die Region, in der Sie die Arbeitslastrichtlinie erstellen möchten. Geben Sie eine Region an, in der Sie die MIG erstellen möchten und in der der Maschinentyp verfügbar ist, den Sie verwenden möchten. Informationen zu den Regionen, in denen GPU-Maschinentypen verfügbar sind, finden Sie unter Verfügbare Regionen und Zonen.

  • TOPOLOGY_DISTANCE: Der maximale Topologieabstand. Ein kürzerer maximaler Abstand kann die Wahrscheinlichkeit der VM-Verfügbarkeit verringern. Geben Sie einen der folgenden Werte an:

    • So platzieren Sie A4- oder H4D-Instanzen im selben Cluster: CLUSTER

    • So platzieren Sie A4-, A3 Ultra-, A3 Mega-, A3 High- (8 GPUs) oder H4D-Instanzen im selben Block: BLOCK

    • So platzieren Sie A4-, A3 Ultra- oder H4D-Instanzen im selben Unterblock: SUBBLOCK

REST

Senden Sie zum Erstellen einer Arbeitslastrichtlinie eine POST-Anfrage an die Methode resourcePolicies.insert. Je nachdem, wie nah Sie Compute-Instanzen in einer MIG platzieren möchten, fügen Sie die folgenden Felder in den Anfragetext ein:

  • Wenn Sie Ihre Compute-Instanzen möglichst nah beieinander platzieren möchten, fügen Sie das Feld type in den Anfragetext ein:

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "type": "HIGH_THROUGHPUT"
  }
}

  • Wenn Sie die Platzierung Ihrer Compute-Instanzen weiter steuern möchten, fügen Sie die Felder maxTopologyDistance und type in den Anfragetext ein:

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "maxTopologyDistance": "TOPOLOGY_DISTANCE",
    "type": "HIGH_THROUGHPUT"
  }
}

Ersetzen Sie Folgendes:

  • PROJECT_ID: die ID des Projekts, in dem Sie die Workload-Richtlinie erstellen möchten.

  • REGION: Die Region, in der Sie die Arbeitslastrichtlinie erstellen möchten. Geben Sie eine Region an, in der Sie die MIG erstellen möchten und in der der Maschinentyp verfügbar ist, den Sie verwenden möchten. Informationen zu den Regionen, in denen GPU-Maschinentypen verfügbar sind, finden Sie unter Verfügbare Regionen und Zonen.

  • WORKLOAD_POLICY_NAME: Der Name Ihrer Arbeitslastrichtlinie.

  • TOPOLOGY_DISTANCE: Der maximale Topologieabstand. Ein kürzerer maximaler Abstand kann die Wahrscheinlichkeit der VM-Verfügbarkeit verringern. Geben Sie einen der folgenden Werte an:

    • So platzieren Sie A4- oder H4D-Instanzen im selben Cluster: CLUSTER

    • So platzieren Sie A4-, A3 Ultra-, A3 Mega-, A3 High- (8 GPUs) oder H4D-Instanzen im selben Block: BLOCK

    • So platzieren Sie A4-, A3 Ultra- oder H4D-Instanzen im selben Unterblock: SUBBLOCK

Nächste Schritte