Automatische Zonenplatzierung in Dataproc

Wenn Sie einen Dataproc-Cluster erstellen, geben Sie eine Compute Engine-Region als Standort des Clusters an. Sie können auch eine Zone innerhalb dieser Region angeben oder die Zone auslassen, damit die Dataproc-Funktion zur automatischen Zonenplatzierung eine Zone in der angegebenen Region auswählt. Alle Knoten für den Cluster werden in der ausgewählten Zone bereitgestellt.

Sie können Zonen aus den Kriterien für die automatische Zonenauswahl ausschließen, wenn die Clusterregion mindestens zwei nicht ausgeschlossene Zonen enthält. Weitere Informationen finden Sie unter Automatische Zonenplatzierung verwenden.

Auto Zone- und Ressourcenreservierungen

Bei Auto Zone wird die Erstellung eines Clusters in einer Zone mit Ressourcenreservierungen priorisiert. Das funktioniert so:

  • Wenn die angeforderten Clusterressourcen vollständig durch reservierte und, falls erforderlich, On-Demand-Ressourcen in einer Zone erfüllt werden können, werden die reservierten und On-Demand-Ressourcen von Auto Zone genutzt und der Cluster in dieser Zone erstellt.

  • Bei der Auto Zone werden Zonen für die Auswahl nach der Gesamtzahl der reservierten CPU-Kerne (vCPU) in einer Zone priorisiert.

    Beispiel:In einer Anfrage zum Erstellen eines Clusters werden 20 n2-standard-2 und 1 n2-standard-64 angegeben (40 + 64 vCPUs angefordert). Bei der Auto Zone werden die folgenden Zonen entsprechend der Gesamtzahl der in der Zone verfügbaren vCPU-Reservierungen priorisiert:

    1. Verfügbare Reservierungen: 3 n2-standard-2 und 1 n2-standard-64 (70 vCPUs)zone-c
    2. zone-b verfügbare Reservierungen: 1 n2-standard-64 (64 vCPUs)

    3. zone-a verfügbare Reservierungen: 25 n2-standard-2 (50 vCPUs)

      Angenommen, in jeder dieser Zonen sind zusätzliche On-Demand-vCPU und andere Ressourcen verfügbar, die für die Clusteranfrage ausreichen. In diesem Fall wählt Auto Zone zone-c für die Clustererstellung aus.

  • Wenn die angeforderten Clusterressourcen in einer Zone nicht vollständig durch reservierte und On-Demand-Ressourcen abgedeckt werden können, wird der Cluster in einer Zone erstellt, in der die Anfrage mit On-Demand-Ressourcen am wahrscheinlichsten erfüllt werden kann.

Automatische Zonenplatzierung verwenden

Console

So erstellen Sie einen Dataproc-Cluster mit automatischer Zonenplatzierung:

  1. Öffnen Sie in der Google Cloud Console die Seite Dataproc-Cluster in Compute Engine erstellen. Der Bereich Cluster einrichten ist ausgewählt.
  2. Führen Sie im Bereich Standort folgende Schritte aus:
    • Wählen Sie eine Region für den Cluster aus.
    • Wählen Sie unter Zone die Option „Beliebig“ aus.

Zonen ausschließen:Das Angeben von Zonen, die von der automatischen Zonenplatzierung ausgeschlossen werden sollen, wird über die Google Cloud Console nicht unterstützt. Dieses Feature ist über die Google Cloud CLI und die REST API verfügbar.

gcloud-CLI

Verwenden Sie den Befehl gcloud dataproc clusters create, um einen Dataproc-Cluster mit automatischer Zonenplatzierung zu erstellen. Setzen Sie das --region-Flag auf eine Region. Lassen Sie dann entweder das --zone-Flag weg oder setzen Sie es auf einen leeren String (--zone="").--zone

Alternativ zum Flag `--zone` können Sie das Flag --auto-zone-exclude-zones verwenden, um eine durch Kommas getrennte Liste von Zonen anzugeben. Bei der automatischen Zonenauswahl wird eine Zone aus der angegebenen Region ausgewählt, die in der Liste nicht enthalten ist. Hinweis: In der Clusterregion müssen mindestens zwei nicht ausgeschlossene Zonen verfügbar sein.

Beispiele:

Grundlegende Nutzung der automatischen Zonen:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    other args ...

Auto Zone mit ausgeschlossenen Zonen:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --auto-zone-exclude-zones=ZONE_1,ZONE_2 \
    other args ...

REST API

Gehen Sie zum Erstellen eines Dataproc-Clusters mit automatischer Zonenplatzierung so vor: Erstellen Sie die JSON API-Anfrage clusters.create und lassen Sie das Feld gceClusterConfig.zoneUri leer. Geben Sie im REST-Endpunkt https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters einen Regionsnamen ein. Die automatische Zonenplatzierung von Dataproc wählt eine Zone für den Cluster innerhalb der angegebenen Region aus.

Wenn Sie bestimmte Zonen ausschließen möchten, können Sie das Feld gceClusterConfig.autoZoneExcludeZoneUris mit einer Liste der auszuschließenden Zonennamen füllen. In der Clusterregion müssen mindestens zwei nicht ausgeschlossene Zonen verfügbar sein.

Kurze Ressourcennamen mit Auto Zone verwenden: Wenn Sie in einer REST API-Anfrage zum Erstellen eines Clusters mit automatischer Zonenplatzierung einen Ressourcen-URI wie machineTypeUri oder acceleratorTypeUri angeben, verwenden Sie einen kurzen Ressourcennamen ohne Zonenspezifikation, z. B. „n1-standard-2“ oder „nvidia-tesla-t4“.