Automatische Zonenplatzierung in Dataproc

Wenn Sie einen Dataproc-Cluster erstellen, verwenden Clusterressourcen regionale Endpunkte, die auf Compute Engine-Zonen basieren. Wenn Sie eine Region auswählen, können Sie eine Zone innerhalb dieser Region auswählen. Sie können auch die Zone auslassen, damit die Dataproc-Funktion zur automatischen Zonenplatzierung eine Zone in der von Ihnen ausgewählten Region auswählt. Sobald eine Zone ausgewählt ist, werden alle Knoten für diesen Cluster in dieser Zone bereitgestellt.

Sie können Zonen aus den Auswahlkriterien für die automatische Zonenplatzierung ausschließen, sofern die Cluster region mindestens zwei nicht ausgeschlossene Zonen enthält. Weitere Informationen finden Sie unter Automatische Zonenplatzierung verwenden.

Automatische Zonenplatzierung und Ressourcenreservierungen

Bei der automatischen Zonenplatzierung wird die Erstellung eines Clusters in einer Zone mit Ressourcenreservierungenpriorisiert:

  • Wenn die angeforderten Clusterressourcen vollständig durch reservierte und gegebenenfalls On-Demand-Ressourcen in einer Zone bereitgestellt werden können, werden die reservierten und On-Demand-Ressourcen von der automatischen Zonenplatzierung genutzt und der Cluster in dieser Zone erstellt.

  • Bei der automatischen Zonenplatzierung werden Zonen nach der Anzahl der reservierten CPU-Kerne (vCPU) in einer Zone priorisiert.

    Beispiel: In einer Anfrage zur Clustererstellung werden 20 n2-standard-2 und 1 n2-standard-64 (40 + 64 vCPUs angefordert). Bei der automatischen Zonenplatzierung werden die folgenden Zonen nach der Anzahl der insgesamt in der Zone reservierten `vCPUs` priorisiert:

    1. zone-c verfügbare Reservierungen: 3 n2-standard-2 und 1 n2-standard-64 (70 vCPUs)
    2. zone-b verfügbare Reservierungen: 1 n2-standard-64 (64 vCPUs)

    3. zone-a verfügbare Reservierungen: 25 n2-standard-2 (50 vCPUs)

      Wenn in jeder dieser Zonen zusätzliche On-Demand-vCPU und andere Ressourcen verfügbar sind, die für die Erfüllung der Clusteranfrage ausreichen, wählt die automatische Zonenplatzierung die Zone zone-c für die Clustererstellung aus.

  • Wenn die angeforderten Clusterressourcen nicht vollständig durch reservierte und On-Demand-Ressourcen in einer Zone bereitgestellt werden können, wird der Cluster in einer Zone erstellt, in der die Anfrage am wahrscheinlichsten mit On-Demand-Ressourcen erfüllt werden kann.

Automatische Zonenplatzierung verwenden

Console

So erstellen Sie einen Dataproc-Cluster mit automatischer Zonenplatzierung:

  1. Öffnen Sie in der Google Cloud console die Seite Dataproc Dataproc-Cluster in Compute Engine erstellen. Der Bereich Cluster einrichten ist ausgewählt.
  2. Führen Sie im Abschnitt Standort folgende Schritte aus:
    • Wählen Sie eine Region für den Cluster aus.
    • Wählen Sie unter Zone die Option „Beliebig“ aus.

Zonen ausschließen:Das Angeben von Zonen, die von der automatischen Zonenplatzierung ausgeschlossen werden sollen, wird über die Google Cloud console nicht unterstützt. Dieses Feature ist über die Google Cloud CLI und die REST API verfügbar.

gcloud-CLI

Verwenden Sie den gcloud dataproc clusters create Befehl, um einen Dataproc-Cluster mit automatischer Zonenplatzierung zu erstellen. Setzen Sie das --region Flag auf eine Region. Lassen Sie dann entweder das --zone Flag weg oder setzen Sie das --zone Flag auf einen leeren String (--zone="").

Alternativ zum Flag `--zone` können Sie mit dem --auto-zone-exclude-zones Flag eine durch Kommas getrennte Liste von Zonen angeben. Bei der automatischen Zonenplatzierung wird eine Zone aus der angegebenen Region ausgewählt, die aufgeführten Zonen werden jedoch von den Auswahlkriterien ausgeschlossen. In der Clusterregion müssen mindestens zwei nicht ausgeschlossene Zonen verfügbar sein.

Beispiele :

Grundlegende Verwendung der automatischen Zonenplatzierung:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    other args ...

Automatische Zonenplatzierung mit ausgeschlossenen Zonen:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --auto-zone-exclude-zones=ZONE_1,ZONE_2 \
    other args ...

REST API

Gehen Sie zum Erstellen eines Dataproc-Clusters mit automatischer Zonenplatzierung so vor: Erstellen Sie die JSON clusters.create API-Anfrage und lassen Sie das gceClusterConfig.zoneUri Feld leer. Fügen Sie im REST-Endpunkt https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters einen Regionsnamen ein. Die automatische Zonenplatzierung von Dataproc wählt eine Zone für den Cluster innerhalb der angegebenen Region aus.

Wenn Sie bestimmte Zonen ausschließen möchten, können Sie das gceClusterConfig.autoZoneExcludeZoneUris Feld mit einer Liste der auszuschließenden Zonennamen füllen. In der Clusterregion müssen mindestens zwei nicht ausgeschlossene Zonen verfügbar sein.

Kurze Ressourcennamen für die automatische Zonenplatzierung verwenden: Verwenden Sie, wenn Sie in einer Anfrage zur Erstellung eines REST API-Clusters mit automatischer Zonenplatzierung einen Ressourcen-URI wie machineTypeUri oder acceleratorTypeUri angeben, einen kurzen Ressourcennamen ohne Festlegung einer Zone (z. B. „n1-standard-2“ oder „nvidia-tesla-t4“).