Posizionamento della zona automatica di Dataproc

Quando crei un cluster Dataproc, specifichi una regione di Compute Engine come posizione del cluster. Puoi anche specificare una zona all'interno di quella regione oppure omettere la zona per fare in modo che la funzionalità Zona automatica di Dataproc selezioni una zona per te nella regione specificata. Tutti i nodi del cluster vengono implementati nella zona selezionata.

Puoi escludere le zone dai criteri di selezione Selezione automatica della zona se la regione del cluster include almeno due zone non escluse. Per saperne di più, vedi Utilizzare il posizionamento automatico delle zone.

Prenotazioni Selezione automatica della zona e risorse

Selezione automatica della zona dà la priorità alla creazione di un cluster in una zona con prenotazioni di risorse, come segue:

  • Se le risorse del cluster richieste possono essere soddisfatte completamente dalle risorse riservate e, se necessario, dalle risorse on demand in una zona, Selezione automatica della zona utilizzerà le risorse riservate e on demand e creerà il cluster in quella zona.

  • La selezione automatica della zona assegna la priorità alle zone in base alle prenotazioni totali di core CPU (vCPU) in una zona.

    Esempio: una richiesta di creazione del cluster specifica 20 n2-standard-2 e 1 n2-standard-64 (40 + 64 vCPUs richiesti). Selezione automatica della zona darà la priorità alle seguenti zone per la selezione in base al totale delle prenotazioni vCPU disponibili nella zona:

    1. zone-c prenotazioni disponibili: 3 n2-standard-2 e 1 n2-standard-64 (70 vCPUs)
    2. zone-b prenotazioni disponibili: 1 n2-standard-64 (64 vCPUs)

    3. zone-a prenotazioni disponibili: 25 n2-standard-2 (50 vCPUs)

      Supponendo che ciascuna di queste zone disponga di vCPU on demand aggiuntive e di altre risorse sufficienti a soddisfare la richiesta del cluster, la funzionalità Selezione automatica della zona selezionerà zone-c per la creazione del cluster.

  • Se le risorse del cluster richieste non possono essere soddisfatte completamente dalle risorse prenotate più on demand in una zona,Selezione automatica della zonae creerà il cluster in una zona che ha maggiori probabilità di soddisfare la richiesta utilizzando risorse on demand.

Utilizzare la selezione automatica della zona

Console

Per creare un cluster Dataproc che utilizza il posizionamento Selezione automatica della zona:

  1. Nella console Google Cloud , apri la pagina Crea un cluster Dataproc su Compute Engine. Il riquadro Configura cluster è selezionato.
  2. Nella sezione Località:
    • Seleziona una regione per il cluster.
    • Nella sezione Zona, seleziona "Qualsiasi".

Escludi zone:la specifica delle zone da escludere dal posizionamento Selezione automatica della zona non è supportata tramite la console Google Cloud . Questa funzionalità è disponibile utilizzando Google Cloud CLI e l'API REST.

Interfaccia a riga di comando gcloud

Per creare un cluster Dataproc che utilizza il posizionamento Selezione automatica della zona, utilizza il comando gcloud dataproc clusters create. Imposta il flag --region su una regione, quindi ometti il flag --zone o impostalo su una stringa vuota (--zone="").--zone

In alternativa all'utilizzo del flag `--zone`, puoi utilizzare il flag --auto-zone-exclude-zones per specificare un elenco separato da virgole di zone. La selezione automatica della zona sceglierà una zona dalla regione specificata, ma escluderà le zone elencate dai criteri di selezione. Tieni presente che devono essere disponibili almeno due zone non escluse nella regione del cluster.

Esempi:

Utilizzo di base della selezione automatica della zona:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    other args ...

Selezione automatica della zona con zone escluse:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --auto-zone-exclude-zones=ZONE_1,ZONE_2 \
    other args ...

API REST

Per creare un cluster Dataproc che utilizza il posizionamento Selezione automatica della zona, crea una richiesta API clusters.create JSON, lasciando vuoto il campo gceClusterConfig.zoneUri. Nell'endpoint REST, https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters, inserisci un nome di regione. La funzionalità Zona automatica di Dataproc sceglierà una zona per il cluster all'interno della regione specificata.

Per escludere zone specifiche, puoi compilare il campo gceClusterConfig.autoZoneExcludeZoneUris con un elenco di nomi di zone da escludere. Tieni presente che nella regione del cluster devono essere disponibili almeno due zone non escluse.

Utilizza nomi di risorse brevi con il posizionamento Selezione automatica della zona zone: quando specifichi un URI risorsa, ad esempio machineTypeUri o acceleratorTypeUri, in una richiesta di creazione di cluster API REST per il posizionamento Selezione automatica della zona, utilizza un nome risorsa breve senza una specifica di zona, ad esempio "n1-standard-2" o "nvidia-tesla-t4".