Posizionamento della zona automatica di Dataproc

Quando crei un cluster Dataproc, le risorse del cluster utilizzano un endpoint regionale basato su zone di Compute Engine. Quando scegli una regione, puoi selezionare una zona all'interno di quella regione oppure puoi omettere la zona per fare in modo che la funzionalità Zona automatica di Dataproc selezioni una zona per te in quella regione. Una volta selezionata una zona, tutti i nodi del cluster verranno sottoposti a deployment in quella zona.

Puoi escludere le zone dai criteri di selezione della zona automatica a condizione che la regione del cluster includa almeno due zone non escluse. Per saperne di più, consulta Utilizzare il posizionamento della zona automatica.

Zona automatica e prenotazioni di risorse

La zona automatica dà la priorità alla creazione di un cluster in una zona con prenotazioni di risorse, come segue:

  • Se le risorse del cluster richieste possono essere soddisfatte completamente dalle risorse riservate e, se necessario, dalle risorse on demand in una zona, la zona automatica utilizzerà le risorse riservate e on demand e creerà il cluster in quella zona.

  • La zona automatica dà la priorità alle zone per la selezione in base alle prenotazioni totali di core CPU (vCPU) in una zona.

    Esempio: una richiesta di creazione del cluster specifica 20 n2-standard-2 e 1 n2-standard-64 (40 + 64 vCPUs richieste). La zona automatica darà la priorità alle seguenti zone per la selezione in base alle prenotazioni totali di vCPU disponibili nella zona:

    1. zone-c prenotazioni disponibili: 3 n2-standard-2 e 1 n2-standard-64 (70 vCPUs)
    2. zone-b prenotazioni disponibili: 1 n2-standard-64 (64 vCPUs)

    3. zone-a prenotazioni disponibili: 25 n2-standard-2 (50 vCPUs)

      Supponendo che ciascuna di queste zone disponga di vCPU on demand aggiuntive e di altre risorse sufficienti a soddisfare la richiesta del cluster, la zona automatica selezionerà zone-c per la creazione del cluster.

  • Se le risorse del cluster richieste non possono essere soddisfatte completamente dalle risorse riservate e on demand in una zona, la zona automatica creerà il cluster in una zona che ha maggiori probabilità di soddisfare la richiesta utilizzando le risorse on demand.

Utilizzare il posizionamento della zona automatica

Console

Per creare un cluster Dataproc che utilizza il posizionamento della zona automatica:

  1. Nella Google Cloud console, apri la pagina Crea un cluster Dataproc su Compute Engine di Dataproc. Viene selezionato il riquadro Configura cluster.
  2. Nella sezione Località, procedi nel seguente modo:
    • Seleziona una regione per il cluster.
    • In Zona, seleziona "Qualsiasi".

Escludere le zone: la specifica delle zone da escludere dal posizionamento della zona automatica non è supportata tramite la Google Cloud console. Questa funzionalità è disponibile utilizzando Google Cloud CLI e l'API REST.

Interfaccia a riga di comando gcloud

Per creare un cluster Dataproc che utilizza il posizionamento della zona automatica, utilizza il gcloud dataproc clusters create comando. Imposta il flag --region su una regione, quindi omettere il flag --zone o impostare il flag --zone su una stringa vuota (--zone="").

In alternativa all'utilizzo del flag `--zone`, puoi utilizzare il --auto-zone-exclude-zones flag per specificare un elenco di zone separate da virgole. La selezione della zona automatica selezionerà una zona dalla regione specificata, ma escluderà le zone elencate dai criteri di selezione. Tieni presente che nella regione del cluster devono essere disponibili almeno due zone non escluse.

Esempi:

Utilizzo di base della zona automatica:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    other args ...

Zona automatica con zone escluse:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --auto-zone-exclude-zones=ZONE_1,ZONE_2 \
    other args ...

API REST

Per creare un cluster Dataproc che utilizza il posizionamento della zona automatica, crea una richiesta API clusters.create JSON, lasciando vuoto il campo gceClusterConfig.zoneUri. Nell'endpoint REST, https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters, inserisci un nome di regione. La zona automatica di Dataproc sceglierà una zona per il cluster all'interno della regione specificata.

Per escludere zone specifiche, puoi compilare il gceClusterConfig.autoZoneExcludeZoneUris con un elenco di nomi di zone da escludere. Tieni presente che nella regione del cluster devono essere disponibili almeno due zone non escluse.

Utilizzare nomi di risorse brevi con il posizionamento della zona automatica: quando specifichi un URI di risorsa, ad esempio machineTypeUri o acceleratorTypeUri, in una richiesta di creazione del cluster dell'API REST di posizionamento della zona automatica, utilizza un nome di risorsa breve senza una specifica della zona, ad esempio "n1-standard-2" o "nvidia-tesla-t4".