Quando crei un cluster Managed Service for Apache Spark, devi specificare una regione Compute Engine come località del cluster. Puoi anche specificare una zona all'interno di quella regione oppure omettere la zona per consentire alla funzionalità Selezione automatica della zona di Managed Service for Apache Spark di selezionare una zona per te nella regione specificata. Tutti i nodi del cluster vengono sottoposti a deployment nella zona selezionata.
Puoi escludere le zone dai criteri di Selezione automatica della zona se la regione del cluster include almeno due zone non escluse. Per saperne di più, consulta Utilizzare la Selezione automatica della zona.
Selezione automatica della zona e prenotazioni di risorse
La Selezione automatica della zona dà la priorità alla creazione di un cluster in una zona con prenotazioni di risorse, come segue:
Se le risorse del cluster richieste possono essere soddisfatte completamente dalle risorse riservate, oltre alle risorse on demand, se necessario, in una zona, la Selezione automatica della zona utilizzerà le risorse riservate e on demand e creerà il cluster in quella zona.
La selezione automatica della zona dà la priorità alle zone per la selezione in base alle prenotazioni totali di core CPU (
vCPU) in una zona.Esempio: una richiesta di creazione del cluster specifica 20
n2-standard-2e 1n2-standard-64(40 + 64vCPUsrichieste). La selezione automatica della zona darà la priorità alle seguenti zone per la selezione in base alle prenotazioni totali di vCPU disponibili nella zona:zone-cprenotazioni disponibili: 3n2-standard-2e 1n2-standard-64(70vCPUs)zone-bprenotazioni disponibili: 1n2-standard-64(64vCPUs)zone-aprenotazioni disponibili: 25n2-standard-2(50vCPUs)Supponendo che ciascuna di queste zone disponga di
vCPUon demand aggiuntive e di altre risorse sufficienti a soddisfare la richiesta del cluster, la Selezione automatica della zona selezioneràzone-cper la creazione del cluster.
Se le risorse del cluster richieste non possono essere soddisfatte completamente dalle risorse riservate e on demand in una zona, la Selezione automatica della zona creerà il cluster in una zona che ha maggiori probabilità di soddisfare la richiesta utilizzando le risorse on demand.
Utilizzare la selezione automatica della zona
Console
Per creare un cluster Managed Service for Apache Spark che utilizza la selezione automatica della zona:
- Nella Google Cloud console, apri la pagina Crea un cluster Managed Service for Apache Spark su Compute Engine di Managed Service for Apache Spark. Viene selezionato il riquadro Configura cluster.
- Nella sezione Località, procedi nel seguente modo:
- Seleziona una regione per il cluster.
- In Zona, seleziona "Qualsiasi".
Escludere le zone: la specifica delle zone da escludere dal posizionamento Selezione automatica della zona non è supportata tramite la Google Cloud console. Questa funzionalità è disponibile utilizzando Google Cloud CLI e l'API REST.
Gcloud CLI
Per creare un cluster Managed Service for Apache Spark che utilizza la Selezione automatica della zona, utilizza il
gcloud dataproc clusters create
comando. Imposta il flag --region su una regione, quindi
omettere il flag --zone o impostare il flag --zone su
una stringa vuota (--zone="").
--auto-zone-exclude-zones flag per specificare un elenco separato da virgole
di zone. La selezione automatica della zona selezionerà una zona dalla regione specificata, ma escluderà le zone elencate dai criteri di selezione. Tieni presente che nella regione del cluster devono essere disponibili almeno due zone non escluse.
Esempi:
Utilizzo di base della Selezione automatica della zona:
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ other args ...
Selezione automatica della zona con zone escluse:
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --auto-zone-exclude-zones=ZONE_1,ZONE_2 \ other args ...
API REST
Per creare un cluster Managed Service for Apache Spark che utilizza la Selezione automatica della zona, crea una richiesta API JSON clusters.create lasciando vuoto il campo gceClusterConfig.zoneUri. Nell'endpoint REST,
https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters, inserisci un nome di regione. La selezione automatica della zona di Managed Service for Apache Spark sceglierà una zona per il cluster all'interno della regione specificata.
Per escludere zone specifiche, puoi compilare il gceClusterConfig.autoZoneExcludeZoneUris con un elenco di nomi di zone da escludere. Tieni presente che nella regione del cluster devono essere disponibili almeno due zone non escluse.
Utilizzare nomi di risorse brevi con la selezione automatica della zona: quando specifichi un URI di risorsa, ad esempio machineTypeUri o acceleratorTypeUri, in una richiesta di creazione del cluster dell'API REST di selezione automatica della zona, utilizza un nome di risorsa breve senza una specifica della zona, ad esempio "n1-standard-2" o "nvidia-tesla-t4".