Quote di Dataproc

Questa pagina elenca i limiti di quota dell'API Dataproc, che vengono applicati a livello di progetto e di regione. Le quote vengono reimpostate ogni 60 secondi (un minuto).

Per le strategie di ottimizzazione dei cluster che consentono di evitare problemi di quota e disponibilità delle risorse, consulta Disponibilità delle risorse e strategie di zona.

Se esegui workload Serverless per Apache Spark, consulta Quote di Serverless per Apache Spark. Importante: l'esaurimento delle quote di Serverless per Apache Spark può causare errori di creazione di batch e sessioni. Per ulteriori informazioni, consulta Risolvere i problemi relativi agli errori di creazione di batch e sessioni di Serverless per Apache Spark.

Gestione degli errori di quota di Dataproc: se superi un limite di quota di Dataproc, viene generato un errore RESOURCE_EXHAUSTED (codice HTTP 429) e la richiesta API Dataproc corrispondente non andrà a buon fine. Tuttavia, poiché la quota Dataproc del progetto viene aggiornata ogni 60 secondi, puoi ritentare la richiesta una volta trascorso un minuto dall'errore.

Nella tabella seguente sono elencati i tipi di quote a livello di progetto specifici e predefiniti dell'API Dataproc, i relativi limiti di quota e i metodi a cui vengono applicati.

Tipo di quota	Limite	Metodi API applicabili
AutoscalingOperationRequestsPerMinutePerProjectPerRegion	400	CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster
NodeGroupOperationRequestsPerMinutePerProjectPerRegion	600	CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup
GetJobRequestsPerMinutePerProjectPerRegion	7500	GetJob
JobOperationRequestsPerMinutePerProjectPerRegion	400	SubmitJob, UpdateJob, CancelJob, DeleteJob
WorkflowOperationRequestsPerMinutePerProjectPerRegion	400	CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProjectPerRegion	7500	Tutte le altre operazioni (principalmente operazioni Get)

Aumento dei limiti di quota delle risorse: apri la pagina Google Cloud IAM e amministrazione→Quote e seleziona le risorse che vuoi modificare. Fai quindi clic su Modifica quote nella parte superiore della pagina per avviare la procedura di aumento delle quote. Se le risorse che stai cercando di aumentare non sono visualizzate nella pagina e il filtro corrente è "Quote con utilizzo", imposta il filtro su "Tutte le quote" nel menu a discesa "Tipo di quota".

La tabella seguente elenca i limiti aggiuntivi per il totale delle operazioni e dei job attivi a livello di progetto e di regione.

Tipo di quota	Limite	Descrizione
ActiveOperationsPerProjectPerRegion	5000	Limite al numero totale di operazioni attive simultanee di tutti i tipi in un singolo progetto in un singolo database regionale
ActiveJobsPerProjectPerRegion	5000	Limite al numero totale di job attivi nello stato NON_TERMINAL in un singolo progetto in un singolo database regionale

Aumento dei limiti per il totale delle operazioni e dei job attivi: Apri un ticket di assistenza Google.

Altre Google Cloud quote

I cluster di Dataproc utilizzano altri Google Cloud prodotti. Questi prodotti hanno quote a livello di progetto che includono le quote applicabili all'utilizzo di Dataproc Per l'utilizzo di Dataproc è necessario utilizzare alcuni servizi, richiesti come ad esempio Compute Engine e Cloud Storage. Altri servizi, come BigQuery e Bigtable, possono utilizzare Dataproc in via facoltativa.

Servizi cluster richiesti

I seguenti servizi, che applicano limiti di quota, sono necessari per creare cluster di Dataproc.

Compute Engine

I cluster di Dataproc utilizzano le macchine virtuali di Compute Engine. Le quote di Compute Engine sono suddivise in limiti globali e a livello di regione. Questi limiti si applicano ai cluster creati. Ad esempio, la creazione di un cluster con un nodo n1-standard-4 -m e due nodi n1-standard-4 -w utilizza 12 CPU virtuali (4 * 3). L'utilizzo di questo cluster viene conteggiato nel limite di quota a livello di regione di 24 CPU virtuali.

Quote per la prova senza costi: se utilizzi la versione di prova senza costi di Compute Engine, il tuo progetto avrà un limite di 8 CPU. Per aumentare questo limite, devi abilitare la fatturazione nel progetto.

Risorse dei cluster predefiniti

Quando crei un cluster di Dataproc con impostazioni predefinite, vengono utilizzate le seguenti risorse di Compute Engine.

Risorsa	Utilizzo
CPU virtuali	12
Istanze di macchine virtuali (VM)	3
Disco permanente	1500 GB

Cloud Logging

Dataproc salva l'output del driver e i log del cluster in Cloud Logging. La quota di Logging si applica ai cluster di Dataproc.

Servizi cluster facoltativi

Puoi utilizzare in via facoltativa i seguenti servizi, che hanno limiti di quota, con i cluster di Dataproc.

BigQuery

Durante la lettura o la scrittura di dati in BigQuery, si applica la quota di BigQuery.

Bigtable

Durante la lettura o la scrittura di dati in Bigtable, si applica la quota di Bigtable.

Disponibilità delle risorse e strategie di zona

Per ottimizzare i cluster per la disponibilità delle risorse e mitigare i potenziali errori di esaurimento delle scorte, valuta le seguenti strategie:

• Selezione automatica della zona: quando crei i cluster, utilizza la selezione automatica della zona. In questo modo, Dataproc può selezionare una zona ottimale all'interno della regione specificata, migliorando le probabilità di creazione del cluster.

• Quote a livello di regione: verifica che le quote di Compute Engine a livello di regione siano sufficienti poiché le quote possono essere esaurite anche con la selezione automatica della zona se la capacità regionale totale non è sufficiente per le tue richieste.

• Flessibilità del tipo di macchina: se riscontri esaurimenti delle scorte persistenti con un tipo di macchina specifico, utilizza un tipo di macchina diverso e più facilmente disponibile per il cluster.