Quote serverless di Managed Service for Apache Spark

Managed Service for Apache Spark ha limiti di quota dell'API applicati a livello di progetto e di regione. Le quote vengono reimpostate ogni 60 secondi (1 minuto).

Gestione degli errori di quota di Managed Service for Apache Spark: se superi un limite di quota di Managed Service for Apache Spark, viene generato un errore RESOURCE_EXHAUSTED (codice HTTP 429) e la richiesta API Managed Service for Apache Spark corrispondente non andrà a buon fine. Tuttavia, poiché la quota Managed Service for Apache Spark del progetto viene aggiornata ogni 60 secondi, puoi ritentare la richiesta una volta trascorso un minuto dall'errore.

Nella tabella seguente sono elencati i tipi di quote predefiniti a livello di progetto dell'API Managed Service for Apache Spark, i relativi limiti di quota e i metodi a cui vengono applicati.

Tipo di quota	Limite	Metodi o descrizione dell'API
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CancelOperation (la quota per l'annullamento delle operazioni batch è condivisa con la quota per l'annullamento delle operazioni cluster).
BatchOperationRequestsPerMinutePerProjectPerRegion	200	CreateBatch, DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion	200	CreateSession, DeleteSession, TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion	7500	GetBatch, ListBatches, GetSession, ListSessions
ActiveOperationsPerProjectPerRegion	5000	Limite al numero totale di operazioni attive simultanee di tutti i tipi in un progetto in una regione.

Aumento dei limiti di quota delle risorse: apri la pagina Google Cloud Quote di IAM e amministrazione e seleziona le risorse che vuoi modificare. Fai quindi clic su Modifica quote nella parte superiore della pagina per avviare la procedura di aumento delle quote. Se le risorse che stai cercando di aumentare non sono visualizzate nella pagina e il filtro corrente è "Quote con utilizzo", imposta il filtro su "Tutte le quote" nel menu a discesa "Tipo di quota".

Altre Google Cloud quote

I batch di Managed Service for Apache Spark utilizzano altri Google Cloud prodotti. Questi prodotti hanno quote a livello di progetto che includono le quote applicabili all'utilizzo di Managed Service for Apache Spark. Per l'utilizzo di Managed Service for Apache Spark è necessario utilizzare alcuni servizi, come ad esempio Compute Engine e Cloud Storage. Altri servizi, come BigQuery e Bigtable, possono essere utilizzati in via facoltativa con Managed Service for Apache Spark.

Servizi obbligatori

I seguenti servizi, che applicano limiti di quota, sono necessari per creare batch di Managed Service for Apache Spark.

Compute Engine

I carichi di lavoro batch di Managed Service for Apache Spark possono selezionare una varietà di risorse di Compute Engine:

• Per mitigare i problemi di ottenibilità con CPU e dischi, Managed Service for Apache Spark supporta il fallback su più famiglie di macchine e tipi di dischi. Ad esempio, nel livello Premium, un carico di lavoro batch può eseguire il fallback a N2 con SSD persistente, N2D con SSD locale, N2D con disco permanente, N4 con hyperdisk bilanciato, o N4D con hyperdisk bilanciato.

• Un carico di lavoro batch non riesce se non ha una quota sufficiente per utilizzare le risorse di selezione di fallback.

La tabella seguente elenca le quote delle risorse di Compute Engine applicabili ai carichi di lavoro batch di Managed Service for Apache Spark.

Livello di calcolo	Quota
Standard	CPUS
Premium	N2_CPUS N2D_CPUS CPUS_PER_VM_FAMILY con la famiglia di VM N4 CPUS_PER_VM_FAMILY con la famiglia di VM N4D
Livello disco	Quota
Standard	DISKS_TOTAL_GB
Premium	DISKS_TOTAL_GB LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY con le famiglie di VM N2 e N2D SSD-TOTAL-GB o Persistent Disk SSD (GB) HDB-TOTAL-GB o Hyperdisk Balanced Capacity (GB)
Acceleratore GPU	Quota
L4	NVIDIA_L4_GPUS
A100 da 40 GB	NVIDIA_A100_GPUS
A100 da 80 GB	NVIDIA_A100_80GB_GPUS

Le quote di Compute Engine sono suddivise in limiti globali e a livello di regione. Questi limiti si applicano ai batch creati. Ad esempio, per eseguire un batch Spark con 4 core driver (spark.driver.cores=4) e due esecutori con 4 core ciascuno (spark.executor.cores=4), devi utilizzare 12 CPU virtuali (4 * 3). L'utilizzo di questo batch viene conteggiato nel limite di quota a livello di regione di 24 CPU virtuali.

Quote per la prova senza costi: se utilizzi la versione di prova senza costi di Compute Engine, il tuo progetto avrà un limite di 8 CPU. Per aumentare questo limite, devi abilitare la fatturazione nel progetto.

Risorse batch predefinite

Quando crei un batch con impostazioni predefinite, vengono utilizzate le seguenti risorse di Compute Engine:

Elemento	Risorse utilizzate
CPU virtuali	12
Istanze di macchine virtuali (VM)	3
Persistent Disk	1200 GiB

Cloud Logging

Managed Service for Apache Spark salva l'output e i log dei batch in Cloud Logging. La quota di Cloud Logging si applica ai batch di Managed Service for Apache Spark.

Servizi facoltativi

I seguenti servizi, che hanno limiti di quota, possono essere utilizzati in maniera facoltativa con i batch di Managed Service for Apache Spark.

BigQuery

Durante la lettura o la scrittura di dati in BigQuery, si applica la quota di BigQuery.

Bigtable

Durante la lettura o la scrittura di dati in Bigtable, si applica la quota di Bigtable.

Identificare i carichi di lavoro con limitazioni di quota o indirizzo IP

Puoi utilizzare le seguenti query di Cloud Logging per identificare i carichi di lavoro di Managed Service for Apache Spark che hanno raggiunto la quota o non sono stati in grado di scalare a causa dell'esaurimento degli indirizzi IP.

Query di quota:

jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.recommendation.outputs.constraintsReached="SCALING_CAPPED_DUE_TO_LACK_OF_QUOTA"

Query di esaurimento degli indirizzi IP:

jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.status.details =~".*Insufficient free IP addresses.*"