Cotas sem servidor do Serviço Gerenciado para Apache Spark

O Serviço Gerenciado para Apache Spark tem limites de cota de API aplicados no nível do projeto e da região. As cotas são redefinidas a cada 60 segundos (1 minuto).

Como lidar com erros de cota do Serviço Gerenciado para Apache Spark: se você exceder um limite de cota do Serviço Gerenciado para Apache Spark, será gerado um erro RESOURCE_EXHAUSTED(código HTTP 429), e a respectiva solicitação de API do Serviço Gerenciado para Apache Spark apresentará falha. No entanto, como as cotas do Serviço Gerenciado para Apache Spark no seu projeto são atualizadas a cada 60 segundos, será possível fazer a solicitação novamente um minuto depois da falha.

A tabela a seguir indica os tipos específicos e padrão de cota da API do Serviço Gerenciado para Apache Spark por projeto, além dos limites de cota e métodos em que se aplicam.

Tipo de cota	Limite	Métodos ou descrição da API
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CancelOperation (a cota de cancelamento de operação em lote é compartilhada com a cota de cancelamento de operação de cluster).
BatchOperationRequestsPerMinutePerProjectPerRegion	200	CreateBatch, DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion	200	CreateSession, DeleteSession, TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion	7.500	GetBatch, ListBatches, GetSession, ListSessions
ActiveOperationsPerProjectPerRegion	5.000	Limite do número total de operações ativas simultâneas de todos os tipos em um projeto em uma região.

Como aumentar os limites de cota dos recursos: abra a página Google Cloud IAM e administrador → Cotas e selecione os recursos que você quer modificar. Em seguida, clique em Editar cotas na parte de cima da página para iniciar o processo de aumento. Se os recursos que você quer aumentar não estiverem na página, e o filtro atual for "Cotas com uso", mude-o para "Todas as cotas" na lista suspensa "Tipo de cota".

Outras Google Cloud cotas

Os lotes do Serviço Gerenciado para Apache Spark usam outros Google Cloud produtos. Eles têm cotas de nível de projeto, o que inclui cotas relevantes ao uso do Serviço Gerenciado para Apache Spark. Alguns serviços são obrigatórios para o uso do Serviço Gerenciado para Apache Spark, como o Compute Engine e o Cloud Storage. Outros serviços, como BigQuery e o Bigtable, podem ser usados opcionalmente com o Serviço Gerenciado para Apache Spark.

Serviços obrigatórios

Os serviços a seguir, que impõem limites de cota, são obrigatórios para criar lotes do Serviço Gerenciado para Apache Spark.

Compute Engine

As cargas de trabalho em lote do Serviço Gerenciado para Apache Spark podem selecionar uma variedade de recursos do Compute Engine:

• Para atenuar problemas de obtenção com CPUs e discos, o Serviço Gerenciado para Apache Spark oferece suporte a fallback em várias famílias de máquinas e tipos de disco. Por exemplo, no nível Premium, uma carga de trabalho em lote pode fazer failover para N2 com SSD permanente, N2D com SSD local, N2D com disco permanente, N4 com hiperdisco balanceado, ou N4D com hiperdisco balanceado.

• Uma carga de trabalho em lote falha se não tiver cota suficiente para consumir os recursos de seleção de failover.

A tabela a seguir lista as cotas de recursos do Compute Engine que se aplicam às cargas de trabalho em lote do Serviço Gerenciado para Apache Spark.

Nível de computação	Quota
Padrão	CPUS
Premium	N2_CPUS N2D_CPUS CPUS_PER_VM_FAMILY com a família de VMs N4 CPUS_PER_VM_FAMILY com a família de VMs N4D
Nível do disco	Quota
Padrão	DISKS_TOTAL_GB
Premium	DISKS_TOTAL_GB LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY com as famílias de VMs N2 e N2D SSD-TOTAL-GB ou Persistent Disk SSD (GB) HDB-TOTAL-GB ou Hyperdisk Balanced Capacity (GB)
Acelerador de GPU	Quota
L4	NVIDIA_L4_GPUS
A100 40GB	NVIDIA_A100_GPUS
A100 80GB	NVIDIA_A100_80GB_GPUS

As cotas do Compute Engine se dividem em limites regionais e globais. Esses limites se aplicam aos lotes que você cria. Por exemplo, para executar um lote do Spark com quatro núcleos de driver (spark.driver.cores=4) e dois executores com quatro núcleos cada (spark.executor.cores=4), você usa 12 CPUs virtuais (4 * 3). Esse uso de lote é contabilizado no limite de cota regional de 24 CPUs virtuais.

**Cotas de avaliação sem custo financeiro** : na avaliação sem custo financeiro do Compute Engine, o projeto tem um limite de 8 CPUs. Para aumentar esse limite, é preciso ativar o faturamento no projeto.

Recursos de lote padrão

Quando você cria um lote com configurações padrão, são usados os recursos do Compute Engine a seguir:

Item	Recursos usados
CPUs virtuais	12
Instâncias de máquina virtual (VM)	3
Disco permanente	1.200 GiB

Cloud Logging

O Serviço Gerenciado para Apache Spark salva a saída e os registros de lote em Cloud Logging. A cota do Cloud Logging se aplica aos lotes do Serviço Gerenciado para Apache Spark.

Serviços opcionais

Os serviços a seguir, que têm limites de cota, podem ser usados opcionalmente com lotes do Serviço Gerenciado para Apache Spark.

BigQuery

Durante a leitura ou gravação de dados no BigQuery, é usada a cota do BigQuery.

Bigtable

Durante a leitura ou gravação de dados no Bigtable, é usada a cota do Bigtable.

Identificar cargas de trabalho com limitações de cota ou endereço IP

Você pode usar as consultas do Cloud Logging a seguir para identificar cargas de trabalho do Serviço Gerenciado para Apache Spark que atingiram a cota ou não puderam ser escalonadas devido ao esgotamento do endereço IP.

Consulta de cota:

jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.recommendation.outputs.constraintsReached="SCALING_CAPPED_DUE_TO_LACK_OF_QUOTA"

Consulta de esgotamento de endereço IP:

jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.status.details =~".*Insufficient free IP addresses.*"