O Serverless para Apache Spark tem limites de cota de API aplicados no nível do projeto e da região. As cotas são redefinidas a cada 60 segundos (um minuto).
A tabela a seguir indica os tipos específicos e padrão de cota da API Serverless para Apache Spark por projeto , além dos limites de cota e métodos em que se aplicam.
| Tipo de cota | Limite | Métodos ou descrição da API |
|---|---|---|
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation (a cota de cancelamento de operação em lote é compartilhada com a cota de cancelamento de operação de cluster). |
| BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch, DeleteBatch |
| SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession, TerminateSession |
| DefaultRequestsPerMinutePerProjectPerRegion | 7.500 | GetBatch, ListBatches, GetSession, ListSessions |
| ActiveOperationsPerProjectPerRegion | 5000 | Limite do número total de operações ativas simultâneas de todos os tipos em um projeto em uma região. |
Outras Google Cloud cotas
Os lotes do Serverless para Apache Spark utilizam outros Google Cloud produtos. Eles têm cotas de nível de projeto, o que inclui cotas relevantes ao uso do Serverless para Apache Spark use. Alguns serviços são obrigatórios para o uso do Serverless para Apache Spark, como o Compute Engine e o Cloud Storage. Outros serviços, como BigQuery e o Bigtable, podem ser usados opcionalmente com o Serverless para Apache Spark.
Serviços obrigatórios
Os serviços a seguir, que impõem limites de cota, são obrigatórios para criar lotes do Serverless para Apache Spark.
Compute Engine
Os lotes do Serverless para Apache Spark consomem as seguintes cotas de recursos do Compute Engine:
| Nível de computação | Quota |
|---|---|
| Padrão | CPUS |
| Premium | N2_CPUS |
| Nível do disco | Quota |
| Padrão | DISKS_TOTAL_GB |
| Premium | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY com a família de VMs N2 |
| Acelerador de GPU | Quota |
| L4 | NVIDIA_L4_GPUS |
| A100 40GB | NVIDIA_A100_GPUS |
| A100 80GB | NVIDIA_A100_80GB_GPUS |
As cotas do Compute Engine
se dividem em limites regionais e globais. Esses limites se aplicam aos lotes que você
cria. Por exemplo, para executar um lote do Spark com quatro núcleos de driver
(spark.driver.cores=4) e dois executores com quatro núcleos cada (spark.executor.cores=4),
você precisa usar 12 CPUs virtuais (4 * 3).
Esse uso do lote será contabilizado no limite de cota local de 24 CPUs virtuais.
Recursos de lote padrão
Quando você cria um lote com configurações padrão, são usados os recursos do Compute Engine a seguir:
| Item | Recursos usados |
|---|---|
| CPUs virtuais | 12 |
| Instâncias de máquina virtual (VM) | 3 |
| Disco permanente | 1.200 GiB |
Cloud Logging
O Serverless para Apache Spark salva a saída e os registros de lotes em Cloud Logging. A cota do Cloud Logging se aplica aos lotes do Serverless para Apache Spark.
Serviços opcionais
Os serviços a seguir, que têm limites de cota, podem ser usados opcionalmente com lotes do Serverless para Apache Spark.
BigQuery
Durante a leitura ou gravação de dados no BigQuery, é usada a cota do BigQuery.
Bigtable
Durante a leitura ou gravação de dados no Bigtable, é usada a cota do Bigtable.
Identificar cargas de trabalho com limitações de cota ou endereço IP
É possível usar as consultas do Cloud Logging a seguir para identificar cargas de trabalho do Serverless para Apache Spark que atingiram a cota ou não puderam ser escalonadas devido ao esgotamento do endereço IP.
Consulta de cota:
jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.recommendation.outputs.constraintsReached="SCALING_CAPPED_DUE_TO_LACK_OF_QUOTA"
Consulta de esgotamento de endereço IP:
jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.status.details =~".*Insufficient free IP addresses.*"