Cotas do Managed Service for Apache Spark

Esta página lista os limites de cota da API Managed Service for Apache Spark, que são aplicados no nível do projeto e da região. As cotas são redefinidas a cada 60 segundos (um minuto).

Para estratégias de otimização de cluster que ajudam a evitar problemas de cota e disponibilidade de recursos, consulte Disponibilidade de recursos e estratégias de zona.

Se você executa cargas de trabalho do Managed Service for Apache Spark, consulte Cotas do Managed Service for Apache Spark. Importante:o esgotamento da cota do Managed Service for Apache Spark pode resultar em falhas na criação de lotes e sessões. Para mais informações, consulte Resolver problemas de falhas na criação de lotes e sessões do Managed Service for Apache Spark.

Como lidar com erros de cota do Managed Service for Apache Spark: se você exceder um limite de cota do Managed Service for Apache Spark, será gerado um erro RESOURCE_EXHAUSTED (código HTTP 429), e a respectiva solicitação de API do Managed Service for Apache Spark apresentará falha. No entanto, como as cotas do Managed Service for Apache Spark no seu projeto são atualizadas a cada 60 segundos, será possível fazer a solicitação novamente um minuto depois da falha.

A tabela a seguir indica os tipos específicos e padrão de cota da API Managed Service for Apache Spark por projeto, além dos limites de cota e métodos em que se aplicam.

Tipo de cota	Limite	Métodos de API aplicáveis
AutoscalingOperationRequestsPerMinutePerProjectPerRegion	400	CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy e DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster
NodeGroupOperationRequestsPerMinutePerProjectPerRegion	600	CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup
GetJobRequestsPerMinutePerProjectPerRegion	7.500	GetJob
JobOperationRequestsPerMinutePerProjectPerRegion	400	SubmitJob, UpdateJob, CancelJob e DeleteJob
WorkflowOperationRequestsPerMinutePerProjectPerRegion	400	CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProjectPerRegion	7.500	Todas as outras operações (principalmente operações Get)

Como aumentar os limites de cota dos recursos: abra a página Google Cloud IAM e administrador → Cotas e selecione os recursos que você quer modificar. Em seguida, clique em Editar cotas na parte de cima da página para iniciar o processo de aumento. Se os recursos que você quer aumentar não estiverem na página, e o filtro atual for "Cotas com uso", mude-o para "Todas as cotas" na lista suspensa "Tipo de cota".

A tabela a seguir lista outros limites no total de operações e jobs ativos no nível do projeto e da região.

Tipo da cota	Limite	Descrição
ActiveOperationsPerProjectPerRegion	5000	Limite no número total de operações ativas simultâneas de todos os tipos em um único projeto em um único banco de dados regional
ActiveJobsPerProjectPerRegion	5000	Limite no número total de jobs ativos no estado NON_TERMINAL em um único projeto em um único banco de dados regional

Como aumentar os limites no total de operações e jobs ativos: abra um tíquete de suporte do Google.

Outras Google Cloud cotas

Os clusters do Managed Service for Apache Spark usam outro Google Cloud sprodutos. Estes produtos têm cotas para envolvidos no projeto, o que inclui cotas relevantes ao uso do Serviço Gerenciado para Apache Spark. Alguns serviços são obrigatórios para o uso do Managed Service for Apache Spark, como o Compute Engine e o Cloud Storage. Outros serviços, como BigQuery e o Bigtable, podem usar opcionalmente o Managed Service for Apache Spark.

Serviços de cluster obrigatórios

Os serviços a seguir, que impõem limites de cota, são obrigatórios para criar clusters do Managed Service for Apache Spark.

Compute Engine

Os clusters do Managed Service for Apache Spark usam máquinas virtuais do Compute Engine. As cotas do Compute Engine se dividem em limites regionais e globais. Esses limites referem-se aos clusters que você cria. Por exemplo, a criação de um cluster com um nó n1-standard-4 -m e dois nós n1-standard-4 -w usa 12 CPUs virtuais (4 * 3). Esse uso do cluster é contabilizado no limite de cota local de 24 CPUs virtuais.

**Cotas de avaliação sem custo financeiro** : na avaliação sem custo financeiro do Compute Engine, o projeto tem um limite de 8 CPUs. Para aumentar esse limite, é preciso ativar o faturamento no projeto.

Recursos de clusters padrão

Quando você cria um cluster do Managed Service for Apache Spark com configurações padrão, são usados os recursos do Compute Engine a seguir.

Recurso	Uso
CPUs virtuais	12
Instâncias de máquina virtual (VM)	3
Disco permanente	1.500 GB

Cloud Logging

O Managed Service for Apache Spark salva a saída do driver e os registros dos clusters no Cloud Logging. A cota do Logging se aplica aos clusters do Managed Service for Apache Spark.

Serviços de cluster opcionais

Você pode usar opcionalmente os serviços a seguir, que têm limites de cota, com clusters do Managed Service for Apache Spark.

BigQuery

Durante a leitura ou gravação de dados no BigQuery, é usada a cota do BigQuery.

Bigtable

Durante a leitura ou gravação de dados no Bigtable, é usada a cota do Bigtable.

Disponibilidade de recursos e estratégias de zona

Para otimizar clusters para disponibilidade de recursos e reduzir possíveis erros de falta de estoque, considere as seguintes estratégias:

• Colocação em zona automática:ao criar clusters, use a colocação em zona automática. Isso permite que o Managed Service for Apache Spark selecione uma zona ideal na região especificada, melhorando as chances de criação bem-sucedida do cluster.

• Cotas regionais:verifique se as cotas regionais do Compute Engine são suficientes, já que as cotas podem ser esgotadas mesmo com a colocação em zona automática se a capacidade regional total for insuficiente para suas solicitações.

• Flexibilidade do tipo de máquina:se você tiver falta de estoque persistente com um tipo de máquina específico, use um tipo de máquina diferente e mais disponível para o cluster.