En esta página, se enumeran los límites de cuota de la API de Managed Service for Apache Spark, que se aplican a nivel de proyecto y región. Las cuotas se restablecen cada sesenta segundos (un minuto).
Para conocer las estrategias de optimización de clústeres que ayudan a evitar problemas de cuota y disponibilidad de recursos, consulta Estrategias de disponibilidad de recursos y zonas.
En la siguiente tabla, se muestran los tipos de cuotas específicos y predeterminados por proyecto para la API de Managed Service for Apache Spark, los límites de cuotas y los métodos a los que se aplican.
| Tipo de cuota | Límite | Métodos de la API a los que se aplica |
|---|---|---|
| AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy y DeleteAutoscalingPolicy |
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster y RepairCluster |
| NodeGroupOperationRequestsPerMinutePerProjectPerRegion | 600 | CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup |
| GetJobRequestsPerMinutePerProjectPerRegion | 7,500 | GetJob |
| JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob, UpdateJob, CancelJob y DeleteJob |
| WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate y DeleteWorkflowTemplate |
| DefaultRequestsPerMinutePerProjectPerRegion | 7,500 | Todas las demás operaciones (principalmente operaciones Get) |
En la siguiente tabla, se enumeran los límites adicionales para las operaciones y los trabajos activos totales a nivel del proyecto y la región.
| Tipo de cuota | Límite | Descripción |
|---|---|---|
| ActiveOperationsPerProjectPerRegion | 5000 | Límite de la cantidad total de operaciones activas simultáneas de todos los tipos en un solo proyecto en una sola base de datos regional |
| ActiveJobsPerProjectPerRegion | 5000 | Límite de la cantidad total de trabajos activos en estado NON_TERMINAL en un solo proyecto en una sola base de datos regional |
Otras Google Cloud cuotas
Los clústeres de Managed Service para Apache Spark usan otros Google Cloud productos. Estos productos tienen cuotas a nivel del proyecto, que incluyen las que se aplican al uso de Managed Service for Apache Spark. Algunos servicios son obligatorios para usar Managed Service for Apache Spark, como Compute Engine y Cloud Storage. Otros servicios, como BigQuery y Bigtable, pueden usar opcionalmente Managed Service for Apache Spark.
Servicios de clúster obligatorios
Los siguientes servicios, que tienen límites de cuota, son obligatorios para crear clústeres del servicio administrado para Apache Spark.
Compute Engine
Los clústeres de Managed Service para Apache Spark usan máquinas virtuales de Compute Engine. Las cuotas de Compute Engine se dividen en límites regionales y globales. Estos límites se aplican a los clústeres que creas. Por ejemplo, la creación de un clúster con un nodo n1-standard-4 -m y dos nodos n1-standard-4 -w usa 12 CPU virtuales (4 * 3). El uso de este clúster se descuenta del límite de cuota regional de 24 CPU virtuales.
Recursos de clústeres predeterminados
Cuando creas un clúster de Managed Service para Apache Spark con la configuración predeterminada, se usan los siguientes recursos de Compute Engine.
| Recurso | Uso |
|---|---|
| CPU virtuales | 12 |
| Instancias de máquinas virtuales (VM) | 3 |
| Disco persistente | 1,500 GB |
Cloud Logging
Managed Service for Apache Spark guarda el resultado del controlador y los registros del clúster en Cloud Logging. La cuota de Logging se aplica a los clústeres de Managed Service para Apache Spark.
Servicios de clúster opcionales
De manera opcional, puedes usar los siguientes servicios, que tienen límites de cuota, con los clústeres de Managed Service for Apache Spark.
BigQuery
Cuando se realizan operaciones de lectura o escritura de datos en BigQuery, se aplica la cuota de BigQuery.
Bigtable
Cuando se realizan operaciones de lectura o escritura de datos en Bigtable, se aplica la cuota de Bigtable.
Disponibilidad de recursos y estrategias de zonas
Para optimizar los clústeres en función de la disponibilidad de recursos y mitigar posibles errores de falta de stock, considera las siguientes estrategias:
Posición de zona automática: Cuando crees clústeres, usa la posición de zona automática. Esto permite que el servicio administrado de Apache Spark seleccione una zona óptima dentro de la región especificada, lo que mejora las probabilidades de que se cree el clúster correctamente.
Cuotas regionales: Verifica que tus cuotas regionales de Compute Engine sean suficientes, ya que las cuotas se pueden agotar incluso con la colocación automática de zonas si la capacidad regional total es insuficiente para tus solicitudes.
Flexibilidad del tipo de máquina: Si experimentas faltantes persistentes con un tipo de máquina específico, usa un tipo de máquina diferente que esté más disponible para tu clúster.