En esta página, se enumeran los límites de cuota de la API de Managed Service para Apache Spark, que se aplican a nivel de proyecto y región. Esas cuotas se restablecen cada sesenta segundos (un minuto).
Para obtener estrategias de optimización de clústeres que te ayuden a evitar problemas de cuota y disponibilidad de recursos, consulta Disponibilidad de recursos y estrategias de zonas.
En la siguiente tabla, se muestran los tipos de cuotas específicos y predeterminados por proyecto para las API de Managed Service para Apache Spark, los límites de cuotas y los métodos a los que se aplican.
| Tipo de cuota | Límite | Métodos de la API a los que se aplica |
|---|---|---|
| AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy y DeleteAutoscalingPolicy |
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster y RepairCluster |
| NodeGroupOperationRequestsPerMinutePerProjectPerRegion | 600 | CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup y StopNodeGroup |
| GetJobRequestsPerMinutePerProjectPerRegion | 7,500 | GetJob |
| JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob, UpdateJob, CancelJob y DeleteJob |
| WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate y DeleteWorkflowTemplate |
| DefaultRequestsPerMinutePerProjectPerRegion | 7,500 | Todas las demás operaciones (principalmente operaciones Get) |
En la siguiente tabla, se enumeran los límites adicionales para las operaciones y los trabajos activos totales a nivel de proyecto y región.
| Tipo de cuota | Límite | Descripción |
|---|---|---|
| ActiveOperationsPerProjectPerRegion | 5000 | Límite de la cantidad total de operaciones activas simultáneas de todos los tipos en un solo proyecto en una sola base de datos regional |
| ActiveJobsPerProjectPerRegion | 5000 | Límite de la cantidad total de trabajos activos en estado NON_TERMINAL en un solo proyecto en una sola base de datos regional |
Otras Google Cloud cuotas
Los clústeres de Managed Service para Apache Spark usan otros Google Cloud productos. Estos productos tienen cuotas en el nivel de proyecto, que incluyen las que se aplican al uso de Managed Service para Apache Spark. Algunos servicios son obligatorios para usar Managed Service para Apache Spark, como Compute Engine y Cloud Storage. Otros servicios, como BigQuery y Bigtable, pueden usar Managed Service para Apache Spark de forma opcional.
Servicios de clústeres obligatorios
Los siguientes servicios, que tienen límites de cuota, son obligatorios para crear clústeres de Managed Service para Apache Spark.
Compute Engine
Los clústeres de Managed Service para Apache Spark usan máquinas virtuales de Compute Engine. Las cuotas de
Compute Engine están divididas en límites regionales y globales. Estos límites se aplican a los clústeres que creas. Por ejemplo, la creación de un clúster con un nodo n1-standard-4 -m y dos nodos n1-standard-4 -w usa 12 CPU virtuales (4 * 3). El uso de este clúster se descuenta del límite de cuota regional de 24 CPU virtuales.
Recursos de clústeres predeterminados
Cuando creas un clúster de Managed Service para Apache Spark con la configuración predeterminada, se usan los siguientes recursos de Compute Engine.
| Recurso | Uso |
|---|---|
| CPU virtuales | 12 |
| Instancias de máquinas virtuales (VM) | 3 |
| Disco persistente | 1,500 GB |
Cloud Logging
Managed Service para Apache Spark guarda el resultado del controlador y los registros del clúster en Cloud Logging. La cuota de Logging se aplica a los clústeres de Managed Service para Apache Spark.
Servicios de clústeres opcionales
De manera opcional, puedes usar los siguientes servicios, que tienen límites de cuota, con los clústeres de Managed Service para Apache Spark.
BigQuery
Cuando se realizan operaciones de lectura o escritura de datos en BigQuery, se aplica la cuota de BigQuery.
Bigtable
Cuando se realizan operaciones de lectura o escritura de datos en Bigtable, se aplica la cuota de Bigtable.
Disponibilidad de recursos y estrategias de zonas
Para optimizar los clústeres en cuanto a la disponibilidad de recursos y mitigar posibles errores de falta de stock, considera las siguientes estrategias:
Ubicación de zona automática: Cuando crees clústeres, usa la ubicación de zona automática. Esto permite que Managed Service para Apache Spark seleccione una zona óptima dentro de la región especificada, lo que mejora las posibilidades de crear clústeres de forma correcta.
Cuotas regionales: Verifica que tus cuotas regionales de Compute Engine sean suficientes, ya que las cuotas se pueden agotar incluso con la ubicación de zona automática si la capacidad regional total no es suficiente para tus solicitudes.
Flexibilidad del tipo de máquina: Si experimentas faltas de stock persistentes con un tipo de máquina específico, usa un tipo de máquina diferente y más disponible para tu clúster.