Cette page liste les limites de quota de l'API Managed Service pour Apache Spark, qui sont appliquées au niveau de chaque projet et de chaque région. Les quotas sont réinitialisés toutes les soixante secondes (chaque minute).
Pour découvrir des stratégies d'optimisation des clusters qui vous aideront à éviter les problèmes de quota et de disponibilité des ressources, consultez Disponibilité des ressources et stratégies de zone.
Le tableau suivant présente les types de quotas d'API Managed Service pour Apache Spark par défaut ou spécifiques appliqués à chaque projet, ainsi que les limites de ces quotas et les méthodes auxquelles ils s'appliquent.
| Type de quota | Limite | Méthodes API applicables |
|---|---|---|
| AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy |
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster |
| NodeGroupOperationRequestsPerMinutePerProjectPerRegion | 600 | CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup |
| GetJobRequestsPerMinutePerProjectPerRegion | 7 500 | GetJob |
| JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob, UpdateJob, CancelJob, DeleteJob |
| WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate |
| DefaultRequestsPerMinutePerProjectPerRegion | 7 500 | Toutes les autres opérations (principalement des opérations Get) |
Le tableau suivant présente d'autres limites concernant le nombre total d'opérations et de jobs actifs au niveau de chaque projet et de chaque région.
| Type de quota | Limite | Description |
|---|---|---|
| ActiveOperationsPerProjectPerRegion | 5000 | Limite du nombre total d'opérations actives simultanées de tous types dans un seul projet d'une seule base de données régionale |
| ActiveJobsPerProjectPerRegion | 5000 | Limite du nombre total de jobs actifs à l'état NON_TERMINAL dans un seul projet d'une seule base de données régionale |
Autres Google Cloud quotas
Les clusters Managed Service pour Apache Spark utilisent d'autres Google Cloud produits. Ces produits ont des quotas qui s'appliquent au niveau de chaque projet, y compris des quotas associés à l'utilisation de Managed Service pour Apache Spark. Certains services, tels que Compute Engine et Cloud Storage, sont requis pour l'utilisation de Managed Service pour Apache Spark. D'autres services, tels que BigQuery et Bigtable, peuvent utiliser Managed Service pour Apache Spark en option.
Services de cluster requis
Les services suivants, qui font appliquer des limites de quota, sont requis pour créer des clusters Managed Service pour Apache Spark.
Compute Engine
Les clusters Managed Service pour Apache Spark utilisent des machines virtuelles Compute Engine. Les
quotas Compute Engine sont divisés en quotas régionaux ou mondiaux, et les limites de ces quotas s'appliquent aux clusters que vous créez. Par exemple, la création d'un cluster comportant un nœud n1-standard-4 -m et deux nœuds n1-standard-4 -w utilise 12 processeurs virtuels (4 * 3). Cette utilisation du cluster est déduite de votre limite de quota régionale de 24 processeurs virtuels.
Ressources de cluster par défaut
Lorsque vous créez un cluster Managed Service pour Apache Spark en utilisant les paramètres par défaut, les ressources Compute Engine suivantes sont utilisées.
| Ressource | Utilisation |
|---|---|
| Processeurs virtuels | 12 |
| Instances de machines virtuelles (VM) | 3 |
| Disque persistant | 1 500 Go |
Cloud Logging
Managed Service pour Apache Spark enregistre les résultats fournis par les pilotes et les journaux de clusters dans Cloud Logging. Le quota Logging s'applique aux clusters Managed Service pour Apache Spark.
Services de cluster optionnels
Vous pouvez utiliser en option les services suivants, soumis à des limites de quota, avec les clusters Managed Service pour Apache Spark.
BigQuery
Lorsque vous lisez ou écrivez des données dans BigQuery, le quota BigQuery s'applique.
Bigtable
Lorsque vous lisez ou écrivez des données dans Bigtable, le quota Bigtable s'applique.
Disponibilité des ressources et stratégies de zone
Pour optimiser les clusters en termes de disponibilité des ressources et réduire les risques d'erreurs de rupture de stock, envisagez les stratégies suivantes :
Sélection de zone automatique : lorsque vous créez des clusters, utilisez la sélection de zone automatique. Cela permet à Managed Service pour Apache Spark de sélectionner une zone optimale dans la région spécifiée, ce qui augmente les chances de réussite de la création du cluster.
Quotas régionaux : vérifiez que vos quotas Compute Engine régionaux sont suffisants, car ils peuvent être épuisés même avec la sélection de zone automatique si la capacité régionale totale est insuffisante pour vos requêtes.
Flexibilité du type de machine : si vous rencontrez des ruptures de stock persistantes avec un type de machine spécifique, utilisez un autre type de machine plus facilement disponible pour votre cluster.