Cette page répertorie les limites de quota de l'API Dataproc, qui sont appliquées au niveau de chaque projet et de chaque région. Les quotas sont réinitialisés toutes les soixante secondes (chaque minute).
Pour découvrir des stratégies d'optimisation des clusters qui vous aideront à éviter les problèmes de quota et de disponibilité des ressources, consultez Disponibilité des ressources et stratégies de zone.
Le tableau suivant présente les types de quotas d'API Dataproc par défaut ou spécifiques appliqués à chaque projet, ainsi que les limites de ces quotas et les méthodes auxquelles ils s'appliquent.
| Type de quota | Limite | Méthodes API applicables |
|---|---|---|
| AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy |
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster |
| NodeGroupOperationRequestsPerMinutePerProjectPerRegion | 600 | CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup |
| GetJobRequestsPerMinutePerProjectPerRegion | 7 500 | GetJob |
| JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob, UpdateJob, CancelJob, DeleteJob |
| WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate |
| DefaultRequestsPerMinutePerProjectPerRegion | 7 500 | Toutes les autres opérations (principalement des opérations Get) |
Le tableau suivant présente des limites supplémentaires concernant le nombre total d'opérations et de jobs actifs au niveau de chaque projet et de chaque région.
| Type de quota | Limite | Description |
|---|---|---|
| ActiveOperationsPerProjectPerRegion | 5000 | Limite du nombre total d'opérations actives simultanées de tous types dans un seul projet d'une seule base de données régionale |
| ActiveJobsPerProjectPerRegion | 5000 | Limite du nombre total de jobs actifs à l'état NON_TERMINAL dans un seul projet d'une seule base de données régionale |
Autres Google Cloud quotas
Les clusters Dataproc utilisent d'autres Google Cloud produits. Ces produits ont des quotas qui s'appliquent au niveau de chaque projet, y compris des quotas associés à l'utilisation de Dataproc Certains services, tels que Compute Engine et Cloud Storage, sont requis pour l'utilisation de Dataproc. Pour d'autres, comme BigQuery et Bigtable, l'utilisation de Dataproc est optionnelle.
Services de cluster requis
Les services suivants, qui font appliquer des limites de quota, sont requis pour créer des clusters Dataproc.
Compute Engine
Les clusters Dataproc utilisent des machines virtuelles Compute Engine. Les
quotas Compute Engine sont divisés en quotas régionaux ou mondiaux, et les limites de ces quotas s'appliquent aux
clusters que vous créez. Par exemple, la création d'un cluster comportant un nœud n1-standard-4 -m et deux nœuds n1-standard-4 -w utilise 12 processeurs virtuels
(4 * 3). Cette utilisation du cluster est déduite de votre limite de quota régionale de 24
processeurs virtuels.
Ressources de cluster par défaut
Lorsque vous créez un cluster Dataproc en utilisant les paramètres par défaut, les ressources Compute Engine suivantes sont utilisées.
| Ressource | Utilisation |
|---|---|
| Processeurs virtuels | 12 |
| Instances de machines virtuelles (VM) | 3 |
| Disque persistant | 1 500 Go |
Cloud Logging
Dataproc enregistre les résultats fournis par les pilotes et les journaux de clusters dans Cloud Logging. Le quota Logging s'applique aux clusters Dataproc.
Services de cluster optionnels
Vous pouvez utiliser en option les services suivants, soumis à des limites de quota, avec les clusters Dataproc.
BigQuery
Lorsque vous lisez ou écrivez des données dans BigQuery, le quota BigQuery s'applique.
Bigtable
Lorsque vous lisez ou écrivez des données dans Bigtable, le quota Bigtable s'applique.
Disponibilité des ressources et stratégies de zone
Pour optimiser les clusters en termes de disponibilité des ressources et réduire les risques d'erreurs de rupture de stock, envisagez les stratégies suivantes :
Sélection de zone automatique : lorsque vous créez des clusters, utilisez la sélection de zone automatique. Cela permet à Dataproc de sélectionner une zone optimale dans la région spécifiée, ce qui augmente les chances de réussite de la création du cluster.
Quotas régionaux : vérifiez que vos quotas Compute Engine régionaux sont suffisants , car ils peuvent être épuisés même avec la sélection de zone automatique si la capacité régionale totale est insuffisante pour vos requêtes.
Flexibilité du type de machine : si vous rencontrez des ruptures de stock persistantes avec un type de machine spécifique, utilisez un autre type de machine plus facilement disponible pour votre cluster.