Auf dieser Seite sind die API-Kontingentlimits für Managed Service for Apache Spark aufgeführt, die auf Projekt- und Regionsebene erzwungen werden. Die Kontingente werden alle 60 Sekunden zurückgesetzt.
Informationen zu Strategien zur Clusteroptimierung, mit denen Probleme mit Kontingenten und Ressourcenverfügbarkeit vermieden werden können, finden Sie unter Ressourcenverfügbarkeit und Zonenstrategien.
In der folgenden Tabelle werden bestimmte und standardmäßige API-Kontingenttypen und Kontingentlimits für Managed Service for Apache Spark auf Projektebene aufgelistet sowie die Methoden, für die sie gelten.
| Kontingenttyp | Limit | Betroffene API-Methoden |
|---|---|---|
| AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy |
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster |
| NodeGroupOperationRequestsPerMinutePerProjectPerRegion | 600 | CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup |
| GetJobRequestsPerMinutePerProjectPerRegion | 7.500 | getJob |
| JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob, UpdateJob, CancelJob, DeleteJob |
| WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate |
| DefaultRequestsPerMinutePerProjectPerRegion | 7.500 | Alle anderen Vorgänge, vor allem Get-Vorgänge |
In der folgenden Tabelle sind zusätzliche Limits für die Gesamtzahl der aktiven Vorgänge und Jobs auf Projekt- und Regionsebene aufgeführt.
| Kontingenttyp | Limit | Beschreibung |
|---|---|---|
| ActiveOperationsPerProjectPerRegion | 5.000 | Limit für die Gesamtzahl der gleichzeitigen aktiven Vorgänge aller Typen in einem einzelnen Projekt in einer einzelnen regionalen Datenbank |
| ActiveJobsPerProjectPerRegion | 5.000 | Limit für die Gesamtzahl der aktiven Jobs im Status NON_TERMINAL in einem einzelnen Projekt in einer einzelnen regionalen Datenbank |
Andere Google Cloud Kontingente
Für Managed Service for Apache Spark-Cluster werden andere Google Cloud Produkte verwendet. Für diese gelten Kontingente auf Projektebene, von denen einige auch die Nutzung von Managed Service for Apache Spark betreffen. Einige Dienste sind erforderlich für die Verwendung von Managed Service for Apache Spark, z. B. Compute Engine und Cloud Storage. Andere Dienste wie BigQuery und Bigtable, können optional mit Managed Service for Apache Spark verwendet werden.
Erforderliche Clusterdienste
Die folgenden Dienste mit Kontingentlimits sind zum Erstellen von Managed Service for Apache Spark-Clustern erforderlich.
Compute Engine
Für Managed Service for Apache Spark-Cluster werden virtuelle Compute Engine-Maschinen verwendet. Die
Compute Engine-Kontingente sind in regionale und globale Limits unterteilt. Diese Limits werden auf die von Ihnen erstellten Cluster angewandt. Wenn Sie beispielsweise einen Cluster mit einem n1-standard-4 -m-Knoten und zwei n1-standard-4 -w-Knoten erstellen, werden 12 virtuelle CPUs (4 * 3) verwendet. Diese Cluster-Nutzung wird auf das regionale Kontingentlimit von 24 virtuellen CPUs angerechnet.
Standardclusterressourcen
Beim Erstellen eines Managed Service for Apache Spark-Clusters mit den Standardeinstellungen werden die folgenden Compute Engine-Ressourcen verwendet:
| Ressource | Nutzung |
|---|---|
| Virtuelle CPUs | 12 |
| VM-Instanzen | 3 |
| Nichtflüchtiger Speicher | 1.500 GB |
Cloud Logging
Managed Service for Apache Spark speichert die Treiberausgabe und die Cluster-Logs in Cloud Logging. Das Logging-Kontingent gilt für Managed Service for Apache Spark-Cluster.
Optionale Clusterdienste
Sie können optional die folgenden Dienste mit Kontingentlimits mit Managed Service for Apache Spark-Clustern verwenden.
BigQuery
Beim Lesen oder Schreiben von Daten in BigQuery, gelten die BigQuery-Kontingente.
Bigtable
Beim Lesen oder Schreiben von Daten in Bigtable, gelten die Bigtable-Kontingente.
Ressourcenverfügbarkeit und Zonenstrategien
Berücksichtigen Sie die folgenden Strategien, um Cluster für die Ressourcenverfügbarkeit zu optimieren und potenzielle Fehlermeldungen aufgrund von Ressourcenknappheit zu vermeiden:
Automatische Zonenplatzierung: Verwenden Sie beim Erstellen von Clustern die automatische Zonenplatzierung. So kann Managed Service for Apache Spark eine optimale Zone in der angegebenen Region auswählen, wodurch die Wahrscheinlichkeit einer erfolgreichen Clustererstellung steigt.
Regionale Kontingente:Prüfen Sie, ob Ihre regionalen Compute Engine-Kontingente ausreichen. Kontingente können auch bei automatischer Zonenplatzierung erschöpft sein, wenn die Gesamtkapazität der Region für Ihre Anfragen nicht ausreicht.
Flexibilität beim Maschinentyp:Wenn es bei einem bestimmten Maschinentyp immer wieder zu Ressourcenknappheit kommt, verwenden Sie einen anderen, leichter verfügbaren Maschinentyp für Ihren Cluster.