Für den Managed Service for Apache Spark gelten API-Kontingentlimits auf Projekt- und Regionsebene. Die Kontingente werden alle 60 Sekunden zurückgesetzt.
In der folgenden Tabelle werden die speziellen und standardmäßigen API-Kontingenttypen und Kontingentlimits für den Managed Service for Apache Spark auf Projektebene sowie die betroffenen Methoden aufgelistet.
| Kontingenttyp | Limit | API-Methoden oder Beschreibung |
|---|---|---|
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation (das Kontingent für das Abbrechen von Batchvorgängen wird mit dem Kontingent für das Abbrechen von Clustervorgängen geteilt) |
| BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch, DeleteBatch |
| SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession, TerminateSession |
| DefaultRequestsPerMinutePerProjectPerRegion | 7.500 | GetBatch, ListBatches, GetSession, ListSessions |
| ActiveOperationsPerProjectPerRegion | 5.000 | Limit für die Gesamtzahl gleichzeitiger aktiver Vorgänge aller Typen in einem Projekt in einer Region. |
Andere Google Cloud Kontingente
Für Batches im Managed Service for Apache Spark werden andere Google Cloud Produkte verwendet. Für diese gelten Kontingente auf Projektebene, von denen einige auch die Nutzung des Managed Service for Apache Spark betreffen. Einige Dienste sind für die Verwendung des Managed Service for Apache Spark erforderlich, z. B. Compute Engine und Cloud Storage. Andere Dienste wie BigQuery und Bigtable, können optional mit dem Managed Service for Apache Spark verwendet werden.
Erforderliche Dienste
Die folgenden Dienste mit Kontingentlimits sind zum Erstellen von Batches im Managed Service for Apache Spark erforderlich.
Compute Engine
Für Batches im Managed Service for Apache Spark werden die folgenden Compute Engine-Ressourcenkontingente verwendet:
| Computing-Stufe | Quota |
|---|---|
| Standard | CPUS |
| Premium | N2_CPUS |
| Laufwerksstufe | Quota |
| Standard | DISKS_TOTAL_GB |
| Premium | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY mit der N2-VM-Familie |
| GPU-Beschleuniger | Quota |
| L4 | NVIDIA_L4_GPUS |
| A100 40GB | NVIDIA_A100_GPUS |
| A100 80GB | NVIDIA_A100_80GB_GPUS |
Die Compute Engine-Kontingente
sind in regionale und globale Limits unterteilt. Diese Limits gelten für die von Ihnen erstellten Batches. Wenn Sie beispielsweise einen Spark-Batch mit vier Treiberkernen (spark.driver.cores=4) und zwei Executors mit jeweils vier Kernen (spark.executor.cores=4) ausführen möchten, verwenden Sie zwölf virtuelle CPUs (4 * 3). Diese Batchnutzung wird auf das regionale Kontingentlimit von 24 virtuellen CPUs angerechnet.
Standard-Batchressourcen
Beim Erstellen eines Batches mit den Standardeinstellungen werden die folgenden Compute Engine-Ressourcen verwendet:
| Posten | Verwendete Ressourcen |
|---|---|
| Virtuelle CPUs | 12 |
| VM-Instanzen | 3 |
| Nichtflüchtiger Speicher | 1.200 GiB |
Cloud Logging
Der Managed Service for Apache Spark speichert die Batchausgabe und -Logs in Cloud Logging. Die Cloud Logging-Kontingente gelten auch für Batches im Managed Service for Apache Spark.
Optionale Dienste
Die folgenden Dienste mit Kontingentlimits können optional mit Batches im Managed Service for Apache Spark verwendet werden.
BigQuery
Beim Lesen oder Schreiben von Daten in BigQuery gelten die BigQuery-Kontingente.
Bigtable
Beim Lesen oder Schreiben von Daten in Bigtable gelten die Bigtable-Kontingente.
Arbeitslasten mit Kontingent- oder IP-Adressbeschränkungen identifizieren
Mit den folgenden Cloud Logging-Abfragen können Sie Arbeitslasten im Managed Service for Apache Spark identifizieren, die Ihr Kontingent erreicht haben oder aufgrund von IP-Adressmangel nicht skaliert werden konnten.
Kontingentanfrage:
jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.recommendation.outputs.constraintsReached="SCALING_CAPPED_DUE_TO_LACK_OF_QUOTA"
Abfrage zu IP-Adressmangel:
jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.status.details =~".*Insufficient free IP addresses.*"