Für Managed Service for Apache Spark gelten API-Kontingentlimits auf Projekt- und Regionsebene. Die Kontingente werden alle 60 Sekunden zurückgesetzt.
In der folgenden Tabelle werden die speziellen und standardmäßigen Managed Service for Apache Spark API-Kontingenttypen und Kontingentlimits auf Projektebene sowie die betroffenen Methoden aufgelistet.
| Kontingenttyp | Limit | API-Methoden oder Beschreibung |
|---|---|---|
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation (das Kontingent für Batchvorgänge wird mit dem Kontingent für Clustervorgänge geteilt) |
| BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch, DeleteBatch |
| SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession, TerminateSession |
| DefaultRequestsPerMinutePerProjectPerRegion | 7.500 | GetBatch, ListBatches, GetSession, ListSessions |
| ActiveOperationsPerProjectPerRegion | 5.000 | Limit für die Gesamtzahl gleichzeitiger aktiver Vorgänge aller Typen in einem Projekt in einer Region. |
Andere Google Cloud Kontingente
Für Managed Service for Apache Spark-Batchvorgänge werden andere Google Cloud Produkte verwendet. Für diese gelten Kontingente auf Projektebene, von denen einige auch die Nutzung von Managed Service for Apache Spark betreffen. Einige Dienste sind erforderlich für die Verwendung von Managed Service for Apache Spark, z. B. Compute Engine und Cloud Storage. Andere Dienste wie BigQuery und Bigtable, können optional mit Managed Service for Apache Spark verwendet werden.
Erforderliche Dienste
Die folgenden Dienste mit Kontingentlimits sind zum Erstellen von Managed Service for Apache Spark-Batchvorgängen erforderlich.
Compute Engine
Für Managed Service for Apache Spark-Batchvorgänge werden die folgenden Compute Engine-Ressourcenkontingente verwendet:
| Computing-Stufe | Quota |
|---|---|
| Standard | CPUS |
| Premium | N2_CPUS |
| Laufwerksstufe | Quota |
| Standard | DISKS_TOTAL_GB |
| Premium | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY mit der N2-VM-Familie |
| GPU-Beschleuniger | Quota |
| L4 | NVIDIA_L4_GPUS |
| A100 40GB | NVIDIA_A100_GPUS |
| A100 80GB | NVIDIA_A100_80GB_GPUS |
Die Compute Engine-Kontingente
sind in regionale und globale Limits unterteilt. Diese Limits gelten für die von Ihnen erstellten Batchvorgänge. Wenn Sie beispielsweise einen Spark-Batchvorgang mit vier Treiberkernen (spark.driver.cores=4) und zwei Executors mit jeweils vier Kernen (spark.executor.cores=4) ausführen, verwenden Sie 12 virtuelle CPUs (4 * 3). Diese Batchvorgangs-Nutzung wird auf das regionale Kontingentlimit von 24 virtuellen CPUs angerechnet.
Standard-Batchvorgangsressourcen
Beim Erstellen eines Batchvorgangs mit den Standardeinstellungen werden die folgenden Compute Engine-Ressourcen verwendet:
| Posten | Verwendete Ressourcen |
|---|---|
| Virtuelle CPUs | 12 |
| VM-Instanzen | 3 |
| Nichtflüchtiger Speicher | 1.200 GiB |
Cloud Logging
Managed Service for Apache Spark speichert die Batchvorgangsausgabe und -Logs in Cloud Logging. Die Cloud Logging-Kontingente gelten auch für Managed Service for Apache Spark-Batchvorgänge.
Optionale Dienste
Die folgenden Dienste mit Kontingentlimits können optional mit Managed Service for Apache Spark-Batchvorgängen verwendet werden.
BigQuery
Beim Lesen oder Schreiben von Daten in BigQuery gelten die BigQuery-Kontingente.
Bigtable
Beim Lesen oder Schreiben von Daten in Bigtable gelten die Bigtable-Kontingente.
Arbeitslasten mit Kontingent- oder IP-Adressbeschränkungen identifizieren
Mit den folgenden Cloud Logging-Abfragen können Sie Managed Service for Apache Spark-Arbeitslasten identifizieren, die Ihr Kontingent erreicht haben oder aufgrund von IP-Adressmangel nicht skaliert werden konnten.
Kontingentabfrage:
jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.recommendation.outputs.constraintsReached="SCALING_CAPPED_DUE_TO_LACK_OF_QUOTA"
Abfrage zu IP-Adressmangel:
jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.status.details =~".*Insufficient free IP addresses.*"