Serverlose Kontingente für Managed Service for Apache Spark

Für Managed Service for Apache Spark gelten API-Kontingentlimits auf Projekt- und Regionsebene. Die Kontingente werden alle 60 Sekunden zurückgesetzt.

Vorgehensweise bei Managed Service for Apache Spark-Kontingentfehlern: Wird ein Kontingentlimit für Managed Service for Apache Spark überschritten, führt dies zum Fehler RESOURCE_EXHAUSTED (HTTP-Code 429) und die dazugehörige Managed Service for Apache Spark API-Anfrage schlägt fehl. Da das Kontingent für Managed Service for Apache Spark Ihres Projekts jedoch alle 60 Sekunden aktualisiert wird, können Sie es nach einer Minute noch einmal versuchen.

In der folgenden Tabelle werden die speziellen und standardmäßigen Managed Service for Apache Spark API-Kontingenttypen und Kontingentlimits auf Projektebene sowie die betroffenen Methoden aufgelistet.

Kontingenttyp	Limit	API-Methoden oder Beschreibung
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CancelOperation (das Kontingent für das Abbrechen von Batchvorgängen wird mit dem Kontingent für das Abbrechen von Clustervorgängen geteilt)
BatchOperationRequestsPerMinutePerProjectPerRegion	200	CreateBatch, DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion	200	CreateSession, DeleteSession, TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion	7.500	GetBatch, ListBatches, GetSession, ListSessions
ActiveOperationsPerProjectPerRegion	5.000	Limit für die Gesamtzahl gleichzeitiger aktiver Vorgänge aller Typen in einem Projekt in einer Region.

Kontingentlimits für Ressourcen erhöhen: Öffnen Sie die Google Cloud Seite IAM & Verwaltung → Kontingente und wählen Sie die Ressourcen aus, deren Kontingente Sie ändern möchten. Klicken Sie oben auf Kontingente bearbeiten , um die entsprechenden Kontingente zu erhöhen. Wenn die gewünschten Ressourcen nicht angezeigt werden und nach „Teilweise genutzt“ gefiltert wird, stellen Sie im Drop-down-Menü „Kontingenttyp“ den Filter auf „Alle Kontingente“ um.

Andere Google Cloud Kontingente

Für Managed Service for Apache Spark-Batchvorgänge werden andere Google Cloud Produkte verwendet. Für diese gelten Kontingente auf Projektebene, von denen einige auch die Nutzung von Managed Service for Apache Spark betreffen. Einige Dienste sind erforderlich für die Verwendung von Managed Service for Apache Spark, z. B. Compute Engine und Cloud Storage. Andere Dienste wie BigQuery und Bigtable, können optional mit Managed Service for Apache Spark verwendet werden.

Erforderliche Dienste

Die folgenden Dienste mit Kontingentlimits sind zum Erstellen von Managed Service for Apache Spark-Batchvorgängen erforderlich.

Compute Engine

Für Managed Service for Apache Spark-Batcharbeitslasten kann eine Vielzahl von Compute Engine-Ressourcen ausgewählt werden:

• Um Probleme mit der Verfügbarkeit von CPUs und Laufwerken zu vermeiden, unterstützt Managed Service for Apache Spark das Fallback auf mehrere Maschinenfamilien und Laufwerkstypen. In der Premium-Stufe kann eine Batcharbeitslast beispielsweise auf N2 mit nichtflüchtigem SSD-Speicher, N2D mit lokaler SSD, N2D mit nichtflüchtigem Speicher, N4 mit Hyperdisk Balanced, oder N4D mit Hyperdisk Balanced zurückgreifen.

• Eine Batcharbeitslast schlägt fehl, wenn das Kontingent nicht ausreicht, um die Ressourcen der Fallback-Auswahl zu nutzen.

In der folgenden Tabelle sind die Compute Engine-Ressourcenkontingente aufgeführt, die für Managed Service for Apache Spark-Batcharbeitslasten gelten.

Computing-Stufe	Quota
Standard	CPUS
Premium	N2_CPUS N2D_CPUS CPUS_PER_VM_FAMILY mit der N4-VM-Familie CPUS_PER_VM_FAMILY mit der N4D-VM-Familie
Laufwerksstufe	Quota
Standard	DISKS_TOTAL_GB
Premium	DISKS_TOTAL_GB LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY mit den VM-Familien N2 und N2D SSD-TOTAL-GB oder Persistent Disk SSD (GB) HDB-TOTAL-GB oder Hyperdisk Balanced Capacity (GB)
GPU-Beschleuniger	Quota
L4	NVIDIA_L4_GPUS
A100 40GB	NVIDIA_A100_GPUS
A100 80GB	NVIDIA_A100_80GB_GPUS

Die Compute Engine-Kontingente sind in regionale und globale Limits unterteilt. Diese Limits gelten für von Ihnen erstellte Batchvorgänge. Wenn Sie beispielsweise einen Spark-Batchvorgang mit vier Treiber-Cores (spark.driver.cores=4) und zwei Executors mit jeweils vier Cores (spark.executor.cores=4) ausführen möchten, verwenden Sie 12 virtuelle CPUs (4 * 3). Diese Batchnutzung wird auf das regionale Kontingentlimit von 24 virtuellen CPUs angerechnet.

Kostenlose Testkontingente: Wenn Sie die kostenlose Testversion von Compute Engine verwenden, hat Ihr Projekt ein Limit von 8 CPUs. Sie müssen die Abrechnung im Projekt aktivieren, um dieses Limit zu erhöhen.

Standard-Batchressourcen

Beim Erstellen eines Batchvorgangs mit den Standardeinstellungen werden die folgenden Compute Engine-Ressourcen verwendet:

Posten	Verwendete Ressourcen
Virtuelle CPUs	12
VM-Instanzen	3
Nichtflüchtiger Speicher	1.200 GiB

Cloud Logging

Managed Service for Apache Spark speichert die Batchausgabe und -logs in Cloud Logging. Die Cloud Logging-Kontingente gelten auch für Managed Service for Apache Spark-Batchvorgänge.

Optionale Dienste

Die folgenden Dienste mit Kontingentlimits können optional mit Managed Service for Apache Spark-Batchvorgängen verwendet werden.

BigQuery

Beim Lesen oder Schreiben von Daten in BigQuery gelten die BigQuery-Kontingente.

Bigtable

Beim Lesen oder Schreiben von Daten in Bigtable gelten die Bigtable-Kontingente.

Arbeitslasten mit Kontingent- oder IP-Adressbeschränkungen identifizieren

Mit den folgenden Cloud Logging-Abfragen können Sie Managed Service for Apache Spark-Arbeitslasten identifizieren, die Ihr Kontingent erreicht haben oder aufgrund von IP-Adressmangel nicht skaliert werden konnten.

Kontingentabfrage:

jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.recommendation.outputs.constraintsReached="SCALING_CAPPED_DUE_TO_LACK_OF_QUOTA"

Abfrage zu IP-Adressmangel:

jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.status.details =~".*Insufficient free IP addresses.*"