"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google utilise la technologie IA pour traduire le contenu dans votre langue préférée. Les traductions générées par IA peuvent contenir des erreurs.

Quotas Managed Service pour Apache Spark sans serveur

Managed Service pour Apache Spark intègre des limites de quota d'API qui sont appliquées au niveau de chaque projet et de chaque région. Les quotas sont réinitialisés toutes les 60 secondes (chaque minute).

Le tableau suivant présente les types de quotas d'API Managed Service for Apache Spark par défaut ou spécifiques appliqués à chaque projet, ainsi que les limites de ces quotas et les méthodes auxquelles ils s'appliquent.

Type de quota	Limite	Méthodes ou description de l'API
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CancelOperation (le quota d'annulation des opérations par lot est partagé avec le quota d'annulation des opérations de cluster).
BatchOperationRequestsPerMinutePerProjectPerRegion	200	CreateBatch, DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion	200	CreateSession, DeleteSession, TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion	7 500	GetBatch, ListBatches, GetSession, ListSessions
ActiveOperationsPerProjectPerRegion	5 000	Limite du nombre total d'opérations actives simultanées de tous types dans un projet d'une région.

Autres quotas Google Cloud

Les lots Managed Service pour Apache Spark utilisent d'autres produits Google Cloud . Ces produits ont des quotas au niveau du projet, y compris des quotas associés à l'utilisation de Managed Service pour Apache Spark. Certains services, tels que Compute Engine et Cloud Storage, sont requis pour l'utilisation de Managed Service pour Apache Spark. Pour d'autres, comme BigQuery et Bigtable, l'utilisation de Managed Service pour Apache Spark est optionnelle.

Services requis

Les services suivants, qui font appliquer des limites de quota, sont requis pour créer des lots Managed Service pour Apache Spark.

Compute Engine

Les charges de travail par lot Managed Service pour Apache Spark peuvent sélectionner différentes ressources Compute Engine :

Pour atténuer les problèmes de disponibilité des processeurs et des disques, Managed Service pour Apache Spark est compatible avec le basculement entre plusieurs familles de machines et types de disques. Par exemple, dans le niveau Premium, une charge de travail par lot peut revenir à N2 avec un SSD persistant, N2D avec un SSD local, N2D avec un disque persistant, N4 avec un hyperdisque équilibré ou N4D avec un hyperdisque équilibré.
Une charge de travail par lot échoue si son quota est insuffisant pour consommer les ressources de sélection de secours.

Le tableau suivant répertorie les quotas de ressources Compute Engine qui s'appliquent aux charges de travail par lot Managed Service pour Apache Spark.

Niveau de calcul	Quota
Standard	`CPUS`
Premium	`N2_CPUS` `N2D_CPUS` `CPUS_PER_VM_FAMILY` avec la famille de VM N4 `CPUS_PER_VM_FAMILY` avec la famille de VM N4D
Niveau de disque	Quota
Standard	`DISKS_TOTAL_GB`
Premium	`DISKS_TOTAL_GB` `LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY` avec les familles de VM N2 et N2D `SSD-TOTAL-GB` ou `Persistent Disk SSD (GB)` `HDB-TOTAL-GB` ou `Hyperdisk Balanced Capacity (GB)`
Accélérateur GPU	Quota
L4	`NVIDIA_L4_GPUS`
A100 40 Go	`NVIDIA_A100_GPUS`
A100 80 Go	`NVIDIA_A100_80GB_GPUS`

Les quotas Compute Engine sont divisés en quotas régionaux ou mondiaux, et les limites de ces quotas s'appliquent aux lots que vous créez. Par exemple, pour exécuter un lot Spark avec quatre cœurs de pilote (spark.driver.cores=4) et deux exécuteurs avec quatre cœurs chacun (spark.executor.cores=4), vous utilisez 12 processeurs virtuels (4 * 3). Cette utilisation du lot est déduite de la limite de quota régionale de 24 processeurs virtuels.

Ressources de lot par défaut

Lorsque vous créez un lot avec les paramètres par défaut, les ressources Compute Engine suivantes sont utilisées :

Élément	Ressources utilisées
Processeurs virtuels	12
Instances de machines virtuelles (VM)	3
Disque persistant	1 200 Gio

Cloud Logging

Managed Service pour Apache Spark enregistre les journaux et les résultats des traitements par lot dans Cloud Logging. Le quota Cloud Logging s'applique à vos lots Managed Service pour Apache Spark.

Services optionnels

Les services suivants, soumis à des limites de quota, peuvent être utilisés en option avec les lots Managed Service pour Apache Spark.

BigQuery

Lorsque vous lisez ou écrivez des données dans BigQuery, le quota BigQuery s'applique.

Bigtable

Lorsque vous lisez ou écrivez des données dans Bigtable, le quota Bigtable s'applique.

Identifier les charges de travail avec des limites de quota ou d'adresse IP

Vous pouvez utiliser les requêtes Cloud Logging suivantes pour identifier les charges de travail Managed Service pour Apache Spark qui ont atteint votre quota ou qui n'ont pas pu évoluer en raison de l'épuisement des adresses IP.

Requête de quota :

jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.recommendation.outputs.constraintsReached="SCALING_CAPPED_DUE_TO_LACK_OF_QUOTA"

Requête sur l'épuisement des adresses IP :

jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.status.details =~".*Insufficient free IP addresses.*"