Quotas Managed Service pour Apache Spark sans serveur

Managed Service pour Apache Spark intègre des limites de quota d'API qui sont appliquées au niveau de chaque projet et de chaque région. Les quotas sont réinitialisés toutes les 60 secondes (chaque minute).

Gérer les erreurs de quota Managed Service pour Apache Spark : lorsque vous dépassez une limite de quota Managed Service pour Apache Spark, une erreur RESOURCE_EXHAUSTED (code HTTP : 429) est générée, et la requête API Managed Service pour Apache Spark correspondante échoue. Toutefois, étant donné que le quota Managed Service pour Apache Spark de votre projet est réinitialisé au bout de 60 secondes, vous pouvez réessayer d'envoyer la requête une minute après l'échec de votre première tentative.

Le tableau suivant présente les types de quotas d'API Managed Service pour Apache Spark par défaut ou spécifiques appliqués à chaque projet, ainsi que les limites de ces quotas et les méthodes auxquelles ils s'appliquent.

Type de quota	Limite	Méthodes d'API ou description
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CancelOperation (le quota d'annulation des opérations par lot est partagé avec le quota d'annulation des opérations de cluster).
BatchOperationRequestsPerMinutePerProjectPerRegion	200	CreateBatch, DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion	200	CreateSession, DeleteSession, TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion	7 500	GetBatch, ListBatches, GetSession, ListSessions
ActiveOperationsPerProjectPerRegion	5 000	Limite du nombre total d'opérations actives simultanées de tous types dans un projet d'une région.

Augmenter les limites de quota des ressources: Dans IAM et administration, ouvrez la page Google Cloud Quotas , puis sélectionnez les ressources que vous souhaitez modifier. Cliquez ensuite sur Modifier les quotas en haut de la page pour lancer la procédure de demande d'augmentation de quota. Si vous ne trouvez pas les ressources que vous souhaitez modifier et que le filtre actuel est défini sur "Quotas avec utilisation", cliquez sur "Tous les quotas" dans la liste déroulante "Type de quota".

Autres Google Cloud quotas

Les lots Managed Service pour Apache Spark utilisent d'autres Google Cloud produits. Ces produits ont des quotas qui s'appliquent au niveau de chaque projet, y compris des quotas associés à l'utilisation de Managed Service pour Apache Spark. Certains services, tels que Compute Engine et Cloud Storage, sont requis pour l'utilisation de Managed Service pour Apache Spark. Pour d'autres, comme BigQuery et Bigtable, l'utilisation de Managed Service pour Apache Spark est optionnelle.

Services requis

Les services suivants, soumis à des limites de quota, sont requis pour créer des lots Managed Service pour Apache Spark.

Compute Engine

Les charges de travail par lot Managed Service pour Apache Spark peuvent sélectionner diverses ressources Compute Engine :

• Pour atténuer les problèmes de disponibilité des processeurs et des disques, Managed Service pour Apache Spark prend en charge le basculement entre plusieurs familles de machines et types de disques. Par exemple, dans le niveau Premium, une charge de travail par lot peut basculer vers N2 avec un disque SSD persistant, N2D avec un disque SSD local, N2D avec un disque persistant, N4 avec un disque Hyperdisk équilibré, ou N4D avec un disque Hyperdisk équilibré.

• Une charge de travail par lot échoue si le quota est insuffisant pour consommer les ressources de la sélection de basculement.

Le tableau suivant répertorie les quotas de ressources Compute Engine qui s'appliquent aux charges de travail par lot Managed Service pour Apache Spark.

Niveau de calcul	Quota
Standard	CPUS
Premium	N2_CPUS N2D_CPUS CPUS_PER_VM_FAMILY avec la famille de VM N4 CPUS_PER_VM_FAMILY avec la famille de VM N4D
Niveau de disque	Quota
Standard	DISKS_TOTAL_GB
Premium	DISKS_TOTAL_GB LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY avec les familles de VM N2 et N2D SSD-TOTAL-GB ou Persistent Disk SSD (GB) HDB-TOTAL-GB ou Hyperdisk Balanced Capacity (GB)
Accélérateur GPU	Quota
L4	NVIDIA_L4_GPUS
A100 40 Go	NVIDIA_A100_GPUS
A100 80 Go	NVIDIA_A100_80GB_GPUS

Les quotas Compute Engine sont divisés en quotas régionaux ou mondiaux. et les limites de ces quotas s'appliquent aux lots que vous créez. Par exemple, pour exécuter un lot Spark avec quatre cœurs de pilote (spark.driver.cores=4) et deux exécuteurs avec quatre cœurs chacun (spark.executor.cores=4), vous utilisez 12 processeurs virtuels (4 * 3). Cette utilisation du lot est déduite de votre limite de quota régionale de 24 processeurs virtuels.

Quotas des essais sans frais : si vous utilisez l' essai sans frais de Compute Engine, votre projet a une limite de huit processeurs. Pour augmenter cette limite, vous devez activer la facturation sur le projet.

Ressources par lot par défaut

Lorsque vous créez un lot en utilisant les paramètres par défaut, les ressources Compute Engine suivantes sont utilisées :

Élément	Ressources utilisées
Processeurs virtuels	12
Instances de machines virtuelles (VM)	3
Disque persistant	1 200 Gio

Cloud Logging

Managed Service pour Apache Spark enregistre les journaux et les résultats des lots dans Cloud Logging. Le quota Cloud Logging s'applique à vos lots Managed Service pour Apache Spark.

Services optionnels

Les services suivants, soumis à des limites de quota, peuvent être utilisés en option avec les lots Managed Service pour Apache Spark.

BigQuery

Lorsque vous lisez ou écrivez des données dans BigQuery, le quota BigQuery s'applique.

Bigtable

Lorsque vous lisez ou écrivez des données dans Bigtable, le quota Bigtable s'applique.

Identifier les charges de travail avec des limites de quota ou d'adresse IP

Vous pouvez utiliser les requêtes Cloud Logging suivantes pour identifier les charges de travail Managed Service pour Apache Spark qui ont atteint votre quota ou qui n'ont pas pu être mises à l'échelle en raison de l'épuisement des adresses IP.

Requête de quota :

jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.recommendation.outputs.constraintsReached="SCALING_CAPPED_DUE_TO_LACK_OF_QUOTA"

Requête d'épuisement des adresses IP :

jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.status.details =~".*Insufficient free IP addresses.*"