Quotas et limites du système pour le Lakehouse sans frontières

Ce document recense les quotas et limites système qui s'appliquent à Lakehouse.

  • Les quotas ont des valeurs par défaut, mais vous pouvez généralement demander des ajustements.
  • Les limites système sont des valeurs fixes qui ne peuvent pas être modifiées.

Google Cloud utilise des quotas pour garantir l'équité et réduire les pics d'utilisation et de disponibilité des ressources. Un quota limite la quantité d'une ressourceGoogle Cloud que votre projet Google Cloud peut utiliser. Les quotas s'appliquent à différents types de ressources, y compris les composants matériels, logiciels et réseau. Par exemple, ils peuvent limiter le nombre d'appels d'API à un service, le nombre d'équilibreurs de charge utilisés simultanément par votre projet ou le nombre de projets que vous pouvez créer. Ils protègent la communauté des utilisateurs deGoogle Cloud en empêchant la surcharge des services. Les quotas vous aident également à gérer vos propres ressources Google Cloud .

Le système Cloud Quotas permet d'effectuer les opérations suivantes :

Dans la plupart des cas, lorsque vous tentez d'utiliser une ressource plus que son quota ne le permet, le système bloque l'accès à la ressource et la tâche que vous essayez d'effectuer échoue.

Les quotas s'appliquent généralement au niveau du projet Google Cloud . Votre utilisation d'une ressource dans un projet n'affecte pas votre quota disponible dans un autre projet. Dans un projet Google Cloud , les quotas sont partagés entre toutes les applications et adresses IP.

Pour en savoir plus, consultez la présentation des quotas Cloud.

Des limites système s'appliquent également aux ressources Lakehouse. Elles ne peuvent pas être modifiées.

Obtenir les noms des métriques de quota et de limite système

Les quotas et les limites système ont deux types de noms : les noms à afficher et les noms de métriques. Les noms à afficher contiennent des espaces et des majuscules, ce qui les rend plus faciles à lire pour les humains. Les noms de métriques sont plus susceptibles d'être en minuscules et délimités par des traits de soulignement au lieu d'espaces. Le format exact dépend du service.

Les instructions suivantes montrent comment obtenir les noms de métriques pour les quotas et les limites système à l'aide de la Google Cloud console ou de Google Cloud CLI.

Console

  1. Dans la Google Cloud console, accédez à la page IAM et administration > Quotas et limites du système :

    Accéder à la page Quotas et limites du système

    Le tableau de cette page affiche les quotas et les limites système qui ont une utilisation ou des valeurs ajustées, ainsi qu'une entrée de référence pour les autres quotas. L'entrée de référence contient le mot "default" (par défaut) entre parenthèses à la fin de la liste dans la colonne Name (Nom). Par exemple, SetIAM Policy requests per minute per region (default) est l'entrée de référence pour le quota SetIamPolicyRequestsPerMinutePerProject.

  2. Si la colonne Metric (Métrique) ne s'affiche pas, procédez comme suit.

    1. Cliquez sur Options d'affichage des colonnes.
    2. Sélectionnez Metric (Métrique).
    3. Cliquez sur OK. La colonne Metric (Métrique) s'affiche dans le tableau.

    La colonne Metric (Métrique) affiche les noms des métriques. Pour filtrer les résultats, saisissez un nom ou une valeur de propriété dans le champ situé à côté de Filter (Filtrer).

gcloud

Pour obtenir les noms de métriques d'un service à l'aide de gcloud CLI, exécutez la commande quotas info list. Pour ignorer les lignes qui n'affichent pas de noms de métriques, transmettez le résultat à une commande telle que grep avec metric: comme terme de recherche, ou utilisez l' indicateur --format de gcloud CLI :

gcloud quotas info list --project=PROJECT_ID_OR_NUMBER \
    --service=SERVICE_NAME --format="value(metric)"

Remplacez les éléments suivants :

  • PROJECT_ID_OR_NUMBER: ID ou numéro du projet.
  • SERVICE_NAME: nom du service dont vous souhaitez afficher les métriques de quota. Par exemple, le nom du service Compute Engine est compute.googleapis.com. Incluez la partie googleapis.com du nom du service.

Demander une augmentation du quota

Pour ajuster la plupart des quotas, utilisez la console Google Cloud . Pour en savoir plus, consultez Demander un ajustement de quota.

Quotas

Les quotas suivants s'appliquent à Lakehouse :

Catalogue d'environnements d'exécution Lakehouse

Les limites suivantes s'appliquent au catalogue d'environnements d'exécution Lakehouse :

Limite Par défaut Remarques
Modifications de table par jour 1 500 modifications

Votre projet peut apporter jusqu'à 1 500 modifications par table et par jour. Une tâche de chargement, une tâche de copie ou une tâche de requête qui ajoute ou remplace des données de table est comptabilisée comme une modification de la table. Cette limite ne peut pas être modifiée.

Les instructions LMD sont exclues et ne sont pas comptabilisées dans le nombre de modifications de table par jour.

Les données de streaming sont exclues et ne sont pas comptabilisées dans le nombre de modifications de table par jour.
Taux maximal d'opérations de mise à jour des métadonnées de table par table 5 opérations pour 10 secondes Votre projet peut effectuer jusqu'à cinq opérations de mise à jour des métadonnées de table pour 10 secondes par table. Cette limite s'applique à toutes les opérations de mise à jour des métadonnées de table, effectuées par les éléments suivants :Cette limite inclut le total combiné de tous les jobs de chargement, jobs de copie et jobs de requête qui ajoutent ou écrasent une table de destination, ou qui utilisent une instruction LMD DELETE, INSERT, MERGE, TRUNCATE TABLE ou UPDATE pour écrire des données dans une table. Notez cependant que même si les instructions LMD sont comptabilisées dans cette limite, elles n'y sont pas soumises si elle est atteinte. Les opérations LMD sont soumises à des limites de débit dédiées.

Si vous dépassez cette limite, vous recevez un message d'erreur du type Exceeded rate limits: too many table update operations for this table. Cette erreur est temporaire. vous pouvez réessayer avec un intervalle exponentiel entre les tentatives.

Pour identifier les opérations comptabilisées dans cette limite, vous pouvez inspecter vos journaux. Pour obtenir des conseils sur le diagnostic et la résolution de cette erreur, consultez Résoudre les erreurs de quota.

Nombre maximal de colonnes par table 10 000 colonnes Chaque table, résultat de requête ou définition de vue peut comporter jusqu'à 10 000 colonnes. Cela inclut les colonnes imbriquées et répétées.

Accès aux données inter-cloud

Quota Valeur
Nombre total maximal d'espaces de noms dans un catalogue fédéré 100 espaces de noms
Nombre maximal de tables par espace de noms dans un catalogue fédéré 300 tables par espace de noms
Nombre total maximal de tables dans un catalogue fédéré 10 000 tables
Nombre maximal de filtres d'espace de noms dans un catalogue fédéré 16 filtres d'espace de noms

Limites du système

Le tableau suivant répertorie les limites système qui s'appliquent à Lakehouse et la valeur de chaque limite système :

Limite système Valeur
Nombre maximal de tables Apache Iceberg gérées par Lakehouse par bucket Cloud Storage compatible avec une analyse de découverte 1 000 tables par bucket