Les ressources Borderless Lakehouse ont des quotas configurables et des limites système fixes pour vous aider à contrôler la consommation des ressources et à maintenir la stabilité du service. Les quotas définissent des allocations de référence que vous pouvez ajuster en demandant une augmentation ou en utilisant l'outil d'ajustement de quota, tandis que les limites système sont des seuils opérationnels fixes qui ne peuvent pas être modifiés.
Pour savoir comment fonctionnent les quotas au niveau du projet Google Cloud et comment suivre la consommation, consultez la présentation de Cloud Quotas.
Obtenir les noms des métriques de quota et de limite du système
Les quotas et les limites du système ont deux types de noms : les noms à afficher et les noms de métriques. Les noms à afficher comportent des espaces et des majuscules qui facilitent la lecture par les humains. Les noms de métriques sont plus susceptibles d'être en minuscules et délimités par des traits de soulignement au lieu d'espaces. Le format exact dépend du service.
Les instructions suivantes expliquent comment obtenir les noms des métriques pour les quotas et les limites du système à l'aide de la console Google Cloud ou de la Google Cloud CLI.
Console
Dans la console Google Cloud , accédez à la page Gestion de l'authentification et des accès (IAM) et administration > Quotas et limites du système :
Accéder à la page Quotas et limites du système
Le tableau de cette page affiche les quotas et les limites du système qui sont utilisés ou dont les valeurs ont été ajustées, ainsi qu'une entrée de référence pour les autres quotas. L'entrée de référence comporte le mot "default" entre parenthèses à la fin de la liste dans la colonne Nom. Par exemple,
SetIAM Policy requests per minute per region (default)est l'entrée de référence pour le quotaSetIamPolicyRequestsPerMinutePerProject.Si la colonne Métrique ne s'affiche pas, procédez comme suit.
- Cliquez sur Options d'affichage des colonnes.
- Sélectionnez Metric (Métrique).
- Cliquez sur OK. La colonne Métrique s'affiche dans le tableau.
La colonne Métrique indique les noms des métriques. Pour filtrer les résultats, saisissez un nom ou une valeur de propriété dans le champ situé à côté de Filtrer.
gcloud
Pour obtenir les noms des métriques d'un service à l'aide de la gcloud CLI, exécutez la commande quotas info list. Pour ignorer les lignes qui ne listent pas les noms de métriques, transmettez le résultat à une commande telle que grep avec metric: comme terme de recherche, ou utilisez l'option --format de gcloud CLI :
gcloud quotas info list --project=PROJECT_ID_OR_NUMBER \
--service=SERVICE_NAME --format="value(metric)"
Remplacez les éléments suivants :
PROJECT_ID_OR_NUMBER: ID ou numéro du projet.SERVICE_NAME: nom du service dont vous souhaitez afficher les métriques de quota. Par exemple, le nom du service Compute Engine estcompute.googleapis.com. Incluez la partiegoogleapis.comdu nom du service.
Demander une augmentation du quota
Pour ajuster la plupart des quotas, utilisez la console Google Cloud . Pour en savoir plus, consultez Demander un ajustement de quota.
Quotas
Les quotas suivants s'appliquent à Lakehouse :
Catalogue d'environnements d'exécution Lakehouse
Les limites suivantes s'appliquent au catalogue d'environnements d'exécution Lakehouse :
| Limite | Par défaut | Remarques |
|---|---|---|
| Modifications de table par jour | 1 500 modifications | Votre projet peut apporter jusqu'à 1 500 modifications par table et par jour. Une tâche de chargement, une tâche de copie ou une tâche de requête qui ajoute ou écrase des données de table compte comme une modification de la table. Cette limite ne peut pas être modifiée. Les instructions LMD sont exclues et ne sont pas comptabilisées dans le nombre de modifications de table par jour. Les données de flux sont exclues et ne sont pas comptabilisées dans le nombre de modifications de table par jour. |
| Taux maximal d'opérations de mise à jour des métadonnées de table par table | 5 opérations pour 10 secondes |
Votre projet peut effectuer jusqu'à cinq opérations de mise à jour des métadonnées de table pour 10 secondes par table. Cette limite s'applique à toutes les opérations de mise à jour des métadonnées de table, effectuées par les éléments suivants :
DELETE, INSERT, MERGE, TRUNCATE TABLE ou UPDATE pour écrire des données dans une table. Notez que, même si les instructions LMD sont comptabilisées dans cette limite, elles n'y sont pas soumises si elle est atteinte. Les opérations LMD sont soumises à des limites de débit dédiées.
Si vous dépassez cette limite, vous recevez un message d'erreur du type Pour identifier les opérations comptabilisées dans cette limite, vous pouvez inspecter vos journaux. Consultez Résoudre les erreurs de quota pour savoir comment diagnostiquer et résoudre cette erreur. |
| Nombre maximal de colonnes par table | 10 000 colonnes | Chaque table, résultat de requête ou définition de vue peut comporter jusqu'à 10 000 colonnes. Cela inclut les colonnes imbriquées et répétées. |
Accès aux données cross-cloud
| Quota | Valeur |
|---|---|
| Nombre total maximal d'espaces de noms dans un catalogue fédéré | 100 espaces de noms |
| Nombre maximal de tables par espace de noms dans un catalogue fédéré | 300 tables par espace de noms |
| Nombre total maximal de tables dans un catalogue fédéré | 10 000 tables |
| Nombre maximal de filtres d'espace de noms dans un catalogue fédéré | 16 filtres d'espace de noms |
Limites du système
Le tableau suivant liste les limites système qui s'appliquent à Lakehouse et la valeur de chaque limite système :
| Limite système | Valeur |
|---|---|
| Nombre maximal de tables Apache Iceberg gérées par Lakehouse par bucket Cloud Storage qu'une analyse de découverte accepte | 1 000 tables par bucket |